AI Fundermentals

相关硬件知识

• PCIe 知识大全
• NVLink 入门
• NVIDIA DGX SuperPOD：下一代可扩展的AI领导基础设施

深入理解 GPU 架构

在准备在 GPU 上运行的应用程序时，了解 GPU 硬件设计的主要特性并了解与 CPU 的相似之处和不同之处会很有帮助。本路线图适用于那些对 GPU 比较陌生或只是想了解更多有关 GPU 中计算机技术的人。不需要特定的并行编程经验，练习基于 CUDA 工具包中包含的标准 NVIDIA 示例程序。

• GPU 特性
• GPU 内存
• GPU Example: Tesla V100
• GPUs on Frontera: RTX 5000
• 练习：
  • Exercise: Device Query
  • Exercise: Device Bandwidth

GPU 架构和编程模型介绍

• GPU Architecture and Programming — An Introduction

其他相关知识点

• 深入理解 Nvidia CUDA 核心（vs. Tensor Cores vs. RT Cores)

CUDA 学习材料

快速入门

• 并行计算、费林分类法和 CUDA 基本概念
• CUDA 编程模型入门
• CUDA 并发编程之 Stream 介绍

参考资料

• CUDA Reading Group 相关讲座: GPU Mode Reading Group
• 《CUDA C++ Programming Guide》
• 《CUDA C 编程权威指南》：书中示例代码
• Nvidia 官方 CUDA 是示例
• 《CUDA 编程：基础与实践 by 樊哲勇》
  • 学习笔记
  • 示例代码
• 《CUDA 编程简介: 基础与实践 by 李瑜》
• 《CUDA 编程入门》 - 本文改编自北京大学超算队 CUDA 教程讲义
• Multi GPU Programming Models
• CUDA Processing Streams

监控与运维

• nvidia-smi 入门
• nvtop 入门
• Nvidia GPU XID 故障码解析
• Nvidia GPU 卡 之 ECC 功能
• 查询 GPU 卡详细参数
• Understanding NVIDIA GPU Performance: Utilization vs. Saturation (2023)
• GPU Utilization is a Misleading Metric

性能分析与调优

• 使用 Nsight Compute Tool 分析 CUDA 矩阵乘法程序
• CUDA Kernel Profiling using Nvidia Nsight Compute

LLM 基础

Article & Video

• Andrej Karpathy：Deep Dive into LLMs like ChatGPT（B站视频）
• 大模型基础组件 - Tokenizer
• 深入浅出文本嵌入技术
• 深入探索：AI 驱动的 PDF 布局检测引擎源代码解析
• 上海人工智能实验室开源工具 MinerU 助力复杂 PDF 高效解析提取
• 大模型可视化指南

eBook

• 大模型基础
  
• Hands-On Large Language Models
  

AI Infra

• 高性能 GPU 服务器硬件拓扑与集群组网
• NVIDIA GH200 芯片、服务器及集群组网
• 深度学习（大模型）中的精度

深度学习/机器学习

• 《机器学习系统：设计和实现》
• 《动手学深度学习》

动手实践

• 读者来信：请问7b阅读分析不同中医古籍的能力怎么样？可以进行专项训练大幅度提高这方面能力么？
• ollama benchmark
• 解密大语言模型中的 Tokens
  • Tiktokenizer 在线版
• Markitdown 入门

DeepSeek

• Deepseek 3FS（ Fire-Flyer File System）设计笔记
• DeepSeek r1 蒸馏模型和满血模型对比
• 在 Mac 上运行 DeepSeek-R1 模型

Useful Projects

• unstructured:Open source libraries and APIs to build custom preprocessing pipelines for labeling, training, or production machine learning pipelines.
• MinerU:A high-quality tool for convert PDF to Markdown and JSON.
• markitdown: Python tool for converting files and office documents to Markdown.
• unsloth: About Finetune Llama 3.3, DeepSeek-R1 & Reasoning LLMs 2x faster with 70% less memory!
• ktransformers: A Flexible Framework for Experiencing Cutting-edge LLM Inference Optimizations

RAG

• 从0到1快速搭建RAG应用
  • 配套代码

Fine-Tuning

• Qwen 2 大模型指令微调入门实战
  • 配套代码

LLM 训练

从零开始训练 70B 模型

• Training a 70B model from scratch: open-source tools, evaluation datasets, and learnings
• Sanitized open-source datasets for natural language and code understanding: how we evaluated our 70B model
• From bare metal to a 70B model: infrastructure set-up and scripts
• Open-sourcing CARBS: how we used our hyperparameter optimizer to scale up to a 70B-parameter language model