分享AI Infra知识&代码练习：PyTorch、vLLM/SGLang、slime/vime框架入门⚡️、性能加速🚀、大模型基础🧠、AI软硬件🔧等
Jupyter Notebook
4,156
100 commits
updated Sep 20, 2026
本仓库主要介绍AI Infra领域相关知识，内容涵盖：训练/推理框架🧩、性能加速🚀、深度学习🧠、基础硬件🔧等。
相关练习代码采用Python语言，以notebook形式呈现，帮助读者快速了解或掌握相关内容。
🔍主要文件
| 📚 文章 | 📖 知识分类 | 📜 备注 |
|---|---|---|
| vime：融合slime与vLLM的RL框架 | vime | 🔥🔥 |
| vime×Ascend：共卡模式适配与实践 | vime | 🔥 |
| MoE-RL训推一致性：R3原理与性能验证 | vime | 🔥🔥 |
| vime+MemAgent：记忆智能体的RL后训练 | vime | 🔥 |
| 教你训一个会调用工具的Agent：RL τ-bench | vime | 🔥 |
| Slime适配vLLM后端的实践笔记 | slime | 🔥 |
| RL共卡权重同步：vLLM与训练框架之间的IPC实践 | 权重同步 | 🔥 |
| Slime非共卡下的权重同步优化：P2P分片 | 权重同步 | 🔥 |
| 图解Infra视角下的强化学习性能问题(浅析) | RL基础 | 🔥 |
| RL训推调度与切换（Megatron⇄SGLang）机制解析 | RL基础 | 🔥 练习 |
| 📚 文章 | 📖 知识分类 | 📜 备注 |
|---|---|---|
| 入门知识：如何快速理解PyTorch自动梯度（Autograd）的原理？ | 训练框架 | 练习 |
| 不用PyTorch从零实现MLP训练全流程 | 训练框架 | 练习 |
| PyTorch显存管理介绍与源码解析（一） | 训练框架 | link |
| PyTorch显存管理介绍与源码解析（二） | 训练框架 | link |
| PyTorch显存管理介绍与源码解析（三） | 训练框架 | 🔥 |
| PyTorch分布式训练基础--DDP使用 | 训练框架 | 🔥🔥🔥 |
| Context Parallelism的原理与代码浅析 | 并行训练 | 🔥🔥🔥 |
| FP8计算在模型训练中的应用 | 量化训练 | 🔥 |
| PyTorch中基于CUDA IPC的进程间Tensor共享简介 | 训练框架 | 🔥 |
| 📚 文章 | 📖 知识分类 | 📜 备注 |
|---|---|---|
| 彻底搞懂RoPE计算原理：从1D到3D | Attention | 代码 |
| DeepSeekV4中RoPE设计解析 | Attention | 🔥🔥 |
| 超细图解MLA计算流&吸收矩阵对比分析 | Attention | 高清图 |
| 超细图解DSA计算流&性能对比与优化分析 | Attention | 高清图 |
| 用注意力知识分析DSA(DeepSeek Sparse Attention)的设计逻辑 | Attention | 🔥🔥 |
| 线性注意力(LinearAttention)的原理与细节(AlphaDeltaGate)解析 | Linear | 🔥 |
| Qwen3 VL多模态解析 | 大模型 | 🔥 |
| VLM视觉-语言融合流程解析（Kimi K2.5/VL） | 大模型 | 🔥 |
| DeepSeek V4 哪些亮点值得关注？ | 大模型 | 🔥🔥 |
| 入门基础：分布式训练/推理基础：集合通信原理与实践 | 分布式基础 | 练习 |
| 入门基础：手写最基础的训练过程 | 深度学习 | 🔥 |
| 入门基础：梯度近似运算与雅可比(Jacobian)矩阵 | 深度学习 | - |
| 入门基础：Transformer基础模型代码实现--极简版(One-Page) | Transformer | link |
| Query和Key在注意力机制中长得几乎一模一样，为什么还要分开? | Transformer | 🔥 |
| 为什么transformer的FFN需要先升维再降维？ | Transformer | 🔥🔥 |
| 为什么线性注意力中K头数小于V头数？ | Linear | 🔥 |
| AI模型优化的必修课：参数搜索/自动调优 | 深度学习 | 🔥 |
| 模型卡片 | 架构关键词 | 介绍 |
|---|---|---|
| DeepSeek V3 | MLA+MoE | link |
| Kimi K2 | MLA+MoE | link |
| DeepSeek V3.2 | MLA+DSA | link |
| Kimi K2.5 | MLA+MoE+MoonViT | link |
| Kimi K3 | KDA+Gated MLA+AttnRes+Stable LatentMoE | link |
| GLM 5 | MLA(DSA)+MoE | link |
| MiniMax M2.5 | GQA+MoE | link |
| Qwen3-VL | Dense+MoE+DeepStack+Interleaved-MRoPE | link |
| Qwen3.5 | Gated DeltaNet+Gated Attention+MoE | link |
| Step 3.5 Flash | GQA+SWA+MoE+MTP | link |
| 📚 文章 | 📖 知识分类 | 🌐 链接 |
|---|---|---|
| LLM大模型显存计算公式与优化 | LLM | 🔥🔥🔥 |
| LLM预训练模型MFU计算器 | LLM | link |
| DeepSeekV3 MFU计算工具与算式 | LLM | link |
| 3D 模型架构对照工具 | LLM | Pages · 源码 |
| PyTorch显存可视化与Snapshot数据分析 | PyTorch | link |
| PyTorch结构可视化：交互式DeepSeekV3计算图 | PyTorch | link |
https://github.com/CalvinXKY/BasicCUDA
作者kaiyuan知乎主页🥳 https://www.zhihu.com/people/xky7
(top 24 of 36)
分享AI Infra知识&代码练习：PyTorch、vLLM/SGLang、slime/vime框架入门⚡️、性能加速🚀、大模型基础🧠、AI软硬件🔧等
Jupyter Notebook
4,156
100 commits
updated Sep 20, 2026
本仓库主要介绍AI Infra领域相关知识，内容涵盖：训练/推理框架🧩、性能加速🚀、深度学习🧠、基础硬件🔧等。
相关练习代码采用Python语言，以notebook形式呈现，帮助读者快速了解或掌握相关内容。
🔍主要文件
| 📚 文章 | 📖 知识分类 | 📜 备注 |
|---|---|---|
| vime：融合slime与vLLM的RL框架 | vime | 🔥🔥 |
| vime×Ascend：共卡模式适配与实践 | vime | 🔥 |
| MoE-RL训推一致性：R3原理与性能验证 | vime | 🔥🔥 |
| vime+MemAgent：记忆智能体的RL后训练 | vime | 🔥 |
| 教你训一个会调用工具的Agent：RL τ-bench | vime | 🔥 |
| Slime适配vLLM后端的实践笔记 | slime | 🔥 |
| RL共卡权重同步：vLLM与训练框架之间的IPC实践 | 权重同步 | 🔥 |
| Slime非共卡下的权重同步优化：P2P分片 | 权重同步 | 🔥 |
| 图解Infra视角下的强化学习性能问题(浅析) | RL基础 | 🔥 |
| RL训推调度与切换（Megatron⇄SGLang）机制解析 | RL基础 | 🔥 练习 |
| 📚 文章 | 📖 知识分类 | 📜 备注 |
|---|---|---|
| 入门知识：如何快速理解PyTorch自动梯度（Autograd）的原理？ | 训练框架 | 练习 |
| 不用PyTorch从零实现MLP训练全流程 | 训练框架 | 练习 |
| PyTorch显存管理介绍与源码解析（一） | 训练框架 | link |
| PyTorch显存管理介绍与源码解析（二） | 训练框架 | link |
| PyTorch显存管理介绍与源码解析（三） | 训练框架 | 🔥 |
| PyTorch分布式训练基础--DDP使用 | 训练框架 | 🔥🔥🔥 |
| Context Parallelism的原理与代码浅析 | 并行训练 | 🔥🔥🔥 |
| FP8计算在模型训练中的应用 | 量化训练 | 🔥 |
| PyTorch中基于CUDA IPC的进程间Tensor共享简介 | 训练框架 | 🔥 |
| 📚 文章 | 📖 知识分类 | 📜 备注 |
|---|---|---|
| 彻底搞懂RoPE计算原理：从1D到3D | Attention | 代码 |
| DeepSeekV4中RoPE设计解析 | Attention | 🔥🔥 |
| 超细图解MLA计算流&吸收矩阵对比分析 | Attention | 高清图 |
| 超细图解DSA计算流&性能对比与优化分析 | Attention | 高清图 |
| 用注意力知识分析DSA(DeepSeek Sparse Attention)的设计逻辑 | Attention | 🔥🔥 |
| 线性注意力(LinearAttention)的原理与细节(AlphaDeltaGate)解析 | Linear | 🔥 |
| Qwen3 VL多模态解析 | 大模型 | 🔥 |
| VLM视觉-语言融合流程解析（Kimi K2.5/VL） | 大模型 | 🔥 |
| DeepSeek V4 哪些亮点值得关注？ | 大模型 | 🔥🔥 |
| 入门基础：分布式训练/推理基础：集合通信原理与实践 | 分布式基础 | 练习 |
| 入门基础：手写最基础的训练过程 | 深度学习 | 🔥 |
| 入门基础：梯度近似运算与雅可比(Jacobian)矩阵 | 深度学习 | - |
| 入门基础：Transformer基础模型代码实现--极简版(One-Page) | Transformer | link |
| Query和Key在注意力机制中长得几乎一模一样，为什么还要分开? | Transformer | 🔥 |
| 为什么transformer的FFN需要先升维再降维？ | Transformer | 🔥🔥 |
| 为什么线性注意力中K头数小于V头数？ | Linear | 🔥 |
| AI模型优化的必修课：参数搜索/自动调优 | 深度学习 | 🔥 |
| 模型卡片 | 架构关键词 | 介绍 |
|---|---|---|
| DeepSeek V3 | MLA+MoE | link |
| Kimi K2 | MLA+MoE | link |
| DeepSeek V3.2 | MLA+DSA | link |
| Kimi K2.5 | MLA+MoE+MoonViT | link |
| Kimi K3 | KDA+Gated MLA+AttnRes+Stable LatentMoE | link |
| GLM 5 | MLA(DSA)+MoE | link |
| MiniMax M2.5 | GQA+MoE | link |
| Qwen3-VL | Dense+MoE+DeepStack+Interleaved-MRoPE | link |
| Qwen3.5 | Gated DeltaNet+Gated Attention+MoE | link |
| Step 3.5 Flash | GQA+SWA+MoE+MTP | link |
| 📚 文章 | 📖 知识分类 | 🌐 链接 |
|---|---|---|
| LLM大模型显存计算公式与优化 | LLM | 🔥🔥🔥 |
| LLM预训练模型MFU计算器 | LLM | link |
| DeepSeekV3 MFU计算工具与算式 | LLM | link |
| 3D 模型架构对照工具 | LLM | Pages · 源码 |
| PyTorch显存可视化与Snapshot数据分析 | PyTorch | link |
| PyTorch结构可视化：交互式DeepSeekV3计算图 | PyTorch | link |
https://github.com/CalvinXKY/BasicCUDA
作者kaiyuan知乎主页🥳 https://www.zhihu.com/people/xky7
(top 24 of 36)
