---

🎯 项目介绍

AI 技术发展很快，但学习资料往往分散在论文、博客、课程、开源项目和产品新闻中。From Zero to AGI 希望把这些碎片重新组织成一套长期可学习、可检索、可实践的知识体系。

本仓库不只追踪“最近发布了什么”，更关注：

• 一个概念在完整技术体系中的位置是什么？
• 不同模型和方法之间如何演进、继承与分化？
• 从基础原理到工程系统，应该按照什么顺序学习？
• 哪些论文、文章和项目值得长期保留与反复阅读？

仓库内容由 猫先生 of「魔方AI空间」 持续维护。公众号负责追踪前沿与发布深度文章，GitHub 仓库负责结构化沉淀、学习编排和项目复现。

公众号前沿解读 → GitHub 系统沉淀 → 项目代码实践 → 建立完整 AI 认知

🧭 如何使用这个仓库

先通过核心内容地图定位学习方向，再进入对应章节系统学习；每个板块同时提供公众号深度阅读和相关项目实践，帮助你从概念理解走向工程落地。

[!TIP] 本仓库以大模型及其延伸方向为主。具备 Python 和神经网络基础后，建议从 大语言模型基础 开始；已经掌握 Transformer，可以直接进入 多模态大模型基础、AI 智能体或具身智能方向。

🛤️ 推荐学习路线

主学习路线

AI 与深度学习基础
        ↓
Transformer 与 LLM
        ↓
多模态理解与生成
        ↓
Agent / RAG / MCP
        ↓
具身智能与世界模型
        ↓
推理部署与项目实战

按学习目标选择

🗺️ 完整核心内容地图

🌱 01. AI 入门基础

这一部分建立理解现代 AI 系统所需的共同语言，从编程、神经网络和经典计算机视觉逐步走向生成式 AI。

核心知识节点

Python → 机器学习 → 神经网络 → NLP / CV → Transformer 前置知识

板块内容

• 自然语言处理
• 计算机视觉与 YOLO 系列
• YOLOv1 至 YOLO26 专题

延伸阅读｜魔方AI空间

• 计算机视觉四大基本任务
• 目标检测风云二十年
• 一文全面梳理 YOLO 系列：从 YOLOv1 到 YOLOv13，再到 YOLO26
• ViT 论文精读：打破 CV 和 NLP 模型壁垒

🧠 02. 大语言模型基础

从文本如何变成 Token 开始，逐步理解现代大语言模型的架构、训练、对齐、推理和评测。

核心知识节点

LLM 概念 → Token / Embedding → Transformer → Attention → 位置编码
→ 主流架构 → MoE → 预训练 → 指令微调 → RLHF → 推理 → Prompt → 评测

板块内容

• 大语言模型完整学习路线与 14 章目录
• 从零实现 Transformer
• RLHF：PPO、DPO、GRPO、DAPO 与 GSPO

延伸阅读｜魔方AI空间

• 一文详解 AI 大模型 14 个核心基础概念
• 一文梳理主流 LLM 架构技术演进
• 一文详解 MoE 模型
• 一文详解位置编码技术演进
• 一文梳理 RLHF 进化史：从 PPO、DPO、GRPO 到 GSPO
• 一文搞懂大模型加速之 Attention：从 FlashAttention 到 PagedAttention

🌐 03. 多模态大模型基础

理解文本、图像、视频和音频如何被编码、对齐、生成，并进一步连接到推理和行动系统。

核心知识节点

多模态概念 → 视觉编码器 → LLM 底座 → 跨模态连接器 → VLM
→ 多模态生成 → 视频 / 音频 → 数据与训练 → 评测 → 多模态 Agent

板块内容

• 多模态完整学习路线与 14 个专题
• 多模态主题、论文与模型索引
• 多模态术语表

延伸阅读｜魔方AI空间

• 一文读懂多模态大模型（MLLM）
• 一文读懂 LLaVA 系列：从图像到视频内容理解
• 2 万字综述：统一多模态基础模型（UFMs）
• 一文详解 MM-RLHF：多模态大语言模型对齐
• 大型基础模型中的视听智能（AVI）综述

🎨 04. AI 图像生成

从扩散模型基础出发，理解文生图、图像编辑、可控生成、个性化微调和统一视觉生成。

核心知识节点

Diffusion → Latent Diffusion → DiT → 文生图 → LoRA / ControlNet
→ 图像编辑 → 主体与风格一致性 → 统一生成模型

板块入口：AI 图像生成

延伸阅读｜魔方AI空间

• 深入浅出 Stable Diffusion 技术绘画原理
• ComfyUI 是什么？
• 项目实战：在消费级硬件上微调 FLUX.1-dev（LoRA）
• OmniGen2：迈向高级多模态生成的统一框架

🎬 05. AI 视频生成

系统学习视频的时空表示、扩散与 Transformer 架构、可控生成、视频编辑、长视频叙事及音视频联合建模。

核心知识节点

视频表示 → Video Diffusion / DiT → 时空建模 → 条件与运动控制
→ 视频编辑 → 长视频与多镜头 → 音视频联合生成 → 评测与实践

板块内容

• AI 视频生成
• 从零实现小型文生视频模型

延伸阅读｜魔方AI空间

• 一文梳理 AI 视频生成核心基础知识和模型应用
• 2 万字综述：Video Diffusion Model 视频扩散模型
• 一文梳理 27 个 AI 视频核心基础高频知识考点
• 万字综述：一文详解视频理解
• 从 Sora 到 Seedance：长视频生成与多镜头叙事生成
• 项目实战：Qwen-Video-8B 与 LLaMA-Factory 实现垂类视频理解

🎭 06. 数字人

关注人物外观、声音、表情与动作之间的跨模态驱动，理解数字人从“会说话”到“自然表达”的完整链路。

核心知识节点

语音识别 / 合成 → 肖像动画 → 口型同步 → 表情与情感驱动
→ 人体视频生成 → 实时交互 → 数字人系统

板块入口：数字人

延伸阅读｜魔方AI空间

• 基于 Whisper 和 faster-whisper 构建语音识别系统
• LivePortrait：可精准控制眼睛和嘴唇动作的肖像动画框架
• EchoMimic：音频驱动肖像动画框架
• DICE-Talk：情感表达式动态肖像生成技术
• 人体视频生成技术综述：挑战、方法和见解

🧩 07. Agent

让大模型从“回答问题”走向“检索信息、调用工具、积累经验并持续完成任务”。

核心知识节点

RAG → Agent → 工具调用 → MCP / A2A → Skills → Memory
→ Context Engineering → Harness → Loop Engineering → Agentic RL → Multi-Agent

板块入口：Agent

延伸阅读｜魔方AI空间

• 一文搞懂大模型时代的 Agent：方法论、应用与挑战
• 一文搞懂 RAG 技术范式演变及 Agentic RAG
• 2 万字长文：一文深度解析 A2A 与 MCP
• 首篇 Agent Skills 系统性综述
• Agent Harness Engineering 综述：Agent 的上限不只在模型
• 一文搞懂 Loop Engineering：从单次回答到可控执行循环
• 一文全面梳理 Agentic RL：面向 LLM 的自主强化学习

🤖 08. 具身智能与机器人

研究智能体如何在物理世界中感知、推理、规划和行动，并通过数据与环境交互持续学习。

核心知识节点

VLM → VLN / VA / VLA → 机器人策略 → 世界模型 → 机器人数据
→ 遥操作与示范学习 → 仿真与 Sim-to-Real → 控制 → 评测与部署

板块入口：具身智能

延伸阅读｜魔方AI空间

• 万字综述：从基础概念到大模型赋能，入门具身智能
• 一文讲透 2026 年具身智能技术栈：VLM、VLA、VLN、世界模型
• 万字长文：视觉－语言－动作模型的概念、进展、应用和挑战
• 综述：VLA 智能体为什么离不开世界模型？
• 一文通俗理解机器人数据 8 个核心概念
• 从 RT-2 到 π0.7：通用机器人策略的技术演进
• 一文拆解 NVIDIA GR00T：数据、仿真与部署工具链

🚀 09. 大模型推理与部署

关注模型如何从研究和 Demo 走向稳定、低成本、可扩展的生产系统。

核心知识节点

模型压缩与量化 → KV Cache / Attention 优化 → 推理框架
→ DP / TP / PP / CP / EP / SP → PD 分离 → 分布式 Serving → 监控与评测

板块入口：大模型推理与部署

延伸阅读｜魔方AI空间

• 一文梳理主流大模型推理部署框架
• 一文解析大模型分布式并行策略：DP、TP、PP、CP、EP、SP
• 一文深度解析 Prefill-Decode 分离式部署架构
• NVIDIA Dynamo 框架与 PD 分离式部署
• 大模型系列：什么是 Ray？
• Buffer 与 Cache：开启性能优化的大门

🛠️ 10. 项目实战

实战的目标不是“把接口调用成功”，而是完成一个目标明确、可以运行、能够评测和复现的技术闭环。

实践延伸阅读｜魔方AI空间

• 从头开始编写 LLM 代码
• 从头构建一个小型文本到视频生成模型
• Qwen-Video-8B 与 LLaMA-Factory 实现垂类视频理解
• 基于 Whisper 和 faster-whisper 构建语音识别系统

🕰️ 经典大模型时间线

📬 关注魔方AI空间

「魔方AI空间」长期分享 LLM、多模态、AI 视频、Agent、具身智能、开源项目与工程实践。仓库负责沉淀系统知识，公众号同步更新前沿解读与深度文章。

加入 AIGCmagic 社区

如果你希望获取更多 AI 前沿资料、深度内容与社区交流，可以扫码加入 AIGCmagic 知识星球。

💬 反馈与建议

如果你发现内容错误、失效链接或值得补充的技术方向，欢迎通过 Issue 告诉我们。

📄 License

本项目采用 GNU General Public License v3.0。引用、转载或二次创作仓库内容时，请保留原作者和项目来源。

---