🔥 大模型 & Agent 面试八股文完全指南 | LLM & Agent Interview Preparation Guide
905
0 commits
updated Feb 28, 2026
README
🔥 大模型 & Agent 面试八股文完全指南
LLM & Agent Interview Preparation Guide — 覆盖 Transformer、推理优化、微调对齐、RAG、Agent、安全评估等核心面试题
📋 目录结构
| 序号 | 模块 | 核心内容 | 链接 |
|---|---|---|---|
| 01 | 基础知识 | Transformer、Tokenization、Loss & 优化 | 📖 进入 |
| 02 | 推理优化 | KV Cache、解码策略、量化部署 | 📖 进入 |
| 03 | 微调对齐 | PEFT/LoRA、RLHF/DPO/GRPO、指令微调 | 📖 进入 |
| 04 | RAG | 检索增强生成全流程 | 📖 进入 |
| 05 | Agent | ReAct、Function Calling、MCP、多智能体 | 📖 进入 |
| 06 | 安全评估 | 安全对齐、幻觉、评估体系 | 📖 进入 |
| 07 | 前沿热点 | DeepSeek、MoE、推理模型、2025-2026 趋势 | 📖 进入 |
| 08 | 手撕代码 | Attention、LoRA、BPE、Beam Search 等实现 | 📖 进入 |
| 09 | 系统设计 | 大模型服务架构、训练系统设计 | 📖 进入 |
| 10 | 大厂真题 | 字节跳动、阿里、腾讯等真实面试题 | 📖 进入 |
🏆 字节跳动 Top 20 高频面试题
基于 2025-2026 年牛客网真实面经整理，按出现频率排序
| 排名 | 题目 | 出现频率 | 所属模块 |
|---|---|---|---|
| 1 | GRPO 原理，与 PPO/DPO 的区别 | ⭐⭐⭐⭐⭐ | 微调对齐 |
| 2 | Self-Attention 计算过程及复杂度 | ⭐⭐⭐⭐⭐ | 基础知识 |
| 3 | KV Cache 原理及显存计算 | ⭐⭐⭐⭐⭐ | 推理优化 |
| 4 | 手写 Self-Attention / Multi-Head Attention | ⭐⭐⭐⭐⭐ | 手撕代码 |
| 5 | LoRA / QLoRA 原理及秩的选择 | ⭐⭐⭐⭐ | 微调对齐 |
| 6 | PPO 四个组件及训练流程 | ⭐⭐⭐⭐ | 微调对齐 |
| 7 | RAG 全流程及优化方案 | ⭐⭐⭐⭐ | RAG |
| 8 | Agent 记忆系统设计 | ⭐⭐⭐⭐ | Agent |
| 9 | MCP 协议原理，与 Function Calling 对比 | ⭐⭐⭐⭐ | Agent |
| 10 | Flash Attention 原理 | ⭐⭐⭐⭐ | 推理优化 |
| 11 | ReAct 框架原理及实现 | ⭐⭐⭐⭐ | Agent |
| 12 | BPE / WordPiece 分词算法 | ⭐⭐⭐ | 基础知识 |
| 13 | RoPE 旋转位置编码原理 | ⭐⭐⭐ | 基础知识 |
| 14 | MoE 稀疏专家模型原理 | ⭐⭐⭐ | 前沿热点 |
| 15 | DeepSeek 系列模型架构创新 | ⭐⭐⭐ | 前沿热点 |
| 16 | 模型量化 (INT8/INT4/GPTQ/AWQ) | ⭐⭐⭐ | 推理优化 |
| 17 | DPO 数学推导 | ⭐⭐⭐ | 微调对齐 |
| 18 | 大模型幻觉问题与缓解方案 | ⭐⭐⭐ | 安全评估 |
| 19 | Speculative Decoding 投机解码 | ⭐⭐⭐ | 推理优化 |
| 20 | 多智能体协作架构设计 | ⭐⭐⭐ | Agent |
🎯 使用建议
准备路径推荐
基础知识 → 推理优化 → 微调对齐 → RAG → Agent → 手撕代码 → 大厂真题
不同阶段侧重
| 阶段 | 重点 | 建议时间 |
|---|---|---|
| 基础夯实 | 01 基础知识 + 08 手撕代码 | 3-5 天 |
| 核心强化 | 02 推理 + 03 微调 + 04 RAG | 3-5 天 |
| Agent 专项 | 05 Agent 全部内容 | 2-3 天 |
| 前沿热点 | 07 热点 + 06 安全 | 1-2 天 |
| 模拟冲刺 | 10 大厂真题 + 09 系统设计 | 2-3 天 |
📚 推荐资源
经典论文
- Attention Is All You Need (2017)
- BERT (2018)
- GPT-3 (2020)
- InstructGPT / RLHF (2022)
- LLaMA (2023)
- DPO (2023)
- DeepSeek-V3 (2024)
- GRPO (2025)
开源面试资源
📊 项目统计
- 📝 300+ 面试题目
- 💻 10+ 手撕代码实现
- 🏢 11 场字节跳动真实面经
- 📚 9 大主题模块
- 🔄 持续更新中...
🤝 贡献
欢迎提交 Issue 和 PR！如果觉得有帮助，请给个 ⭐ Star!
📄 License
Similar repos
🔥 大模型 & Agent 面试八股文完全指南 | LLM & Agent Interview Preparation Guide
905
0 commits
updated Feb 28, 2026
README
🔥 大模型 & Agent 面试八股文完全指南
LLM & Agent Interview Preparation Guide — 覆盖 Transformer、推理优化、微调对齐、RAG、Agent、安全评估等核心面试题
📋 目录结构
| 序号 | 模块 | 核心内容 | 链接 |
|---|---|---|---|
| 01 | 基础知识 | Transformer、Tokenization、Loss & 优化 | 📖 进入 |
| 02 | 推理优化 | KV Cache、解码策略、量化部署 | 📖 进入 |
| 03 | 微调对齐 | PEFT/LoRA、RLHF/DPO/GRPO、指令微调 | 📖 进入 |
| 04 | RAG | 检索增强生成全流程 | 📖 进入 |
| 05 | Agent | ReAct、Function Calling、MCP、多智能体 | 📖 进入 |
| 06 | 安全评估 | 安全对齐、幻觉、评估体系 | 📖 进入 |
| 07 | 前沿热点 | DeepSeek、MoE、推理模型、2025-2026 趋势 | 📖 进入 |
| 08 | 手撕代码 | Attention、LoRA、BPE、Beam Search 等实现 | 📖 进入 |
| 09 | 系统设计 | 大模型服务架构、训练系统设计 | 📖 进入 |
| 10 | 大厂真题 | 字节跳动、阿里、腾讯等真实面试题 | 📖 进入 |
🏆 字节跳动 Top 20 高频面试题
基于 2025-2026 年牛客网真实面经整理，按出现频率排序
| 排名 | 题目 | 出现频率 | 所属模块 |
|---|---|---|---|
| 1 | GRPO 原理，与 PPO/DPO 的区别 | ⭐⭐⭐⭐⭐ | 微调对齐 |
| 2 | Self-Attention 计算过程及复杂度 | ⭐⭐⭐⭐⭐ | 基础知识 |
| 3 | KV Cache 原理及显存计算 | ⭐⭐⭐⭐⭐ | 推理优化 |
| 4 | 手写 Self-Attention / Multi-Head Attention | ⭐⭐⭐⭐⭐ | 手撕代码 |
| 5 | LoRA / QLoRA 原理及秩的选择 | ⭐⭐⭐⭐ | 微调对齐 |
| 6 | PPO 四个组件及训练流程 | ⭐⭐⭐⭐ | 微调对齐 |
| 7 | RAG 全流程及优化方案 | ⭐⭐⭐⭐ | RAG |
| 8 | Agent 记忆系统设计 | ⭐⭐⭐⭐ | Agent |
| 9 | MCP 协议原理，与 Function Calling 对比 | ⭐⭐⭐⭐ | Agent |
| 10 | Flash Attention 原理 | ⭐⭐⭐⭐ | 推理优化 |
| 11 | ReAct 框架原理及实现 | ⭐⭐⭐⭐ | Agent |
| 12 | BPE / WordPiece 分词算法 | ⭐⭐⭐ | 基础知识 |
| 13 | RoPE 旋转位置编码原理 | ⭐⭐⭐ | 基础知识 |
| 14 | MoE 稀疏专家模型原理 | ⭐⭐⭐ | 前沿热点 |
| 15 | DeepSeek 系列模型架构创新 | ⭐⭐⭐ | 前沿热点 |
| 16 | 模型量化 (INT8/INT4/GPTQ/AWQ) | ⭐⭐⭐ | 推理优化 |
| 17 | DPO 数学推导 | ⭐⭐⭐ | 微调对齐 |
| 18 | 大模型幻觉问题与缓解方案 | ⭐⭐⭐ | 安全评估 |
| 19 | Speculative Decoding 投机解码 | ⭐⭐⭐ | 推理优化 |
| 20 | 多智能体协作架构设计 | ⭐⭐⭐ | Agent |
🎯 使用建议
准备路径推荐
基础知识 → 推理优化 → 微调对齐 → RAG → Agent → 手撕代码 → 大厂真题
不同阶段侧重
| 阶段 | 重点 | 建议时间 |
|---|---|---|
| 基础夯实 | 01 基础知识 + 08 手撕代码 | 3-5 天 |
| 核心强化 | 02 推理 + 03 微调 + 04 RAG | 3-5 天 |
| Agent 专项 | 05 Agent 全部内容 | 2-3 天 |
| 前沿热点 | 07 热点 + 06 安全 | 1-2 天 |
| 模拟冲刺 | 10 大厂真题 + 09 系统设计 | 2-3 天 |
📚 推荐资源
经典论文
- Attention Is All You Need (2017)
- BERT (2018)
- GPT-3 (2020)
- InstructGPT / RLHF (2022)
- LLaMA (2023)
- DPO (2023)
- DeepSeek-V3 (2024)
- GRPO (2025)
开源面试资源
📊 项目统计
- 📝 300+ 面试题目
- 💻 10+ 手撕代码实现
- 🏢 11 场字节跳动真实面经
- 📚 9 大主题模块
- 🔄 持续更新中...
🤝 贡献
欢迎提交 Issue 和 PR！如果觉得有帮助，请给个 ⭐ Star!