🃏 Awesome LLM Model List — House of Model Cards (HOMC)

)

🎴 最全面的大语言模型索引项目 — 模型卡牌屋 (House of Model Cards) — 使用扑克牌花色体系对 AI 模型进行创意分类，涵盖从 GPT-1 到最新开源模型的完整调研，包含技术细节、性能指标、部署方式与官方资源。

---

📊 核心统计

---

🌟 项目特色

• ✅ 覆盖全面：从 GPT-1 到 GPT-5、Claude 4.6、LLaMA 4、Qwen3.5 的完整演进（200+ 模型）
• ✅ 资源完整：每个模型提供 arXiv 论文、GitHub 仓库、HuggingFace 权重、API 文档四件套
• ✅ 🃏 扑克牌分类体系：独创的 House of Model Cards (HOMC) 分类标记法，用扑克牌花色直观标记模型类型
• ✅ 分类科学：5 维快速索引 + 🃏 花色/点数双重标记
• ✅ 安全对齐：完整的 LLM 安全框架、攻击防御指南、开源安全工具推荐
• ✅ 评测详解：30+ Benchmark 基准解读，覆盖通用/代码/数学/多模态/安全/Agent
• ✅ 微调实战：LoRA/QLoRA 完整模板 + 工具链推荐 + 数据工程要点
• ✅ 行业案例：10 大行业落地场景 + RAG 架构图 + 成本估算模型
• ✅ Prompt 工程：高阶技巧 + 不同模型的 Prompt 风格偏好
• ✅ 前沿追踪：视频生成、世界模型等 2026 最新方向
• ✅ 持续更新：跟踪 2024-2026 年最新模型进展
• ✅ 实用导向：包含部署指南、硬件配置、量化方案

---

🎴 House of Model Cards — 扑克牌分类体系说明

设计理念

本项目灵感来源于 isLinXu/house-of-model-cards 项目，采用扑克牌花色作为模型的视觉化分类系统。就像每一张扑克牌都有其固定的花色和数值一样，每一个 AI 模型也可以通过其"能力属性"被归类到不同的花色中。

花色映射规则

点数规则（数字/A/J/Q/K）

标记示例

♠K  InternVL2    →  视觉语言模型之王 (76B)
♥A  GPT-5        →  SOTA 级别通用语言模型
♦J  StarCoder2   →  代码专业模型
♣Q  LLaVA-OneVision → 多模态大模型
🃏  DeepSeek-R1   →  推理突破性模型 (GRPO强化学习)

与原 HOMC 项目的区别

原 house-of-model-cards 项目主要聚焦于计算机视觉模型的分类（图像分类=♠, 目标检测=♥, 语义分割=♦, 实例分割=♣）。本项目的 HOMC 体系在此基础上进行了扩展和适配：

1. 扩展至 LLM 领域：将花色含义从 CV 任务映射到 LLM 任务域
2. 增加点数维度：引入 A/J/Q/K 表示模型规模和能力等级
3. 保留 Joker 机制：用于标记具有突破性创新的模型
4. 双向兼容：对于纯 CV 模型仍使用原始 HOMC 分类标准

---

📑 目录

• 1. 快速索引
  • 1.1 按开源状态
  • 1.2 按厂商/组织
  • 1.3 按应用领域
  • 1.4 按参数规模
  • 1.5 按架构类型
  • 1.6 🃏 按扑克牌花色分类
• 1.7 按推理能力等级分类（⭐ 新增）
• 1.8 按部署场景分类（⭐ 新增）
• 1.9 按训练对齐方法分类（⭐ 新增）
• 1.10 🏆 SOTA 排行榜（⭐ 新增）
• 2. 通用基础模型
• 3. 专项领域模型
• 4. 技术对比
• 5. 部署指南
• 6. 📈 LLM 发展时间线
• 7. 🔬 训练方法与对齐技术
• 8. ⚡ 场景化模型选择指南
• 9. 🌍 开源生态地图
• 10. 🔮 2026 技术趋势展望
• 11. ❓ FAQ 常见问题
• 12. 🛡️ 安全与对齐
• 13. 📏 评测基准详解
• 14. 🔧 微调工具链与实战
• 15. 🏭 行业应用案例
• 16. 💡 Prompt Engineering 指南
• 17. 🎬 视频生成与世界模型
• 18. 参考文献
• 19. 资源索引
• 20. 贡献指南
• 21. 更新日志

---

1. 快速索引

1.1 按开源状态

1.2 按厂商/组织

1.3 按应用领域

1.4 按参数规模

1.5 按架构类型

1.6 🃏 按扑克牌花色分类

♠ 黑桃 — 视觉与多模态理解 (Spade: Vision & Multimodal Understanding)

♥ 红心 — 通用语言模型 (Heart: General Language Models)

♦ 方块 — 结构化推理与代码 (Diamond: Structured Reasoning & Code)

♣ 梅花 — Agent 与嵌入 (Club: Agent & Embeddings)

🃏 Joker — 突破性创新模型

🃏 双花色标记规则（新增）

部分模型具有多重核心能力，使用双花色标记以更精确描述：

♥♠ 通用+视觉   →  GPT-4V, Gemini 3.1, Claude 4.5（原生多模态通用模型）
♥♦ 通用+代码   →  Qwen2.5-Coder, LLaMA 3.2（编码增强的通用模型）
♠♣ 视觉+Agent  →  InternVL-Tool, LLaVA-Agent
🃏♥ 突破+通用   →  DeepSeek-R1, Kimi K2（推理突破 + 通用能力）

说明：主花色（第一个）表示最突出的能力，副花色（第二个）表示次要但显著的能力。

---

1.7 按推理能力等级分类（⭐ 新增）

2024-2026 年最重要的范式转移：从「快速响应」到「深度推理」。此维度帮助用户按模型的"思考深度"选型。

选型建议：

• 聊天/客服/翻译 → Level 0-1 即可，成本敏感选 L0
• 数学/编程/科研 → 必须用 Level 2+，推荐 R1/o3
• 自主 Agent 工作流 → Level 3，需要强规划能力

---

1.8 按部署场景分类（⭐ 新增）

成本估算参考（单次查询）：

---

1.9 按训练对齐方法分类（⭐ 新增）

训练方法演进路线图：

SFT (2022) → RLHF (2023) → DPO (2023) → GRPO/Muon (2025)
                    ↓                ↓              ↓
               Constitutional      SimPO/KTO     PRM+ORM
                  AI (2023)       (2024)        (2024-25)

---

1.10 🏆 SOTA 模型排行榜（2026年4月实时）（⭐ 新增）

综合多项基准测试的 Top 10 排行，分为闭源/开源双赛道。

闭源赛道

开源赛道

注意：以上数据来源于各官方技术报告及第三方基准测试（Arena、LMSYS Chatbot Arena），具体数值因评测版本不同可能有差异。

---

2. 通用基础模型

2.1 OpenAI GPT 系列 ♥A

官方资源：

• 📄 论文：arXiv:2005.14165 (GPT-3) · arXiv:2303.08774 (GPT-4) · arXiv:2410.21276 (GPT-4o) · arXiv:2412.16720 (o1) · arXiv:2601.03267 (GPT-5)
• 💻 GitHub：openai/openai-cookbook
• 📖 API：https://platform.openai.com/docs

---

2.2 Anthropic Claude 系列 ♥A

官方资源：

• 📄 论文：arXiv:2204.06745 (Constitutional AI) · arXiv:2310.01858 (Claude 2)
• 📖 API：https://docs.anthropic.com

---

2.3 Meta LLaMA 系列 ♥K

官方资源：

• 📄 论文：arXiv:2302.13971 (LLaMA 1) · arXiv:2307.09288 (LLaMA 2) · arXiv:2407.21783 (LLaMA 3) · arXiv:2510.12178 (LLaMA 4) · arXiv:2601.11659 (LLaMA 4 完整)
• 💻 GitHub：meta-llama/llama-models
• 🤗 HuggingFace：meta-llama

---

2.4 Google Gemini/Gemma 系列 ♥Q

官方资源：

• 📄 论文：arXiv:2408.00118 (Gemma 2) · arXiv:2503.19786 (Gemma 3) · arXiv:2507.06261 (Gemini 2.5)
• 💻 GitHub：google-deepmind/gemma · google/gemma_pytorch
• 🤗 HuggingFace：google

---

2.5 Microsoft Phi 系列 ♥10

官方资源：

• 📄 论文：arXiv:2309.00071 (Phi-1) · arXiv:2306.11644 (Phi-1.5) · arXiv:2404.14219 (Phi-3) · arXiv:2412.08905 (Phi-4) · arXiv:2504.21233 (Phi-4-mini) · arXiv:2504.21318 (Phi-4-reasoning)
• 💻 GitHub：microsoft/Phi-4 · microsoft/Phi-3-cookbooks
• 🤗 HuggingFace：microsoft

---

2.6 xAI Grok 系列 ♥K

官方资源：

• 💻 GitHub：xai-org/grok-1
• 📖 API：https://x.ai/api

---

2.7 Mistral AI 系列 ♥Q

官方资源：

• 📄 论文：arXiv:2310.06825 (Mistral 7B) · arXiv:2401.04088 (Mixtral)
• 💻 GitHub：mistralai/mistral-inference
• 🤗 HuggingFace：mistralai

---

2.8 Cohere Command 系列 ♥Q

官方资源：

• 🤗 HuggingFace：CohereForAI · CohereLabs
• 📖 API：https://docs.cohere.com

---

2.9 TII Falcon 系列 ♥Q

官方资源：

• 📄 论文：arXiv:2311.16867 (Falcon) · arXiv:2407.14885 (Falcon 2) · arXiv:2507.22448 (Falcon-H1)
• 💻 GitHub：tiiuae/falcon-llm · tiiuae/Falcon-H1
• 🤗 HuggingFace：tiiuae

---

2.10 AI2 OLMo 系列 ♥8~9

官方资源：

• 📄 论文：arXiv:2402.00838 (OLMo) · arXiv:2501.00656 (OLMo 2) · arXiv:2409.02060 (OLMoE)
• 💻 GitHub：allenai/OLMo · allenai/OLMo-core
• 🤗 HuggingFace：allenai

---

2.11 EleutherAI Pythia 系列 ♥8

官方资源：

• 📄 论文：arXiv:2204.06745 (GPT-NeoX) · arXiv:2304.01373 (Pythia) · arXiv:2310.10631 (Llemma)
• 💻 GitHub：EleutherAI/gpt-neox · EleutherAI/pythia
• 🤗 HuggingFace：EleutherAI

---

2.12 BigScience BLOOM 系列 ♥Q

官方资源：

• 📄 论文：arXiv:2211.05100
• 🤗 HuggingFace：bigscience/bloom · bigscience/bloomz

---

2.13 Stability AI StableLM 系列

官方资源：

• 💻 GitHub：Stability-AI/StableLM
• 🤗 HuggingFace：stabilityai

---

2.14 Databricks DBRX 系列

官方资源：

• 💻 GitHub：databricks/dbrx
• 🤗 HuggingFace：databricks/dbrx-instruct

---

2.15 Snowflake Arctic 系列

官方资源：

• 💻 GitHub：Snowflake-Labs/snowflake-arctic
• 🤗 HuggingFace：Snowflake

---

2.16 阿里 Qwen 系列 ♥K

官方资源：

• 📄 论文：arXiv:2309.16609 (Qwen) · arXiv:2407.10671 (Qwen 2) · arXiv:2412.15115 (Qwen 2.5) · arXiv:2505.09388 (Qwen 3)
• 💻 GitHub：QwenLM/Qwen · QwenLM/Qwen2.5 · QwenLM/Qwen3 · QwenLM/QwQ
• 🤗 HuggingFace：Qwen

---

2.17 DeepSeek 系列 🃏 Joker

官方资源：

• 📄 论文：arXiv:2401.02954 (V1) · arXiv:2405.04434 (V2) · arXiv:2412.19437 (V3) · arXiv:2501.12948 (R1)
• 💻 GitHub：deepseek-ai/DeepSeek-V3 · deepseek-ai/DeepSeek-R1
• 🤗 HuggingFace：deepseek-ai
• 📖 API：https://platform.deepseek.com

---

2.18 智谱 GLM 系列 ♥Q

官方资源：

• 📄 论文：arXiv:2210.02414 (GLM-130B) · arXiv:2406.12793 (GLM-4) · arXiv:2508.06471 (GLM-4.5)
• 💻 GitHub：THUDM/GLM-4 · THUDM/ChatGLM3
• 🤗 HuggingFace：THUDM
• 📖 API：https://bigmodel.cn

---

2.19 百度 ERNIE 系列 ♥Q

官方资源：

• 📄 论文：arXiv:2107.02137 (ERNIE 3.0) · arXiv:2602.04705 (ERNIE 5.0)
• 💻 GitHub：PaddlePaddle/ERNIE
• 📖 API：https://yiyan.baidu.com

---

2.20 腾讯混元系列 ♥K

官方资源：

• 📄 论文：arXiv:2411.02265
• 💻 GitHub：Tencent/Hunyuan-Large · Tencent-Hunyuan/Tencent-Hunyuan-Large
• 🤗 HuggingFace：tencent/Tencent-Hunyuan-Large

---

2.21 字节豆包/Seed 系列 ♠Q / ♦J

官方资源：

• 📄 论文：arXiv:2505.07062 (Seed1.5-VL) · arXiv:2506.03524 (Seed-Coder)
• 💻 GitHub：ByteDance-Seed/Seed-Coder · ByteDance-Seed/Seed1.5-VL
• 🤗 HuggingFace：ByteDance-Seed

---

2.22 月之暗面 Kimi 系列 🃏 Joker

官方资源：

• 📄 论文：arXiv:2501.12599 (K1.5) · arXiv:2507.20534 (K2) · arXiv:2602.02276 (K2.5)
• 💻 GitHub：MoonshotAI/Kimi-K2 · MoonshotAI/kimi-k1.5
• 🤗 HuggingFace：moonshotai
• 📖 API：https://platform.moonshot.cn

---

2.23 MiniMax 系列 ♥K

官方资源：

• 📄 论文：arXiv:2501.08313 · arXiv:2506.13585 (M1)
• 💻 GitHub：MiniMax-AI/MiniMax-M1
• 🤗 HuggingFace：MiniMaxAI
• 📖 API：https://platform.minimax.io

---

2.24 面壁 MiniCPM 系列 ♥7

官方资源：

• 📄 论文：arXiv:2404.06395 (MiniCPM) · arXiv:2506.07900 (MiniCPM 4)
• 💻 GitHub：OpenBMB/MiniCPM · OpenBMB/MiniCPM-V · OpenBMB/MiniCPM-o
• 🤗 HuggingFace：openbmb

---

2.25 上海 AI Lab InternLM 系列 ♠Q

官方资源：

• 📄 论文：arXiv:2403.17297 · arXiv:2603.25040 (Intern-S1-Pro)
• 💻 GitHub：InternLM/InternLM
• 🤗 HuggingFace：internlm

---

2.26 百川 Baichuan 系列 ♥Q

官方资源：

• 📄 论文：arXiv:2309.10305 (Baichuan 2) · arXiv:2501.15368 (Baichuan-Omni-1.5) · arXiv:2502.12671 (Baichuan-M1) · arXiv:2509.02208 (Baichuan-M2) · arXiv:2602.06570 (Baichuan-M3)
• 💻 GitHub：baichuan-inc/Baichuan2 · baichuan-inc/Baichuan-M3-235B
• 🤗 HuggingFace：baichuan-inc

---

2.27 零一万物 Yi 系列 ♥10

官方资源：

• 📄 论文：arXiv:2403.04652
• 💻 GitHub：01-ai/Yi · 01-ai/Yi-1.5
• 🤗 HuggingFace：01-ai

---

2.28 阶跃星辰 Step 系列

官方资源：

• 💻 GitHub：stepfun-ai/Step-3.5-Flash
• 🤗 HuggingFace：stepfun-ai
• 📖 API：https://platform.stepfun.com

---

2.29 科大讯飞 星火系列

官方资源：

• 📖 API：https://xinghuo.xfyun.cn

---

2.30 360智脑系列

官方资源：

• 💻 GitHub：Qihoo360/360zhinao · Qihoo360/360zhinao2
• 🤗 HuggingFace：Qihoo360/360Zhinao-7B-Chat-360K

---

3. 专项领域模型

3.1 代码专项模型 ♦J

---

3.2 数学推理模型 ♦J

---

3.3 多模态 VLM 模型 ♠ / ♣

---

3.4 小语言模型 SLM ♥2~7

---

3.5 MoE 架构模型 ♥K

---

3.6 新架构模型（SSM/RNN/Hybrid）🃏 Joker

---

3.7 推理增强模型 🃏 Joker

---

3.8 Agent/工具调用模型 ♣J

---

3.9 嵌入模型 ♣

---

3.10 医疗/科学模型 ♦10

---

3.11 音频语言模型 ♣J

---

3.12 检索增强 RAG 模型 ♣10

---

4. 技术对比

4.1 性能基准对比（2026年4月）

4.2 API 定价对比（2026年4月，每百万 Token）

4.3 许可协议汇总

---

5. 部署指南

5.1 硬件配置参考

5.2 推理框架对比

5.3 量化方案对比

5.4 代码示例

vLLM 部署：

from vllm import LLM, SamplingParams

llm = LLM(model="Qwen/Qwen2.5-72B-Instruct", tensor_parallel_size=4)
sampling_params = SamplingParams(temperature=0.7, max_tokens=2048)
outputs = llm.generate(["请介绍一下大语言模型的发展历程"], sampling_params)
print(outputs[0].outputs[0].text)

Ollama 部署：

# 安装
curl -fsSL https://ollama.com/install.sh | sh
# 运行
ollama run qwen2.5:72b

llama.cpp 量化：

# 量化为 Q4_K_M
./quantize model.gguf model-q4_k_m.gguf Q4_K_M
# 运行
./main -m model-q4_k_m.gguf -p "Hello, world!"

TGI Docker 部署：

docker run --gpus all -p 8080:80 \
  -v /path/to/model:/model \
  ghcr.io/huggingface/text-generation-inference:latest \
  --model-id /model --num-shard 4

---

6. 📈 LLM 发展时间线

从 2017 年 Transformer 诞生到 2026 年 AGI 级模型，大语言模型的发展可以用一副扑克牌的演进历程来理解。

6.1 里程碑事件

2017 ┃────────── Attention Is All You Need (Transformer) ──────┃
      │                                                           │
2018 ┃ GPT-1 ♥2  BERT ♠3  T5 ♣4                                │
      │   (117M)    (110M)   (220M)                               │
2019 ┃ GPT-2 ♥5  XLNet ♥6  ALBERT                              │
      │   (1.5B)   (340M)                                        │
2020 ┃ GPT-3 ♥K(175B)  GPT-J ♥8(6B)                            │
      │   Few-shot革命                                            │
2021 ┃ GLM-130B ♥Q  Codex ♦J  ERNIE 3.0                         │
      │   PaLM ♥K(540B)                                           │
2022 ┃ ChatGLM ♥7  Galactica ♦10  LLaMA 1 ♥Q                     │
      │   (开源爆发元年)                                           │
2023 ┃ GPT-4 ♥A  Claude 1 ♥Q  LLaMA 2 ♥K                        │
      │   Mistral 7B ♥J  GPT-4-turbo  DeepSeek-V1                │
      │   (闭源 vs 开源 分野)                                      │
2024 ┃ Claude 3.5  LLaMA 3/3.1  Gemma 2  Qwen 2/2.5              │
      │   DeepSeek-V2/V3  Mamba 🃏  o1 🃏  Phi-3                 │
      │   (MoE + SSM + 推理 三大革命)                             │
2025 ┃ GPT-5 ♥A  Claude 4/4.5  LLaMA 4 Behemoth(2T)♥K           │
      │   DeepSeek-R1 🃏(GRPO)  Kimi K2 🃏  Grok-3               │
      │   Qwen 3/3.5  Gemini 2.5  Mamba-3  RWKV-7               │
      │   (开源首次逼近闭源 SOTA)                                  │
2026 ┃ Claude 4.6 ♥A  Gemini 3.1  GLM-5  Kimi K2.5              │
      │   Intern-S1-Pro  Baichuan-M3  MiniMax-M2.5               │
      │   Qwen3.5  DeepSeek-V3.2  **GPT-5.4 (最新旗舰)**         │
      ┃────────── AGI 能力加速显现 ──────────────────────────────┃

6.2 代际演进特征

6.3 关键技术节点

注意力机制 (2017)
  └─→ 自回归预训练 (GPT, 2018)
       └─→ Scale-up (GPT-3 175B, 2020)  ──┐
                                             ├─→ 并行发展路径:
        RLHF 对齐 (InstructGPT, 2022) ──────┤  1️⃣ 闭源SOTA路线 → GPT-4/5, Claude
                                             │  2️⃣ 开源路线 → LLaMA → Mistral → Qwen
        LLaMA 开源引爆 (2023-02) ──────────┤  3️⃣ 架构创新 → Mamba, RWKV
                                             │  4️⃣ 推理增强 → o1, R1, QwQ
        MoE 效率突破 (Mixtral, 2023-12) ────┤  5️⃣ 多模态统一 → GPT-4V, Gemi
                                             │
        GRPO 纯RL推理 (DeepSeek-R1, 2025) ──┘

---

7. 🔬 训练方法与对齐技术

模型的"性格"由训练方法决定——同样的骨架，不同的训练方式会产生截然不同的模型。

7.1 预训练范式

7.2 对齐技术矩阵（核心）

7.3 技术演进脉络

SFT (2020) ──基础──→ 所有模型必经之路
                  │
    RLHF (2022) ←──标准── PPO + RM（需要大量人工标注）
       │            │
       │         DPO (2023) ←──简化── 无需RM，直接从偏好学习
       │            │
       │         ORPO/KTO/SimPO (2024) ──进一步降低门槛
       │
    GRPO (2025) ──突破── 无RM、组内相对排序 → 成本↓90%
       │
    RST (2025) ──极致── 纯推理时自训练 → 几乎零额外训练成本

💡 关键洞察：从 RLHF 到 GRPO 的进化，本质是逐步减少对人工标注和奖励模型的依赖。DeepSeek-R1 用 GRPO 以极低成本实现了媲美 o1 的推理能力，这是 2024-2025 最具影响力的算法创新之一。

7.4 数据工程

---

8. ⚡ 场景化模型选择指南

不知道该选哪个模型？根据你的场景，快速找到最合适的 🃏 卡牌。

8.1 决策树

你的主要使用场景是什么？
│
├─ 💬 日常对话 / 通用助手
│  ├─ 追求最强效果 → GPT-5 / Claude 4.6 (♥A, API)
│  ├─ 最佳性价比开源 → Qwen2.5-72B / Qwen3-235B (♥K)
│  ├─ 本地部署 (<16GB显存) → Qwen2.5-7B (♥J) / Phi-4 (♥10)
│  └─ 手机端部署 → Phi-4-mini / SmolLM2 (♥7)
│
├─ 💻 代码生成 / 编程助手
│  ├─ 商业级API → Claude 3.5/4 Sonnet (♥A) / GPT-5
│  ├─ 本地专业 → DeepSeek-Coder-V2-236B (♦J) / StarCoder2-15B
│  ├─ 轻量级 → Qwen2.5-Coder-32B (♦J) / CodeGeeX4-9B
│  └─ 补全/IDE集成 → StarCoder2-3B / CodeLlama-7B
│
├─ 🔢 数学推理 / 科学计算
│  ├─ 最强推理 → DeepSeek-R1 (🃏) / o3 (🃏) / QwQ (🃏)
│  ├─ 数学专用 → Qwen2.5-Math-72B (♦10) / NuminaMath-7B
│  └─ 轻量数学 → DeepSeekMath-7B / Llemma-7B
│
├─ 👁️ 图像理解 / 视觉问答
│  ├─ 最强视觉 → InternVL2-76B (♠K) / LLaVA-OneVision-72B (♠Q)
│  ├─ 平衡之选 → Qwen3-VL-8B (♠10) / CogVLM2-19B (♠J)
│  └─ 端侧部署 → MiniCPM-V-2.6-8B (♠9) / SmolVLM-2B (♠7)
│
├─ 🤖 Agent开发 / 工具调用
│  ├─ 强Agent框架 → Qwen-Agent-72B (♣K)
│  ├─ 工具调用专精 → ToolLLaMA-7B (♣J) / Gorilla-7B (♣J)
│  └─ API调用专精 → Gorilla (♣J)
│
├─ 🔍 向量检索 / 嵌入模型
│  ├─ 多语言通用 → BGE-M3 (♣Q) / GTE-Qwen2-7B (♣10)
│  ├─ 英文专用 → E5-Mistral-7B (♣10)
│  └─ 轻量嵌入 → Nomic Embed v2 (137M, ♣7)
│
├─ 🏥 医疗 / 法律 / 金融垂直领域
│  ├─ 医疗 → MedGemma / HuatuoGPT-o1 / BioMistral
│  ├─ 法律 → ChatLaw-13B
│  └─ 金融 → FinGPT-7B
│
└─ 📱 极致小模型 / 边缘设备
   ├─ <2B → TinyLlama-1.1B / Gemma-2-2B / SmolLM2-1.7B
   ├─ 2-4B → MiniCPM-2.4B / Phi-4-mini-3.8B / MobileLLM-1B
   └─ 移动端 → OpenELM系列 / Apple Intelligence Foundation Models

8.2 场景推荐速查表

8.3 硬件预算与模型匹配

预算等级          可运行模型示例                    适用场景
═════════════════════════════════════════════════════════════
手机/NPU     →  Phi-4-mini, SmolLM2, MiniCPM 4     端侧AI助手
单卡 RTX3060 →  Qwen2.5-7B, Mistral-7B, Gemma-2-9B  个人开发
单卡 RTX4090 →  Qwen2.5-32B, LLaMA 3-8B×2, CodeLlama-34B  专业开发
双卡 RTX4090 →  Qwen2.5-72B, LLaMA 3-70B INT4       小团队服务
单卡 A100 80G →  Mixtral 8x22B, DeepSeek-Coder-V2    企业研发
8× H100      →  LLaMA 4 Behemoth, DeepSeek-V3/R1    前沿研究
云API (无限)  →  GPT-5, Claude 4.6, Gemini 3.1      生产环境

---

9. 🌍 开源生态地图

开源模型之间不是孤立的——它们形成了复杂的衍生、合并和竞争关系。

9.1 主要家族谱系

                    Meta LLaMA (2023.02) ♥Q
                        │
            ┌───────────┼───────────┬───────────────┐
            ↓           ↓           ↓               ↓
       LLaMA 2      Vicuna      Alpaca          WizardLM
       (2023.07)    (LM Sys)    (Stanford)      (MSRA)
     ♥K            ♥Q          ♥8              ♥J
            │           │           │               │
            └─────┬─────┘           └───────┬───────┘
                  ↓                         ↓
           LLaMA 3/3.1/4              OpenChat
           ♥K/J/A                     ♥Q
                  │
    ┌─────────────┼─────────────┐
    ↓             ↓             ↓
 Yi 系列      Qwen 系列     Baichuan 系列
 (零一万物)   (阿里通义)     (百川智能)
 ♥10          ♥K            ♥Q
    │             │             │
    └─────┬───────┴─────────────┘
          ↓
   中国开源模型生态圈 (Apache 2.0)

                   Mistral AI (法国, 2023.09) ♥J
                        │
            ┌───────────┼───────────┐
            ↓           ↓           ↓
       Mixtral      Codestral    Mistral Large
       8x7B/8x22B    (代码专用)    2/3
       ♥Q            ♦J           ♥Q
            │                       │
            └───────────┬───────────┘
                        ↓
              欧洲开源模型中心 (Apache 2.0)

              DeepSeek (深度求索, 2024.01) 🃏 Joker
                        │
        ┌───────────────┼───────────────┐
        ↓               ↓               ↓
   DeepSeek-V2/V3   DeepSeek-R1    DeepSeek-Coder
   MoE架构          GRPO推理        代码专项
   ♥K               🃏              ♦J
        │               │               │
        └───────┬───────┴───────┬───────┘
                ↓               ↓
      DeepSeek-R1-Distill   DeepSeek-Math
      (蒸馏到Qwen/LaMA)     ♦10

9.2 架构影响关系

Transformer (2017)
  ├── Dense (主流): GPT → LLaMA → Qwen → Mistral → ...  (♥ 全家桶)
  │     └─ MoE分支: Switch → GLaM → Mixtral → DeepSeek-V2/V3 → DBRX → Arctic
  ├── SSM (状态空间): S4 → S5 → Mamba-1/2/3 → Falcon-H1 → Jamba  (🃏 Joker)
  ├── RNN变体: LSTM → RWKV-4/5/6/7  (🃏 Joker)
  ├── Hybrid混合: Jamba(M+A) → RecurrentGemma → Falcon-H1  (♣Q)
  └─ xLSTM扩展: xLSTM-7B  (🃏 Joker)

推理增强 (2024-2025):
  CoT → o1(o-style RL) → DeepSeek-R1(GRPO) → QwQ → Kimi K2(KTO+CoT) → R1-Zero(RST)

9.3 微调生态

---

10. 🔮 2026 技术趋势展望

基于当前技术轨迹，以下是值得关注的 6 大趋势。

10.1 六大趋势

🔄 趋势一：开源全面逼近闭源 SOTA

• 现象：Kimi K2 (MIT开源) 进入第一梯队，DeepSeek-R1 (MIT) 推理能力超越 o1
• 驱动力：GRPO/KTO 等高效对齐算法 + FP8 训练 + 合成数据
• 2026 预测：开源模型将在 80%+ 基准测试中达到或超过闭源同级模型
• 🃏 含义：更多 ♥A 级模型将变为开源可用

🧠 趋势二：推理时计算 (Test-Time Compute) 成为新范式

• 现象：o1/o3/R1/QwQ 通过延长思考链获得更强的推理能力
• 核心思路：用更多的推理时间换取更高的准确率
• 关键技术：CoT → Process Reward Model → Monte Carlo Tree Search → Verifier
• 2026 预测：每个主流模型都将有对应的 "思考模式"
• 🃏 含义：♦ 花色（推理）将诞生更多 🃏 Joker

🌐 趋势三：超长上下文成为标配

• 现状：Google Gemini 2M → MiniMax-M1 1M → LLaMA 4 Scout 10M
• 技术方案：RingAttention → YaRN → LongRoPE → Unbounded Context
• 2026 预测：100万+ token 上下文将成为旗舰模型的基础配置
• 🃏 含义：点数规则可能需要新增 "上下文维度"

🎯 趋势四：Agent 能力从工具调用走向自主规划

• 现状：Function Calling → ReAct → Plan-and-Solve → Multi-Agent
• 关键进展：
  • Qwen-Agent: 结构化工具调用框架
  • Claude 4.x: Extended Thinking + Computer Use
  • GPT-5: Operator-level autonomy
• 2026 预测：多 Agent 协作将成为企业级 AI 应用的主流模式
• 🃏 含义：♣ 花色（Agent）将出现更多 K/A 级别模型

⚡ 趋势五：端侧模型性能持续跃升

• 现状：Phi-4-mini (3.8B) ≈ GPT-3.5 水平；SmolLM2 (1.7B) 表现惊人
• 驱动力：量化技术 (INT4/INT2) + 知识蒸馏 + 架构搜索
• 硬件协同：Apple Silicon NPU / Qualcomm AI Engine / NVIDIA Jetson
• 2026 预测：3B 模型将达到 2024 年 13B 模型水平
• 🃏 含义：♥7 点数将承载越来越强的能力

🔗 趋势六：全模态统一 (Any-to-Any)

• 现状：GPT-5 (文本/图像/音频/视频) → Gemini 3.1 (原生多模态) → Qwen3.5 (全模态)
• 技术路径：统一Tokenizer → 统一架构 → 统一训练目标
• 2026 预测：单一模型处理所有模态将成为常态
• 🃏 含义：花色边界将模糊化，可能出现新的 🃏 "万能牌"

10.2 值得关注的模型发布

---

11. ❓ FAQ 常见问题

Q1: 🃏 扑克牌标记怎么记？

简单记忆法：

• ♥ 红心 = 心脏 = 语言（最重要的）
• ♠ 黑桃 = 铲子 = 视觉（像铲子一样"挖"信息）
• ♦ 方块 = 方正 = 代码/数学（结构化的东西都是方正的）
• ♣ 梅花 = 三叶草 = Agent/嵌入（三片叶子=多功能）
• 🃏 Joker = 王炸 = 打破规则的

Q2: 开源 vs 闭源怎么选？

💡 经验法则：日均调用量 < 10万 Token → API更省心；> 100万 Token → 自部署更划算。

Q3: 7B / 14B / 72B 模型差距有多大？

以 Qwen2.5 系列为例（MMLU-Pro基准）：

结论：7B 是分水岭——以下勉强能用，以上基本可靠。72B+ 进入专业领域。

Q4: 什么是 MoE？为什么重要？

Mixture of Experts (混合专家) 是一种让模型"又大又快"的架构：

传统 Dense 模型 (如 LLaMA 70B):
  输入 → [全部70B参数都参与计算] → 输出
  (每次推理都要加载全部参数)

MoE 模型 (如 Mixtral 8x7B = 总46.7B, 仅12.9B激活):
  输入 → [路由器选择其中2个专家] → [仅这2个专家计算] → 输出
  (每次推理只用到约1/4的参数)

一句话总结：MoE 让你拥有一个 671B 参数的大脑，但每次思考只动用其中的 37B。

Q5: 量化会损失多少精度？

经验：INT4/AWQ 量化是最佳平衡点——显存减半，精度几乎无损。

Q6: 如何快速开始部署一个模型？

# 方法一：Ollama（最快，适合新手）
ollama pull qwen2.5:7b
ollama run qwen2.5:7b

# 方法二：vLLM（高性能生产部署）
pip install vllm
python -c "
from vllm import LLM
llm = LLM(model='Qwen/Qwen2.5-7B-Instruct')
print(llm.generate('你好'))
"

# 方法三：llama.cpp（CPU/边缘设备）
# 下载 GGUF 文件后
./main -m qwen2.5-7b-q4_k_m.gguf -p 'Hello' -n 256

Q7: 本项目如何保持更新？如何贡献？

• Star ⭐ 仓库获取更新通知
• Watch 👀 设置 releases only 或 all activities
• Fork + PR 🍴 贡献新模型或修正错误
• Issue 🐛 提交问题或建议
• 更新频率：每周跟踪 arXiv 新论文，月度大版本更新

Q8: 🃏 HOMC 与其他 Awesome 列表有什么区别？

---

---

12. 🛡️ 安全与对齐

随着 LLM 能力的增强，安全对齐 (Alignment) 已从"锦上添花"变成"生死攸关"。本章梳理主流安全技术体系。

12.1 对齐技术全景图

12.2 主流安全框架对比

12.3 攻击类型与防御

常见攻击手段

防御最佳实践

🛡️ LLM 安全防御纵深体系:

第1层: 输入过滤 (Input Guardrails)
  ├── Prompt Injection 检测 (正则 + 模型分类)
  ├── PII/Sensitive Info 脱敏
  └── 长度/格式校验
      │
第2层: 模型内对齐 (Model Alignment)
  ├── RLHF / DPO / GRPO 训练
  ├── System Prompt 约束 ("你是助手，拒绝...")
  └── Refusal Training (学会优雅拒绝)
      │
第3层: 输出审查 (Output Filtering)
  ├── 有害内容检测 (Perplexity 异常)
  ├── PII 泄露检测
  └── 格式化输出约束 (JSON Schema)
      │
第4层: 运行时防护 (Runtime Protection)
  ├── 速率限制 (Rate Limiting)
  ├── 日志审计 (Audit Logging)
  └── 人机协同 (Human-in-the-loop for 高风险操作)

12.4 开源安全工具

---

13. 📏 评测基准详解

"你无法改进你不能测量的东西。" — 评测基准是 LLM 进化的标尺。

13.1 基准测试全景图

13.2 如何解读 Benchmark 分数

⚠️ Benchmark 解读指南：

❌ 错误认知：
   - "MMLU 90% = 这个模型什么都懂"
   - "HumanEval 95% = 可以替代程序员"
   - Benchmark 分数越高 = 实际体验越好

✅ 正确理解：
┌─────────────────────────────────────────────┐
│  Benchmark 是标准化场景，不是真实场景        │
│                                             │
│  • MMLU-Pro 考的是多项选择题（可猜）         │
│  • HumanEval 考的是简单函数生成              │
│  • GSM8K 的"数学"≈小学应用题                 │
│                                             │
│  真正重要的是：                             │
│  • 在你的具体任务上做 A/B Test               │
│  • 关注"失败案例"而非平均分                  │
│  • 考虑成本/延迟/质量的综合权衡               │
└─────────────────────────────────────────────┘

13.3 2026 年值得关注的新基准

---

14. 🔧 微调工具链与实战

从预训练模型到生产级应用的完整微调流水线。

14.1 微调范式总览

14.2 推荐工具链（2026 年版）

🥇 全流程一站式方案

🥈 专业组件

🥉 商业平台

14.3 LoRA 微调实战模板

# ====== QLoRA 微调标准模板 (2026 最佳实践) ======
from datasets import load_dataset
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments
from trl import SFTTrainer
import torch

# 1️⃣ 加载基座模型（以 Qwen2.5-7B 为例）
model_name = "Qwen/Qwen2.5-7B-Instruct"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    attn_implementation="flash_attention_2",  # ✅ 必须！
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 2️⃣ LoRA 配置（经验值）
lora_config = LoraConfig(
    r=64,           # 秩：越大表达能力越强，但过拟合风险↑
    lora_alpha=128, # 缩放系数 ≈ r × 2
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
                    "gate_proj", "up_proj", "down_proj"],
    lora_dropout=0.05,
    task_type="CAUSAL_LM",
)

# 3️⃣ 训练参数
training_args = TrainingArguments(
    output_dir="./output",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,  # 有效 batch = 16
    num_train_epochs=3,
    learning_rate=2e-4,             # LoRA 推荐学习率
    warmup_ratio=0.03,
    lr_scheduler_type="cosine",
    bf16=True,                      # BF16 > FP16 (无溢出)
    gradient_checkpointing=True,   # 节省显存 ~30%
    logging_steps=10,
    save_strategy="epoch",
    report_to="wandb",              # 可视化训练曲线
)

# 4️⃣ 数据准备（Alpaca 格式）
dataset = load_dataset("json", data_files="train_data.json")

# 5️⃣ 开始微调
trainer = SFTTrainer(
    model=model,
    train_dataset=dataset["train"],
    args=training_args,
    peft_config=lora_config,
    max_seq_length=2048,
)
trainer.train()

# 6️⃣ 保存 LoRA 权重（通常仅几十 MB）
trainer.save_model("./my-lora-adapter")
print("✅ 微调完成！LoRA 权重已保存")

# 7️⃣ 合并基座 + LoRA（可选）
# from peft import PeftModel
# base_model = AutoModelForCausalLM.from_pretrained(model_name)
# model = PeftModel.from_pretrained(base_model, "./my-lora-adapter")
# merged_model = model.merge_and_unload()
# merged_model.save_pretrained("./merged-model")

14.4 数据工程要点

---

15. 🏭 行业应用案例

LLM 从实验室走向真实世界的 10 大典型落地场景。

15.1 应用矩阵

15.2 RAG 架构最佳实践（企业知识库）

┌──────────────────────────────────────────────────────┐
│                企业级 RAG 架构图                       │
│                                                        │
│  👤 用户提问                                          │
│     │                                                  │
│     ▼                                                  │
│  ┌─────────────┐    ┌──────────────────┐              │
│  │ Query       │───→│ Intent Classifier │              │
│  │ Rewriting   │    │ (意图识别)        │              │
│  └─────────────┘    └────────┬─────────┘              │
│                               │                        │
│              ┌────────────────┼────────────────┐       │
│              ▼                ▼                ▼       │
│       ┌──────────┐   ┌──────────┐   ┌──────────┐     │
│       │ Keyword  │   │ Semantic │   │ Hybrid   │     │
│       │ Search   │   │ Search   │   │ Search   │     │
│       │ (BM25)   │   │ (BGE-M3) │   │ (两者结合)│     │
│       └────┬─────┘   └────┬─────┘   └────┬─────┘     │
│            │              │              │            │
│            ▼              ▼              ▼            │
│       ┌──────────────────────────────────────┐       │
│       │         Re-ranker (重排序)           │       │
│       │  bge-reranker-v2-m3 / Cohere Rerank  │       │
│       └──────────────┬───────────────────────┘       │
│                      ▼                              │
│       ┌──────────────────────────────────────┐       │
│       │  Context Assembly + Windowing        │       │
│       │  (上下文组装 + 滑动窗口截断)          │       │
│       └──────────────┬───────────────────────┘       │
│                      ▼                              │
│  ┌──────────────────────────────────────┐           │
│  │  LLM Generator (生成回答)            │ ◄── 🃏 ♥K   │
│  │  · 引用来源标注                      │           │
│  │  · 不确定时说"我不知道"              │           │
│  │  · 幻觉检测                          │           │
│  └──────────────────────────────────────┘           │
│                      │                              │
│                      ▼                              │
│              📤 结构化回答 + 引用                     │
│                                                        │
│  💾 存储层:                                           │
│  · 向量库: Milvus / Qdrant / FAISS                   │
│  · 文档库: Elasticsearch / MongoDB                     │
│  · 缓存: Redis                                       │
│                                                        │
│  🔄 数据流:                                           │
│  · 文档 → Chunk → Embed → Index → Retrieve → Generate │
└──────────────────────────────────────────────────────┘

15.3 成本估算模型

---

16. 💡 Prompt Engineering 指南

好的 Prompt = 好的结果。这是性价比最高的一项技能。

16.1 Prompt 设计核心原则

16.2 高阶 Prompt 技巧

Chain-of-Thought (CoT)

❌ 简单提问:
  "小明有5个苹果，给了小红2个，又买了3个，现在几个？"

✅ CoT 提问:
  "请按以下步骤解答:
   ① 列出初始数量
   ② 逐步计算每次变化
   ③ 给出最终答案和验证
   
   问题：小明有5个苹果，给了小红2个，又买了3个，现在几个？"

Self-Consistency (自洽采样)

# 同一问题采样多次，取多数投票结果
question = "求解: 15 × 23 + 47 ÷ 2 = ?"

answers = []
for _ in range(5):
    resp = llm.generate(question, temperature=0.7)
    answers.append(extract_answer(resp))

final_answer = majority_vote(answers)  # 取出现最多的答案

System Prompt 模板

你是一个专业的 {角色}。

## 能力
- 你精通 {领域1}、{领域2} 和 {领域3}
- 你的回答基于事实，不确定时会明确说明

## 约束
- 回答使用 {语言}
- 对于专业术语，首次出现时给出解释
- 代码必须通过编译/运行检查

## 输出格式
{具体的格式要求}

---
用户消息开始:
{user_message}

16.3 不同模型的 Prompt 偏好

---

17. 🎬 视频生成与世界模型

2025-2026 年最激动人心的前沿方向之一——从理解世界到生成世界。

17.1 视频生成模型

17.2 世界模型 (World Model)

17.3 从 LLM 到 World Model 的演进

LLM 发展路径 (2024-2030):

2024 ┃── 文本/图像理解 (GPT-4V, Gemini) ──────────┃
      │                                                    │
2025 ┃── 多模态统一 (GPT-5, Qwen3.5, Claude 4.6) ────────┃
      │                                                    │
2026 ┃── 视频生成 (Sora, Kling, Veo) ────────────────────┃
      │   · 理解时间连续性                                  │
      │   · 学习物理规律 (重力、碰撞、流体)                 │
      │                                                    │
2027? ┃── 交互式世界模型 ─────────────────────────────────┃
      │   · Genie 2: 图片→可交互 3D 世界                  │
      │   · 用户可以"走进"生成的世界                       │
      │                                                    │
2028? ┃── 通用世界模拟器 ────────────────────────────────┃
      │   · 统一的物理/社会/经济模拟                       │
      │   · AGI 的"沙箱训练场"                            │
      │                                                    │
      ┃────────── 最终目标: 理解并预测真实世界 ──────────┃

---

18. 参考文献

12.0 综述论文

• [1] arXiv:1706.03762 - Attention Is All You Need (Transformer)
• [2] arXiv:2303.18223 - A Survey of Large Language Models
• [3] arXiv:2402.06196 - Large Language Models: A Survey
• [117] arXiv:2404.07143 - The LLM Survey
• [118] arXiv:2310.15711 - A Survey on LLM-based Autonomous Agents
• [119] arXiv:2410.05829 - A Survey on Mixture of Experts

12.1 训练与对齐技术

• [120] arXiv:2203.02155 - Training LLMs to Follow Instructions with Human Feedback (InstructGPT/RLHF)
• [121] arXiv:2305.18290 - Direct Preference Optimization (DPO)
• [122] arXiv:2401.12987 - ORPO: Monolithic Preference Optimization
• [123] arXiv:2402.13213 - KTO: RL from Any Human Feedback
• [124] arXiv:2405.14734 - SimPO: Simple Preference Optimization
• [125] arXiv:2501.12948 - DeepSeek-R1: GRPO Reinforcement Learning
• [126] arXiv:2503.04208 - RST: Reasoning Self-Training

12.2 通用基础模型

• [4] arXiv:2005.14165 - GPT-3: Language Models are Few-Shot Learners
• [5] arXiv:2303.08774 - GPT-4 Technical Report
• [6] arXiv:2410.21276 - GPT-4o System Card
• [7] arXiv:2412.16720 - OpenAI o1 System Card
• [8] arXiv:2601.03267 - GPT-5 Technical Report
• [9] arXiv:2204.06745 - Constitutional AI (Claude)
• [10] arXiv:2310.01858 - Claude 2 Technical Report
• [11] arXiv:2302.13971 - LLaMA: Open Foundation Models
• [12] arXiv:2307.09288 - LLaMA 2: Open Foundation and Fine-Tuned Models
• [13] arXiv:2407.21783 - LLaMA 3 Technical Report
• [14] arXiv:2510.12178 - LLaMA 4 Technical Report
• [15] arXiv:2601.11659 - LLaMA 4 Full Report
• [16] arXiv:2408.00118 - Gemma 2: Open Models
• [17] arXiv:2503.19786 - Gemma 3 Technical Report
• [18] arXiv:2507.06261 - Gemini 2.5 Technical Report
• [19] arXiv:2309.00071 - Phi-1: Textbooks Are All You Need
• [20] arXiv:2306.11644 - Phi-1.5 Technical Report
• [21] arXiv:2404.14219 - Phi-3 Technical Report
• [22] arXiv:2412.08905 - Phi-4 Technical Report
• [23] arXiv:2504.21233 - Phi-4-mini Technical Report
• [24] arXiv:2504.21318 - Phi-4-reasoning Technical Report
• [25] arXiv:2310.06825 - Mistral 7B
• [26] arXiv:2401.04088 - Mixtral of Experts
• [27] arXiv:2311.16867 - Falcon LLM
• [28] arXiv:2407.14885 - Falcon 2
• [29] arXiv:2507.22448 - Falcon-H1: Hybrid Mamba-Transformer
• [30] arXiv:2402.00838 - OLMo: Open Language Model
• [31] arXiv:2501.00656 - OLMo 2
• [32] arXiv:2409.02060 - OLMoE: Open Mixture-of-Experts
• [33] arXiv:2204.06745 - GPT-NeoX-20B
• [34] arXiv:2304.01373 - Pythia: A Suite for Analyzing LLMs
• [35] arXiv:2211.05100 - BLOOM: A 176B-Parameter Open-Access Multilingual Model

12.3 中国模型

• [36] arXiv:2309.16609 - Qwen Technical Report
• [37] arXiv:2407.10671 - Qwen 2 Technical Report
• [38] arXiv:2412.15115 - Qwen 2.5 Technical Report
• [39] arXiv:2505.09388 - Qwen 3 Technical Report
• [40] arXiv:2401.02954 - DeepSeek LLM
• [41] arXiv:2405.04434 - DeepSeek-V2: A Strong MoE Model
• [42] arXiv:2412.19437 - DeepSeek-V3 Technical Report
• [43] arXiv:2501.12948 - DeepSeek-R1: Incentivizing Reasoning
• [44] arXiv:2210.02414 - GLM-130B
• [45] arXiv:2406.12793 - ChatGLM: A Family of Large Language Models
• [46] arXiv:2508.06471 - GLM-4.5 Technical Report
• [47] arXiv:2107.02137 - ERNIE 3.0
• [48] arXiv:2602.04705 - ERNIE 5.0 Technical Report
• [49] arXiv:2411.02265 - Hunyuan-Large: An Open-Source MoE Model
• [50] arXiv:2505.07062 - Seed1.5-VL Technical Report
• [51] arXiv:2501.12599 - Kimi k1.5: Scaling RL with LLMs
• [52] arXiv:2507.20534 - Kimi K2: A World-Class Open MoE Model
• [53] arXiv:2602.02276 - Kimi K2.5 Technical Report
• [54] arXiv:2501.08313 - MiniMax-Text-01
• [55] arXiv:2506.13585 - MiniMax-M1: Scaling Test-Time Compute
• [56] arXiv:2404.06395 - MiniCPM: Unveiling the Potential of Small Models
• [57] arXiv:2506.07900 - MiniCPM 4 Technical Report
• [58] arXiv:2403.17297 - InternLM2 Technical Report
• [59] arXiv:2603.25040 - Intern-S1-Pro Technical Report
• [60] arXiv:2309.10305 - Baichuan 2: Open Large-scale Language Models
• [61] arXiv:2501.15368 - Baichuan-Omni-1.5
• [62] arXiv:2502.12671 - Baichuan-M1 Technical Report
• [63] arXiv:2509.02208 - Baichuan-M2 Technical Report
• [64] arXiv:2602.06570 - Baichuan-M3 Technical Report
• [65] arXiv:2403.04652 - Yi: Open Foundation Models

12.4 代码模型

• [66] arXiv:2402.19173 - StarCoder 2
• [67] arXiv:2401.14196 - DeepSeek-Coder
• [68] arXiv:2406.11931 - DeepSeek-Coder-V2
• [69] arXiv:2409.12186 - Qwen2.5-Coder Technical Report
• [70] arXiv:2406.11409 - CodeGemma
• [71] arXiv:2411.04905 - OpenCoder: The Open Cookbook for Code LLMs
• [72] arXiv:2506.03524 - Seed-Coder Technical Report

12.5 数学模型

• [73] arXiv:2402.03300 - DeepSeekMath: Pushing the Limits of Mathematical Reasoning
• [74] arXiv:2409.12122 - Qwen2-Math Technical Report
• [75] arXiv:2501.07301 - Qwen2.5-Math Technical Report
• [76] arXiv:2310.10631 - Llemma: An Open Language Model for Mathematics

12.6 多模态 VLM

• [77] arXiv:2304.08485 - Visual Instruction Tuning (LLaVA)
• [78] arXiv:2310.03744 - LLaVA-1.5: Improved Baselines
• [79] arXiv:2509.23661 - LLaVA-OneVision-1.5
• [80] arXiv:2409.12191 - Qwen2-VL: Enhancing Vision-Language Models
• [81] arXiv:2511.21631 - Qwen3-VL Technical Report
• [82] arXiv:2412.05271 - InternVL 2.5: Multimodal Large Language Model
• [83] arXiv:2504.10479 - InternVL3 Technical Report
• [84] arXiv:2504.05299 - SmolVLM: Small Vision Language Models
• [85] arXiv:2312.16862 - TinyGPT-V

12.7 小语言模型 SLM

• [86] arXiv:2401.02385 - TinyLlama: An Open-Source Small Language Model
• [87] arXiv:2502.02737 - SmolLM2: When Smol Goes Big

12.8 MoE 架构

• [88] arXiv:2402.01739 - OpenMoE: Open Mixture-of-Experts Language Models
• [89] arXiv:2406.06563 - Skywork-MoE: A Deep Dive into Training Techniques

12.9 新架构（SSM/RNN/Hybrid）

• [90] arXiv:2312.00752 - Mamba: Linear-Time Sequence Modeling
• [91] arXiv:2405.21060 - Mamba-2: Transformers are SSMs
• [92] arXiv:2603.15569 - Mamba-3 Technical Report
• [93] arXiv:2305.13048 - RWKV: Reinventing RNNs for the Transformer Era
• [94] arXiv:2503.14456 - RWKV-7: Advancing Linear Attention
• [95] arXiv:2510.02228 - xLSTM 7B
• [96] arXiv:2404.07839 - RecurrentGemma: Moving Past Transformers
• [97] arXiv:2302.10865 - Hyena Hierarchy
• [98] arXiv:2307.08621 - Retentive Network: A Successor to Transformer

12.10 推理与对齐

• [99] arXiv:2305.18290 - Direct Preference Optimization (DPO)
• [100] arXiv:2309.12284 - Safe RLHF: Safe Reinforcement Learning from Human Feedback

12.11 Agent/工具调用

• [101] arXiv:2310.05146 - ToolLLM: Facilitating LLMs to Master Tools
• [102] arXiv:2305.15334 - Gorilla: Large Language Model Connected with APIs

12.12 嵌入模型

• [103] arXiv:2402.03216 - BGE M3-Embedding: Multi-Lingual, Multi-Functionality
• [104] arXiv:2506.05176 - Qwen3-Embedding Technical Report

12.13 音频语言

• [105] arXiv:2306.05284 - Simple and Controllable Music Generation (MusicGen)
• [106] arXiv:2406.02430 - Seed-TTS: A Family of High-Quality Versatile Speech Generation

12.14 医疗/科学

• [107] arXiv:2402.10373 - BioMistral: A Collection of Medical LLMs
• [108] arXiv:2401.07950 - SciGLM: Training Scientific Language Models
• [109] arXiv:2412.18925 - HuatuoGPT-o1: Medical Complex Reasoning
• [110] arXiv:2507.05201 - MedGemma: Medical Language Understanding
• [111] arXiv:2411.10137 - ChatLaw: Legal Large Language Model
• [112] arXiv:2308.02773 - EduChat: A Large-Scale Educational Dialogue System

12.15 RAG/长上下文

• [113] arXiv:2310.11511 - Self-RAG: Learning to Retrieve, Generate, and Critique
• [114] arXiv:2309.17453 - Efficient Streaming Language Models with Attention Sinks

12.16 其他

• [115] arXiv:2507.13575 - Apple Intelligence Foundation Language Models
• [116] arXiv:2407.18559 - VSSD: Vision Mamba with Non-Causal State Space Duality

---

19. 资源索引

13.1 GitHub 仓库索引（152个）

👂 点击展开完整 GitHub 仓库列表

序号	仓库	说明
1	openai/openai-cookbook	OpenAI 官方示例
2	openai/whisper	语音识别
3	meta-llama/llama-models	LLaMA 官方
4	meta-llama/codellama	CodeLlama
5	google-deepmind/gemma	Gemma 官方
6	google/gemma_pytorch	Gemma PyTorch
7	google-deepmind/codegemma	CodeGemma
8	google-deepmind/recurrentgemma	RecurrentGemma
9	microsoft/Phi-4	Phi-4 官方
10	microsoft/Phi-3-cookbooks	Phi-3 示例
11	microsoft/LongRoPE	长上下文技术
12	xai-org/grok-1	Grok-1 开源
13	mistralai/mistral-inference	Mistral 推理
14	tiiuae/falcon-llm	Falcon 官方
15	tiiuae/Falcon-H1	Falcon-H1 混合架构
16	allenai/OLMo	OLMo 官方
17	allenai/OLMo-core	OLMo 核心
18	allenai/molmo	Molmo 多模态
19	EleutherAI/gpt-neox	GPT-NeoX
20	EleutherAI/pythia	Pythia
21	Stability-AI/StableLM	StableLM
22	databricks/dbrx	DBRX
23	Snowflake-Labs/snowflake-arctic	Arctic
24	AI21Labs/Jamba	Jamba
25	QwenLM/Qwen	Qwen 官方
26	QwenLM/Qwen2.5	Qwen2.5
27	QwenLM/Qwen3	Qwen3
28	QwenLM/Qwen2.5-Coder	Qwen 代码模型
29	QwenLM/Qwen2.5-Math	Qwen 数学模型
30	QwenLM/Qwen2-VL	Qwen 视觉语言
31	QwenLM/Qwen3-VL	Qwen3 视觉语言
32	QwenLM/Qwen2-Audio	Qwen 音频
33	QwenLM/Qwen-Agent	Qwen Agent
34	QwenLM/QwQ	QwQ 推理模型
35	QwenLM/Qwen3-Embedding	Qwen 嵌入
36	QwenLM/Qwen3-Omni	Qwen 全模态
37	deepseek-ai/DeepSeek-V3	DeepSeek-V3
38	deepseek-ai/DeepSeek-R1	DeepSeek-R1
39	deepseek-ai/DeepSeek-Coder	DeepSeek 代码
40	deepseek-ai/DeepSeek-Coder-V2	DeepSeek 代码 V2
41	deepseek-ai/DeepSeekMath	DeepSeek 数学
42	THUDM/GLM-4	GLM-4 官方
43	THUDM/ChatGLM3	ChatGLM3
44	THUDM/GLM-4-Voice	GLM 语音
45	THUDM/CodeGeeX4	CodeGeeX4
46	THUDM/CogVLM2	CogVLM2
47	THUDM/SciGLM	SciGLM
48	THUDM/AgentTuning	AgentTuning
49	PaddlePaddle/ERNIE	ERNIE 官方
50	Tencent/Hunyuan-Large	混元 Large
51	ByteDance-Seed/Seed-Coder	Seed 代码
52	ByteDance-Seed/Seed1.5-VL	Seed 视觉
53	MoonshotAI/Kimi-K2	Kimi K2
54	MoonshotAI/kimi-k1.5	Kimi k1.5
55	MiniMax-AI/MiniMax-M1	MiniMax-M1
56	OpenBMB/MiniCPM	MiniCPM
57	OpenBMB/MiniCPM-V	MiniCPM-V
58	OpenBMB/MiniCPM-o	MiniCPM-o
59	OpenBMB/ToolBench	ToolBench
60	InternLM/InternLM	InternLM
61	InternLM/InternLM-Math	InternLM 数学
62	InternLM/lmdeploy	LMDeploy
63	OpenGVLab/InternVL	InternVL
64	baichuan-inc/Baichuan2	Baichuan2
65	01-ai/Yi	Yi
66	01-ai/Yi-1.5	Yi-1.5
67	stepfun-ai/Step-3.5-Flash	Step
68	Qihoo360/360zhinao	360 智脑
69	bigcode-project/starcoder2	StarCoder2
70	OpenCoder-llm/OpenCoder-llm	OpenCoder
71	nlpxucan/WizardLM	WizardLM
72	ise-uiuc/magicoder	Magicoder
73	eleutherai/llemma	Llemma
74	meta-math/MetaMath	MetaMath
75	mathllm/MathCoder	MathCoder
76	project-numina/aimo-progress-prize	NuminaMath
77	haotian-liu/LLaVA	LLaVA
78	LLaVA-VL/LLaVA-NeXT	LLaVA-NeXT
79	EvolvingLMMs-Lab/LLaVA-OneVision-1.5	LLaVA-OneVision
80	jzhang38/TinyLlama	TinyLlama
81	huggingface/smollm	SmolLM
82	facebookresearch/MobileLLM	MobileLLM
83	state-spaces/mamba	Mamba
84	BlinkDL/RWKV-LM	RWKV
85	RWKV/RWKV-v7	RWKV-7
86	ShishirPatil/gorilla	Gorilla
87	FlagOpen/FlagEmbedding	BGE 嵌入
88	BioMistral/BioMistral	BioMistral
89	paperswithcode/galai	Galactica
90	facebookresearch/audiocraft	MusicGen
91	bytedance/Seed-TTS	Seed-TTS
92	bytedance/SALMONN	SALMONN
93	gpt-omni/mini-omni	Mini-Omni
94	AkariAsai/self-rag	Self-RAG
95	google-deepmind/retro	Retro
96	vllm-project/vllm	vLLM
97	huggingface/text-generation-inference	TGI
98	ollama/ollama	Ollama
99	ggerganov/llama.cpp	llama.cpp
100	sgl-project/sglang	SGLang
101	NVIDIA/TensorRT-LLM	TensorRT-LLM
102	mit-han-lab/llm-awq	AWQ 量化
103	AutoGPTQ/AutoGPTQ	GPTQ 量化
104	bitsandbytes-foundation/bitsandbytes	bitsandbytes
105	turboderp/exllamav2	ExLlamaV2
106	lm-sys/FastChat	FastChat

13.2 HuggingFace 链接索引（162个）

👂 点击展开完整 HuggingFace 链接列表

序号	链接	说明
1	meta-llama	LLaMA 系列
2	google	Gemma/Gemini
3	microsoft	Phi 系列
4	mistralai	Mistral 系列
5	Qwen	通义千问
6	deepseek-ai	DeepSeek
7	THUDM	GLM 系列
8	tiiuae	Falcon
9	allenai	OLMo
10	EleutherAI	Pythia
11	bigscience/bloom	BLOOM
12	stabilityai	StableLM
13	databricks/dbrx-instruct	DBRX
14	Snowflake	Arctic
15	ai21labs	Jamba
16	CohereForAI	Command
17	01-ai	Yi
18	baichuan-inc	Baichuan
19	internlm	InternLM
20	openbmb	MiniCPM
21	bigcode	StarCoder
22	codellama	CodeLlama
23	WizardLM	WizardLM
24	TinyLlama	TinyLlama
25	HuggingFaceTB	SmolLM
26	state-spaces	Mamba
27	RWKV	RWKV
28	BlinkDL	RWKV
29	NX-AI/xLSTM-7b	xLSTM
30	BAAI	BGE 嵌入
31	Alibaba-NLP	GTE 嵌入
32	intfloat	E5 嵌入
33	nomic-ai	Nomic 嵌入
34	jinaai	Jina 嵌入
35	BioMistral	BioMistral
36	facebook/galactica-120b	Galactica
37	AI-MO	NuminaMath
38	ToolBench/ToolLLaMA-7b	ToolLLaMA
39	OpenGVLab	InternVL
40	liuhaotian	LLaVA
41	lmsys	Vicuna
42	NousResearch	Hermes
43	moonshotai	Kimi
44	MiniMaxAI	MiniMax
45	ByteDance-Seed	Seed 系列
46	stepfun-ai	Step
47	Qihoo360	360 智脑
48	tencent	混元
49	apple	OpenELM
50	infly	OpenCoder

---

20. 贡献指南

14.1 🃏 Model Card 模板（含扑克牌标记）

### 模型名称

| 版本 | 发布时间 | 参数规模 | 上下文 | 许可协议 | 核心特性 | 🃏 标记 |
|:---|:---|:---|:---|:---|:---|:---|
| v1.0 | YYYY-MM | XB | XK | License | 特性描述 | ♥J |

**官方资源**：
- 📄 论文：[arXiv:XXXX.XXXXX](https://arxiv.org/abs/XXXX.XXXXX)
- 💻 GitHub：[org/repo](https://github.com/org/repo)
- 🤗 HuggingFace：[org/model](https://huggingface.co/org/model)
- 📖 API：https://api.example.com

14.2 🃏 扑克牌标记规范

在贡献新模型时，请按照以下规则添加扑克牌标记：

1. 选择花色：根据模型的主要功能选择 ♠/♥/♦/♣
2. 选择点数：根据参数规模选择 2-7 / 8-10 / J / Q / K / A
3. 特殊标记：如果模型有突破性创新，考虑使用 🃏 Joker
4. 在表格中标注：在每个模型系列的标题后标注花色符号

标记决策树：

模型是否具有范式创新？
├─ 是 → 🃏 Joker（如 Mamba、RWKV、DeepSeek-R1）
└─ 否 → 主要功能是什么？
    ├─ 通用语言生成 → ♥ + 按规模定点数
    ├─ 视觉/多模态理解 → ♠ + 按规模定点数
    ├─ 代码/数学/推理 → ♦ + 按规模定点数
    ├─ Agent/嵌入/RAG → ♣ + 按规模定点数
    └─ 其他 → 选择最接近的花色

14.3 贡献流程

1. Fork 仓库 → 创建分支 → 修改内容 → 提交 PR
2. Issue 提交：发现错误或遗漏请提交 Issue
3. 内容要求：
   • 确保 arXiv 编号正确
   • 确保链接有效可访问
   • 遵循现有格式规范（含 🃏 标记）
   • 新增模型需包含扑克牌分类标记

14.4 贡献者名单

感谢所有贡献者！欢迎 PR 和 Issue。

---

21. 更新日志

---

🃏 关于 House of Model Cards (HOMC)

🎴 一副扑克，尽览 AI 模型全景

本项目采用了受 isLinXu/house-of-model-cards 启发的 House of Model Cards (HOMC) 分类体系。核心理念是：

"每个 AI 模型都是一张独特的卡牌 —— 有其专属的花色（能力领域）、点数（规模等级），以及可能隐藏的 Joker 惊喜（突破性创新）。"

致谢

• isLinXu/house-of-model-cards — 原 HOMC 项目的创意启发
• 所有开源模型的研究团队和工程师们
• 本项目的所有贡献者

---

⭐ Star History

如果这个项目对您有帮助，请给我们一个 Star！⭐

您的支持是我们持续更新的动力！

---

📜 License

MIT License © 2025-2026 Awesome LLM Model List Contributors