大语言模型

作者：赵鑫，李军毅，周昆，唐天一，文继荣

关于本书

为了更好地普及和传播大模型技术的最新进展与技术体系，我们于2023年3月发表了大语言模型英文综述文章《A Survey of Large Language Models》，并不断进行更新完善，目前已经更新至第14个版本，95页正文1064个参考文献。自英文综述文章上线后，陆续有读者询问该英文综述文章是否有对应的中文版本。为此，我们于2023年8月发布了该综述（v10）的中文翻译版。2023年12月底，为了更好地提供大模型技术的中文参考资料，我们启动了中文书的编写工作，并且于2024年4月完成初稿，经过历时5个月的后续修正与完善，这本书终于出版了。

与英文综述文章的定位不同，本书更关注为大模型初学者提供整体的技术讲解，为此我们在内容上进行了大范围的更新与重组，力图展现一个系统的大模型技术框架和路线图。本书适用于具有深度学习基础的读者阅读，可以作为一本基础的大模型参考书籍。在准备中文书的过程中，我们广泛阅读了现有的经典论文、相关代码和学术教材，从中提炼出核心概念、算法与模型，并进行了系统性的组织与讲解。我们对于每个章节的内容初稿都进行了多次修正，力求表达的清晰性与准确性。然而在图书编写过程中，我们深感自身能力与知识的局限性，尽管已经付出了巨大的努力，但仍难免会有遗漏或不足之处。本书的出版仅是一个起点，我们将编写此书的过程也作为一个自身的学习过程，希望能够通过本书与读者进行深入交流，向更多的行业同行学习，欢迎大家为这本书提出宝贵的指导建议。

推荐语

课程资源

为了帮助课程教学及传播大模型知识，《大语言模型》编写团队特别提供了相应的PDF课件：

PPT课件获取

对于将本纸质书籍列为主要授课书籍的课程，如果需要相应的原始PPT课件进行授课，请使用机构邮箱联系 rucaibox at 163.com 进行申请。

邮件标题：《大语言模型》PPT课件-{姓名}-{机构}

邮件内容请说明

已将本纸质书籍列为主要授课书籍，课程中需要明确地注明课件来源（请在教学课件中或者教学大纲中说明），PPT课件仅用于课程教学，并列出课程名称。

未经许可，不得二次传播和上网传播。

对于申请课件的邮件，下列情况不予回复:

1. 没有个人和课程的基本介绍，拷贝模板内容，没有使用所在机构认证的邮箱;

2. 助教代为申请，没有抄送老师；

3. 公司培训和个人学习用途（如公司需要，需走商业流程），个人学习可以直接使用pdf版本。

代码获取

所有本书中的代码片段已公开在github，可前往获取：code。

教学视频获取

相关课程教学视频已公开在 bilibili 网站：观看视频

引用格式

@book{LLMBook,
  title = {大语言模型},
  publisher = {高等教育出版社},
  year = {2024},
  author = {赵鑫, 李军毅, 周昆, 唐天一, 文继荣},
  address = {北京},
  url = {https://llmbook-zh.github.io/},
}

内容贡献

本书各章节的主要负责人和参与人名单如下：

• 第三章的负责人是闵映乾和杨晨，参与人有李军毅、周昆；
• 第四章的负责人是张君杰、侯宇蓬和周昆；
• 第五章的负责人是董梓灿，参与人有田震和唐天一；
• 第六章的负责人是唐天一和陈昱硕；
• 第七章的负责人是唐天一，参与人有成晓雪；
• 第八章的负责人是李军毅和陈志朋；
• 第九章的负责人是陈昱硕、刘沛羽和唐天一，参与人有周昆；
• 第十章的负责人是李军毅、汤昕宇和都一凡，参与人有王晓磊；
• 第十一章的负责人是任瑞阳和蒋锦昊，参与人有李军毅；
• 第十二章的负责人是张北辰和周昆，参与人有张高玮；
• 第十三章的负责人是周昆，参与人（按拼音字母排序）有蒋锦昊、李依凡、刘子康、孙文奇、王禹淏、徐澜玲、杨锦霞和郑博文。

同时感谢其他参与本书编写、校对的同学，他们（按拼音字母排序）是：曹乾、曹展硕、陈杰、程伽雅琪、戴孙浩、邓欣、丁毅杰、冯雪扬、高泽峰、苟志斌、辜子惠、郭歌扬、何东楠、侯新铭、胡译文、李炳黔、李成远、李欣潼、刘恩泽、刘炯楠、刘子涵、罗文扬、梅朗、欧柯杉、彭涵、阮恺、苏炜航、孙一丁、汤奕如、王家鹏、王磊、王淑婷、姚峰、尹彦彬、詹玉梁、张景森、张良、朱天宇和朱余韬。

反馈意见

在准备中文书的过程中，我们广泛阅读了现有的经典论文、相关代码和教材，从中提炼出核心概念、主流算法与模型，并进行了系统性的组织与介绍。 我们对于每个章节的内容初稿都进行了多次修正，力求表达的清晰性与准确性。 然而，在书写过程中，我们深感自身能力与知识的局限性，尽管已经付出了极大的努力，但难免会有遗漏或不当之处。本书的初版仅是一个起点，我们计划在网上持续进行内容的更新和完善，并特别欢迎读者提出宝贵的批评与建议，也会同步在网站上对于提出宝贵建议的读者进行致谢。我们将编写此书的过程当做一个自身的学习过程，也希望能够通过本书与读者进行深入交流，向更多的行业同行学习。

本书凝聚了“玉兰”项目团队的核心开发经验。为服务更广泛的开发者生态，“玉兰”项目在提供主流 PyTorch 实现的同时，也完成了对 PaddlePaddle 框架的同步支持（PaddlePaddle版本），确保了技术的通用性与自主性。本书的撰写与出版工作，荣幸地获得了北京市科技计划的立项支持，这既是对我们技术路线的肯定，也为本书内容的深度与质量提供了坚实保障。

如果您有任何意见、评论以及建议（先确认最新版本中是否已经修正），请通过GitHub的Issues页面进行反馈，或通过邮件发送至作者邮箱batmanfly at qq.com，lijunyi at ruc.edu.cn，francis_kun_zhou at ruc.edu.cn，steventianyitang at outlook.com。

为了方便阅读，这里提供之前的中文书电子版本： 下载链接1，下载链接2，但由于后续修订和篇幅原因，大模型应用章节未纳入正式出版，一切内容以正式出版物为准。