大规模语言模型：从理论到实践（第2版）

适读人群 ：AI从业者、高年级本科生和研究生、对大模型感兴趣的读者

复旦NLP团队2025年新作

新增内容超过50%

详解MOE、多模态、智能体、RAG、大模型效率优化、预训练、指令微调、强化学习、对齐、评估、应用开发

深入探讨LLM的实际应用场景和评价方法，为读者提供理论指导与实践经验

构建LLM的每个阶段都有算法、数据来源、代码、难点及实践经验的详细讨论

配代码

本书封底含有wispaper.ai科研助手智能体（预计2025年6月上线）邀请码，凭邀请码可免费使用。

本书共12章，围绕大语言模型基础理论、预训练、指令理解、模型增强和模型应用五个部分展开：第一部分介绍大语言模型的基础理论；第二部分介绍大语言模型的预训练，包括大语言模型预训练数据和分布式训练；第三部分介绍大语言模型如何理解并服从人类指令，包括有监督微调和强化学习；第四部分介绍大语言模型增强技术，包括多模态语言模型、大模型智能体和检索增强生成；第五部分介绍大模型应用，包括大模型效率优化、模型评估和应用开发。

张奇

复旦大学计算机科学技术学院教授、博士生导师。兼任上海市智能信息处理实验室副主任，中国中文信息学会理事、CCF大模型论坛常务委员、CIPS信息检索专委会常务委员、CIPS大模型专委会委员。多次担任ACL、EMNLP、COLING、全国信息检索大会等重要国际和国内会议的程序委员会主席、领域主席、讲习班主席等职务。近年来，承担了国家重点研发计划课题、国家自然科学基金、上海市科委等的多个项目，在国际重要学术期刊和会议上发表论文200余篇。获得WSDM 2014最佳论文提名奖、COLING 2018 领域主席推荐奖、NLPCC 2019杰出论文奖、COLING 2022杰出论文奖。获得上海市“晨光计划”人才计划、复旦大学“卓越2025”人才培育计划等支持，获得钱伟长中文信息处理科学技术一等奖、汉王青年创新一等奖、上海市科技进步二等奖、IBM Faculty Award等奖项。

桂韬

复旦大学副研究员。研究领域为预训练模型、类人对齐和智能体交互。在国际重要学术期刊和会议上发表论文50余篇，主持国家自然科学基金、计算机学会和人工智能学会的多个人才项目。获得钱伟长中文信息处理科学技术一等奖、NeurIPS 2023大模型对齐 Track最佳论文奖，入选第七届“中国科协青年人才托举工程”、上海市启明星计划。

郑锐

博士毕业于复旦大学计算机科学技术学院，师从张奇教授。曾任字节跳动豆包大模型团队算法工程师，现就职于某前沿科技公司，研究方向为大模型对齐、复杂推理能力提升。获得NeurIPS Workshop on Instruction Following 2024最佳论文奖。MOSS-RLHF开源项目负责人，开源了RLHF代码库及技术文档，推动大模型对齐技术发展。在ICLR、ICML、NeurIPS、ACL等国际会议上发表多篇论文。

黄萱菁

复旦大学特聘教授、博士生导师。主要从事人工智能、自然语言处理和大语言模型研究。兼任中国计算机学会理事、自然语言处理专委会主任、中国中文信息学会理事、计算语言学学会亚太分会主席。在国际重要学术期刊和会议上发表论文200余篇，获优秀论文奖8项。获得钱伟长中文信息处理科学技术一等奖、上海市育才奖，以及人工智能全球女性学者、福布斯中国科技女性等多项荣誉。

本书共分为12章，围绕大语言模型基础理论、预训练、指令理解、大模型增强和大模型应用五个部分展开：第1部分介绍大语言模型的基础理论；第2部分介绍大语言模型的预训练，包括大语言模型预训练数据和分布式训练；第3部分介绍大语言模型如何理解并服从人类指令，包括指令微调和强化学习；第4部分介绍大语言模型增强技术，包括多模态大语言模型、大模型智能体和检索增强生成；第5部分介绍大模型应用，包括大语言模型效率优化、大语言模型评估和大语言模型应用开发。

第2章介绍大语言模型的基础理论知识，包括语言模型的定义、Transformer结构、大语言模型框架等内容，并以LLaMA使用的模型结构为例介绍代码实例。

第3章和第4章围绕大语言模型预训练阶段的主要研究内容展开介绍，包括模型分布式训练中需要掌握的数据并行、流水线并行、张量并行及ZeRO系列优化方法。除此之外，还将介绍预训练需要使用的数据分布和数据预处理方法，并以DeepSpeed为例介绍如何进行大语言模型预训练。

第5章和第6章聚焦于大语言模型指令理解阶段的核心研究内容，探讨如何通过指令微调和强化学习方法，使模型能够理解指令并生成类人回答。第5章重点介绍模型微调技术、指令微调数据的构造策略以及高效微调方法，如LoRA、Delta Tuning等方法，第6章则围绕强化学习展开，讲解其基础理论与近端策略优化（PPO）技术，并结合实际案例，以DeepSpeed-Chat和verl框架为例，详细说明如何训练类ChatGPT系统。

第7章、第8章和第9章围绕提升大语言模型的能力展开详细探讨，内容涵盖多模态大语言模型、大模型智能体和检索增强生成。第7章重点介绍多模态大语言模型的基础理论、架构设计与训练策略，并探讨其在实际场景中的应用实践；第8章聚焦于智能体的发展历程与大语言模型智能体的架构设计，深入分析智能体的实现原理，并以LangChain为例详细阐述具体实践；第9章则围绕检索增强生成展开讨论，介绍其核心思想与实现方式，涵盖检索增强框架的设计、检索模块与生成模块的协作机制，以及其在具体任务场景中的应用方法与实践。

第10章、第11章和第12章主要围绕如何应用大语言模型展开讨论，内容涵盖提升模型效率的方法、大语言模型评估，以及大语言模型典型应用的开发与部署。第10章重点介绍模型压缩与优化、训练效率优化和推理效率优化等提升模型效率的关键技术；第11章聚焦于大语言模型评估，探讨其基本概念和难点，阐述评估体系的构建、评估方法的设计及实际评估的实施；第12章则基于典型的大语言模型应用场景，详细介绍其开发流程、开发工具及本地部署的实践方法。

随着ChatGPT的问世，大语言模型展现出巨大潜力，对人工智能发展产生了深远影响。面对这一迅速发展的技术，如何快速理解其理论并参与实践是我们必须要面对的挑战。本书在第1版的基础上增加了多模态、智能体、RAG等章节，并对指令微调和强化学习部分进行了大幅修改，旨在帮助读者深入理解大语言模型的原理，提供实操指导，值得阅读。

柴洪峰　中国工程院院士

本书深入解析了大语言模型的基本原理，分析了当前几种有代表性的大语言模型的学理特点，分享了作者在这一领域的实践经验。本书的出版恰逢其时，是学术界和产业界不可多得的读物，将助力读者进一步探索和应用大语言模型。

蒋昌俊　中国工程院院士

本书全面解析了大语言模型的发展历程、理论基础与实践方法，对大语言模型预训练、指令微调、强化学习、多模态、智能体、RAG等前沿领域的研究进展有较好的覆盖。此外，本书深入探讨了大语言模型的实际应用场景与评价方法，为研究者提供了系统的理论指导与实践经验。相信本书对从事相关研究的学者和大语言模型开发者具有重要的参考价值。

周伯文　上海人工智能实验室主任、首席科学家，清华大学惠妍讲席教授