ChatGLM部署、微调与开发 宫继兵等

①知识全面性：从基本概念、产品使用，到大模型相关理论及应用基础知识，再到实践案例部署、微调与开发；
②资源全面性：提供全面的学习资源，包括案例系统源码、教学PPT、难点教学实操视频，本地化书籍大模型AI助手等；
③读者的全面性：不同层次读者都能够各取所需，同时获得清晰的学习引导。

本书系统介绍了ChatGLM大语言模型的部署、微调与开发，并提供了极具参考价值的大模型应用实战案例。所设计的学习架构包含三个核心部分：①应用技术篇。首先深入浅出地介绍什么是人工智能和大模型，并详细介绍”智谱清言”这一款大模型产品的使用方法，以帮助读者获得一个有效提升工作和学习效率的技术手段。其次，从技术和应用角度介绍了大模型的国内外研究和发展现状，并展望了大模型未来的发展趋势。②理论基础篇。该部分给出了大模型相关理论、模型和任务框架，以及GLM训练、微调、部署及评估等基础知识，还论述了大模型与知识图谱相结合使用的情况。③实践案例篇。由于当前大模型技术的独特性，目前还没有整合大模型的集成开发环境，本书给出了一套基于当前已有工具并对其进行优化配置的开发方案，通过”新手验证”模式，手把手教会读者开发一套完整的案例系统。通过该系统可以学会如何应用语言大模型技术、大模型代码生成技术、多模态大模型技术和智能体技术，同时也掌握了开发部署基于大模型技术的智能信息服务系统的实践知识和经验。
　　本书面向大模型技术兴趣爱好者，也可供普通高校计算机专业本科生和研究生教学使用，还可以作为大模型应用系统设计及开发的培训教材。

燕山大学教师

序言一
序言二
前　言
PART??1
第一部分　应用技术篇
第1章　人工智能大模型概述 2
1.1　人工智能与大模型简介 2
1.2　大模型的概念 7
1.3　大模型的分类 12
1.4　大模型的应用 14
1.5　大模型的国内外发展现状 18
1.6　大模型的意义 25
1.7　本章小结 25
第2章　ChatGLM 26
2.1　智谱AI简介 26
2.2　ChatGLM是怎样炼成的 27
2.3　提示词工程 33
2.4　ChatGLM应用案例 39
2.5　本章小结 59
第3章　大模型国内外商业应用案例 60
3.1　GLM企业级解决方案及十大应用案例 60
3.2　国内其他大模型商业应用案例 67
3.3　国外大模型商业应用案例 72
3.4　国内外大模型应用落地现状 79
3.5　本章小结 79
第4章　大模型未来发展趋势及挑战 80
4.1　大模型技术发展趋势 80
4.2　大模型产业应用趋势 86
4.3　人工智能伦理与安全 88
4.4　大模型面临的挑战 91
4.5　本章小结 92
PART??2
第二部分　理论基础篇
第5章　机器学习与深度学习概述 94
5.1　机器学习基础概念 94
5.2　深度学习基本原理 101
5.3　本章小结 113
第6章　大模型的任务与典型框架 115
6.1　自然语言处理大模型 115
6.2　计算机视觉大模型 123
6.3　多模态大模型 125
6.4　本章小结 127
第7章　GLM大模型预训练、微调与评估 128
7.1　大模型预训练 128
7.2　大模型参数微调 130
7.3　大模型部署 136
7.4　大模型评估 142
7.5　本章小结 155
第8章　大模型与知识图谱 156
8.1　知识图谱增强大模型 157
8.2　大模型增强知识图谱 162
8.3　大模型与知识图谱协同 167
8.4　知识图谱在大模型中的应用 169
8.5　本章小结 170
PART??3
第三部分　实践案例篇
第9章　Python语言基础 172
9.1　Python语言简介 172
9.2　Python环境安装配置与验证 173
9.3　基本概念 176
9.4　数据结构 182
9.5　函数与模块 185
9.6　面向对象编程 189
9.7　异常处理与调试 193
9.8　I/O操作与文件处理 197
9.9　ChatGLM开发接口与实例 201
9.10　本章小结 207
第10章　Python Web开发 208
10.1　Web概述 208
10.2　Web前端开发技术 211
10.3　Web前端开发工具 219
10.4　浏览器工具 221
10.5　Web前端开发必知标准 223
10.6　Web前端开发框架 224
10.7　Python Web开发环境搭建 235
10.8　FastAPI框架 238
10.9　Web服务和部署 246
10.10　ChatGLM Web应用开发 实例 251
10.11　本章小结 256
第11章　数据准备 257
11.1　数据获取 258
11.2　数据清洗 262
11.3　数据标注 264
11.4　数据增强 266
11.5　系统开发的数据准备 268
11.6　本章小结 270
第12章　环境搭建 271
12.1　软硬件环境需求 271
12.2　软件环境安装 271
12.3　本章小结 278
第13章　本地部署ChatGLM3-6B 279
13.1　通过ModelScope社区下载模型 279
13.2　克隆仓库 280
13.3　运行ChatGLM3-6B Demo 281
13.4　LangChain的介绍 282
13.5　ZhipuAI在LangChain中的使用 283
13.6　常见问题及解决方法 284
13.7　本章小结 285
第14章　ChatGLM微调 286
14.1　模型微调 286
14.2　部署微调的模型 296
14.3　本章小结 296
第15章　基于GLM智能体虚拟角色
养成系统 297
15.1　需求分析 297
15.2　总体设计 299
15.3　详细设计 300
15.4　系统实现 307
15.5　系统测试 331
15.6　系统使用说明 336
15.7　案例系统部署 344
15.8　本章小结 353
参考文献 354

2020年人类进入大模型时代，人工智能大模型这一颠覆性技术发展如此迅速，目前尚无一本全面介绍国产大模型ChatGLM、面向不同层次读者的科技书籍（从产品使用、应用技术，到理论基础，再到实践案例部署微调与开发）。然而，千行百业皆需大模型，社会业界和高校教学对此类科技书籍的需求巨大，人们迫切希望了解、学习并融入这一科技发展趋势中。大力推广国产大模型技术有助于避免我国在关键科技领域再次被”卡脖子”，同时也将填补燕山大学在人工智能大模型领域教材的空白。
　　本书是在多方支持协作下努力探索的知识结晶。大语言模型ChatGLM的提出者清华大学唐杰教授给予了成书指导，并为本书作序；北京智谱华章科技有限公司（简称”智谱AI”）主审和参与撰写该书稿，并提供技术和算力资源支持；”燕山大学-智谱AI大数据基础模型联合实验室”作为支撑平台提供了成书的契机和人力资源支持；燕山大学计算机系知识工程组（KEG）实验室多位教师结合科研和教学实践、分工协作，反复讨论和研究，最后总结、归纳并撰写了此书；本书不仅克服了已有大模型书籍”重理论、轻实践”的不足，还采用”新手验证”培养模式，能够让读者在”学习-实践-再学习-再实践……”反复迭代的过程中不断深入下去，学完本书后，就完成了一个实际的大模型应用案例系统的部署、微调和开发的完整实施过程。这种成就感会成为很多读者的学习动力，在培养他们对大模型应用开发技术兴趣的同时也达成了学习目标。
　　本书设计了一个全新的内容学习架构，各部分内容及其读者层次如图1所示。
?
? 图1 本书内容学习框架
　　作者还精心设计了全面的ChatGLM大模型知识内容来满足不同层次读者的需求，广大读者可以根据自身水平和需求来学习对应的部分，每一部分含有前序内容的明确引导，以帮助他们厘清学习路线和思路。同时，全方位的书籍配套电子资源也是读者能够切实掌握大模型技术的有力保证。
　　本书面向大模型技术兴趣爱好者，也可供普通高校计算机专业本科生和研究生教学使用，还可以作为大模型应用系统设计及开发的培训教材。本书具有以下特色：
　　（1）技术深入性
　　由大模型领域专家指导，与技术实力一流、有影响力的公司深度合作，联合推出该书，为读者提供第一手技术内幕和真正的大模型技术细节，技术涵盖语言大模型应用技术、大模型代码生成技术、多模态大模型技术和智能体技术等，保证技术的真实性。
　　（2）内容全面性
　　体现在以下三个方面。①知识全面性：从基本概念、产品使用，到大模型相关理论及应用基础知识，再到实践案例部署、微调与开发；②资源全面性：提供全面的学习资源，包括案例系统源码、教学PPT、难点教学实操视频，本地化书籍大模型AI助手等；③读者的全面性：不同层次读者都能够各取所需，同时获得清晰的学习引导。
　　（3）强调实践性
　　已有的大模型书籍侧重理论基础，对实践案例点到为止，不能够真实解决读者学习掌握实践开发技术这一强烈的内在需求。本书给出一个完整的实践案例系统，手把手教会读者部署微调，并开发完成案例，案例完成之时，也是学成之日，为日后大模型深入应用奠定坚实基础。
　　（4）新手验证方式
　　采用”新手验证”这一创新的案例系统开发方式，即找一个初学者（俗称”小白”）按照书中案例步骤进行开发，一旦操作遭遇卡顿，就调整书籍内容来解决，重复以上步骤直到找到一定数量的初学者都能够没有任何障碍地学习完成案例部署、微调和开发操作，最后才定稿成书。
　　感谢University of Illinois Chicago（UIC）的Philip S. Yu教授和清华大学唐杰教授的指导，感谢智谱AI技术专家们的宝贵意见以及参与，感谢燕山大学多位教师的全力投入和支持，感谢以下燕山大学信息科学与工程学院计算机科学与技术系KEG实验室研究生为此书在调研、撰写和电子资源建设等方面做出了不可或缺的贡献：硕士研究生舒志敏（组长）、张朝轲、张仲、李林轩、徐以丽、谌君泽、张文哲、陈乐、朱文海、许守义、方涛、冯鑫超、臧倩，博士研究生赵祎、彭吉全、房小涵和吴熙等，感谢发表大模型相关技术文章和许多优秀图书的作者们，本书就是在参阅了这些文章和书籍，并在科研和教学实践中充分总结和思考才撰写出来的。欢迎读者对本书提出宝贵建议，不足之处敬请批评指正。
　　本书受到以下项目的支持：燕山大学 2024 年高水平研究生教材建设项目（项目编号：YDGC202405）、燕山大学2023-2024年本科教材建设立项项目（校级重点，项目编号：JC202402）、燕山大学全英文教学课程培育重点项目（项目编号：QYW202203）、河北省创新能力提升计划项目（项目编号：22567626H）、河北省研究生教育教学改革研究项目（项目编号：YJG2023028），以及河北省高等教育教学改革研究与实践项目（项目编号：2023GJJG091）。