描述
开 本: 16开纸 张: 胶版纸包 装: 平装-胶订是否套装: 否国际标准书号ISBN: 9787302648727
在不到4 年的时间里，Transformer 模型以其强大的性能和创新的思想，迅速在NLP 社区崭露头角，打破了过去30 年的记录。BERT、T5 和GPT 等模型现在已成为计算机视觉、语音识别、翻译、蛋白质测序、编码等各个领域中新应用的基础构件。因此，斯坦福大学最近提出了“基础模型”这个术语，用于定义基于巨型预训练Transformer 的一系列大型语言模型。所有这些进步都归功于一些简单的想法。
《基于GPT-3、ChatGPT、GPT-4等Transformer架构的自然语言处理》可作为所有对Transformer 工作原理感兴趣的人的参考书。作者在理论和实践两方面都做出了出色的工作，详细解释了如何逐步使用Transformer。阅读完本书后，你将能使用这一最先进的技术集合来增强你的深度学习应用能力。本书在详细介绍BERT、RoBERTa、T5 和GPT-3 等流行模型前，先讲述了Transformer 的架构以便为你的学习奠定坚实基础。本书还讲述了如何将Transformer 应用于许多用例，如文本摘要、图像标注、问答、情感分析和假新闻分析等。
如果你对这些主题感兴趣，那么本书绝对是值得一读的。
——Antonio Gulli
Google 工程总监Antonio Gulli
Transformer正在颠覆AI领域。市面上有这么平台和Transformer模型，哪些最符合你的需求？ 将引领你进入Transformer的世界，将讲述不同模型和平台的优势，指出如何消除模型的缺点和问题。本书将引导你使用Hugging Face从头开始预训练一个RoBERTa模型，包括构建数据集、定义数据整理器以及训练模型等。 《基于GPT-3、ChatGPT、GPT-4等Transformer架构的自然语言处理》分步展示如何微调GPT-3等预训练模型。研究机器翻译、语音转文本、文本转语音、问答等NLP任务，并介绍解决NLP难题的技术，甚至帮助你应对假新闻焦虑(详见第13章)。 从书中可了解到，诸如OpenAI的高级平台将Transformer扩展到语言领域、计算机视觉领域，并允许使用DALL-E 2、ChatGPT和GPT-4生成代码。通过本书，你将了解到Transformer的工作原理以及如何实施Transformer来决NLP问题。 主要内容 ? 了解用于解决复杂语言问题的新技术 ? 将GPT-3与T5、GPT-2和基于BERT的Transformer的结果进行对比 ? 使用TensorFlow、PyTorch和GPT-3执行情感分析、文本摘要、非正式语言分析、机器翻译等任务 ? 了解ViT和CLIP如何标注图像(包括模糊化)，并使用DALL-E从文本生成图像 ? 学习ChatGPT和GPT-4的高级提示工程机制
第1 章 Transformer 模型介绍 1
1.1 Transformer 的生态系统 2
1.1.1 工业4.0 2
1.1.2 基础模型 3
1.2 使用Transformer 优化NLP模型 6
1.3 我们应该使用哪些资源 8
1.3.1 Transformer 4.0 无缝API 的崛起 9
1.3.2 选择即用型API驱动库 11
1.3.3 选择Transformer模型 11
1.3.4 工业4.0 AI 专家的技能要求 12
1.4 本章小结 13
1.5 练习题 14
第2 章 Transformer 模型架构入门 15
2.1 Transformer 的崛起：注意力就是一切 16
2.1.1 编码器堆叠 17
2.1.2 解码器堆叠 37
2.2 训练和性能 40
2.3 Hugging Face 的Transformer模型 40
2.4 本章小结 41
2.5 练习题 42
第3 章 微调BERT 模型 43
3.1 BERT 的架构 44
3.2 微调BERT 50
3.2.1 选择硬件 50
3.2.2 安装使用BERT 模型必需的Hugging Face PyTorch接口 50
3.2.3 导入模块 50
3.2.4 指定Torch 使用CUDA 51
3.2.5 加载数据集 51
3.2.6 创建句子、标注列表以及添加[CLS]和[SEP]词元 53
3.2.7 激活BERT 词元分析器 53
3.2.8 处理数据 54
3.2.9 防止模型对填充词元进行注意力计算 54
3.2.10 将数据拆分为训练集和验证集 54
3.2.11 将所有数据转换为torch张量 55
3.2.12 选择批量大小并创建迭代器 55
3.2.13 BERT 模型配置 56
3.2.14 加载Hugging Face BERTuncased base 模型 57
3.2.15 优化器分组参数 59
3.2.16 训练循环的超参数 59
3.2.17 训练循环 60
3.2.18 对训练进行评估 61
3.2.19 使用测试数据集进行预测和评估 62
3.2.20 使用马修斯相关系数进行评估 63
3.2.21 各批量的分数 63
3.2.22 整个数据集的马修斯评估 64
3.3 本章小结 64
3.4 练习题 65
第4 章 从头开始预训练RoBERTa模型 66
4.1 训练词元分析器和预训练Transformer 67
4.2 从头开始构建Kantai BERT 68
4.2.1 步骤1：加载数据集 68
4.2.2 步骤2：安装HuggingFace transformers 库 69
4.2.3 步骤3：训练词元分析器 70
4.2.4 步骤4：将词元化结果保存到磁盘上 72
4.2.5 步骤5：加载预训练词元分析器文件 73
4.2.6 步骤6：检查训练用机器的配置：GPU 和CUDA 74
4.2.7 步骤7：定义模型的配置 75
4.2.8 步骤8：为Transformer模型加载词元分析器 75
4.2.9 步骤9：从头开始初始化模型 75
4.2.10 步骤10：构建数据集 79
4.2.11 步骤11：定义数据整理器 80
4.2.12 步骤12：初始化训练器 80
4.2.13 步骤13：预训练模型 81
4.2.14 步骤14：将最终模型( 词元分析器 配置)保存到磁盘 81
4.2.15 步骤15：使用FillMask-Pipeline 进行语言建模 82
4.3 后续步骤 83
4.4 本章小结 83
4.5 练习题 84
第5 章 使用Transformer 处理下游NLP 任务 85
5.1 Transformer 的转导与感知 86
5.1.1 人类智能栈 86
5.1.2 机器智能栈 88
5.2 Transformer 性能与人类基准 89
5.2.1 评估模型性能的度量指标 89
5.2.2 基准任务和数据集 90
5.2.3 定义SuperGLUE 基准任务 94
5.3 执行下游任务 99
5.3.1 语言学可接受性语料库(CoLA) 99
5.3.2 斯坦福情绪树库(SST-2) 100
5.3.3 Microsoft 研究释义语料库(MRPC) 101
5.3.4 Winograd 模式 102
5.4 本章小结 102
5.5 练习题 103
第6 章 机器翻译 104
6.1 什么是机器翻译 105
6.1.1 人类转导和翻译 105
6.1.2 机器转导和翻译 106
6.2 对WMT 数据集进行预处理 106
6.2.1 对原始数据进行预处理 107
6.2.2 完成剩余的预处理工作 109
6.3 用BLEU 评估机器翻译 112
6.3.1 几何评估 112
6.3.2 平滑技术 114
6.4 Google 翻译 115
6.5 使用Trax 进行翻译 116
6.5.1 安装Trax 116
6.5.2 创建原始Transformer模型 117
6.5.3 使用预训练权重初始化模型 117
6.5.4 对句子词元化 117
6.5.5 从Transformer解码 118
6.5.6 对翻译结果去词元化并展示 118
6.6 本章小结 119
6.7 练习题 119
第7 章 GPT-3 120
7.1 具有GPT-3 Transformer模型的超人类NLP 121
7.2 OpenAI GPT Transformer模型的架构 122
7.2.1 10 亿参数Transformer模型的兴起 122
7.2.2 Transformer 模型扩大的历史 123
7.2.3 从微调到零样本 125
7.2.4 解码器堆叠 126
7.2.5 GPT 引擎 127
7.3 使用GPT-2 进行文本补全 127
7.4 训练自定义GPT-2 语言模型 129
7.5 使用OpenAI GPT-3 131
7.5.1 在线运行NLP 任务 131
7.5.2 GPT-3 引擎入门 133
7.6 比较GPT-2 和GPT-3 的输出 138
7.7 微调GPT-3 139
7.7.1 准备数据 139
7.7.2 微调GPT-3 140
7.8 工业4.0 AI 专家所需的技能 141
7.9 本章小结 142
7.10 练习题 143
第8 章 文本摘要(以法律和财务文档为例) 144
8.1 文本到文本模型 145
8.1.1 文本到文本Transformer模型的兴起 145
8.1.2 使用前缀而不是任务格式 146
8.1.3 T5 模型 147
8.2 使用T5 进行文本摘要 149
8.2.1 Hugging Face 149
8.2.2 初始化T5-large模型 150
8.2.3 使用T5-large 进行文本摘要 153
8.3 使用GPT-3 进行文本摘要 158
8.4 本章小结 159
8.5 练习题 160
第9 章 数据集预处理和词元分析器 161
9.1 对数据集进行预处理和词元分析器 162
9.1.1 最佳实践 162
9.1.2 Word2Vec 词元化 165
9.2 深入探讨场景4 和场景5 174
9.2.1 使用GPT-2 生成无条件样本 174
9.2.2 生成条件样本 176
9.2.3 控制词元化数据 177
9.3 GPT-3 的NLU 能力 180
9.4 本章小结 181
9.5 练习题 181
第10 章 基于BERT 的语义角色标注 183
10.1 SRL 入门 184
10.1.1 语义角色标注的定义 184
10.1.2 使用基于BERT 的预训练模型进行SRL 185
10.2 基于BERT 模型的SRL
实验 186
10.3 基本示例 187
10.3.1 示例1 187
10.3.2 示例2 189
10.3.3 示例3 191
10.4 复杂示例 193
10.4.1 示例4 193
10.4.2 示例5 195
10.4.3 示例6 196
10.5 SRL 的能力范围 197
10.5.1 谓语分析的局限性 198
10.5.2 SRL 局限性的根本原因 199
10.6 本章小结 200
10.7 练习题 201
第11 章 使用Transformer 进行问答 202
11.1 方法论 203
11.2 方法0：试错法 204
11.3 方法1：NER 206
11.4 方法2：SRL 211
11.4.1 使用ELECTRA 进行问答 213
11.4.2 项目管理约束 214
11.4.3 通过SRL 查找问题 215
11.5 后续步骤 219
11.5.1 使用RoBERTa 模型探索Haystack 220
11.5.2 使用GTP-3 引擎探索问答 221
11.6 本章小结 222
11.7 练习题 222
第12 章 情绪分析 224
12.1 入门：使用Transformer进行情绪分析 225
12.2 斯坦福情绪树库(SST) 225
12.3 通过情绪分析预测客户行为 229
12.3.1 使用DistilBERT 进行情绪分析 229
12.3.2 使用Hugging Face 的其他模型进行情绪分析 231
12.4 使用GPT-3 进行情绪分析 235
12.5 工业4.0 依然需要人类 236
12.5.1 使用SRL 进行调查 237
12.5.2 使用Hugging Face进行调查 238
12.5.3 使用GPT-3 playground进行调查 240
12.6 本章小结 242
12.7 练习题 243
第13 章 使用Transformer 分析假新闻 244
13.1 对假新闻的情绪反应 245
13.2 理性处理假新闻的方法 250
13.2.1 定义假新闻解决路线图 251
13.2.2 枪支管控辩论 252
13.2.3 美国前总统特朗普的推文 260
13.3 在我们继续之前 262
13.4 本章小结 262
13.5 练习题 263
第14 章 可解释AI 264
14.1 使用BertViz 可视化Transformer 265
14.2 LIT 268
14.2.1 PCA 269
14.2.2 运行LIT 269
14.3 使用字典学习可视化Transformer 271
14.3.1 Transformer 因子 271
14.3.2 LIME 272
14.3.3 可视化界面 273
14.4 探索我们无法访问的模型 276
14.5 本章小结 277
14.6 练习题 278
第15 章 从NLP 到计算机视觉 279
15.1 选择模型和生态系统 280
15.2 Reformer 281
15.3 DeBERTa 283
15.4 Transformer 视觉模型 285
15.4.1 ViT – Vision Transformer 285
15.4.2 CLIP 289
15.4.3 DALL-E 294
15.5 不断扩大的模型宇宙 297
15.6 本章小结 298
15.7 练习题 299
第16 章 AI 助理 300
16.1 提示工程 301
16.1.1 具有有意义上下文的非正式英语 302
16.1.2 转喻和多义 303
16.1.3 省略 303
16.1.4 模糊上下文 304
16.1.5 引入传感器 305
16.1.6 有传感器但没有可见上下文 305
16.1.7 没有上下文的正式英语会话 306
16.1.8 提示工程训练 306
16.2 Copilot 307
16.3 可以执行领域特定任务的GPT-3 引擎 309
16.3.1 为ML 算法提供嵌入 309
16.3.2 生成一系列操作指示 315
16.3.3 内容过滤器 316
16.4 基于Transformer 的推荐系统 317
16.4.1 通用序列 317
16.4.2 使用MDP 和RL 生成的数据集模拟消费者行为 319
16.5 计算机视觉 323
16.6 数字人和元宇宙 325
16.7 本章小结 326
16.8 练习题 326
第17 章 ChatGPT 和GPT-4 327
17.1 超越人类NLP 水平的Transformer 模型：ChatGPT和GPT-4 328
17.1.1 如何充分理解本章 328
17.1.2 谁拥有AI 生成内容的版权 329
17.2 ChatGPT API 332
17.3 使用ChatGPT Plus 编写程序并添加注释 334
17.3.1 设计提示 334
17.3.2 使用ChatGPT Plus编写代码 335
17.3.3 ChatGPT Plus 绘制输出结果 336
17.4 GPT-4 API 337
17.4.1 示例1：使用GPT-4帮助解释如何编写代码 337
17.4.2 示例2：GPT-4 创建一个函数来展示Greg Brockman 于2023 年3月14 日的GPT-4 的YouTube 演示 338
17.4.3 示例3：GPT-4 创建一个用于展示WikiArt 图像的应用程序 338
17.4.4 示例4：GPT-4 创建一个用于展示IMDb 评论的应用程序 339
17.4.5 示例5：GPT-4 创建一个用于展示新闻源的应用程序 340
17.4.6 示例6：GPT-4 创建一个k-means 聚类(kmc)算法 341
17.4.7 示例7：GPT-4 关于GPT-4 和GPT 模型架构的对话 341
17.5 高级示例 342
17.5.1 步骤1：为ChatGPT和GPT-4 构建知识库 343
17.5.2 步骤2：添加关键词和解析用户请求 343
17.5.3 步骤3：构建引导ChatGPT 的提示 344
17.5.4 步骤4：内容审核和质量控制 344
17.6 可解释AI(XAI)和Whisper语音模型 345
17.7 使用DALL-E 2 API入门 349
17.7.1 创建新图像 349
17.7.2 创建图像的变体 350
17.8 将所有内容整合在一起 351
17.9 本章小结 352
17.10 练习题 353
——以下资源可扫描封底二维码下载——
附录A Transformer 模型术语 354
附录B Transformer 模型的硬件约束 356
附录C 使用GPT-2 进行文本补全 362
附录D 使用自定义数据集训练GPT-2 模型 371
附录E 练习题答案 380
参考资料 392
Transformer 是自然语言理解(Natural Language Understanding，NLU)的游戏规则改变者，NLU 是自然语言处理(Natural Language Processing，NLP)的一个子集。NLU已成为全球数字经济中AI 的支柱之一。
Transformer 模型标志着AI 新时代的开始。语言基础已成为语言建模、聊天机器人、个人助理、问答、文本摘要、语音转文本、情绪分析、机器翻译等的支柱。社交网络正在取代实体接触，电子商务正在取代实体购物，数字报纸、流媒体正在取代实体剧院，远程文档咨询正在取代实体访问，远程工作正在取代现场办公，我们正在见证数百个领域的类似趋势。如果没有理解AI 语言，社会上使用网络浏览器、流媒体服务和任何涉及语言的数字活动都将非常困难。我们的社会从物理信息到海量数字信息的范式转变迫使AI 进入一个新时代。AI 已经发展到数十亿级参数模型，以应对万亿级单词数据集的挑战。
Transformer 架构具有革命性和颠覆性，它打破了过往RNN 和CNN 的主导地位。BERT 和GPT 模型放弃了循环网络层，使用自注意力机制取而代之。Transformer 模型优于RNN 和CNN。这是AI 历史上划时代的重大变化。
Transformer 编码器和解码器包含单独训练的注意力头(attention head)，并能使用GPU、TPU 等尖端硬件进行并行化。注意力头可以使用GPU 运行，从而为十亿级参数模型和即将出现的万亿级参数模型打开大门。OpenAI 在一台具有10 000个GPU和285 000 个CPU 内核的超级计算机上训练出具有1750 亿个参数的GPT-3 Transformer 模型。
随着数据量的不断增长，训练AI 模型需要的规模也越来越大。Transformer 模型为参数驱动的AI 开启了新时代。我们需要大量参数进行学习，才能学习到由数以亿计的单词组合的数据集。
Google BERT 和OpenAI GPT-3 等Transformer 模型将AI 提升到另一个层次。
Transformer 可以执行数百项它们没有接受过训练的NLP 任务。
Transformer 还可通过将图像视为单词序列来学习图像分类和重构图像。本书将介绍尖端的计算机视觉Transformer，如Vision Transformer(ViT)、CLIP 和DALL-E。
基础模型是指经过充分训练的、不需要微调即可执行数百项任务的Transformer模型。这种规模的基础模型是我们在这个海量信息时代所需的工具。
想想每天需要多少人来控制社交网络上发布的数十亿条消息的内容，以便在提取所包含的信息之前确定是否合法和合乎道德。
想想每天在网络上发布的数百万页文字需要多少人来翻译。或者想象一下，如果要人工对每分钟多达数百万条消息进行控制需要多少人力资源！
想想将每天在网络上发布的所有大量流媒体转换为文字需要多少人力资源。想想为不断出现的数十亿幅在线图像生成AI 图像字幕需要多少人力资源。
本书将带领你开发代码和设计提示(这是一项控制Transformer 模型行为的新的“编程”技能)。每一章都会使用Python、PyTorch 和TensorFlow 从头开始讲授语言理解的关键方面。
你将学习原始Transformer、Google BERT、OpenAI GPT-3、T5 和其他几个模型的架构。最后一章将在前面16 章所学知识的基础上，展示ChatGPT 和GPT-4 的增强能力。你将学会如何微调Transformer，如何从头开始训练模型，如何使用强大的API。
Facebook、Google、Microsoft 和其他大型科技公司提供了大量数据集供我们探索。
你会密切关注市场上对语言理解的需求，例如媒体、社交媒体和研究论文等领域。
在数百项AI 任务中，我们需要总结大量的研究数据，为各个领域翻译文件，并出于伦理和法律原因扫描所有社交媒体帖子。
整本书将使用Python、PyTorch 和TensorFlow 进行实战。你将首先学习AI 语言理解神经网络模型的要素，然后学习如何探索和实现Transformer。
本书旨在为读者提供在这个颠覆性的AI 时代中，有效开发语言理解关键方面所需的Python 深度学习知识和工具，呈现成为工业 4.0 AI 专家所需要的新技能。
本书读者对象
本书并不介绍Python 编程或机器学习概念，而是专注于机器学习的机器翻译、语音到文本、文本到语音、语言建模、问答和更多NLP 领域。
本书读者对象包括：
● 熟悉Python 编程的深度学习和NLP 从业者。
● 数据分析师和数据科学家，他们希望了解AI 语言理解，从而完成越来越多的语言驱动的功能。
本书内容
第1 章“Transformer 模型介绍”从较高层次解释什么是Transformer 模型。我们将研究Transformer 生态系统和基础模型的特性。该章重点介绍许多可用的平台以及工业4.0 AI 专家的发展历程。
第2 章“Transformer 模型架构入门”通过回顾NLP 的背景，讲述了循环神经网络(RNN)、长短期记忆网络(LSTM)和卷积神经网络(CNN)深度学习架构是如何演变为Transformer 架构的。我们将通过Google Research 和Google Brain 的作者们独创的“注意力机制就是一切(Attention Is All You Need)”的方法来分析Transformer 的架构。将描述Transformer 的理论，并通过Python 实践来讲解多头注意力子层是如何工作的。
通过本章的学习，你将理解Transformer 的原始架构，从而为后续章节探索Transformer多种变体和用法打下良好基础。
第3 章“微调BERT 模型”基于原始Transformer 的架构进行扩展。BERT(Bidirectional Encoder Representations from Transformers)向你展示了一种理解NLP 世界的新方式。
与通过分析过去序列来预测未来序列不同，BERT 关注整个序列！首先介绍BERT 架构的关键创新，然后通过在Google Colab 笔记本中逐步执行每个步骤来微调一个BERT模型。与人类一样，BERT 可以学习任务并执行其他新任务，而不需要从头学习。
第4 章“从头开始预训练RoBERTa 模型”使用Hugging Face PyTorch 模块从头构建一个RoBERTa Transformer 模型。这个Transformer 模型既类似于BERT，又类似于DistilBERT。首先，我们将使用自定义数据集从头训练一个词元分析器。然后将使用训练好的Transformer 运行下游的掩码语言建模任务。
第5 章“使用Transformer 处理下游NLP 任务”揭示了Transformer 模型在下游NLP 任务中的神奇之处。我们可以微调预训练Transformer 模型以执行一系列NLP 任务，如BoolQ、CB、MultiRC、RTE、WiC 等在GLUE 和SuperGLUE 排行榜上占据主导地位的NLP 任务。将介绍Transformer 的评估过程、任务、数据集和评估指标。
然后将使用Hugging Face 的Transformer 流水线处理一些下游任务。
第6 章“机器翻译”讲述什么是机器翻译，并讨论如何从依赖人类翻译的基准转向使用机器翻译的方法，从而帮助读者理解如何构建机器翻译系统并进行进一步的研究和开发。然后，我们将预处理来自欧洲议会的WMT 法英数据集。机器翻译需要精确的评估方法，这一章将讲述BLEU 评分方法。最后，我们将使用Trax 实现一个Transformer 机器翻译模型。
第7 章“GPT-3”探索了OpenAI GPT-2 和GPT-3 Transformer 的许多方面。首先研究OpenAI GPT 模型的架构，解释GPT-3 引擎。然后将运行一个GPT-2 345M 参数模型，并与之交互生成文本。接着将讲述GPT-3 playground 的实际应用，使用GPT-3模型运行NLP 任务，并将结果与GPT-2 进行比较。
第8 章“文本摘要(以法律和财务文档为例)”介绍T5 Transformer 模型的概念和架构。我们将使用Hugging Face 初始化一个T5 模型进行文本摘要。将使用T5 模型汇总各种文本，然后探索应用于Transformer 的迁移学习方法的优点和局限性。最后，将使用GPT-3 将一些公司法律文本汇总为小学二年级学生都能看懂的文本。
第9 章“数据集预处理和词元分析器”分析词元分析器的局限性，并介绍一些改进数据编码过程质量的方法。首先构建一个Python 程序，调查为什么一些单词会被Word2Vector 词元分析器省略或误解，讲述预训练词元分析器的局限性。然后我们改进了第8 章T5 模型生成的摘要，以展示词元化过程方法仍然有很大的改进空间。最后，将测试GPT-3 语言理解能力的极限。
第10 章“基于BERT 的语义角色标注”探索Transformer 如何学习理解文本内容。
语义角色标注(SRL)对人类来说是一项具有挑战性的任务。Transformer 能够产生令人惊讶的结果。我们将使用Google Colab 笔记本实现由Allen AI 研究所设计的基于BERT的Transformer 模型。还将使用该研究所的在线资源来可视化SRL 的输出。最后将讲述SRL 的局限性和适用范围。
第11 章“使用Transformer 进行问答”展示Transformer 如何学习推理。Transformer能够理解文本、故事，并进行推理。我们将看到如何通过添加NER 和SRL 来增强问答过程。我们将介绍如何设计并实现一个问题生成器；它可以用于训练Transformer模型，也可以单独使用来生成问题。
第12 章“情绪分析”展示了Transformer 如何改进情绪分析。我们将使用斯坦福情绪树库对复杂句子进行分析，然后挑战几个Transformer 模型，看看是否能够理解序列的结构及其逻辑形式。我们将看到如何使用Transformer 进行预测，并根据情绪分析的输出触发不同的行为。该章最后还列举一些使用GPT-3 的案例。
第13 章“使用Transformer 分析假新闻”深入讲述假新闻这个热门话题，以及Transformer 如何帮助我们理解每天在网络上看到的在线内容的不同观点。每天有数十亿条消息、帖子和文章通过社交媒体、网站和各种实时通信方式发布在网络上。我们将利用前几章介绍的技术来分析关于气候变化和枪支管控的辩论。我们将讨论在合理怀疑的基础上如何确定什么可以被视为假新闻，以及什么新闻仍然是主观的道德和伦理问题。
第14 章“可解释AI”通过可视化Transformer 模型的活动来揭开Transformer 模型的面纱。我们将使用BertViz 来可视化注意力头，并使用语言可解释性工具(LIT)进行主成分分析(PCA)。最后将使用LIME 通过字典学习来可视化Transformer。
第15 章“从NLP 到计算机视觉”深入研究高级模型Reformer 和DeBERTa，并使用Hugging Face 运行示例。Transformer 可将图像视作单词序列进行处理。该章还将研究各种视觉Transformer 模型，如ViT、CLIP 和DALL-E；我们将使用计算机视觉任务测试它们，包括图像生成。
第16 章“AI 助理”讲述了当工业4.0(I4.0)达到成熟阶段时，我们将主要与AI助理(Copilot)一起工作。AI 助理主要基于提示工程，所以该章首先列举几个非正式/正式英语提示工程的示例，使用GitHub Copilot 来辅助生成代码。然后讲述视觉Transformer 如何帮助NLP Transformer 可视化周围的世界。最后将创建一个基于Transformer 的推荐系统，可将它应用于数字人和元宇宙中！
第17 章“ChatGPT 和GPT-4”在前几章的基础上，探索了OpenAI 最先进的Transformer 模型ChatGPT 和GPT-4。将使用ChatGPT 建立对话式AI，并学习如何使用可解释AI 解释Transformer 的输出。将探索GPT-4，并使用提示编写一个k-means聚类程序。还将介绍一个高级用例。最后将使用DALL-E 2 来创建和生成图像的变体。
附录A“Transformer 模型术语”讲述Transformer 的高层结构(从堆叠和子层到注意力头)。
附录B“Transformer 模型的硬件约束”比较了使用CPU 和GPU 运行Transformer的性能。我们将看到为什么Transformer 和GPU 是完美的绝配，并通过使用Google Colab CPU、Google Colab 免费版GPU 和Google Colab 专业版GPU 来测试得出的结论。
附录C“使用GPT-2 进行文本补全”详细讲述如何使用第7 章讲述的GPT-2 进行通用文本补全。
附录D“使用自定义数据集训练GPT-2 模型”补充了第7 章的内容，通过使用自定义数据集构建和训练一个GPT-2 模型，并使用自定义文本与其进行交互。
附录E“练习题答案”提供每章末尾练习题的答案。
如何阅读本书
本书大部分程序都使用Google Colab 笔记本。你只需要一个免费的Google Gmail账户，就可以使用Google Colab 的免费VM 运行这些笔记本。不过对于某些教学性程序，你需要在你的计算机上安装Python 来运行。
请花时间阅读第2 章和附录A。第2 章讲述了原始Transformer，该模型是使用附录A 讲述的构建模块构建而成的，第2 章和附录A 的这些基础知识将在整本书都会用到。如果你觉得这些基础知识难以理解，可以先阅读后面的章节。当通过阅读后续章节对Transformer 更加熟悉后，再回头阅读第2 章。
可以在阅读每章后，考虑如何为客户实现Transformer，或者如何利用它们的新颖机理在你的职业生涯中取得进步。
在线资源
本书的代码、附录A～D、各章练习题的答案(附录E)等在线资源，可通过扫描本书封底的二维码下载。另外，读者可扫描封底二维码来下载彩图。
参考资料
将各章的参考资料汇集在一个文档中，读者可扫描封底二维码来下载该文档。
评论
还没有评论。