基于深度学习的自然语言处理和语音识别 [美]乌黛·卡马特

随着深度学习、自然语言处理（NLP）和语音处理应用在许多领域（包括金融、医疗和政务等）的广泛应用，越来越需要一种综合资源，将深度学习技术映射到NLP和语音处理，并提供在现实应用程序中使用相关工具和库的指导。本书剖析了适用于NLP和语音处理的前沿深度学习方法，提供了全面的介绍，并在现实案例研究中给出了代码以方便上手实践。

本书介绍了深度学习的体系结构，以及在各种NLP任务的应用，包括文档分类、机器翻译、语言建模和语音识别。并提供使用真实世界的应用程序的工具和库的介绍。为NLP和语音识别的深度学习解释了适用于NLP和语音的深度学习方法，并提供了实际的案例研究与代码。

作者简介：

乌黛·卡马特 （Uday Kamath） Digital Reasoning（NLP和语音识别AI领域的顶尖企业之一）的首席分析官，领导“应用机器学习”研究小组。他拥有超过20年的架构和构建基于分析的商业解决方案的经验。Uday撰写过许多关于机器学习的书籍，如Machine Learning: End-to-End guide for Java developers和《Java机器学习》。Uday是首批使用进化计算进行机器学习算法扩展的研究者之一。

约翰·刘 （John Liu） Intelluron Corporation的首席执行官。在这之前，John担任过Digital Reasoning的副总裁，负责数据科学和数据策略。他在过去的22年里一直在管理定量研究、投资组合和数据科学的团队。2016年，John被评为年度纳什维尔数据科学家。他在宾夕法尼亚大学获得电气工程学士、硕士和博士学位，是CFA证书持有者。

詹姆斯·惠特克 （James Whitaker） 负责管理Digital Reasoning的应用研究。他目前还领导金融科技领域语音分析的深度学习研究，在过去4年里一直在构建NLP、语音识别和计算机视觉方面的机器学习应用。他在牛津大学获得计算机科学硕士学位。

译者简介：

刘 峤
电子科技大学计算机学院教授、博士生导师，四川省天府科技领军人才，国家自然科学基金联合基金会评专家，高速铁路运行环境智能监控工程研究中心副主任。长期致力于人工智能理论与应用创新研究，主持国家自然科学基金企业联合基金重点项目、国家重点研发计划项目及课题等20余项。发表学术论文90余篇，出版国家级规划教材和学术著作3部。作为第一完成人获四川省科技进步一等奖、中国安全生产协会科技进步一等奖各一项。

蓝 天
电子科技大学研究员、博士生导师，四川省学术和技术带头人后备人选。主要研究方向为机器学习
与模式识别，先后主持和主研包括NSFC联合基金重点、国家重点研发计划在内的各类科研项目10余项，发表高水平期刊和会议论文50余篇，获得国家发明专利授权9项，获得四川省科技进步一等奖。长期从事软件工程和数据分析等课程的教学工作，主持获评四川省一流本科课程。

任亚洲
电子科技大学副教授，CCF高级会员，四川省人工智能学会理事。主要研究方向为人工智能（多视
图学习、图学习、无监督学习等）与智慧医疗，主持和参与NSFC青年基金、NSFC重点项目、科技创新2030重大项目、四川省重大科技项目等多个项目，发表高水平期刊和会议论文100余篇（其中CCF A类/SCI一区论文30多篇）。

徐增林
哈尔滨工业大学（深圳）教授、博士生导师，国家自然基金评审专家。主要研究方向为机器学习及其在社会网络分析、互联网、计算生物学、信息安全等方面的应用。在IEEE TPAMI、IEEE TNN等期刊和NIPS、ICML、IJCAI、AAAI等重要会议发表论文50多篇，出版专著2部。获得2015年AAAI大会最佳学生论文奖提名，ACML 2016最佳学生论文奖亚军（Runner Up）。曾于2012年在多伦多召开的国际人工智能大会（AAAI）上做教学报告。

目 录
Deep Learning for NLP and Speech Recognition

推荐序一
推荐序二
推荐序三
译者序
前言
致谢
符号约定

第一部分 机器学习、自然语言处理与语音介绍

第1章　引言2
1.1 机器学习3
1.1.1 监督学习3
1.1.2 无监督学习4
1.1.3 半监督学习和主动学习4
1.1.4 迁移学习和多任务学习4
1.1.5 强化学习4
1.2 历史背景4
1.2.1 深度学习简史5
1.2.2 自然语言处理简史7
1.2.3 自动语音识别简史10
1.3 为实践者提供的工具、库、数据
集和资源12
1.3.1 深度学习12
1.3.2 自然语言处理13
1.3.3 语音识别13
1.3.4 书籍14
1.3.5 在线课程与资源14
1.3.6 数据集15
1.4 案例研究和实现细节17
参考文献18
第2章　机器学习基础29
2.1 章节简介29
2.2 监督学习：框架和正式定义29
2.2.1 输入空间和样本29
2.2.2 目标函数和标签30
2.2.3 训练和预测30
2.3 学习过程31
2.4 机器学习理论32
2.4.1 通过Vapnik-Chervonenkis分析
进行“泛化-近似”的权衡32
2.4.2 通过偏差-方差分析进行“泛
化-近似”的权衡33
2.4.3 模型性能和评估指标34
2.4.4 模型验证36
2.4.5 模型估计和对比38
2.4.6 机器学习中的实践经验39
2.5 线性算法40
2.5.1 线性回归40
2.5.2 感知机41
2.5.3 正则化42
2.5.4 逻辑回归43
2.5.5 生成式分类器46
2.5.6 线性算法中的实践经验47
2.6 非线性算法47
2.6.1 支持向量机48
2.6.2 其他非线性算法49
2.7 特征的转换、选择和降维50
2.7.1 特征转换50
2.7.2 特征选择和降维50
2.8 序列数据和建模51
2.8.1 离散时间马尔可夫链51
2.8.2 判别式方法：隐马尔可夫
模型52
2.8.3 生成式方法：条件随机场53
2.9 案例研究55
2.9.1 软件工具和资源库55
2.9.2 探索性数据分析56
2.9.3 模型训练和超参数搜索56
2.9.4 最终训练和测试模型60
2.9.5 留给读者的练习60
参考文献62
第3章　文本和语音处理基础63
3.1 章节简介63
3.1.1 计算语言学63
3.1.2 自然语言63
3.1.3 语言模型64
3.2 词法分析65
3.2.1 词干化65
3.2.2 词元化65
3.3 词汇表示66
3.3.1 标记66
3.3.2 停用词66
3.3.3 n-gram67
3.3.4 文档67
3.4 句法表示69
3.4.1 词性69
3.4.2 依存分析70
3.5 语义表示71
3.5.1 命名实体识别72
3.5.2 关系抽取72
3.5.3 事件抽取73
3.5.4 语义角色标注73
3.6 语篇表示73
3.6.1 衔接性73
3.6.2 连贯性74
3.6.3 回指/预指74
3.6.4 局部和全局共指74
3.7 语言模型74
3.7.1 n-gram模型74
3.7.2 拉普拉斯平滑75
3.7.3 集外词75
3.7.4 困惑度76
3.8 文本分类76
3.8.1 机器学习方法76
3.8.2 情感分析77
3.8.3 蕴含79
3.9 文本聚类79
3.9.1 词汇链79
3.9.2 主题建模80
3.10 机器翻译80
3.10.1 基于字典的翻译80
3.10.2 基于统计的翻译81
3.11 问答系统81
3.11.1 基于信息检索的问答82
3.11.2 基于知识的问答82
3.11.3 自动推理83
3.12 自动摘要83
3.12.1 基于提取的自动摘要83
3.12.2 基于抽象的自动摘要83
3.13 自动语音识别84
3.14 案例研究85
3.14.1 软件工具和库85
3.14.2 探索性数据分析86
3.14.3 文本聚类87
3.14.4 主题建模90
3.14.5 文本分类92
3.14.6 留给读者的练习94
参考文献94

第二部分 深度学习介绍

第4章　深度学习基础100
4.1 章节简介100
4.2 感知机算法详解101
4.2.1 偏置101
4.2.2 线性和非线性可分103
4.3 多层感知机（神经网络）103
4.3.1 训练MLP104
4.3.2 前向传播104
4.3.3 误差计算105
4.3.4 反向传播105
4.3.5 参数更新106
4.3.6 全局逼近定理107
4.4 深度学习107
4.4.1 激活函数108
4.4.2 损失函数112
4.4.3 优化方法112
4.5 模型训练114
4.5.1 提前停止114
4.5.2 梯度消失/爆炸115
4.5.3 全批量和小批量梯度下降115
4.5.4 正则化115
4.5.5 超参数选择117
4.5.6 数据可用性和质量118
4.5.7 讨论119
4.6 无监督深度学习120
4.6.1 基于能量的模型120
4.6.2 受限玻耳兹曼机120
4.6.3 深度置信网络121
4.6.4 自编码器121
4.6.5 稀疏编码124
4.6.6 生成对抗网络124
4.7 关于框架的思考125
4.7.1 层抽象125
4.7.2 计算图125
4.7.3 反向模式自动微分125
4.7.4 静态计算图126
4.7.5 动态计算图126
4.8 案例研究127
4.8.1 软件工具和库127
4.8.2 探索性数据分析127
4.8.3 监督学习128
4.8.4 无监督学习132
4.8.5 使用无监督特征进行分类134
4.8.6 结果135
4.8.7 留给读者的练习136
参考文献136
第5章　分布式表示139
5.1 章节简介139
5.2 分布式语义139
5.2.1 向量空间模型139
5.2.2 词表示140
5.2.3 神经语言模型140
5.2.4 word2vec142
5.2.5 GloVe149
5.2.6 谱词向量150
5.2.7 多语言词向量150
5.3 词向量的局限性151
5.3.1 集外词151
5.3.2 反义词151
5.3.3 多义词152
5.3.4 偏见154
5.3.5 其他限制154
5.4 进阶内容154
5.4.1 子词向量154
5.4.2 词向量量化155
5.4.3 句子向量156
5.4.4 概念向量156
5.4.5 语义词典的更新157
5.4.6 高斯嵌入158
5.4.7 双曲嵌入159
5.5 应用160
5.5.1 分类160
5.5.2 文档聚类161
5.5.3 语言模型161
5.5.4 文本异常检测162
5.5.5 语境化向量162
5.6 案例研究163
5.6.1 软件工具和库163
5.6.2 探索性数据分析163
5.6.3 学习词向量165
5.6.4 文档聚类173
5.6.5 词义消歧174
5.6.6 留给读者的练习176
参考文献176
第6章　卷积神经网络179
6.1 章节简介179
6.2 卷积神经网络的基本构建模块179
6.2.1 线性时不变系统中的卷积和
相关性179
6.2.2 局部连接或稀疏交互180
6.2.3 参数共享181
6.2.4 空间排列181
6.2.5 使用非线性的检测器183
6.2.6 池化和下采样184
6.3 卷积神经网络中的前向和反向传播185
6.3.1 关于权重的梯度185
6.3.2 关于输入的梯度186
6.3.3 最大池化层187
6.4 文本输入和卷积神经网络187
6.4.1 词向量和卷积神经网络187
6.4.2 基于字符的表示和卷积神经网络190
6.5 经典卷积神经网络架构191
6.5.1 LeNet-5191
6.5.2 AlexNet192
6.5.3 VGG-16193
6.6 现代卷积神经网络架构194
6.6.1 堆叠或分层卷积神经网络194
6.6.2 空洞卷积神经网络194
6.6.3 Inception网络195
6.6.4 其他卷积神经网络结构197
6.7 卷积神经网络在自然语言处理中
的应用199
6.7.1 文本分类199
6.7.2 文本聚类和主题挖掘199
6.7.3 语法分析200
6.7.4 信息抽取200
6.7.5 机器翻译200
6.7.6 文本摘要201
6.7.7 问答系统201
6.8 卷积快速算法201
6.8.1 卷积定理和快速傅里叶变换201
6.8.2 快速滤波算法202
6.9 案例研究203
6.9.1 软件工具和库204
6.9.2 探索性数据分析204
6.9.3 数据预处理和数据拆分205
6.9.4 卷积神经网络模型实验206
6.9.5 了解和改进模型209
6.9.6 留给读者的练习211
6.10 讨论211
参考文献211
第7章　循环神经网络215
7.1 章节简介215
7.2 循环神经网络的基本构建模块215
7.2.1 循环与记忆215
7.2.2 PyTorch示例216
7.3 循环神经网络及其特性217
7.3.1 循环神经网络中的前向和反向
传播217
7.3.2 梯度消失问题和正则化221
7.4 深度循环神经网络架构223
7.4.1 深度循环网络223
7.4.2 残差LSTM223
7.4.3 循环高速网络224
7.4.4 双向循环神经网络224
7.4.5 SRU和Quasi-RNN224
7.4.6 递归神经网络225
7.5 循环神经网络的扩展226
7.5.1 序列到序列方法226
7.5.2 注意力机制227
7.5.3 指针网络228
7.5.4 transformer网络229
7.6 循环神经网络在自然语言处理中
的应用229
7.6.1 文本分类230
7.6.2 词性标注和命名实体识别230
7.6.3 依存分析230
7.6.4 主题建模和摘要230
7.6.5 问答系统231
7.6.6 多模态231
7.6.7 语言模型231
7.6.8 神经机器翻译232
7.6.9 预测/采样输出234
7.7 案例研究236
7.7.1 软件工具和库236
7.7.2 探索性数据分析236
7.7.3 模型训练241
7.7.4 结果243
7.7.5 留给读者的练习247
7.8 讨论247
7.8.1 记忆或泛化247
7.8.2 RNN的未来248
参考文献248
第8章　自动语音识别252
8.1 章节简介252
8.2 声学特征253
8.2.1 语音的形成253
8.2.2 语音的原始波形253
8.2.3 MFCC253
8.2.4 其他类型的特征257
8.3 音素257
8.4 统计语音识别259
8.4.1 声学模型：P(X｜W)260
8.4.2 语言模型：P(W)262
8.4.3 HMM解码263
8.5 错误指标264
8.6 DNN/HMM混合模型266
8.7 案例研究267
8.7.1 数据集：Common Voice267
8.7.2 软件工具和库267
8.7.3 Sphinx267
8.7.4 Kaldi271
8.7.5 结果273
8.7.6 留给读者的练习275
参考文献275

第三部分 用于文本与语音的高阶深度学习技术

第9章　注意力与记忆增强网络278
9.1 章节简介278
9.2 注意力机制279
9.2.1 对注意力机制的需求279
9.2.2 软注意力机制279
9.2.3 基于评分的注意力机制281
9.2.4 软注意力与硬注意力281
9.2.5 局部注意力与全局注意力282
9.2.6 自注意力机制282
9.2.7 键值注意力机制283
9.2.8 多头自注意力机制283
9.2.9 分层注意力机制284
9.2.10 注意力机制在文本和语音中
的应用286
9.3 记忆增强网络286
9.3.1 记忆网络286
9.3.2 端到端记忆网络288
9.3.3 神经图灵机290
9.3.4 可微神经计算机292
9.3.5 动态记忆网络294
9.3.6 神经堆栈、队列和双端队列296
9.3.7 循环实体网络299
9.3.8 记忆增强网络在文本和语音中
的应用300
9.4 案例研究301
9.4.1 基于注意力的NMT301
9.4.2 探索性数据分析301
9.4.3 问答308
9.4.4 动态记忆网络312
9.4.5 留给读者的练习316
参考文献316
第10章　迁移学习：场景、自学习和多任务学习319
10.1 章节简介319
10.2 迁移学习：定义、场景和类别319
10.2.1 迁移学习定义319
10.2.2 迁移学习场景320
10.2.3 迁移学习类别321
10.3 自学习322
10.3.1 技术322
10.3.2 理论323
10.3.3 在NLP中的应用323
10.3.4 在语音识别中的应用324
10.4 多任务学习324
10.4.1 技术324
10.4.2 理论330
10.4.3 在NLP中的应用331
10.4.4 在语音识别中的应用332
10.5 案例研究332
10.5.1 软件工具和库332
10.5.2 探索性数据分析332
10.5.3 多任务学习实验与分析333
10.5.4 留给读者的练习337
参考文献337
第11章　迁移学习：领域自适应341
11.1 章节简介341
11.1.1 技术341
11.1.2 理论354
11.1.3 在NLP中的应用356
11.1.4 在语音识别中的应用356
11.2 零样本学习、单样本学习和
小样本学习357
11.2.1 零样本学习357
11.2.2 单样本学习359
11.2.3 小样本学习360
11.2.4 理论360
11.2.5 在NLP和语音识别中的
应用360
11.3 案例研究361
11.3.1 软件工具和库361
11.3.2 探索性数据分析362
11.3.3 领域自适应实验362
11.3.4 留给读者的练习366
参考文献366
第12章　端到端语音识别371
12.1 章节简介371
12.2 联结主义时间分类371
12.2.1 端到端音位识别373
12.2.2 Deep Speech374
12.2.3 Deep Speech 2375
12.2.4 Wav2Letter375
12.2.5 对CTC的扩展376
12.3 序列到序列模型377
12.3.1 早期的序列到序列自动语音
识别378
12.3.2 LAS网络378
12.4 多任务学习379
12.5 端到端解码380
12.5.1 ASR语言模型380
12.5.2 CTC解码380
12.5.3 注意力解码382
12.5.4 组合语言模型训练384
12.5.5 组合CTC-注意力解码384
12.6 语音嵌入和无监督语音识别385
12.6.1 语音嵌入385
12.6.2 非语音386
12.6.3 音频word2vec386
12.7 案例研究387
12.7.1 软件工具和库387
12.7.2 Deep Speech 2387
12.7.3 语言模型训练388
12.7.4 ESPnet390
12.7.5 结果393
12.7.6 留给读者的练习394
参考文献394
第13章　用于文本和语音处理的深度
强化学习397
13.1 章节简介397
13.2 强化学习基础397
13.2.1 马尔可夫决策过程397
13.2.2 价值函数、Q函数和优势
函数398
13.2.3 贝尔曼方程399
13.2.4 最优化399
13.2.5 动态规划方法400
13.2.6 蒙特卡罗402
13.2.7 时序差分学习403
13.2.8 策略梯度405
13.2.9 Q学习406
13.2.10 演员评论家算法406
13.3 深度强化学习算法408
13.3.1 强化学习为何可以应用于seq2seq408
13.3.2 深度策略梯度408
13.3.3 深度Q学习409
13.3.4 深度优势演员评论家算法412
13.4 用于文本处理的深度强化学习
方法413
13.4.1 信息提取413
13.4.2 文本分类415
13.4.3 对话系统416
13.4.4 文本摘要417
13.4.5 机器翻译418
13.5 基于语音的深度强化学习418
13.5.1 自动语音识别418
13.5.2 语音增强和噪声抑制418
13.6 案例研究419
13.6.1 软件工具和库419
13.6.2 文本摘要419
13.6.3 探索性数据分析419
13.6.4 留给读者的练习422
参考文献422
第14章　未来展望425
14.1 端到端架构的流行425
14.2 以人工智能为中心的趋势425
14.3 专用硬件425
14.4 从监督学习过渡到其他方式425
14.5 可解释的人工智能426
14.6 模型开发和部署过程426
14.7 人工智能的民主化426
14.8 NLP发展趋势426
14.9 语音处理发展趋势427
14.10 结束语427

前?言
Deep Learning for NLP and Speech Recognition
为什么写作本书
随着深度学习、自然语言处理（Natural Language Processing，NLP）与语音应用程序在金融、医疗和政府等各个领域以及我们日常生活中的广泛应用，越来越需要一种可以将深度学习技术应用到自然语言处理和语音应用程序上，并剖析如何使用这些工具和库的综合资源。许多书籍聚焦深度学习理论或针对自然语言处理特定任务的深度学习，而有些书籍则是工具和库的应用指南。但是，随着新算法、工具、框架和库的不断发展变化，针对自然语言处理和语音应用的最新与最先进深度学习方法，并能为读者提供实践经验和案例研究的图书，几乎没有。例如，你会发现很难找到一个资源来解释神经注意力机制对现实世界中自然语言处理任务（如基于传统与先进方法的机器翻译任务）所产生的影响。同样，你也很难找到包含基于知名库的代码以及对这些技术进行比较和分析的资源。
本书集多种资源于一体：
●?提供从基础深度学习、文本和语音原理到高级先进神经网络架构的全面资料。
●?提供适用于常见自然语言处理和语音识别应用程序的深度学习技术的现成资料。
●?提供成功架构和算法的有用资源，以及基本的数学解释与详细说明。
●?提供最新端到端神经语音处理方法的深入分析与比较。
●?提供适用于文本和语音的前沿迁移学习、领域自适应和深度强化学习架构的全面资料。
●?结合实际应用，提供已有技术的使用提示和技巧。
●?通过真实世界案例研究介绍如何使用Python库（例如Keras、TensorFlow和PyTorch）来应用这些技术。
简而言之，本书的主要目的是通过带有代码、实验和分析的真实案例研究，跨越理论与实践之间的鸿沟。
本书读者对象
本书介绍深度学习、自然语言处理和语音识别的基础知识，并重点介绍应用和实践经验。它面向对最新深度学习方法感兴趣的自然语言处理从业人员、工程与计算机科学专业研究生和高年级本科生，以及任何具有一定数学背景且对用于自然语言处理与语音处理的深度学习技术感兴趣的人员。我们希望读者有多元微积分、概率论、线性代数等数学基础，并了解Python编程。
Python正在成为进行深度学习实验的数据科学家和研究人员的通用语言。在过去几年中，出现了许多用于深度学习、自然语言处理和语音识别的Python库。因此，本书中所有案例研究都使用Python语言及其附带的库。在一本书中完全涵盖所有主题是不可行的，因此我们主要介绍与自然语言处理和语音处理相关的关键概念，并将这些概念与应用结合起来。特别地，我们将专注于这些领域的交叉部分，以便我们能够利用不同的框架和库来探索最新研究和相关应用。
本书包含哪些内容
本书分为三个部分，适合具备不同专业知识背景的读者。
第一部分分为3章，向读者介绍自然语言处理、语音识别、深度学习和机器学习领域，并使用基于Python的工具和库进行基本的案例研究。
第二部分为5章，介绍深度学习和对语音和文本处理至关重要的各种主题，包括词向量、卷积神经网络、循环神经网络和语音识别基础。
第三部分讨论与自然语言处理和语音处理相关的最新深度学习研究。案例研究涵盖了注意力机制、记忆增强网络、迁移学习、多任务学习、领域自适应、强化学习以及用于语音识别的端到端深度学习等主题。

接下来，我们总结每一章中讨论的主题。
在第1章中，我们将向读者简短介绍深度学习、自然语言处理和语音领域的基本知识和历史背景。我们将概述机器学习的不同领域，并详细介绍书籍和数据集等各种资源，以帮助读者进行实际学习。
第2章将提供基础理论和重要的实践概念。涵盖的主题包括监督学习、学习过程、数据采样、验证技术、模型的过拟合与欠拟合、线性和非线性机器学习算法以及序列数据建模。在第2章的最后，我们将在案例研究中通过Python工具和库使用结构化数据构建预测模型并分析结果。
在第3章中，我们将向读者介绍计算语言学和自然语言处理的基础知识，包括词汇、句法、语义和语篇表示。我们将介绍语言建模，并讨论诸如文本分类、聚类、机器翻译、问答、自动摘要和自动语音识别等应用，最后以一个关于文本聚类和主题建模的案例研究作为结尾。
第4章将在机器学习基础上介绍深度学习知识。首先对多层感知机（Multilayer Perceptron，MLP）的各组成部分进行基础分析，然后介绍基础MLP架构的不同变种以及用于训练深度神经网络的技术。随着内容的推进，本章还会介绍用于监督学习和无监督学习的各种架构，例如多层MLP、自编码器和生成对抗网络（Generative Adversarial Network，GAN）。最后，我们将知识结合到案例研究中，在一个语音数字数据集上分析有监督和无监督的神经网络架构。
在第5章中，我们将研究基于向量空间模型（如word2vec和GloVe）的分布式语义和单词表示。我们将详细介绍词向量的局限性（包括反义词和多义词）以及克服它们的方法。我们还将研究向量模型的扩展内容，包括子词、句子、概念、高斯嵌入和双曲嵌入。在本章的最后，我们将通过一个案例研究深入探讨如何训练向量模型以及这些模型在文档聚类和词义消歧方面的适用性。
第6章将介绍卷积神经网络的基础知识及其在自然语言处理中的应用。首先介绍构成基本模块的基础数学运算，接着对架构进行更详细的探讨，最终揭示卷积神经网络如何应用于各种形式的文本数据处理。本章还将讨论多个主题，例如经典框架及其最新改进版本，并应用到不同自然语言处理任务，也将讨论一些快速学习算法。最后，我们将从实践的角度出发，在情感分类的案例研究中应用提到的大多数算法。
第7章将介绍循环神经网络（Recurrent Neural Network，RNN），将基于序列的信息引入深度学习。本章首先深入分析深度学习中的循环连接及其局限性。接下来，我们将描述在循环模型中改善质量、提高性能的基本方法和先进技术。然后，我们将研究这些架构的应用以及它们在自然语言处理和语音中的实际应用。最后，我们将以一个案例研究进行总结，在神经机器翻译任务上应用和比较基于循环神经网络的架构，分析网络类型（RNN、GRU、LSTM和transformer）和配置（双向、层数和学习率）的影响。
第8章将介绍自动语音识别（Automatic Speech Recognition，ASR）的基本方法。本章一开始将介绍用于训练和验证ASR系统的指标和特征。然后，我们将介绍语音识别的统计方法，包括声学、词典和语言模型的基本组成部分。案例研究则是在一个中等大小的英语转录数据集上训练和比较两个常见的ASR框架CMU Sphinx和Kaldi。
第9章将介绍过去几年在神经网络技术中发挥了重要作用的注意力机制。接着，我们将介绍有关记忆增强网络（Memory Augmented Network）的相关内容。我们讨论了大多数基于神经的记忆网络，从记忆网络到循环实体网络，详细到足以让读者理解每种技术的工作原理。本章区别于其他章的地方在于有两个案例研究，第一个研究注意力机制，第二个研究记忆网络。第一个案例将扩展第7章中的机器翻译案例，以对比不同注意力机制的影响。第二个案例将探讨并分析不同记忆网络在自然语言处理问答任务的应用。
第10章将介绍迁移学习（Transfer Learning）的概念，以及多任务学习技术。本章的案例研究将探索用于自然语言处理的多任务学习技术，例如词性标注、分块以及命名实体识别和分析。通过本章内容，读者可以对多任务学习技术的实际应用有更深入的了解。
第11章将在有一定约束的场景下探讨迁移学习，例如用于训练的数据较少，或者预测的数据与训练的数据不同。本章将介绍领域自适应（Domain Adaptation）、零样本学习（Zero-shot Learning）、单样本学习（One-shot Learning）和小样本学习（Few-shot Learning）的技术。最后的案例研究将使用亚马逊公司不同领域的产品评论，并应用许多讨论过的技术。
第12章将结合第8章中提到的ASR概念，并使用深度学习技术进行端到端语音识别。本章将介绍利用CTC和注意力机制来训练基于序列的端到端的架构，并探讨解码技术以进一步提高模型质量。本章的案例研究将扩展第8章中介绍的内容，在相同的数据集上比较两种端到端技术，即Deep Speech 2和ESPnet（CTC-注意力混合训练）。
在第13章中，我们将回顾强化学习的基础知识，并讨论其在序列到序列模型上的应用，包括深度策略梯度、深度Q学习，DDQN和演员评论家算法。我们将研究针对自然语言处理任务的深度强化学习方法，这些任务包括信息提取、文本摘要、机器翻译和自动语音识别。在最后的案例研究中，我们会将深度策略梯度和深度Q学习算法应用于文本摘要任务。
在第14章中，我们将为读者提供一些可考虑的因素，并建议读者在未来几年需要关注和了解的领域，包括端到端架构、人工智能、专用硬件、NLP发展和语音处理。