多模态深度学习技术基础

●  全书分为初识多模态信息处理、单模态深度学习表示技术、多模态深度学习基础技术、多模态预训练技术四个单元，涵盖多模态表示、对齐、融合、转换和预训练技术。
●  提供四个完整的实战案例，分别对应多模态表示、对齐、融合和转换这四个基础技术，把多模态深度学习技术融入实践中，加深学生对技术的理解和掌握。提供案例的Jupyter Notebook文件，支持教师一键讲解。
●  可作为高等院校相关专业的教材，也可作为教辅资料，还可作为学习多模态深度学习技术的参考书。

内容上，本书力求系统地介绍基于深度学习的图文多模态信息处理技术，侧重介绍最通用、最基础的技术，覆盖了多模态表示、对齐、融合和转换等四大关键技术。同时也介绍了多模态信息处理领域的**发展前沿——多模态预训练模型。此外，为了让读者可以实践这些多模态深度学习技术，本书提供了四个完整的实战案例，分别对应多模态表示、对齐、融合和转换这四个关键技术。 具体而言，本书的内容分为四个部分：初识多模态信息处理、单模态表示、多模态信息处理的关键技术、多模态预训练模型。 第一部分包括两个章节：第1章介绍多模态信息的基本概念、难点、使用深度学习方法的动机、多模态信息处理的关键技术以及这些技术的发展历史，第2章介绍若干同时涉及图像和文本的多模态热门研究任务。 第二部分包括两个章节：第3和4章分别介绍了多模态信息处理中常用的文本表示和图像表示方法。 第三部分包括四个章节：第5、6、7、8章分别介绍面向特定任务的多模态表示、对齐、融合和转换这四个关键技术，且每一章都提供了一个可运行的完整的实战案例。 第四部分包括一个章节：第9章介绍综合使用上述关键技术，并以学习通用多模态表示为目标的多模态预训练模型。

第1章  绪论 1
1.1  多模态信息处理的概念 1
1.2  多模态信息处理的难点 2
1.3  使用深度学习技术的动机 3
1.4  多模态信息处理的基础技术 4
1.4.1  表示技术 4
1.4.2  对齐技术 4
1.4.3  融合技术 5
1.4.4  转换技术 5
1.5  多模态深度学习技术的发展历史 5
1.6  小结 8
1.7  习题 9
第2章  多模态任务 10
2.1  图文跨模态检索 10
2.1.1  数据集 11
2.1.2  评测指标 12
2.2  图像描述 13
2.2.1  数据集 14
2.2.2  评测指标 14
2.3  视觉问答 19
2.3.1  数据集 20
2.3.2  评测指标 23
2.4  文本生成图像 23
2.4.1  数据集 24
2.4.2  评测指标 25
2.5  指称表达 27
2.5.1  数据集 29
2.5.2  评测指标 30
2.6  小结 31
2.7  习题 31
第3章  文本表示 32
3.1  基于词嵌入的静态词表示 33
3.1.1  Word2vec 33
3.1.2  GloVe 35
3.2  基于循环神经网络的动态词表示 36
3.2.1  循环神经网络基础 36
3.2.2  现代循环神经网络 37
3.2.3  动态词表示和整体表示 40
3.3  基于注意力的预训练语言模型表示 42
3.3.1  自注意力 43
3.3.2  transformer编码器 46
3.3.3  BERT 47
3.3.4  BERT词表示和整体表示 49
3.4  小结 50
3.5  习题 50
第4章  图像表示 51
4.1  基于卷积神经网络的整体表示和网格表示 53
4.1.1  卷积神经网络基础 53
4.1.2  现代卷积神经网络 54
4.1.3  整体表示和网格表示 55
4.2  基于目标检测模型的区域表示 57
4.2.1  基于深度学习的目标检测基础 57
4.2.2  区域表示 58
4.3  基于视觉transformer的整体表示和块表示 59
4.3.1  使用自注意力代替卷积 59
4.3.2  视觉transformer 60
4.3.3  整体表示和块表示 61
4.4  基于自编码器的压缩表示 62
4.4.1  量化自编码器：VQ-VAE 62
4.4.2  量化生成对抗网络：VQGAN 64
4.4.3  变分生成对抗网络：KLGAN 67
4.4.4  压缩表示 67
4.5  小结 68
4.6  习题 68
第5章  多模态表示 69
5.1  共享表示 71
5.1.1  多模态深度自编码器 72
5.1.2  多模态深度生成模型 73
5.2  对应表示 79
5.2.1  基于重构损失的方法 80
5.2.2  基于排序损失的方法 81
5.2.3  基于对抗损失的方法 84
5.3  实战案例：基于对应表示的跨模态检索 85
5.3.1  跨模态检索技术简介 85
5.3.2  模型训练流程 86
5.3.3  读取数据 87
5.3.4  定义模型 95
5.3.5  定义损失函数 99
5.3.6  选择优化方法 100
5.3.7  评估指标 101
5.3.8  训练模型 103
5.4  小结 107
5.5  习题 107
第6章  多模态对齐 109
6.1  基于注意力的方法 110
6.1.1  交叉注意力 110
6.1.2  基于交叉注意力的图文对齐和相关性计算 112
6.2  基于图神经网络的方法 115
6.2.1  图神经网络基础 115
6.2.2  单模态表示提取 120
6.2.3  单模态图表示学习 120
6.2.4  多模态图对齐 122
6.3  实战案例：基于交叉注意力的跨模态检索 123
6.3.1  读取数据 123
6.3.2  定义模型 129
6.3.3  定义损失函数 131
6.3.4  选择优化方法 137
6.3.5  评估指标 137
6.3.6  训练模型 140
6.4  小结 143
6.5  习题 144
第7章  多模态融合 145
7.1  基于双线性融合的方法 146
7.1.1  多模态低秩双线性池化 147
7.1.2  多模态因子双线性池化 148
7.1.3  多模态Tucker融合 149
7.2  基于注意力的方法 150
7.2.1  基于交叉注意力的基础方法 150
7.2.2  基于多步交叉注意力的方法 151
7.2.3  基于交叉transformer编码器的方法 152
7.3  实战案例：基于MFB的视觉问答 153
7.3.1  视觉问答技术简介 153
7.3.2  读取数据 154
7.3.3  定义模型 165
7.3.4  定义损失函数 170
7.3.5  选择优化方法 170
7.3.6  选择评估指标 171
7.3.7  训练模型 171
7.4  小结 175
7.5  习题 175
第8章  多模态转换 177
8.1  基于编解码框架的方法 178
8.1.1  基于循环神经网络的编解码模型 179
8.1.2  基于注意力的编解码模型 181
8.1.3  基于transformer的编解码模型 183
8.2  基于生成对抗网络的方法 185
8.2.1  基于条件生成对抗网络的基本方法 185
8.2.2  基于多阶段生成网络的方法 187
8.2.3  基于注意力生成网络的方法 191
8.3  实战案例：基于注意力的图像描述 193
8.3.1  图像描述技术简介 193
8.3.2  读取数据 194
8.3.3  定义模型 195
8.3.4  定义损失函数 203
8.3.5  选择优化方法 204
8.3.6  选择评估指标 204
8.3.7  训练模型 206
8.4  小结 209
8.5  习题 210
第9章  多模态预训练 211
9.1  总体框架 211
9.2  预训练数据集 212
9.3  模型结构 213
9.3.1  基于编码器的模型 214
9.3.2  基于编解码框架的模型 215
9.4  预训练任务 216
9.4.1  掩码语言模型 216
9.4.2  掩码视觉模型 216
9.4.3  图像文本匹配 217
9.4.4  跨模态对比学习 217
9.5  下游任务 217
9.5.1  视觉常识推理 217
9.5.2  视觉语言推理 218
9.5.3  视觉蕴含 218
9.6  典型模型 218
9.6.1  基于融合编码器的双流模型：LXMERT 218
9.6.2  基于融合编码器的单流模型：ViLT 220
9.6.3  基于双编码器的模型：CLIP 222
9.6.4  基于编解码框架的模型：OFA 223
9.7  小结 226
9.8  习题 226
参考文献 227

视觉、听觉、触觉、嗅觉、味觉是人类拥有的五种感知觉，每一种感知觉都为我们提供了关于我们生活的世界的独特信息。尽管这五种感知觉各不相同，但是我们对周围世界的感觉却是统一的多感觉体验，并不杂乱。粗略地说，人类可通过多种感知觉获得对物理世界的统一的多模态的体验。随着移动互联网的发展，通过多个模态的信息共同表示的数据的规模迅速增大，迫切需要发展综合处理多个模态信息的理论、方法和技术。因此，多模态信息处理的研究具有重要的科学意义和广泛的应用需求。
在深度学习出现以前，多模态信息处理的研究进展较为缓慢，主要集中在少数几个特定任务上。2010年之后，深度学习技术使用相同的基础结构和优化算法在图像、文本、语音数据处理上不断取得突破，为将其应用于处理多模态信息数据提供了条件。基于深度学习的方法帮助多模态信息处理取得了巨大的突破，提升了大多数已有多模态任务的性能，也使得解决更加复杂的多模态任务成为可能。因此，本书专注介绍基于深度学习的多模态信息处理技术。
尽管多模态信息处理近年来才成为人工智能领域的研究热点，但是本书作者有超过10年的多模态信息处理研究经验，且在2013年就发表过使用深度学习方法进行图文跨模态检索的研究论文。作者所在的北京邮电大学智能科学与技术中心团队也为2012级及以后的智能科学与技术专业本科生开设了“多模态信息处理”课程。本书正是以这门课程的讲义为主要内容编写而成的，是团队在多模态信息处理领域长期的科研和教学成果的结晶。
内容上，本书力求系统地介绍基于深度学习的多模态信息处理技术，侧重介绍最通用、最基础的技术，覆盖了多模态表示、对齐、融合和转换4种基础技术，同时也介绍了多模态信息处理领域的最新发展前沿技术——多模态预训练技术。此外，为了让读者可以实践这些多模态深度学习技术，本书提供了4个可运行的、完整的实战案例，分别对应多模态表示、对齐、融合和转换这4种基础技术。
本书可作为多模态信息处理、多模态深度学习等相关课程的教学参考书，适用于高等院校智能科学与技术和人工智能等专业的本科生、研究生，同时可供对多模态深度学习技术感兴趣的工程师和研究人员参考。

本书主要内容
如图1所示，本书内容分为4部分：初识多模态信息处理、单模态深度学习表示技术、多模态深度学习基础技术、多模态预训练技术。

图1  本书的内容结构

第一部分包括第1章和第2章，第 1章介绍多模态信息的基本概念、难点、使用深度学习方法的动机、多模态信息处理的基础技术，以及这些技术的发展历史，第 2章介绍若干热门的多模态研究任务。
第二部分包括第3章和第4章，分别介绍多模态深度学习模型中常用的文本表示和图像表示技术。
第三部分包括第5~8章，分别介绍面向特定任务的基于深度学习的多模态表示、对齐、融合和转换这4种技术，且每章都提供了一个可运行的、完整的实战案例。
第四部分即第9章，介绍综合使用上述基础技术，并以学习通用多模态表示或同时完成多个多模态任务为目标的多模态预训练技术。

致谢
感谢现在和曾经在北京邮电大学智能科学与技术中心从事多模态深度学习研究的全体老师和同学，本书的不少内容得益于团队的研究成果。
感谢微软亚洲研究院的吴晨飞博士为第7章的实战案例部分提供的代码支持。本书的编写参阅了大量的著作和文献，在此一并表示感谢！
感谢清华大学出版社为本书出版所做的一切。
由于作者水平有限，书中不足及错误之处在所难免，敬请专家和读者给予批评指正。

作  者
2023年8月