图神经网络：基础与前沿

√梳理图神经网络（GNN）领域的经典模型
√帮助读者构建图神经网络知识体系
√厘清重要模型的设计思路和技术细节
√展现图神经网络的zui新研究进展
√图神经网络在推荐系统、生物医疗、自然语言处理等不同场景的实践

图神经网络是人工智能领域的一个新兴方向，它不仅迅速得到了学术界的广泛关注，而且被成功地应用在工业界的多个领域。本书介绍了图神经网络和图深度学习的基础知识和前沿研究，不仅包括它们的发展历史和经典模型，还包括图神经网络在深层网络、无监督学习、大规模训练、知识图谱推理等方面的前沿研究，以及它们在不同领域（如推荐系统、生化医疗、自然语言处理等）的实际应用。 本书既可作为人工智能领域研究和开发人员的技术参考书，也可作为对图上的深度学习感兴趣的高年级本科生和研究生的入门书。

马腾飞，IBM全球研究院总部研究员，东京大学博士，研究方向为机器学习、自然语言处理等。近期的研究集中在图神经网络及其在医疗、生化、金融等领域的应用。在ICLR、NeurIPS、AAAI等人工智能国际会议上发表论文30多篇，并与他人合作，在AAAI、KDD等会议上多次讲授图神经网络的前沿专题。

第 1 章 当深度学习遇上图：图神经网络的兴起 1
1.1 什么是图1
1.2 深度学习与图 2
1.2.1 图数据的特殊性质 3
1.2.2 将深度学习扩展到图上的挑战 4
1.3 图神经网络的发展 5
1.3.1 图神经网络的历史 5
1.3.2 图神经网络的分类 7
1.4 图神经网络的应用 8
1.4.1 图数据上的任务 8
1.4.2 图神经网络的应用领域 8
1.5 小结 11
第 2 章 预备知识 13
2.1 图的基本概念 13
2.2 简易图谱论 15
2.2.1 拉普拉斯矩阵 16
2.2.2 拉普拉斯二次型 17
2.2.3 拉普拉斯矩阵与图扩散 18
2.2.4 图论傅里叶变换 19
2.3 小结 20
第 3 章 图神经网络模型介绍 21
3.1 基于谱域的图神经网络 21
3.1.1 谱图卷积网络 21
3.1.2 切比雪夫网络 24
3.1.3 图卷积网络 25
3.1.4 谱域图神经网络的局限和发展 27
3.2 基于空域的图神经网络 28
3.2.1 早期的图神经网络与循环图神经网络 28
3.2.2 再谈图卷积网络 29
3.2.3 GraphSAGE：归纳式图表示学习 31
3.2.4 消息传递神经网络 34
3.2.5 图注意力网络 37
3.2.6 图同构网络：Weisfeiler-Lehman 测试与图神经网络的表达力 39
3.3 小试牛刀：图卷积网络实战 42
3.4 小结 46
第 4 章 深入理解图卷积网络 47
4.1 图卷积与拉普拉斯平滑：图卷积网络的过平滑问题 47
4.2 图卷积网络与个性化 PageRank 50
4.3 图卷积网络与低通滤波 52
4.3.1 图卷积网络的低通滤波效果 52
4.3.2 图滤波神经网络 54
4.3.3 简化图卷积网络 55
4.4 小结 56
第 5 章 图神经网络模型的扩展 57
5.1 深层图卷积网络 57
5.1.1 残差连接 58
5.1.2 JK-Net 60
5.1.3 DropEdge 与 PairNorm 60
5.2 图的池化 61
5.2.1 聚类与池化 62
5.2.2 可学习的池化：DiffPool 63
5.2.3 Top-k 池化和 SAGPool 65
5.3 图的无监督学习 67
5.3.1 图的自编码器 67
5.3.2 互信息 70
5.3.3 其他 72
5.3.4 图神经网络的预训练 72
5.4 图神经网络的大规模学习 74
5.4.1 点采样 75
5.4.2 层采样 76
5.4.3 图采样 78
5.5 不规则图的深度学习模型 80
5.6 小结 81
第 6 章 其他图嵌入方法 83
6.1 基于矩阵分解的图嵌入方法 83
6.1.1 拉普拉斯特征映射 83
6.1.2 图分解 84
6.2 基于随机游走的图嵌入方法 86
6.2.1 DeepWalk 86
6.2.2 node2vec 87
6.2.3 随机游走与矩阵分解的统一 88
6.3 从自编码器的角度看图嵌入 88
6.4 小结 89
第 7 章 知识图谱与异构图神经网络 91
7.1 知识图谱的定义和任务 92
7.1.1 知识图谱 92
7.1.2 知识图谱嵌入 92
7.2 距离变换模型 94
7.2.1 TransE 模型 94
7.2.2 TransH 模型 95
7.2.3 TransR 模型 96
7.2.4 TransD 模型 97
7.3 语义匹配模型 97
7.3.1 RESCAL 模型 98
7.3.2 DistMult 模型 98
7.3.3 HolE 模型 98
7.3.4 语义匹配能量模型 99
7.3.5 神经张量网络模型 99
7.3.6 ConvE 模型 100
7.4 知识图谱上的图神经网络 100
7.4.1 关系图卷积网络 100
7.4.2 带权重的图卷积编码器 101
7.4.3 知识图谱与图注意力模型 102
7.4.4 图神经网络与传统知识图谱嵌入的结合：CompGCN 103
7.5 小结 103
第 8 章 图神经网络模型的应用 105
8.1 图数据上的一般任务 105
8.1.1 节点分类 106
8.1.2 链路预测 106
8.1.3 图分类 107
8.2 生化医疗相关的应用 108
8.2.1 预测分子的化学性质和化学反应 108
8.2.2 图生成模型与药物发现 109
8.2.3 药物/蛋白质交互图的利用 116
8.3 自然语言处理相关的应用 117
8.4 推荐系统上的应用 121
8.5 计算机视觉相关的应用 123
8.6 其他应用 124
8.7 小结 124
参考文献 127

本书内容
本书详细讨论了图神经网络的经典模型、前沿发展及经典应用，包含了一些与图深度学习相关的内容，如网络嵌入、知识图谱嵌入等，以帮助读者构建更全面的图神经网络知识体系。在介绍具体的图神经网络模型之前，本书先对图神经网络所需要的基础知识进行了简要概括，之后，尽量按照经典图神经网络模型的发展顺序分类进行介绍，后介绍图神经网络中的开放问题和百花齐放的前沿解决方案。希望读者可以通过阅读本书，熟悉整个图神经网络的发展脉络，厘清重要模型的设计思路和技术细节，了解前人是怎么开创一个新领域并逐渐将其发展壮大的。希望本书不仅能帮助想学习图神经网络知识的读者更好地理解技术，而且能让想在别的领域做出突破的读者获得些许灵感。
阅读本书需要读者具有一定的机器学习基础。本书包含了一些图神经网络的公式化理论和模型，并尽量用简洁的语言表述，以便读者更好地理解。书中对模型的介绍在保持严谨的同时，力求将模型背后的设计思路清晰地呈现。书中加入了很多近一两年的新工作，力图向读者展现这个领域的研究进展。我与朋友合作，在 AAAI 和 KDD 大会上做了两次关于图神经网络的前沿专题演讲，其中的大部分内容都囊括在本书中。希望这些前沿知识能够让想从事图神经网络应用和研究的读者少走弯路，更容易找到适合自己目标任务的新模型。对于想应用图神经网络模型的读者，本书将为你提供方向，例如，如何建图、如何选择模型等。
致谢
写作本书的过程比我预想的困难许多，花费了我大量的时间和精力，但写作过程也让我受益匪浅，不仅弥补了我对一些子方向中相关知识的空白，也让我对整个图神经网络的发展有了更全面的认识。感谢本书责任编辑郑柳洁为本书提出了大量有价值的建议；感谢我的论文合作者们，尤其是陈捷和 Danica，是
他们引导我进入这个领域并与我一起进步；感谢我的导师和前辈在成书过程中对我的鼓励。
感谢家人对我的理解和支持，感谢我的父母和姐姐，尤其感谢我的妻子。2020 年是特殊的一年，生活受到了极大的困扰，但儿子的出生让我感到莫大的欣慰。当三人挤成一团时，我总是倍感幸福，妻儿的笑容是我完成本书的助力！
马腾飞
美国纽约州 White Plains

图结构的数据广泛存在于现实世界中，如何将图数据的学习与深度学习技术结合，成了人工智能领域研究的热点之一。本书作者是图神经网络领域的专家，对整个领域有着深刻的理解。本书不仅系统地讲解了图神经网络的基础知识，还深入探讨了图神经网络存在的问题和研究进展，是一本适合入门又给人启发的佳作。
IEEE Fellow/AAAS Fellow，吴信东

将深度学习扩展到图上是人工智能领域的一个重大突破。图结构的数据无处不在，这使得图神经网络的重要性不言而喻。马腾飞从几年前开始专注于图神经网络的研究，在图神经网络的加速训练、生成模型、粗化、动态图上的扩展等方面做出了很有影响力的工作。我与他有过不少合作，我们将图神经网络应用在医疗领域。本书以图神经网络的发展历史为脉络，深入浅出地讲解了常见的图神经网络模型和遇到的问题，以及解决方案。同时，本书包含了大量的实际应用场景，非常适合相关从业者和学生参考。
伊利诺伊大学厄巴纳-香槟分校（UIUC）计算机系教授，孙冀萌

图神经网络的技术飞速发展，在自然语言处理领域也得到了极大的关注和广泛的应用。本书覆盖了与图神经网络相关的大部分重要模型，并提供了很多应用示例，是一本非常不错的入门书，从事自然语言处理相关工作的读者会从中受益。
伊利诺伊大学厄巴纳-香槟分校（UIUC）计算机系教授，季姮

随着海量图数据的不断积累，图神经网络的相关技术得到了很大发展，并在很多行业的实际应用中产生了深远的影响。本书不仅系统地介绍了图神经网络的基础知识，而且详细描述了其在推荐系统、生物化学、医疗药物等不同场景的实践。对于想了解图神经网络的学生和从业者来说，是非常宝贵的学习资料！
腾讯AI Lab机器学习中心总监，黄俊洲

本书完整地介绍了神经网络在图数据学习上的理论和应用，无论是初学者，还是有一定实践经验的读者，阅读本书后都将受益良多。
罗格斯大学（Rutgers）计算机系教授，高洁 

本书非常全面地介绍了与图神经网络有关的背景知识、基础理论、典型框架及在知识图谱、生物医学、推荐系统等方面的相关应用，适合读者系统学习和了解该领域前沿知识，相信可以让读者从中获益。
清华大学计算机系副教授，刘知远