知识图谱与深度学习

知识就是力量，人工智能想要让计算机像人一样思考，同样需要知识的力量。计算机实现人工智能需要哪些知识，这些知识要如何表示、获取、计算以及使用，都是人工智能的重要研究课题。知识图谱作为人类知识结构化形成的知识系统，是人工智能研究和智能信息服务的基础核心技术，被广泛应用于搜索引擎、问答系统、智能对话系统以及个性化推荐等知识驱动的领域。

为了更好地向读者阐述知识智能方面的*研究成果，作者整理出版了这部专著。本书内容包括语言知识和世界知识两种类型知识，以及这两类知识在表示学习、自动获取与计算应用方面的*探索。作为数据智能与知识智能的前沿研究方向，知识图谱与深度学习的融合互动是人工智能的重要发展趋势，本书对此做了全面梳理。作者希望能够得到业内专家指正，也希望能够吸引更多志同道合之士，共同探讨未来专业发展方向。

知识图谱旨在将人类知识组织成结构化知识系统，是人工智能实现真正意义的理解、记忆与推理的重要基础。知识图谱作为典型的符号表示系统，如何有效用于机器学习算法，面临着知识表示、知识获取和计算推理等方面的诸多挑战。近年来，以神经网络为代表的深度学习技术引发了人工智能的新一轮浪潮。 本书介绍了作者团队在知识图谱与深度学习方面的研究成果，展现了数据驱动的深度学习与符号表示的知识图谱之间相互补充和促进的技术趋势。本书内容对于人工智能基础研究具有一定的参考意义，既适合专业人士了解知识图谱、深度学习和人工智能的前沿热点，也适合对人工智能感兴趣的本科生和研究生作为学习读物。

刘知远
清华大学计算机系副教授、博士生导师。主要研究方向为表示学习、知识图谱和社会计算。2011年获得清华大学博士学位，已在ACL、IJCAI、AAAI等人工智能领域的著名国际期刊和会议发表相关论文60余篇，谷歌学术引用超过7 000次。博士论文曾被评为清华大学优秀博士学位论文、中国人工智能学会优秀博士学位论文。曾被评为清华大学优秀博士后，获得过中文信息学会青年创新奖，入选《麻省理工科技评论》“35岁以下科技创新35人”中国区榜单（MIT TR-35 China）、中国科学技术协会青年人才托举工程、中国计算机学会青年学者提升计划。多次担任ACL、EMNLP、COLING、IJCNLP等著名国际会议的领域主席。

韩旭
清华大学计算机系博士生，主要研究方向为自然语言处理、知识图谱、信息抽取。在AAAI、ACL、EMNLP、COLING、NAACL等人工智能领域的著名国际会议上发表多篇论文，是OpenKE、OpenNRE等开源项目的开发者之一。

孙茂松
清华大学计算机系长聘教授，清华大学人工智能研究院常务副院长，清华大学计算机学位评定分委员会主席。主要研究方向为自然语言理解、中文信息处理、Web智能、社会计算和计算教育学等。国家重点基础研究发展计划（“973”计划）首席科学家，国家社会科学基金重大项目首席专家。在重要国际刊物、国际会议、国内核心刊物上发表论文200余篇，谷歌学术引用9 000余次。2013年带领团队成功研制并发布了全球第一个向全社会免费开放的中文慕课平台“学堂在线”，目前注册用户已超过2 000万人。2017年领衔研制出“九歌”人工智能诗歌写作系统，引起了社会关注。主要兼职包括教育部教学信息化与教学方法创新指导委员会副主任委员，互联网教育智能技术及应用国家工程实验室副主任，中国科学技术协会第九届全国委员会委员，中国中文信息学会第六届、第七届副理事长，《中文信息学报》主编。2016年获“全国优秀科技工作者”及“首都市民学习之星”称号。

第1 章绪论.1
1.1 知识图谱简介2
1.2 深度学习的优势和挑战4
1.3 深度学习 知识图谱=1 .8
1.3.1 知识的表示学习9
1.3.2 知识的自动获取10
1.3.3 知识的计算应用13
1.4 本书结构14
1.5 本章总结14
第一篇世界知识图谱
第2 章世界知识的表示学习19
2.1 章节引言19
2.2 相关工作20
2.2.1 知识表示学习经典模型20
2.2.2 平移模型及其拓展模型22
2.3 基于复杂关系建模的知识表示学习25
2.3.1 算法模型.25
2.3.2 实验分析.26
2.3.3 小结32
2.4 基于关系路径建模的知识表示学习32
2.4.1 算法模型.32
2.4.2 实验分析.34
2.4.3 小结39
vi j 知识图谱与深度学习
2.5 基于属性关系建模的知识表示学习39
2.5.1 算法模型.40
2.5.2 实验分析.41
2.5.3 小结44
2.6 融合实体描述信息的知识表示学习44
2.6.1 算法模型.45
2.6.2 实验分析.47
2.6.3 小结54
2.7 融合层次类型信息的知识表示学习55
2.7.1 算法模型.55
2.7.2 实验分析.57
2.7.3 小结62
2.8 融合实体图像信息的知识表示学习62
2.8.1 算法模型.63
2.8.2 实验分析.64
2.8.3 小结68
2.9 本章总结68
第3 章世界知识的自动获取70
3.1 章节引言70
3.2 相关工作71
3.2.1 有监督的关系抽取模型71
3.2.2 远程监督的关系抽取模型.72
3.3 基于选择性注意力机制的关系抽取73
3.3.1 算法模型.74
3.3.2 实验分析.78
3.3.3 小结82
3.4 基于关系层次注意力机制的关系抽取83
3.4.1 算法模型.83
目录j vii
3.4.2 实验分析.86
3.4.3 小结89
3.5 基于选择性注意力机制的多语言关系抽取.89
3.5.1 算法模型.90
3.5.2 实验分析.93
3.5.3 小结98
3.6 引入对抗训练的多语言关系抽取98
3.6.1 算法模型.99
3.6.2 实验分析.103
3.6.3 小结106
3.7 基于知识图谱与文本互注意力机制的知识获取.106
3.7.1 算法模型.107
3.7.2 实验分析.112
3.7.3 小结117
3.8 本章总结118
第4 章世界知识的计算应用119
4.1 章节引言119
4.2 细粒度实体分类120
4.2.1 算法模型.120
4.2.2 实验分析.122
4.2.3 小结129
4.3 实体对齐129
4.3.1 算法模型.129
4.3.2 实验分析.132
4.3.3 小结135
4.4 融入知识的信息检索.136
4.4.1 算法模型.136
4.4.2 实验分析.138
4.4.3 小结143
viii j 知识图谱与深度学习
4.5 本章总结143
第二篇语言知识图谱
第5 章语言知识的表示学习147
5.1 章节引言147
5.2 相关工作148
5.2.1 词表示学习148
5.2.2 词义消歧.149
5.3 义原的表示学习149
5.3.1 算法模型.149
5.3.2 实验分析.152
5.3.3 小结155
5.4 基于义原的词表示学习156
5.4.1 算法模型.156
5.4.2 实验分析.159
5.4.3 小结164
5.5 本章总结164
第6 章语言知识的自动获取166
6.1 章节引言166
6.2 相关工作167
6.2.1 知识图谱及其构建167
6.2.2 子词和字级NLP 167
6.2.3 词表示学习及跨语言的词表示学习167
6.3 基于协同过滤和矩阵分解的义原预测168
6.3.1 算法模型.168
6.3.2 实验分析.171
6.3.3 小结175
6.4 融入中文字信息的义原预测175
6.4.1 算法模型.176
目录j ix
6.4.2 实验分析.179
6.4.3 小结183
6.5 跨语言词汇的义原预测183
6.5.1 算法模型.184
6.5.2 实验分析.188
6.5.3 小结194
6.6 本章总结194
第7 章语言知识的计算应用195
7.1 章节引言195
7.2 义原驱动的词典扩展.196
7.2.1 相关工作.196
7.2.2 任务设定.198
7.2.3 算法模型.199
7.2.4 实验分析.202
7.2.5 小结207
7.3 义原驱动的神经语言模型.207
7.3.1 相关工作.208
7.3.2 任务设定.209
7.3.3 算法模型.210
7.3.4 实验分析.213
7.3.5 小结219
7.4 本章总结219
第8 章总结与展望220
8.1 本书总结220
8.2 未来展望221
8.2.1 更全面的知识类型221
8.2.2 更复杂的知识结构222
8.2.3 更有效的知识获取223
8.2.4 更强大的知识指导223
x j 知识图谱与深度学习
8.2.5 更精深的知识推理224
8.3 结束语224
相关开源资源226
参考文献228
后记.243

知识就是力量。
||[英]弗兰西斯￠ 培根
知识能够丰富人的思想，能够让人更聪明。我们通过思考，获得知识就能解决我们
从前所不知道的很多问题。这时，知识就是一种力量。而人工智能想要让计算机像人一
样思考，同样需要知识的力量。计算机实现人工智能需要哪些知识，这些知识又要如何
表示，如何获取，如何计算，以及如何使用，都是人工智能的重要研究课题。
近年来，深度学习技术大放异彩，极大地提升了自然语言处理、计算机视觉等人工
智能任务的性能。我们应当辩证地看待深度学习技术的历史地位。一方面，它充分利用
人工神经网络的分布式表示能力和层次结构泛化能力，从大规模训练数据中自动学习，
显著提升了对无结构文本、图像、语音数据背后语义信息的表示与学习性能，将数据驱
动方法推向新的高度；另一方面，我们也认识到，深度学习从大规模数据中自动学习任
务模式和语义信息，既受到大数据长尾分布的制约，也无法真正理解这些模式与语义，
缺少可解释性；近年来的研究也表明，深度学习技术无法有效应对有针对性的攻击样例，
鲁棒性差。
数据与知识，是实现人工智能的两大基石。对大规模数据的学习与利用，离不开深
度学习技术。但要实现有理解能力的人工智能，还需要各类知识的支持。最终，我们需要
探索出一条能够同时充分利用数据与知识的方案，才能实现有理解能力的人工智能，具
有较好的鲁棒性和可解释性。我们姑且将面向人工智能的知识计算研究称为知识智能，
涵盖知识表示、获取、计算和推理应用等研究课题。其中，知识表示旨在探索如何对不
同类型知识进行组织和表示，支持计算机最大化地利用这些知识；知识获取旨在探索如
何从互联网大规模的结构化、半结构、无结构数据中自动获取我们需要的知识；知识计
算和推理则旨在探索如何更好地利用大规模知识库进行各类知识计算与推理应用，支持
人工智能实现从数据智能到知识智能的跃迁。
我所在的清华大学自然语言处理与社会人文计算实验室（THUNLP），在学术带头
人孙茂松教授的带领下，主要从事自然语言处理、知识图谱、机器翻译和社会计算研
ii j 知识图谱与深度学习
究。2014 年，孙茂松教授作为首席科学家牵头组织了题为“面向三元空间的互联网中
文信息处理理论与方法”的国家重点基础研究发展计划（973″ 计划）项目。在2013 年
申请项目时，深度学习初露锋芒但尚未成席卷之势，孙茂松教授带领的项目团队经过多
次研讨认为，深度学习技术将对自然语言处理带来颠覆性变化，并意识到知识对自然语
言理解的重要价值。经过2014|2018 年的5 年探索，项目组在国内率先开展并坚持探索
了面向自然语言处理的深度学习技术，系统研究了面向自然语言理解的知识获取与应用
技术，取得了一系列原创成果。其中，孙茂松教授带领团队主要负责项目的基础理论研
究，提出了融合知识的统一语义表示框架，以及知识指导的自然语言处理框架等学术思
想，相关发表论文、开源项目、演示系统获得了国内外的广泛关注。
为了更好地向国内读者介绍在知识智能方面取得的最新进展，我们整理出版了这部
中文专著。“知识图谱”本是谷歌的一款支持搜索引擎的世界知识产品，就像“大数据”
一样，由于名字贴切上口，近年来在学术界和产业界被广泛用来指代各类知识库，本书
也择善而从，用知识图谱来泛指我们研究的语言知识和世界知识等各类知识库。本书主
要涉猎语言知识和世界知识两种类型知识，内容包括面向这两类知识在表示学习、自动
获取与计算应用方面的最新尝试。
本书主要内容是我们在知识智能方面的最新研究成果，而非对知识图谱和深度学习
技术的科普介绍，因此更适合具备自然语言处理和知识图谱基础知识的相关研究生和学
者，以及具有类似背景的对人工智能和知识图谱感兴趣的人士。为了方便读者阅读，本
书在绪论中介绍了关于自然语言处理、知识图谱和深度学习等比较全面的背景。如果读
者希望更全面了解知识图谱基础知识，建议阅读中国科学院自动化研究所赵军老师团队
2018 年出版的《知识图谱》，它是全面了解和学习该领域的理想教材。如果读者希望更
全面了解深度学习基础知识，建议阅读Ian Goodfellow、Yoshua Bengio、Aaron Courville
等学者2016 年出版的Deep Learning，它是全面了解和学习该领域的理想教材，国内已有
翻译版。
本书由孙茂松教授指导，由刘知远具体组织撰写，课题组的博士生韩旭、岂凡超和
本科生于志竟成、杨承昊等担任了主要撰写与校对工作。本书参考了实验室涂存超、林
衍凯、谢若冰等几位博士研究生和硕士研究生的学位论文。课题组的于鹏飞（3.4 节）、王
晓智（3.6 节）、朱昊（4.3 节）、刘正皓（4.4 节）、刘阳光（6.3 节）、辛极（4.2 节）、张磊
（6.4 节、7.3 节）、陈暐泽（7.2 节、7.3 节）、欧阳思聪（7.2 节、7.3 节）、秦禹嘉（6.3 节）、
高天宇（3.2 节）、黄励新（3.3 节）、黄俊杰（5.3 节、6.5 节）、曹书林（3.5 节）、常亮（6.4
前言j iii
节、6.5 节）、彭皓（3.7 节）、臧原（5.3 节、6.3 节、6.5 节）等同学参与了本书的素材准备
工作（按姓氏笔画排列，括号内为有贡献的章节号）。
刘知远
2020 年3 月于清华大学FIT 楼