计算机视觉增强现实应用概论

本书从计算机视觉技术和增强现实的概述开始着笔，继而讨论增强现实理论基础，然后介绍增强现实系统，后讨论增强现实行业应用及发展趋势。本书可作为高等院校计算机视觉或增强现实基础课程的参考教材，也可供有意从事AR相关行业的从业人员参考。

序言
前言
第1章　计算机视觉与增强现实应用概论1
1.1　计算机视觉概述1
1.1.1　计算机视觉发展历程2
1.1.2　计算机视觉常见模块5
1.1.3　计算机视觉应用领域8
小结9
1.2　增强现实概述9
1.2.1　增强现实发展历程11
1.2.2　增强现实表现形式14
1.2.3　增强现实应用领域19
小结21
第2章　增强现实理论基础23
2.1　增强现实理论基础简介23
2.2　增强现实的摄像机空间理论25
2.2.1　摄像机透视模型25
2.2.2　摄像机参数矩阵27
2.2.3　双目摄像机立体视觉系统32
小结36
2.3　图像处理基本原理37
2.3.1　数字图像的色彩模型37
2.3.2　图像的截取与缩放40
2.3.3　线性滤波器的运用42
小结46
2.4　图像局部特征的提取与匹配46
2.4.1　SIFT特征描述子47
2.4.2　ORB特征描述子56
2.4.3　模板匹配64
小结66
2.5　图像的边缘检测67
2.5.1　一阶导数边缘检测67
2.5.2　二阶导数边缘检测69
2.5.3　Canny算子边缘检测73
2.5.4　基于二值图像的模板匹配74
小结80
2.6　位姿估计80
2.7　用于运动状态预测的滤波器83
2.7.1　贝叶斯滤波器83
2.7.2　粒子滤波器85
2.7.3　卡尔曼滤波器90
小结95
2.8　即时定位与地图构建系统95
2.8.1　单目LSD-SLAM97
2.8.2　单目ORB-SLAM104
小结107
第3章　增强现实系统简介108
3.1　增强现实软件系统108
3.1.1　增强现实软件系统概述108
3.1.2　基于平面图像识别的增强现实系统110
3.1.3　基于实物识别的增强现实系统113
3.1.4　基于SLAM的增强现实系统116
小结117
3.2　增强现实硬件系统117
3.2.1　基于高清摄像机的舞台增强现实系统117
3.2.2　基于普通智能手机的增强现实系统119
3.2.3　基于包含深度摄像模块的手持设备增强现实系统119
3.2.4　基于单目智能眼镜的增强现实系统122
3.2.5　基于双目可穿透式智能眼镜的增强现实系统124
3.2.6　基于投影的增强现实系统125
小结127
3.3　国际主流增强现实引擎简介127
第4章　增强现实相关的人机交互系统简介129
4.1　手势识别交互系统129
4.1.1　2D静态手势识别129
4.1.2　2D动态手势识别130
4.1.3　3D手势识别130
4.2　语音识别交互系统132
4.3　眼动追踪交互系统134
小结135
第5章　增强现实行业应用136
5.1　增强现实在教育和技能培训领域的应用136
5.1.1　早教类增强现实应用137
5.1.2　学科教学类增强现实应用138
5.1.3　工业培训类增强现实应用140
5.2　增强现实在游戏娱乐领域的应用141
5.3　市场营销类增强现实应用143
5.4　文化旅游类增强现实应用146
5.5　工业和医疗类增强现实应用147
5.6　军事类增强现实应用149
小结150
第6章　增强现实系统发展趋势151
6.1　增强现实软件发展趋势151
6.1.1　深度学习与增强现实的结合151
6.1.2　云计算技术与增强现实的结合155
6.1.3　大范围三维重建技术156
小结160
6.2　增强现实硬件发展趋势160
6.2.1　基于光场成像技术的增强现实系统160
6.2.2　基于半导体光学的增强现实系统169
小结172
6.3　增强现实人机交互技术发展趋势172
6.3.1　新形态用户界面172
6.3.2　新形态交互技术181
小结182
第7章　结语183

Preface　前　　言近年来，随着增强现实（AR）技术的火热，越来越多的人开始关注相关领域的动态及发展，尤其是相当一部分软件开发者及技术爱好者已经开始计划从事AR行业相关的研究或开发工作。由于增强现实技术近几年才进入公众的视野，且涉及众多计算机视觉的复杂概念，相关知识又有着相当的深度及广度，因此目前市面上还没有一本系统介绍增强现实相关理论基础、软硬件系统及应用案例的专业书籍。
本书从增强现实的基本概念出发，系统介绍AR相关的理论、系统设计、行业应用及发展趋势，可以作为计算机科学、电子工程及其他相关院系的计算机视觉或增强现实基础课程的参考教材，也可以作为有意从事AR相关行业的从业人员的业务参考书。同时，对增强现实技术感兴趣的读者，也可以通过本书对AR的不同方面有一个系统的认识，为之后进一步的研究打下良好的基础。
本书部分章节涉及一些数学公式及程序实例，若想透彻理解这些内容，需要读者有良好的高等数学基础并有一定的实用基础软件编程能力，例如C++或 C#。考虑到大多数读者的需要，本书第2章对增强现实相关的计算机视觉基本概念进行了简单描述。建议一般读者按照章节的顺序逐章进行阅读，有计算机视觉基础的专业读者则可按照自身情况选择相关内容进行阅读。对于非技术人员或者对AR应用及发展感兴趣的读者，可重点阅读第5~7章。在本书的编写过程中，我们得到了众多友人的支持。感谢浙江大学周泓教授为本书的修改多次提出宝贵意见，感谢香港理工大学池哲儒教授在百忙之中为本书写序。后，感谢机械工业出版社的编辑为本书的出版付出的辛勤劳动。
虽然本书经过了多次校对，但难免会有疏漏之处。欢迎读者指出其中的错误，以便我们及时更正。
后，愿广大读者朋友在本书的帮助下，都能很好地理解增强现实技术的各方面内容。愿本书能为增强现实在国内的普及以及在世界范围内的发展献上绵薄之力。