增强现实——无处不在

关于增强现实方向的，科普与专业内容兼有的入门必备读物。

本书将解释增强现实技术的概念，以及与虚拟现实技术和混合现实技术的区别，并帮助读者明晰这些技术之间的界限。全书主要内容包括增强现实系统分类、典型特点、实现途径及结构组成，技术起源及其发展历程；增强现实所涉及的关键核心技术及所面临的技术挑战，典型应用或潜在的重点应用领域，相关配套软件工具及硬件设备；本书*后对增强现实技术进行了分析总结并对其发展趋势进行了预测。

Jon Peddie博士是计算机图形领域先驱之一，成立了Jon Peddie Research （JPR）并出任主席，为客户提供详细技术咨询和市场预测服务。Peddie在许多国际会议上做过有关图形技术和数字媒体技术新趋势的专题讲座。最近被任命为最具影响力的分析师之一，定期为科技领域的投资者提供咨询，在贸易和商业出版物中经常被引用；他是Siggraph Pioneers组织的主席，并为包括CNN、TechTV和Future Talk TV在内的众多出版栏目撰写文章。2015年，他获得了CAAD学会颁发的终身成就奖。他是Siggraph执行委员会顾问，并于2018年被接受为ACM杰出演讲者。迄今为止，Peddie已经发表了数百篇论文，撰写了不下13本书。
Jon Peddie博士是计算机图形领域的先驱之一，多年关注增强现实领域。他成立了Jon Peddie Research，为客户提供详细技术咨询和市场预测服务，并在许多国际会议上做过有关图形技术和数字媒体技术新趋势的专题讲座。作为最具影响力的分析师之一，他定期为科技领域的投资者提供咨询。曾担任SIGGRAPH Pioneers组织主席，SIGGRAPH执行委员会顾问，于2018年获评为ACM杰出演讲者。Peddie已发表数百篇论文，出版十几本著作。

第1章 绪论 1
1.1 增强现实背景介绍 1
1.2 增强现实发展前景 4
1.3 增强现实的潜在危险 5
1.4 增强现实所需技术 6
1.5 增强现实呈现方法 6
1.6 对现实的多种表述方式 8
1.7 增强现实在虚拟实境中的地位 8
1.7.1 翻译并认知世界 9
1.7.2 消费者与工业、军事和
科学领域 10
1.7.3 隐含在电影中的未来
预测 10
1.7.4 人类增强的道德准则 13
1.7.5 混合现实定律 15
1.7.6 增强现实可以提供帮助和
监控手段 15
1.7.7 游戏中的增强现实 16
1.7.8 听觉增强现实 16
1.8 相关定义 17
1.8.1 什么是增强现实 17
1.8.2 物联网环境下的增强
现实 19
1.8.3 增强现实的类型 19
1.8.4 虚拟现实与增强现实的
区别 20
1.8.5 增强现实比虚拟现实更受
欢迎 22
1.9 总结 22
参考文献 23
第2章 增强现实系统类型 24
2.1 增强现实系统的类型 24
2.2 增强现实的分类 25
2.3 隐形眼镜 28
2.4 头盔 28
2.5 平视显示器 28
2.6 智能眼镜 29
2.6.1 集成产品式智能眼镜 29
2.6.2 附加组件式智能眼镜 32
2.7 投影仪 32
2.7.1 空间增强现实 34
2.7.2 洞穴（CAVE） 35
2.8 专用系统及其他类型的眼镜 36
2.8.1 水印增强现实 36
参考文献 37
第3章 人们都可以成为专家 38
3.1 增强现实：让人们成为领域
专家 38
参考文献 40
第4章 增强现实系统组成概述 41
4.1 增强现实系统的基本组成 41
4.1.1 虚实融合的遮挡与
可见性 43
4.1.2 关于辐辏调节冲突的
几点思考 43
4.2 技术问题探讨 45
第5章 增强现实的研究历史 46
5.1 历史概述 46
5.1.1 发展趋势分析 60
5.1.2 实时上下文内容提示 61
参考文献 63
第6章 典型应用领域 65
6.1 重要应用领域 65
6.1.1 科学、工程和政府领域 66
6.1.2 商业和企业领域 92
6.1.3 消费者领域 98
6.2 总结 119
参考文献 121
第7章 软件工具 123
7.1 Khronos团队 125
7.1.1 OpenCV 127
7.2 ARToolKit 128
7.2.1 Vuforia 128
7.2.2 Augument 129
7.2.3 Infinity AR 130
7.2.4 Intel RealSense 131
7.2.5 Kudan 132
7.2.6 Google Tango 132
7.2.7 HoloLens 132
7.2.8 Scope AR 133
7.2.9 ViewAR 133
7.3 增强现实操作系统 134
7.4 增强现实接口的作用 134
7.4.1 谁来定义增强现实 135
7.5 小结：参与者与平台 135
参考文献 135
第8章 技术问题 136
8.1 神奇的眼睛 137
8.1.1 视杆、视锥和中央凹 137
8.1.2 分辨率 138
8.2 人眼看到的 138
8.2.1 盲点 138
8.2.2 眼动 139
8.2.3 隔行扫描电视和
运动感知 139
8.3 增强现实显示中的延迟问题 140
8.3.1 场序彩色系统和延迟 141
8.3.2 显示问题 143
8.4 动眼框 144
8.4.1 头部活动范围 145
8.5 视场角 145
8.5.1 像素间距 148
8.6 显示器 149
8.6.1 接近程度 149
8.6.2 近眼显示设备 149
8.6.3 虚拟现实 149
8.6.4 增强现实 149
8.6.5 混合现实 150
8.6.6 环境光 150
8.6.7 颜色深度 151
8.6.8 刷新率 151
8.6.9 小结 151
8.7 增强现实显示器 152
8.7.1 按透视度分类 153
8.7.2 按技术类型分类 153
8.7.3 直接发射设备和调制显示
设备 154
8.7.4 光路由 164
8.7.5 透视直接发射显示器 177
8.8 传感器技术 189
8.8.1 摄像头 190
8.8.2 定位、跟踪和导航
传感器 192
8.8.3 惯性测量单元 193
8.8.4 触觉反馈 193
8.8.5 地震预测传感器 195
8.9 有标记与无标记的跟踪技术 196
8.9.1 特征和基准 197
8.9.2 使用标记的自然特征
跟踪 197
8.9.3 SLAM——无标记的定位
跟踪方法 198
8.10 增强现实系统中的用户界面 202
8.10.1 语音控制 202
8.10.2 手势控制 204
8.10.3 眼动跟踪 208
8.10.4 脑电波 212
8.10.5 小结 213
参考文献 213
第9章 供应商 218
9.1 增强现实设备及其供应商 218
9.1.1 供应商 219
第10章 结论以及对未来的展望 222
10.1 隐私 222
10.2 社会问题 223
10.3 微型化及纳米技术 223
10.4 未来会怎样 225
参考文献 226
附录A 227
术语表 229

译者序
光明的未来就在眼前，AR时代已经来临！
从个人职业生涯角度讲，时隔10年，我回到了这个既熟悉又有些陌生的研究领域——增强现实（Augmented Reality，AR），觉得熟悉是因为其理论体系基本没有太大变化，而觉得陌生则是因为这几年技术进步确实太快了，增强现实的商业化应用已经初见端倪，特别是在教育培训、远程维修和医疗康复等多个典型垂直领域，各种应用已经逐步落地。以微软HoloLens、Magic Leap One为代表的商业化产品的推出，将增强现实应用的热度不断推向高潮；面向手机AR应用市场，苹果推出ARKit，谷歌则推出ARCore；而国内华为、联想和小米等领军企业也纷纷布局，特别是以影创科技、亮风台、耐德佳等为代表的民营企业，已研发出可量产的全息眼镜，并推动着其在教育及相关领域的应用。目前国际上知名的科技公司几乎无一缺席这场盛宴，所有迹象表明——增强现实时代已经来临！
增强现实技术通过环境重建与光场叠加，将计算机生成的虚拟对象添加到真实世界中，使虚拟对象和真实世界保持正确的几何一致性、光照一致性和时间一致性，使得二者融为一体，增强了人们对真实世界的体验、感知和认知，其最终目标是虚实一体、虚实互动和虚实协同。与虚拟现实（Virtual Reality，VR）技术相比，增强现实技术更强调泛在的实用性而非简单沉浸式体验，它已经走出实验室或特定环境融入日常活动中，将遍及我们工作、生活的每个角落！
纵观近百年来的历次科技突破，从电话到计算机，到电视，到手机，到互联网，再到智能手机，无一不是改变了人与人、人与机之间的交互交流模式，改变了人机信息传递、共享的方式。当前，人工智能技术发展如火如荼，机器智能不断增强，然而，“无人是相对的，有人是绝对的”，“平台无人，系统有人”，类似这样的观念已成为人们的普遍共识，因此人机之间的交流方式就变得异常重要，甚至很可能成为人工智能发展及应用的瓶颈性问题。众多业内专家预测：增强现实将成为下一代人机交互界面！
本书作者Jon Peddie博士是计算机图形学领域的权威专家，关注增强现实技术很多年，有不少代表性专业著作，在许多国际会议上做过图形和数字媒体技术新趋势的专题讲座，并在多个会议、组织或公司的顾问委员会任职。本书内容深入浅出，以通俗的应用视角讲解深奥的技术问题，还不乏众多领域的典型案例，不仅适合具有一定技术基础的专业人员阅读，还可以作为公众领域人员了解、掌握增强现实技术的入门读物。无论是经验丰富的专家，还是初次接触增强现实的读者，都会从本书中获得优秀而富有想象力的信息！
本书翻译工作的完成，不仅是向广大读者提供精彩的内容分享，也是我们在增强现实领域学习、工作的小结，希望能够为增强现实的研究与普及尽一份微薄之力。感谢国防科技创新研究院各级领导和部门的关心与支持。感谢天津（滨海）人工智能创新中心为团队提供了安静舒适的办公环境，特别感谢刁兴春主任、史殿习副主任的关心和指导，感谢秦伟、徐明中两位部长的大力支持。与王彦臻主任及micROS团队的学习交流，也让我们受益匪浅。在整本书的翻译过程中，得到我所带领的国防科技创新研究院人机共融技术研究团队的全力支持与配合。另外，还要感谢我的研究生刘璇恒、庞巧遇对部分章节所做的翻译、校对工作；感谢张明佳助理对译稿的细心整理，她的辛苦付出大大减轻了我的校对工作量；感谢王晶晶助理为本书出版所做的联系沟通工作；感谢杨超工程师对有关光学章节进行的修订工作。最后，还要特别感谢我的父母、爱人和儿子，是他们默默无私的付出与大力支持，才使我拥有足够的工作及加班时间，也给予我莫大的前进动力，他们始终是我奋斗路上的坚强后盾。让我们共同努力，推动增强现实在更多领域落地生根！
邓宝松  2019年10月1日于天津滨海

Thomas A. Furness为本书作序
在20世纪80年代中期，媒体对我在美国俄亥俄州赖特帕特森（Wright-Patterson）空军基地主持的“超级驾驶舱”（Super Cockpit）①项目进行了集中报道。曾经有人就此事向我咨询，是否有可能在军事领域之外应用这种虚拟界面技术呢？我当时觉得这类问题难以直接给出答案。其中有个人是来自澳大利亚的高尔夫球职业选手，他想创造一种更好的培训方法来指导高尔夫球新手如何进行挥杆操作。他还告诉我，他曾经试验过很多方法：首先对这些新手说，“看着我”和“照我的样子做”，然后演示如何站起来、握住球杆、挥动球杆等；他会给新手看他们自己挥杆动作流程的视频，指出并纠正其中的错误；当新手紧握着球杆击球时，他会试图站在身后近距离指导……可是，尝试过所有这些方法之后，新手们仍然没有搞明白如何操作；最后，这个专家非常沮丧地问我，你有没有办法用类似这种虚拟界面的东西把我放进学生的身体里……就像个幽灵一样呢？这样，当学生戴上头戴设备时，他们会看到我的胳膊和脚从他们自己的身体里“长”出来，反之，他们只需要把自己真正的脚、手和球杆放在我所放的位置上，然后再把自己的操作放入这种虚拟界面中展示出来即可。这样他们就有了一种“切身体会”或“从内向外”的视角，而不是传统培训里典型的“从外向内”的旁观者视角。高尔夫球职业选手与新手之间的问题显然只是其中一个典型例子……也就是说，需要从传统第三人，或者从“外在→内在”的视角，转变为第一人的视角。
这个问题为虚拟界面的其他领域的应用打开了一个新的思路，而不仅仅是我当时所追求的军事领域的应用。我想到了虚拟嵌入式专家的概念，可以用于教育培训、远程操作和物理治疗等多个领域。例如，一位与人“耦合”的嵌入式专家可以向人们展示如何修理喷气式发动机、如何进行脑部手术或进行物理治疗（告诉他们“将胳膊抬到我所抬的位置上”或“把手放在我所放的位置上”）。例如，就像我的妻子可以向我建议说，“让我来教你如何从我的角度编织毛衣或学习美国手语”。非常有意思的是，这种合作可以在距离很远的“合作者”之间对等地完成，因为不同的“合作者”不必处在同一物理位置上。通过这种方式，远程外科医生可以实时地向战场上的医务人员展示如何在他们自己的视角下完成伤员救治流程，然后告诉战地医务人员：“跟随我的手，做我指示你做的事情就可以了。”
哇，这种视角上的转变具有重要的意义！
1966年，我开始研发和应用虚拟界面，当时我被任命为空军工程部门官员，负责管理赖特帕特森空军基地的空军研究实验室。我的工作是研究、设计、建造和测试更好的战斗机座舱人机接口，这将提升飞行员及其所操纵飞机在军事行动中的系统整体性能，但显然这件事做起来并不容易。最让人望而生畏的制约因素是，我们需要在很狭窄的驾驶舱空间中放置大量的仪器和控制装置（可能有大约300个开关和75个仪表显示器）。这样，如果在此基础上再增加新型传感器图像显示设备（这样飞行员还可以在夜间看到周边环境）几乎是不可能的。那是促使我转向“超级驾驶舱”项目研究的主要原因①，其目的就是研究一种将飞行员的感知能力与复杂机器更好地结合起来的方法。如果虚拟图像能够叠加在飞行员的头盔上，我们就可以创造出与飞行员眼睛（视场角）相匹配，并且具有足够大小和分辨率的传感显示器。增加对头盔的位置、姿态的跟踪功能，使我们能够根据飞行员头部的运动，同步这些传感器的感知信息，从而创建一个可移动的界面或“图像窗口”，以便在驾驶舱中和夜间都能看到这些传感器所获取的实时信息。此外，这些虚拟信息可用图形或符号的方式显示，用于展示飞行员所面临的威胁程度，或飞机当前的飞行动力学相关信息，例如位置、方向、空速、高度和其他参数等。此外，这种头盔位姿跟踪能力还允许飞行员将各种武器系统及其瞄准视线结合起来，直接用于作战打击。值得注意的是，所有这些关键功能都将在不占用任何驾驶舱空间的情况下按需添加！
我不是第一个想到这些问题的人②。在早期的陆军海军仪器（Army Navy Instrumentation）项目（开始于1953年）中，已经发展了许多关于在先进驾驶舱中使用虚拟界面（如头盔显示器和能在外部世界上叠加虚拟图形对象的显示器）的最初概念性想法。该项目的动机是采用以用户为中心的驾驶舱设计方法，即从飞行员角度出发设计驾驶舱内的仪器、仪表结构，而不是传统的从机器到飞行员角度的工作方式。正是这个项目建立的平台框架激发了我在虚拟界面、视觉耦合辅助设备，最终在超级驾驶舱方面的进一步研究工作。
当然，我愿意走上这条虚拟化技术道路的另一个原因是我对科幻小说的痴迷。从我的童年，也就是大约20世纪40年代开始，我就是一个科幻迷和梦想家，我最喜欢的作品之一是：James Blish的They Shall Have Stars（《他们应该有星星》），这是James Blish的系列小说Cities in Flight（《飞行中的城市》）的第一部。有趣的是，在1956年首次出版时，这个小说的原名叫做Year 2018（《2018年》）。小说中生动地描述了建筑工人在木星上用冰冻氨建造一座奇特的桥的过程，由于木星上生存环境非常恶劣，工作人员只能被安顿在一颗围绕木星运行的卫星上，但他们可以在木星的“表面”上实现“远程呈现”（telepresent），这是通过在两端安装传感器和显示器，将施工人员的“眼睛”和“手”传送到处在一定距离之外木星表面上的施工设备来实现的。其他同类小说进一步扩展了这些概念，如Heinlein的Waldo（《瓦尔多》）和Starship Troopers（《星际飞船士兵》）。Edward Elmer Smith的Lensman（《伦斯曼》）空间歌剧系列解放了我的思维，让我想到使用虚拟界面（Virtual Interface）命令和控制应用程序，通过虚拟图像投影和手势来控制远处的物体。
现在，这些当时的梦想和早期的发展已经演变成我们这个时代的新型工具。我把他们的到来比作“原子裂变”，释放出巨大能量来进一步解放和连接我们的思想。这种解放来自增强现实、虚拟现实和混合现实技术带给我们（例如，高尔夫球职业选手）