第一本无人驾驶技术书（第2版）

无人驾驶华语原创首著升级版！全面梳理无人驾驶技术必读之作！

 

增补内容超过50%|彩色插图|更多实例| 
　　●无人驾驶技术概览 
　　●深度剖析无人驾驶中的行为预测、感知、定位、决策、规划、控制技术等模块
　　●解析深度学习、强化学习、计算机视觉在无人驾驶中的应用 
　　●无人驾驶高精地图、通信协议、模拟器技术、ROS系统、硬件平台、安全等多个主要技术点

 

适合对无人驾驶技术感兴趣的在校学生、工业从业者，以及相关人士阅读。 

 

介绍无人驾驶这个庞当的AI综合体必备的技术点。在*版的基础上，更新*近一两年的技术发展变化，并补充新的知识点，如高清激光雷达、对抗样本攻击等内容，辅以开源代码实践。

1 无人车：正在开始的未来1

1.1 正在走来的无人驾驶2

1.2 无人驾驶的分级4

1.3 无人驾驶系统简介7

1.4 序幕刚启17

1.5 参考资料18

2 激光雷达在无人驾驶中的应用20

2.1 无人驾驶技术简介20

2.2 激光雷达基础知识21

2.3 应用领域?23

2.4 激光雷达技术面临的挑战?25

2.5 展望未来27

2.6 参考资料27

3 图像级高清激光雷达29

3.1 无人驾驶应用的各类激光雷达的点云特性29

3.2 高清激光雷达在构建可靠感知系统时的优势33

3.3 高清激光雷达对定位和运动探测模块的价值35

3.4 高清激光雷达使得点云和图像数据的融合更高效37

3.5 激光雷达未来的发展趋势38

3.6 参考资料39

4 GPS及IMU在无人驾驶中的应用40

4.1 无人驾驶定位技术40

4.2 GPS简介41

4.3 IMU简介43

4.4 GPS和IMU的融合45

4.5 小结46

4.6 参考资料47

5 基于计算机视觉的无人驾驶感知系统48

5.1 无人驾驶的感知48

5.2 KITTI数据集49

5.3 计算机视觉能帮助无人车解决的问题51

5.4 光流和立体视觉52

5.5 物体的识别与追踪54

5.6 视觉里程计算法56

5.7 小结57

5.8 参考资料58

6 卷积神经网络在无人驾驶中的应用59

6.1 CNN简介59

6.2 无人驾驶双目3D感知60

6.3 无人驾驶物体检测64

6.4 小结67

6.5 参考资料68

7 强化学习在无人驾驶中的应用69

7.1 强化学习简介69

7.2 强化学习算法71

7.3 使用强化学习帮助决策75

7.4 无人驾驶的决策介绍78

7.5 参考资料81

8 无人驾驶的行为预测83

8.1 无人驾驶软件系统模块总体架构83

8.2 预测模块需要解决的问题85

8.3 小结95

8.4 参考资料95

9 无人驾驶的决策、规划和控制（1）98

9.1 决策、规划和控制模块概述98

9.2 路由寻径101

9.3 行为决策107

9.4 动作规划115

9.5 反馈控制124

9.6 小结128

9.7 参考资料128

10 无人驾驶的决策、规划和控制（2）130

10.1 其他动作规划算法130

10.2 栅格规划器132

10.3 自由空间TEB规划器138

10.4 小结143

10.5 参考资料144

11 基于ROS的无人驾驶系统145

11.1 无人驾驶：多种技术的集成145

11.2 ROS简介146

11.3 系统可靠性150

11.4 系统通信性能提升152

11.5 系统资源管理与安全性153

11.6 小结153

11.7 参考资料?154

12 无人驾驶的硬件平台155

12.1 无人驾驶：复杂系统155

12.2 传感器平台156

12.3 计算平台173

12.4 控制平台182

12.5 小结188

12.6 参考资料188

13 无人驾驶系统安全190

13.1 针对无人驾驶的安全威胁190

13.2 无人驾驶传感器的安全190

13.3 无人驾驶操作系统的安全192

13.4 无人驾驶控制系统的安全192

13.5 车联网通信系统的安全194

13.6 安全模型校验方法196

13.7 小结197

13.8 参考资料198

14 对抗样本攻击与防御在无人驾驶中的应用200

14.1 对抗样本攻击算法202

14.2 对抗样本防御算法212

14.3 实验平台安装及环境配置215

14.4 AdvBox攻击与防御实验222

14.5 防御建议228

14.6 小结228

14.7 参考资料229

15 ?无人驾驶数据服务通信协议231

15.1 数据服务通信协议发展历史231

15.2 DSRC 232

15.3 C-V2X 238

15.4 3GPP中V2X无线接入标准研究244

15.5 参考资料246

16 无人驾驶模拟器技术249

16.1 为什么需要模拟器249

16.2 模拟器的用途250

16.3 模拟器系统的需求251

16.4 模拟器系统的模块组成251

16.5 模拟器的使用场景及常见模拟器257

16.6 模拟器的研发阶段260

16.7 模拟器仿真的一致性问题261

16.8 小结263

16.9 参考资料264

17 基于Spark与ROS的分布式无人驾驶模拟平台265

17.1 无人驾驶模拟技术265

17.2 基于ROS的无人驾驶模拟器267

17.3 基于Spark的分布式模拟平台269

17.4 小结272

17.5 参考资料272

18 无人驾驶中的高精地图274

18.1 传统电子导航地图274

18.2 服务于无人驾驶场景的高精地图?275

18.3 高精地图的组成和特点276

18.4 构建高精地图279

18.5 高精地图在无人驾驶中的应用286

18.6 高精地图的现状与结论288

18.7 参考资料289

19 高精地图的自动化生产290

19.1 高精地图生产的挑战290

19.2 无人车用高精地图291

19.3 高精地图生产的基本流程294

19.4 机器学习在高精地图生产中的应用297

19.5 基于三维点云的深度学习301

19.6 小结302

19.7 参考资料302

20 面向无人驾驶的边缘高精地图服务308

20.1 边缘计算与高精地图308

20.2 边缘场景下的高精地图服务310

20.3 边缘高精地图生产311

20.4 边缘高精地图内容分发312

20.5 参考框架313

20.6 相关工作314

20.7 小结316

20.8 参考资料317

 

笔者在年少时就很喜欢机器人，从求学阶段就开始专注于计算机科学，期待有朝一日可以从事机器人的研发工作。2007年，微软公司创始人比尔·盖茨在《每个家庭都有一个机器人》（A Robot In Every Home）一文中预言：在不久的将来，每个家庭除了拥有计算机之外还会拥有一个机器人。这篇文章对笔者的启发很大，坚定了笔者从事机器人研发的决心。在美国攻读博士期间，笔者一直在机器人系统领域学习、研究；2009年夏，笔者在微软研究院（MSR Redmond）FPGA组实习期间的研究项目就是为机器人打造感知芯片。2014年，笔者有幸进入百度美国研究院，亲身经历了百度的无人驾驶事业从无到有、从单点技术到系统整合的整个过程，并在此过程中结识了一群顶尖的科技人才。在共事的过程中，大家互相学习，与无人驾驶行业共同成长。现在，笔者的大部分老同事已经在中国无人驾驶行业中各领风骚。

无人驾驶的场景特别复杂，技术挑战特别大，它因此被称为AI技术的圣杯。但是，笔者更愿意将无人驾驶归属于移动机器人的一个子类，而AI技术只是无人驾驶众多技术点中的一部分。正如本书详细介绍的那样，无人驾驶是一个系统工程，需要把众多的单点技术进行有效的整合。能否开发出一款好的无人驾驶产品取决于一个团队的全栈式工程能力与系统型整合能力，因此对整个无人驾驶架构的全面了解至关重要。

 

写作本书的初衷

虽然无人驾驶一直处于资本追逐的风口，但是整个无人驾驶行业的商业链条并不完备，尤其受限于人才储备不足。在日常的接触中，笔者发现许多工程师，甚至行业从业者对无人驾驶的理解存在许多偏差。例如，有人会觉得理解了某个深度学习算法就能利用它实现无人驾驶，或者只要有一个激光雷达就可以构建无人驾驶系统。笔者希望本书能够成为对无人驾驶有兴趣的同学们的基础入门书，能够通过解析无人驾驶架构帮助大家了解无人驾驶及每个技术点的具体作用。

本书的读者可以在掌握了整个无人驾驶技术架构后，再去深入挖掘一两个自己感兴趣的技术方向，由浅入深、由表及里地组织相关技术内容。只有这样，整个行业在每个单点技术的人才储备才会逐渐建立起来，无人驾驶才会有发展和繁荣的希望。

笔者一直认为，移动机器人，包括无人驾驶，主要集中在三个技术方向：感知、定位和决策。感知是无人车对当前环境的理解，从采集到的传感器原始数据中提取有意义的信息；定位是无人车对自身当前位置的理解，用来精确地控制无人车的行驶方向；而决策是无人车的大脑，根据感知与定位信息决定下一步的动作，为车辆的出行与到达提供安全可靠的规划。为了实现这三个技术模块的高效运行，我们需要一个适用于无人驾驶的边缘计算系统，这个系统由操作系统和硬件系统组成，将配合算法部分满足无人驾驶实时、可靠、安全、节能的要求。除了车载移动服务，我们还需要无人驾驶云平台提供离线的计算和存储功能以支持高精地图产生及大规模的深度学习模型训练等服务。

 

本书章节介绍

为了覆盖上述无人驾驶系统的内容，本书内容组织如下：

第1章将简单介绍无人驾驶系统架构。

第2章到第7章，将介绍无人驾驶中的感知定位技术模块。

第8章到第10章，将介绍无人驾驶中的决策与控制技术模块。

第11章到第15章，将介绍无人驾驶边缘计算系统的技术点。

最后，第16章到第20章，将介绍无人驾驶云平台的技术点。

每一章的最后一节都详细地列出了参考资料，以便读者对某个感兴趣的技术点进行深入探究。

 

 

刘少山，PerceptIn创始人兼CEO