自动驾驶汽车环境感知

本丛书由北京航空航天大学、百度智能驾驶事业群组和百度技术学院联合编写，系统介绍自动驾驶技术基础理论，构建完整的知识体系，并依托百度Apollo自动驾驶平台具体实现，体现我国自动驾驶技术领域的科研成果和技术应用。

近年来，世界主要发达国家均全力支持汽车自动驾驶相关研究。从政府出台政策扶持，到企业投入巨额资金研发，再到高校及研究机构对相关技术的不断探索，推动着自动驾驶技术迅速发展和产业规模不断扩大。与之相对的是自动驾驶技术人才供不应求，企业和研究机构亟须大量专业技术人员。本书系统介绍了自动驾驶汽车环境感知技术。从自动驾驶环境感知概述开始，介绍了车载传感器及传感器标定、计算机视觉与神经网络、环境感知与识别、自动驾驶道路复杂场景语义理解，以及多传感器融合，并通过范例实践验证，可为具备一定基础的人员提供自动驾驶环境感知系统的开发指导。 本书可以作为高等院校车辆工程、交通工程和自动驾驶专业学生的教材，也可供从事自动驾驶汽车相关工作的工程技术人员参考和使用。

甄先通，起源人工智能研究院高级研究员。2007年和2010年于兰州大学分别获学士和硕士学位。2013年毕业于英国谢菲尔德大学电子电气工程系，获得博士学位。2014-2017年，先后在加拿大西安大略大学和美国得克萨斯大学阿灵顿分校从事博士后研究工作。2017年9月-2018年12月，任职北京航空航天大学电子信息工程学院副教授。主要研究方向包括机器学习、计算机视觉和医学图像分析。迄今为止发表学术论文60余篇。

黄坚，博士，北京航空航天大学副教授，从事智能交通、大数据、人工智能领域研究，在863、核高基等国家课题支持下，开展了动态交通信息、车辆道路能耗、自动驾驶场景库等科研实践，相关科研成果获得北京市科技进步一等奖、二等奖等奖项。

王亮，百度智能驾驶事业群组技术委员会主席，主任研发架构师，百度无人驾驶环境感知技术负责人。2012年毕业于UniversityofKentucky，获计算机科学博士学位，期间在计算机视觉国际核心会议和期刊上发表论文三十余篇，累计引用量五千余次。

夏添，中国科学技术大学学士，中科院计算技术研究所博士。前百度自动驾驶事业部主任架构师，视觉感知方向技术负责人。在机器视觉和机器人领域学术会议（CVPR，RSS）上发表点云和视觉感知方面的论文，把深度学习技术引入百度自动驾驶系统。2014年通过项目“基于深度学习的图像技术研发和应用”获得百度百万美金高奖。

第1章  自动驾驶环境感知概述

1.1  自动驾驶环境感知介绍

1.2  车载感知系统组成简介

第2章  车载传感器介绍

2.1  摄像头

2.1.1  概述

2.1.2  工作原理

2.1.3  优缺点

2.1.4  摄像头在自动驾驶汽车上的应用

2.2  激光雷达

2.2.1  概述

2.2.2  工作原理

2.2.3  优缺点

……

第3章  传感器标定

第4章  计算机视觉与神经网络

第5章  环境感知与识别

第6章  自动驾驶道路复杂场景语义理解

第7章  多传感器融合

本书适用于高等院校车辆工程、交通工程和自动驾驶专业的学生，同时也可供从事自动驾驶汽车相关工作的工程技术人员参考和使用。全书共分为7章。第1章对自动驾驶环境感知做了简要介绍，在后续章节中，详细讲述了自动驾驶汽车环境感知的系统组成。具体地，第2章介绍了车载传感器，它是自动驾驶技术的硬件基础，是汽车感知周围环境与外界交互的硬件媒介。第3章分别介绍了摄像头、激光雷达以及多传感器组合等常见车载传感器的标定原理和标定方法； 并以百度阿波罗平台为例，给出较为详细的标定实例。第4章介绍自动驾驶技术中常用的计算机视觉和机器学习算法，特别详细讲述了深度学习技术中的卷积神经网络。第5章讲述本书的重点内容，即环境感知与识别，较为系统地介绍自动驾驶环境感知的关键检测技术，包括障碍物检测、车道线检测、交通信号灯检测与识别，同时本章还介绍了针对动态环境的场景流，其中主要介绍深度估计。另外，本章还简单介绍了基于V2X的道路环境感知技术，*后给出了红绿灯检测实验。第6章探讨自动驾驶道路复杂场景语义理解，首先引入百度ApolloScape复杂场景数据集； 然后分别介绍可行驶区域检测、复杂场景理解、动态场景理解、基于点云的三维分类和语义分割等典型任务； *后提供基于点云的三维分割典型算法实现。第7章简单介绍多传感器融合问题，主要包括传感器融合结构与算法，以及多传感器前融合和后融合技术。

自动驾驶汽车技术是一项庞大且复杂的系统工程，可以毫不夸张地说，它是人工智能在自动驾驶中的集中体现。作为自动驾驶的重要环节，环境感知涉及软、硬件两方面的技术，两者必须融为一体，用到了当前人工智能中计算机视觉和机器学习的先进技术。近年来，人工智能技术的发展日新月异，书中所提及的算法和技术将会不断被更新和超越，甚至被淘汰。作者以本书抛砖引玉，希望能让初学者对自动驾驶环境感知有初步的、概括性的了解。

本书由北京航空航天大学联合百度公司共同编写，在编写过程中得到了来自北京航空航天大学和百度公司的多位专家、老师、同学的参与和支持，包括北京航空航天大学的周斌老师、张辉老师，以及刘旭辉、王昊臣、杜英军、沈佳怡、商子豪、王志程、乔健、张藜千、雷开宇、马飞、周绍栋等同学；百度公司的陈东明、黄新宇、李明、李晓辉、马彧、申耀明、万吉、王军、王煜城、谢远帆、杨睿刚、翟玉强、周珣（按姓氏拼音排列）等。谨在此向他们致以深切的谢意。

同时,本书也得到国家自然科学基金（批准号: 61871016、61571147）的部分资助,特此致谢。

由于编写时间短、编者水平有限,加之经验不足，书中难免有疏漏之处，恳请各位同行和读者批评指正。

作者

2020年2月