人工智能点云处理及深度学习算法

由浅入深，循序渐进：抽丝剥茧介绍点云及深度算法

讲其然，解其所以然：通上彻下阐述理论与算法设计

融会贯通，举一反三：触类旁通解说算法特性与联系

读书百遍，其义自见：愿您的每次阅读都有新的认知

 本书系统地介绍了三维点云处理的基础知识、 传统算法与深度学习算法, 包括点云数据表示、 空间变换、 预处理、 配准、 拼接、 滤波和表面重建等传统算法, 以及经典三维深度学习算法、 室外、 室内、 单目、 多模态三维目标检测、 三维语义分割和深度补全等模型。

书中采用由浅入深的方式详细介绍各种算法的设计思路和实现过程, 如循序渐进的学习路径、 深入剖析算法原理、 丰富的示例算法以及能力开拓和问题解决能力培养等。

本书读者对象为计算机科学、 机器学习、 人工智能等领域专业人士和学术研究者等。

 第1 章 Python 简介与环境搭建 
1 .1 Python 简介  
1 .2 Python 常用数据类型 
1 .2.1 数值类型  
1 .2.2 字符串类型  
1 .2.3 列表类型  
1 .2.4 字典类型  
1 .2.5 其他类型  
1 .3 常用语法 
1 .3 .1 包导入  
1 .3 .2 主函数入口 
1 .3 .3 缩 进  
1 .3 .4 函 数 
1 .3 .5 类  
1 .3 .6 流程控制结构  
1 .3 .7 学习网站和资料 
1 .4 Python 环境安装  
1 .4.1 Conda 安装 
1 .4.2 PythonIDE 安装 
1 .4.3 程序调试 
1 .5 Python 源码加密 
1 .6 pip 镜像设置  
1 .7 程序资料 
第2 章 点云开发环境安装与配置  
2.1 Python Open3d 安装 
2.2 Python PCL 安装  
2.3 CUDA 套件安装 
2.3 .1 CUDA 架构简介  
2.3 .2 Windows 系统 CUDA 安装  
2.3 .3 Linux 系统 CUDA 安装  
1人工智能点云处理及深度学习算法
2.4 cuDNN 安装  
2.4.1 Windows 系统cuDNN 安装  
2.4.2 Linux 系统cuDNN 安装  
2.5 PyTorch 安装 
2.6 参考环境创建 
2.7 程序资料 
第3 章 点云基础  
3 .1 点云数据结构 
3 .2 点云采集方式 
3 .2.1 激光雷达 
3 .2.2 RGBD 相机 
3 .2.3 应用场景 
3 .3 点云存储格式 
3 .3 .1 pcd 点云存储格式 
3 .3 .2 ply 点云存储格式 
3 .3 .3 txt 点云存储格式  
3 .3 .4 bin 点云存储格式  
3 .4 点云格式相互转化 
3 .5 Open3d 读写点云文件  
3 .5 .1 pcd 文件读写  
3 .5 .2 ply 文件读写  
3 .6 Python pcl 读写点云文件  
3 .7 点云可视化 
3 .7.1 Matplotlib 点云可视化 
3 .7.2 Mayavi 点云可视化  
3 .7.3 Open3d 点云可视化  
3 .7.4 Python pcl 点云可视化  
3 .7.5 CloudCompare 点云可视化 
3 .8 程序资料 
第4 章 点云几何形态  
4.1 体 素 
4.2 法向量 
4.2.1 最小二乘求解法 
4.2.2 PCA 求解法  
4.2.3 Open3d 计算法向量  
4.3 质 心 
4.4 三角面 
4.5 倒角距离 
4.6 程序资料 
第5 章 点云空间变换 
5 .1 平移变换 
5 .2 旋转变换 
5 .2.1 旋转表示方法 
5 .2.2 Open3d 点云旋转 
5 .3 平面投影 
5 .4 仿射变换 
5 .5 点云缩放 
5 .6 基于法向量的旋转 
5 .7 程序资料 
第6 章 点云预处理算法  
6 .1 离群点过滤 
6 .1 .1 无效值剔除 
6 .1 .2 统计方式剔除 
6 .1 .3 半径滤波方式剔除 
6 .2 点云下采样 
6 .2.1 体素下采样 
6 .2.2 随机下采样 
6 .2.3 均匀下采样 
6 .2.4 最远点采样 
6 .3 坐标上采样 
6 .4 特征上采样 
6 .5 程序资料 
第7 章 点云机器学习常见算法 
7.1 ICP 点云配准方法  
7.2 点云拼接 
7.3 点云分割 
7.3 .1 RANSAC 平面分割  
7.3 .2 DBSCAN 聚类  
7.3 .3 KMeans 聚类 
3人工智能点云处理及深度学习算法
7.4 其他聚类算法 
7.4.1 OPTICS 
7.4.2 Spectral Clustering 
7.4.3 Hierarchical Clustering 
7.4.4 Mean shift  
7.4.5 BIRCH  
7.4.6 Affinity Propagation 
7.5 表面重建 
7.5 .1 Alpha shapes 
7.5 .2 Ball pivoting  
7.5 .3 Poisson  
7.5 .4 Voxel grid  
7.6 程序资料 
第8 章 点云深度学习基础  
8.1 感知机模型 
8.1 .1 感知机结构 
8.1 .2 梯度下降法 
8.2 卷积神经网络  
8.2.1 卷积层  
8.2.2 池化层 
8.2.3 全连接层  
8.2.4 激活函数 
8.2.5 批归一化  
8.2.6 损失函数  
8.3 反向传播算法  
8.4 特征视野范围  
8.5 非极大值抑制  
8.6 Pytorch 神经网络框架  
8.7 模型参数量与存储空间  
8.7.1 计算原理  
8.7.2 维度对比  
8.8 mmdetection3d 三维深度学习框架  
8.8.1 安装调试  
8.8.2 mmdetection3d 训练  
8.8.3 关键程序与断点  
8.8.4 程序资料 
第9 章 三维点云数据集 
9 .1 ModelNet40  
9 .2 KITTI 
9 .2.1 激光雷达数据  
9 .2.2 标注数据  
9 .2.3 图像数据 
9 .2.4 标定数据  
9 .2.5 相机到雷达坐标  
9 .2.6 标注可视化  
9 .2.7 mmdetection3d KITTI  
9 .3 NuScenes  
9 .3 .1 数据范围  
9 .3 .2 json 文件  
9 .3 .3 NuScenes 工具包  
9 .3 .4 mmdetection3d nuScenes 
9 .4 S3DIS  
9 .4.1 数据集简介  
9 .4.2 mmdetection3d S3DIS  
9 .5 ScanNet v2  
9 .5 .1 数据集简介  
9 .5 .2 mmdetection3d ScanNet v2  
9 .6 SUN RGB D  
9 .6 .1 数据集简介  
9 .6 .2 mmdetection3d SUN RGB D  
9 .7 点云数据预处理方法 
9 .7.1 归一化 
9 .7.2 随机缩放  
9 .7.3 随机平移  
9 .7.4 随机旋转  
9 .7.5 随机扰动  
9 .7.6 随机排序  
9 .7.7 随机丢弃  
9 .7.8 剔除范围外点  
9 .8 程序资料  
5人工智能点云处理及深度学习算法
第10 章 三维点云深度学习基础模型算法  
10.1 PointNet (CVPR 2017)  
10.1 .1 输入数据 
10.1 .2 分类网络 
10.1 .3 分割网络 
10.2 PointNet (NIPS 2017)  
10.2.1 SA 模块  
10.2.2 分类网络 
10.2.3 分割网络 
10.2.4 多尺度分组 
10.3 VoxelNet (CVPR 2018)  
10.3 .1 数据裁剪 
10.3 .2 数据处理 
10.3 .3 模型结构 
10.3 .4 损失函数 
10.4 Complex Yolo  
10.4.1 点云鸟瞰图 
10.4.2 点云前视图 
10.4.3 Complex Yolov4 输入数据  
10.4.4 Complex Yolov4 模型  
10.5 SECOND (Sensor 2018)  
10.5 .1 三维稀疏卷积简介 
10.5 .2 模型结构 
10.5 .3 顶层结构 
10.5 .4 模型训练 
10.6 CenterPoint (CVPR 2021) 
10.6 .1 模型总体结构 
10.6 .2 模型详细结构 
10.6 .3 顶层结构 
10.6 .4 模型训练 
10.7 VoteNet (ICCV 2019)  
10.7.1 模型总体结构 
10.7.2 模型详细结构 
10.7.3 顶层结构 
10.7.4 模型训练 
10.8 目标检测与图像融合可视化 
10.9 点云语义分割可视化 
10.10 程序资料  
第11 章 室外三维目标检测模型算法  
11 .1 PointPillars (CVPR 2019)  
11 .1 .1 模型总体结构 
11 .1 .2 模型详细结构 
11 .1 .3 顶层结构 
11 .1 .4 模型训练 
11 .2 SSN (ECCV 2020) 
11 .2.1 模型总体结构 
11 .2.2 模型详细结构 
11 .2.3 损失函数 
11 .2.4 顶层结构 
11 .2.5 模型训练 
11 .3 3DSSD (CVPR 2020)  
11 .3 .1 模型总体结构 
11 .3 .2 最远点采样 
11 .3 .3 模型详细结构 
11 .3 .4 损失函数 
11 .3 .5 顶层结构 
11 .3 .6 模型训练 
11 .4 SASSD (CVPR 2020) 
11 .4.1 模型总体结构 
11 .4.2 模型详细结构 
11 .4.3 Head 与损失函数  
11 .4.4 顶层结构 
11 .4.5 模型训练 
11 .5 PointRCNN (CVPR 2019) 
11 .5 .1 模型总体结构 
11 .5 .2 模型详细结构 
11 .5 .3 损失函数  
11 .5 .4 顶层结构 
11 .5 .5 模型训练 
11 .6 Part A2 (TPAMI 2020) 
11 .6 .1 模型总体结构 
11 .6 .2 模型详细结构 
7人工智能点云处理及深度学习算法
11 .6 .3 总体损失与顶层结构 
11 .6 .4 模型训练 
第12 章 室内三维目标检测模型算法   
12.1 H3DNet (ECCV 2019)  
12.1 .1 模型总体结构 
12.1 .2 模型详细结构 
12.1 .3 总体损失与顶层结构 
12.1 .4 模型训练 
12.2 Group Free 3D (ICCV 2021)  
12.2.1 模型总体结构 
12.2.2 模型详细结构 
12.2.3 模型训练 
12.3 FCAF3D (ECCV 2022)  
12.3 .1 模型总体结构 
12.3 .2 模型详细结构 
12.3 .3 模型训练 
第13 章 单目三维目标检测模型算法 
13 .1 ImVoxelNet ( WACV 2022)  
13 .1 .1 模型总体结构 
13 .1 .2 模型详细结构 
13 .1 .3 损失函数与顶层结构 
13 .1 .4 室内情况 
13 .1 .5 模型训练 
13 .2 SMOKE (CVPRW 2020)  
13 .2.1 模型总体结构 
13 .2.2 模型详细结构 
13 .2.3 模型训练 
13 .3 FCOS3D (ICCVW 2021)  
13 .3 .1 模型总体结构 
13 .3 .2 模型详解 
13 .3 .3 模型训练  
第14 章 多模态三维目标检测模型算法  
14.1 多模态数据融合方法 
14.2 MVXNet (ICRA 2019) 
14.2.1 模型总体结构 
14.2.2 图像特征提取 
14.2.3 点云特征提取 
14.2.4 主干网络与 NECK 层 
14.2.5 损失函数与顶层结构 
14.2.6 模型训练 
14.3 ImVoteNet (CVPR 2020)  
14.3 .1 模型总体结构 
14.3 .2 二维候选框预测 
14.3 .3 点云种子点生成 
14.3 .4 图像投票特征提取 
14.3 .5 结果预测与损失计算 
14.3 .6 模型训练 
第15 章 三维语义分割模型算法 
15 .1 PAConv (CVPR 2021) 
15 .1 .1 PAConv 卷积结构 
15 .1 .2 主干网络 
15 .1 .3 特征上采样与结果预测 
15 .1 .4 损失函数与顶层结构 
15 .1 .5 模型训练 
15 .2 DGCNN (TOG 2019) 
15 .2.1 模型总体结构 
15 .2.2 EdgeConv 卷积  
15 .2.3 主干网络 
15 .2.4 特征融合与结果预测 
15 .2.5 损失函数与顶层结构 
15 .2.6 模型训练 
第16 章 三维深度补全模型 
16 .1 模型总体结构 
16 .2 输入数据 
16 .2.1 KITTI 数据集下载  
16 .2.2 数据集预处理 
16 .3 ENet 主干网络 
16 .3 .1 ENet 主干支路一  
16 .3 .2 ENet 主干支路二  
9人工智能点云处理及深度学习算法
16 .3 .3 分支融合 
16 .3 .4 ENet 损失函数 
16 .4 DA CSPN  
16 .4.1 卷积核参数及其权重学习 
16 .4.2 DA CSPN 结果微调  
16 .4.3 feature_s1 CSPN 结果微调  
16 .4.4 损失函数 
16 .5 模型训练 
参考文献

   三维点云是现代计算机视觉领域的热门研究方向, 由于其能够准确地表达三维环境的形态和结构, 因此在环境感知、 机器人导航、 室内外建模、 自动驾驶等领域具有广泛应用。

本书共分为16 章, 其中前7 章主要介绍Python 编程基础、 点云数据的形态与可视化、 空间变换、 预处理以及点云的配准、 拼接、 滤波和表面重建等常见机器学习算法等知识。后9 章则介绍深度学习的基础知识和环境搭建, 以及三维点云深度学习算法模型,包括经典三维深度学习算法、 室外、 室内、 单目、 多模态三维目标检测、 三维语义分割和深度补全等模型内容。 目标是通过实际 Python 程序示例来帮助读者深入分析三维点云处理和深度学习算法, 如在每个章节都展示一个或多个示例程序, 以有助于大家更好地理解算法的工作原理。

本书主要特点如下:

• 由浅入深, 循序渐进, 从点云基本概念与传统处理算法逐步过渡到深度学习算法

进行讲解。

• 知其然, 知其所以然, 让读者不仅理解算法实现结果, 而且掌握设计思路与过程。
• 读书百遍, 其义自见, 展示大量示例算法, 使读者应用和创新更加得心应手。
• 融会贯通, 举一反三, 力求让读者掌握各种算法的特性与联系, 打开新思路, 解决新问题。

本书在编写过程中, 参考了大量开源算法的设计思路和程序, 对于这些开源程序的提供者, 在此表示诚挚的谢意。 另外, 特别感谢我的导师李启亮先生(北京大学工学院教授) 在编写过程中持续给予的建议和鼓励, 感谢北京航空航天大学出版社的支持, 使

本书能够顺利出版。

本书的程序代码和示例数据均已开源, 后面将持续更新对最新深度学习算法的解析。 读者可从相应网站下载并运行程序, 加深理解和实践。 囿于编者的知识、 经验有限, 对于书中不妥和疏漏, 敬请读者将宝贵意见发至 [email protected], 以便再版时完善, 感谢!

编 者