深度学习——智能机器人应用的理论与实践

如今，人工智能飞速发展，作为人工智能领域研究核心的深度学习受到研究者们的重视，各种数学算法和模型不断被提出，并在实践应用中发挥着巨大的作用，大大提高了智能装备和智能机器人的工作效能以及应用领域。本书技术先进，全面介绍了智能机器人深度学习的知识，供读者参考。

智能机器人发展日新月异，相关的机器学习技术受到广泛关注。本书以其中关键的深度学习理论与实践为主线，系统介绍了机器智能、机器学习和神经网络的概念与算法；机器学习的参数及其拟合和欠拟合的问题；神经网络等数学模型；卷积神经网络模型；循环神经网络；注意力机制以及深度学习的算法；基于深度学习的人机协作识别、动作抓取、平面检测等应用知识。本书适宜从事机械、自动控制等智能机器人相关专业的技术人员参考，也可作为相关专业的本科教材。

前建峰，江南大学机械工程学院教授，博士生导师。2004年7月毕业于上海交通大学机械与动力工程学院，获机械电子工程专业工学博士学位。中国机械工业教育协会机器人工程专业委员、中国电机工程学会会员、中国化工学会过滤与分离专业委员会委员、中国食品加工机械标准化技术委员。曾获2023年中国轻工业联合会科学技术奖一等奖(排名第一)江苏省科技进步三等奖2项(排第三)、2020年江苏省普通高等学校本科优秀毕业设计(论文)指导教师、2019年度江南大学荣智权奖教金。讲授《嵌入式系统与人工智能》《过程设备设计》《机械有限元设计》等课程。主要研究领域为机器人运动控制、嵌入式传感系统高压脉冲电源、工业互联与控制。主持或参加各类科研课题30余项，授权国家发明专利43项，出版著作6部。

第一章绪论1
1.1自然智能与机器智能1
1.1.1自然智能1
1.1.2机器智能3
1.2机器获取知识的途径：机器学习5
1.2.1机器学习的概念5
1.2.2基本机器学习模型6
1.3机器认知智能的实现途径：神经网络10
1.3.1生物神经网络10
1.3.2人工神经网络与神经元模型12
1.4深度学习的前沿发展及其应用15
1.4.1深度学习15
1.4.2大语言模型16
1.4.3ChatGPT：智能对话机器人18
1.4.4OpenAI Codex：代码生成与辅助编程19
1.5深度学习与智能机器人21
1.5.1智能机器人的定义与目标21
1.5.2智能机器人与工业机器人的区别22
1.5.3智能机器人的环境多模态感知23
1.6本章小结27

第二章机器学习的数学基础28
2.1标量、向量、矩阵和张量28
2.2矩阵和向量相乘32
2.2.1矩阵和向量相乘的规则32
2.2.2矩阵和向量相乘的性质32
2.2.3矩阵乘法的计算方法33
2.2.4矩阵乘法在神经网络中的应用33
2.3导数34
2.3.1一般运算法则35
2.3.2链式求导法则36
2.4度量标准39
2.4.1误差39
2.4.2距离39
2.4.3相似度40
2.5概率分布43
2.5.1二项分布44
2.5.2正态分布45
2.6本章小结46

第三章机器学习的构成及理论基础48
3.1机器学习基础概念48
3.1.1人类学习与机器学习48
3.1.2机器学习的研究内容49
3.1.3机器学习系统的基本构成50
3.2机器学习的分类52
3.2.1监督学习53
3.2.2半监督学习54
3.2.3无监督学习54
3.2.4强化学习56
3.3机器学习的重要参数56
3.3.1学习率56
3.3.2动量系数57
3.3.3偏置项58
3.4拟合问题59
3.4.1过拟合问题59
3.4.2欠拟合问题60
3.5交叉验证60
3.5.1数据类型与选择方法61
3.5.2留一交叉验证62
3.5.3K折交叉验证62
3.6回归分析63
3.6.1线性回归63
3.6.2逻辑回归66
3.7评价指标69
3.8本章小结71

第四章神经网络构成及理论基础72
4.1神经网络概述72
4.1.1深度学习和神经网络间的关系74
4.1.2神经网络的深度和宽度74
4.2常见的神经网络类型75
4.2.1全连接神经网络75
4.2.2卷积神经网络76
4.2.3循环神经网络77
4.3神经网络设计的核心问题78
4.3.1定义神经网络结构79
4.3.2选择损失函数79
4.3.3选择激活函数79
4.4神经网络最优化过程82
4.4.1梯度下降算法82
4.4.2正向传播算法86
4.4.3反向传播算法87
4.4.4BP神经网络88
4.5其他神经网络与深度学习91
4.5.1生成对抗网络91
4.5.2深度信念网络93
4.5.3迁移学习95
4.6PyTorch和PaddlePaddle简介97
4.6.1PyTorch98
4.6.2PaddlePaddle103
4.7本章小结105

第五章卷积神经网络107
5.1卷积神经网络概述107
5.1.1发展历程和实际应用107
5.1.2基本组成111
5.2卷积神经网络的特征116
5.2.1连接稀疏性116
5.2.2参数共享机制117
5.3卷积神经网络中的反向传播算法118
5.4其他卷积方式119
5.4.1转置卷积119
5.4.2空洞卷积122
5.4.3分组卷积和深度分离卷积122
5.5卷积神经网络的典型模型125
5.5.1LeNet-5125
5.5.2AlexNet126
5.5.3VGGNet127
5.5.4GoogLeNet137
5.5.5ResNet148
5.5.6MobileNet和ShuffleNet161
5.5.7MMDetection框架搭建并实现训练与测试169
5.6本章小结179

第六章循环神经网络181
6.1循环神经网络概述181
6.1.1背景181
6.1.2概念182
6.1.3基本结构182
6.2循环神经网络分类184
6.2.1单向循环神经网络184
6.2.2双向循环神经网络185
6.2.3深度循环神经网络186
6.3模型训练与优化187
6.3.1随时间反向传播算法188
6.3.2实时循环学习算法188
6.4长短时记忆网络190
6.4.1原理讲解190
6.4.2代码讲解191
6.5递归神经网络200
6.5.1原理讲解200
6.5.2代码讲解202
6.6门控循环单元网络207
6.6.1原理讲解207
6.6.2代码208
6.7本章小结208

第七章注意力机制与外部记忆210
7.1认知神经学中的注意力210
7.2注意力机制211
7.2.1注意力机制原理211
7.2.2注意力机制的变体212
7.3自注意力机制215
7.3.1自注意力机制原理215
7.3.2Transformer217
7.4人脑中的记忆219
7.5记忆增强神经网络221
7.5.1外部记忆221
7.5.2端到端记忆网络222
7.5.3神经图灵机223
7.6计算机视觉中的注意力机制225
7.6.1计算机视觉中的注意力机制发展历程225
7.6.2通道注意力机制227
7.6.3空间注意力机制229
7.6.4时间注意力机制232
7.6.5分支注意力机制234
7.6.6通道和空间注意力机制236
7.6.7时空注意力机制239
7.6.8注意力模块添加的案例介绍242
7.7本章小结256

第八章深度学习调优方法258
8.1数据方面258
8.1.1数据清洗258
8.1.2数据增强263
8.1.3数据降噪266
8.1.4数据归一化269
8.2模型结构方面271
8.2.1注意力机制271
8.2.2特征金字塔271
8.2.3残差结构272
8.2.4确定网络层数273
8.3模型参数方面275
8.3.1学习率调整275
8.3.2参数初始化277
8.3.3网络正则化278
8.3.4预训练模型的迁移学习282
8.4本章小结283

第九章智能机器人的视觉感知方法与视觉处理技术285
9.1经典的视觉感知方案285
9.1.1视觉信息获取285
9.1.2视觉显著性检测286
9.1.3光学系统的设计287
9.2视觉感知的传统处理方法292
9.2.1图像处理基础292
9.2.2传统的图像特征提取293
9.2.3传统的目标检测和识别295
9.3基于机器学习的视觉感知方法296
9.3.1集成学习296
9.3.2局部二值模式299
9.3.3特征点匹配方法301
9.3.4方向梯度直方图303
9.3.5支持向量机305
9.4基于深度学习的视觉感知方法307
9.4.1经典的视觉感知网络结构307
9.4.2基于深度学习的目标感知307
9.5面向少量样本学习的视觉感知方法309
9.5.1孪生神经网络309
9.5.2零样本学习309
9.6本章小结311

第十章智能机器人的定位与导航规划技术313
10.1地图表示与构建313
10.1.1地图表示313
10.1.2地图构建317
10.2移动机器人定位319
10.2.1传感器技术319
10.2.2定位方法320
10.3导航规划321
10.3.1导航技术322
10.3.2规划技术324
10.4机器人运动控制327
10.4.1PID控制327
10.4.2模型预测控制328
10.4.3轨迹追踪329
10.5多AGV任务调度及路径规划技术329
10.5.1AGV调度系统任务描述330
10.5.2AGV任务调度功能331
10.5.3AGV的路径规划算法332
10.5.4多AGV的冲突和避障算法335
10.6本章小结336

第十一章基于深度学习的表面缺陷检测技术337
11.1表面缺陷检测技术研究337
11.1.1研究背景与意义337
11.1.2国内外研究现状338
11.2基于机器视觉的表面缺陷检测技术342
11.2.1机器视觉中的图像处理技术342
11.2.2基于机器视觉的表面缺陷检测过程345
11.2.3基于深度学习的表面缺陷检测技术348
11.3具体案例：液晶面板电极缺陷检测技术352
11.3.1液晶面板电极缺陷353
11.3.2基于深度学习的液晶面板电极缺陷检测方法356
11.3.3实验结果和性能评估366
11.4本章小结372

第十二章基于深度学习的人机协作动作识别373
12.1人机协作动作识别技术研究373
12.1.1研究背景与意义373
12.1.2国内外研究现状374
12.1.3动作识别模型375
12.2人机协作应用376
12.2.1动作识别技术在人机协作中的应用376
12.2.2动作识别技术在虚拟现实领域中的应用377
12.3人机协作中的动作识别问题378
12.3.1动作识别问题定义378
12.3.2动作特征的提取379
12.3.3动作识别模型的构建381
12.3.4人机协作场景中的动作识别383
12.4具体案例：基于深度学习的动作识别384
12.4.1动作视频采集设备的选择384
12.4.2环境设置和数据采集384
12.4.3数据处理386
12.4.4模型训练386
12.4.5动作识别模型的性能评估389
12.5前沿拓展：基于肌电信号及脑机设备的动作识别390
12.6本章小结391

第十三章基于深度学习的机器人视觉抓取392
13.1研究背景及意义392
13.1.1机器人视觉抓取技术应用392
13.1.2机器人视觉抓取技术发展393
13.2深度学习在机器人视觉抓取中的应用及研究现状395
13.2.1目标检测定位396
13.2.2位姿估计397
13.2.3抓取点检测397
13.3基于深度学习的机器人视觉抓取问题描述398
13.3.1机器人抓取任务分类398
13.3.2机器人抓取位姿表示399
13.3.3抓取检测数据集400
13.4机器人视觉系统标定与坐标转换403
13.4.1相机成像原理403
13.4.2相机标定406
13.4.3手眼标定406
13.5具体实例：抓取位姿检测408
13.5.1判别式抓取检测408
13.5.2生成式抓取检测410
13.5.3从零开始训练抓取检测模型：GGCNN415
13.6基于深度学习的机器人视觉抓取技术挑战和未来发展方向422
13.7本章小结423

参考文献424

人工智能是引领未来的战略性技术，新质生产力的重要组成部分。我国出台了《新一代人工智能发展规划》，许多大学成立了人工智能学院，开设面向人工智能本科生特殊人才培养的图灵班等。作为人工智能的三大支柱之一的人工智能算法得到科学界和工业界的关注，以深度学习为代表的神经网络算法正在视觉识别、机器人导航、机器人控制、无人驾驶等领域得到广泛应用。
本书编撰的目的是总结深度学习算法的技术基础和基本理论，并且分享江南大学机器视觉与运动控制课题组在产学研合作中应用深度学习算法的案例，比如人机协作、机器人动态抓取、工业产品缺陷视觉检测等实践研究。本书可作为相关领域技术人员的职业指导，也可作为机械工程、机器人工程专业的研究生教材，还可作为智能制造工程、机械工程、机器人工程等专业本科生的专业选修课教材。
本书以深度学习理论和实践为主线，系统总结了深度学习的发展历史、主流算法和在智能机器人中的实际应用。本书分为十三章：第一章绪论，介绍了机器智能、机器学习、神经网络以及深度学习的概念与常见算法，并概述了深度学习在智能机器人方面的应用；第二章机器学习的数学基础，介绍了机器学习所需的数学基础知识，包括标量、矢量、矩阵和张量的概念，以及机器学习中度量指标和概念分布；第三章机器学习的构成及理论基础，介绍了机器学习的分类和重要参数，并对机器学习中存在的过拟合、欠拟合问题进行描述，总结了机器学习中存在的交叉验证方法和常见的机器学习模型；第四章神经网络基础，介绍了常见的神经网络类型，并针对神经网络中核心问题和最优化过程进行讲解，最后对常用的两种深度学习框架PaddlePaddle和pyTorch进行介绍；第五章卷积神经网络，介绍了卷积神经网络的基本组成和运行机理，列举了多种常见的卷积神经网络，并辅以实例进行介绍；第六章循环神经网络，介绍了循环神经网络的基本组成和运行机理，并针对长短时记忆网络、递归神经网络和门控循环单元网络进行讲解；第七章注意力机制与外部记忆，介绍了注意力机制和外部记忆的原理和具体方法，并针对计算机视觉中的注意力机制进行重点讲解，最后讲解了如何在YOLOv7网络中添加注意力机制；第八章深度学习调优方法，介绍了深度学习从数据、模型结构和模型参数三个方面出发进行调优的方法；第九章智能机器人的视觉感知方法与视觉处理技术，介绍了经典的视觉感知方法，从机器学习和深度学习两方面探讨了智能机器人的感知方法和相关技术；第十章智能机器人的定位与导航规划技术，介绍了智能机器人在移动中所需的地图构建和导航规划技术，最后讲解了多AGV任务调度及路径规划技术；第十一章基于深度学习的表面缺陷检测技术，介绍了表面缺陷技术的研究现状和相关技术，并以液晶面板电极缺陷检测为例，讲解了数据集建立和模型训练的具体操作；第十二章基于深度学习的人机协作动作识别，介绍了人机协作动作识别技术的研究现状和存在问题，并辅以代码进行具体操作的讲解；第十三章基于深度学习的机器人视觉抓取，介绍了机器人视觉抓取的研究现状和应用，并对机器人视觉系统标定与坐标转换进行描述，最后介绍了两种不同的抓取检测方法。
本书由俞建峰为主编，化春键和蒋毅为副主编；江南大学范先友、俞俊楠、黄然、刘子璇、熊焕、吴永泽、顾毅楠、孙辉、倪奕、贺顺、单子豪、邵柏潭等参与了编写工作并付出了艰辛的努力，在此表示感谢。感谢江南大学研究生院对本书出版的大力支持，本书获得江南大学2023年研究生教材立项（YJSJC23_004）。本书得到无锡尚实电子科技有限公司贾磊、无锡精质视觉科技有限公司蒋乐、无锡普瑞精密技术有限公司蔡立军、无锡华拓科技有限公司金熠、长广溪智能制造（无锡）有限公司吉峰等企业家的大力支持。编者还要感谢关心、支持、指导本书出版的专家学者，衷心感谢他们提出的宝贵建议。同时，对提供技术资料的相关企业和参考文献中涉及的国内外专家学者表示诚挚的谢意！
由于编者水平有限，书中难免存在不足之处，恳请广大读者批评指正！

俞建峰
于江南大学
2024年3月10日