多类型表面缺陷机器视觉检测方法研究

本文致力于设计一种基于深度学习多类型表面缺陷视觉检测系统，因此本文针对多类型表面缺陷检测的三大难题分别提出了解决方法，并且通过设计完整的缺陷检测系统证明了方案的可行性。（1）构建一个能高效生成完整多类型表面缺陷数据集的方法。目前效果*好、*有前景的数据生成方法是通过生成对抗网络生成数据，因此可以通过生成对抗网络的方法生成大量的多类型表面缺陷图片，从而满足训练一个高精度多类型表面缺陷检测模型的数据量要求。（2）构建一个检测精度高、检测性能快的检测器。目前有很多目标检测模型用于工业检测中，其中YOLOv4模型以高精度、高性能得到了广泛的使用。本文对YOLOv4模型进行改进提升，从而得到更高检测精度的表面缺陷检测模型。（3）构建一个方便、快速更新检测模型的方法。通过模型迁移的方法可以在一个原有检测模型的基础上快速得到一个新的检测模型，可以满足多类型表面缺陷检测模型可扩展、可更新、易维护的需求。本文设计了一种新的模型迁移方法，可以更高效地对模型进行更新，并且保持高检测精度。

本文在全面调研工业领域缺陷检测现状的过程中，发现工业领域中表面缺陷检测因为样本数量不足、检测精度和实时性要求高、缺陷种类繁多等各种难题。这样，在进行多类型表面缺陷检测时，基于机器视觉的检测方法在实际应用时十分困难，为了解决这些难题，本文根据多类型表面缺陷检测中存在缺陷样本稀少且样本搜集困难、缺陷检测中算法模型多且检测成本高、缺陷种类繁多且检测场景复杂等问题，提出了基于深度学习的技术解决方案，采用生成对抗网络、目标检测网络和迁移学习等*前沿的深度学习技术手段建立了完善的缺陷样本数据集，提高了缺陷检测的精度，并且对不同种类缺陷检测快速地训练新模型，同时还设计了一个多类型表面缺陷智能视觉检测的Web在线系统，整合了三种技术方案，并且可以实时显示多类型表面缺陷检测的效果。

舒雨锋，副教授，博士，东莞职业技术学院智能制造学院副院长。2001.09-2005.07，燕山大学机械设计制造及其自动化，大学本科；2005.09-2008.07，华南理工大学机械电子工程，硕士研究生；2014.09-2022.07，华中科技大学机械电子工程，博士研究生。广东省教育厅教学成果一等奖1项；校级教学成果特等奖2项；广东省教育厅教学能力比赛三等奖3项；广东省教育厅优秀教学团队“机械制造与自动化专业教学团队”；参与机械行指委高职本科数控技术专业教学标准的研制。主要著作：《机械制造基础》ISBN：978-7-5661-2320-6，主编，哈尔滨工程大学出版社；《数控机床安装与调试》ISBN：978-7-313-16925-9，主编，上海交通大学出版社；《数控机床电气控制与联调》ISBN：978-7-5609-8041-6，副主编，华中科技大学出版社；《数控机床与操作》ISBN：978-7-5609-7864-8，副主编，华中科技大学出版社。

1 绪论1
1.1 课题研究背景、目的及意义1
1.2 国内外相关研究现状3
1.3 电动机换向器表面缺陷检测需求分析10
1.4 本书主要工作12

2 基于CCAWGAN模型的缺陷样本生成方法15
2.1 引言15
2.2 图像生成和图像融合理论分析16
2.3 基于CCAWGAN模型的缺陷样本生成方法设计22
2.4 实验验证与结果分析32
2.5 本章小结40

3 基于FIYOLOv4模型的表面缺陷目标检测方法42
3.1 引言42
3.2 YOLOv4模型42
3.3 基于YOLOv4的FIYOLOv4模型设计46
3.4 实验验证与结果分析65
3.5 本章小结77

4 基于PSFTM模型的多类型表面缺陷检测方法78
4.1 引言78
4.2 迁移学习理论分析78
4.3 基于迁移学习的PSFTM模型设计82
4.4 实验测试及结果分析89
4.5 本章小结95

5 多类型表面缺陷检测系统设计与应用96
5.1 引言96
5.2 多类型表面缺陷检测系统设计97
5.3 多类型表面缺陷检测系统开发103
5.4 多类型表面缺陷检测系统实例验证110
5.5 本章小结119

6 结论与展望120
6.1 本书结论120
6.2 本书创新点122
6.3 研究展望122

参考文献124

目前，深度学习的发展为工业检测提供了很多新的技术方案，大幅提高了检测精度与效率，被广泛应用于工业产品加工、医药与半导体等领域的视觉检测任务中，但在工业产品多类型表面缺陷检测中的应用却十分有限。主要原因有三个：缺陷样本稀少且样本搜集困难、缺陷检测算法模型多且检测成本高、缺陷类型繁多且检测场景复杂。针对上述难点，本书对深度学习中生成对抗网络、目标检测网络和模型迁移等技术进行了研究和改进，解决了上述三类问题，并在电动机换向器多类型表面缺陷检测中进行了实验验证，主要工作内容如下：针对缺陷图像样本稀少且样本搜集困难的问题，本书提出了一种基于Wasserstein GAN（WGAN）的样本生成方法——CCAWGAN（conditionbased and contextbased adaptive WGAN），以生成缺陷样本对缺陷数据集进行扩充。在缺陷图像生成阶段，本书设计了Conditionbased WGAN模型，提出并设计了跳跃残差连接的编码器解码器结构的生成器，解决了WGAN模型难以生成复杂图像的问题，提高了生成缺陷图像的质量；在缺陷与整体图像融合阶段，本书设计了Contextbased WGAN模型，首次提出了根据上下文生成对抗训练的方法，使得生成的缺陷图像与整体的缺陷图像融合得更自然，大大简化了缺陷图像的生成过程。同时，本书使用CCAWGAN模型建立了一个丰富的换向器缺陷样本数据集。针对表面缺陷检测中算法模型多且检测成本高的问题，本书提出了一种基于Fully Improved YOLOv4（FIYOLOv4）模型的缺陷检测方法。本书还设计了SResA单元，通过多感受野的卷积和注意力机制，解决了YOLOv4骨干网络中特征尺度单一和不区分特征重要性的问题；设计了BSPP模块，混合使用*大池化和空洞卷积，解决了YOLOv4中SPP模块特征高度相似的问题；设计了跨层特征金字塔网络，解决了YOLOv4特征金字塔模块中特征融合不充分、语义信息丢失的问题；设计了特征自适应模块，解决了YOLOv4中单尺度特征预测的问题；设计了损失函数Federal Focal Loss，解决了YOLOv4中检测框筛选指标和评估指标不一致的问题，全方位地提高了缺陷检测的精度与效率。对换向器缺陷检测数据进行测试，FIYOLOv4模型的目标检测评估指标AP50比原始的YOLOv4模型提高了8.6个百分点，很好地解决了缺陷检测算法模型多且检测成本高的问题。针对表面缺陷检测中缺陷类型多且检测场景复杂的问题，本书提出了一种缺陷检测模型迁移的改进算法——渐进式子网络融合迁移模型(progressive subnetwork fusion transfer model,PSF-TM），解决了模型迁移中知识经验保留率低的问题；使用子网络采样训练和子网络集成预测的方法，解决了模型迁移过程中，训练时陷入局部*优的问题，有效防止了模型过拟合的现象。相比于常规的模型参数迁移和冻结模型参数迁移，PSFTM的检测精度AP50分别提高了27.6和21.9个百分点，且训练时间只有原来的一半，很好地解决了换向器缺陷类型多且检测场景复杂的问题。另外，本书对数据集生成模块、目标检测模块和迁移学习模块等内容进行集成，针对电动机换向器表面缺陷检测，开发了一个多类型表面缺陷智能视觉检测Web在线系统。该系统包含模型训练、数据可视化、数据分析、控制管理和实时检测等功能，可实现电动机换向器表面缺陷图像生成、表面缺陷检测与多类型表面缺陷检测模型迁移，验证了本书所研究方法的有效性，为本书的研究方法更好地在实际工业场景中落地提供基础。