基于深度学习的X射线焊接缺陷检测综述_李赵辉.pdf

2023年 第4期 热加工91检 测T e s t i n g基于深度学习的X射线焊接缺陷检测综述李赵辉，李晔，李亚森太原科技大学电子信息工程学院 山西太原 030024摘要：对国内外基于X射线焊接缺陷检测相关技术的研究进行整理，包括焊接缺陷图像特征和基于深度学习的焊接缺陷检测。在深度学习部分重点分析了数据增强和网络结构优化，数据增强部分从传统数据增强和生成对抗网络两方面论述，网络结构优化则是按照目标检测将其分为一阶段和二阶段两部分论述，最后对焊接缺陷领域的深度学习方向进行总结展望，为后续学者对相关内容进行研究提供一定参考。关键词：焊接缺陷；深度学习；数据增强；网络结构优化1 序言焊接技术是工业生产中不可或缺的一种基本工艺方法，被广泛应用于工业的各个领域，如制造工厂、机械设备、航海造船、石油冶金及电力电子设备等。因此，焊接质量决定了工业操作的安全，也决定了日常使用者的安全。然而，无论是手工焊接还是使用机器自动化焊接，由于焊接过程受到外部环境、材料本身以及各种人为因素的影响，都会产生不可避免的焊接缺陷。为了保证产品质量，需要对其进行检测，焊接缺陷检测方法有很多，无损检测就是其中之一。无损检测方法用来对焊接过程中产生的缺陷进行检测，这种检测方法对焊接接头的组织和性能没有任何影响，对焊件也没有任何损伤。常用的无损检测方法有：射线检测、超声波检测、磁粉检测、涡流检测、荧光检测及着色检测等。基于X射线检测方法就是其中之一，X射线检测可以适用于任何材料和工件，无加工要求，可以探出近表面及内部缺陷，穿透能力强、灵敏度高，是无损检测中最为常用的检测方法。本文对焊接缺陷图像特征进行简单介绍，并针对基于深度学习的焊接缺陷检测的近期研究热点分为数据增强与网络优化两方面进行总结论述，并对后期发展进行了展望。2 X射线成像技术射线胶片成像与数字成像是X射线成像的两个主要技术。目前，国内还有部分工厂停留在原始的射线胶片照相方法阶段，胶片照相的方法虽然有实现成本高、过程复杂、成像结果不容易存储、不方便携带及需人工检测等缺点，但由于胶片照相方法成像的结果可靠性较高，可以提供比较准确的焊接缺陷成像信息，因此被一直延用至今。随着时代的发展，射线胶片成像技术在速度和成本方面已经日益落后，X射线数字实时成像技术应运而生，到目前为止，已经成为焊接缺陷图像获取的主要方式，X射线数字实时成像装置包含图像增强器、线型阵列探测器及非晶硅间转换平板探测装置3类。20世纪90年代，X射线的图像增强器被研制出来，与胶片成像技术相比，它的成像效率大大加强，实现了实时成像要求，但是由于当时其自身结构的限制以及摄像机的像素不高等因素，与胶片照相相比，分辨力较低，质量较差。直到2000年后，摄像技术和增强管自身配置高速发展，才使图像增强器的分辨力有了极大提升。线型阵列探测器通过与被测的物体进行逐行线型扫描成像，具有生成图像形状几何变化小、环境干扰磁场影响不大、分辨力高及灵敏度高的特点，基金项目：基于X射线图像的焊接接头缺陷辨识研究；焊接缺陷X射线图像分割与识别（20210302123222）。通信作者：李晔，博士，副教授，主要研究方向为图像处理、模式识别，E-mail：。2023年 第4期 热加工92检 测T e s t i n g但与图像增强器相比，消耗能量更大，速率较慢。非晶硅间转换平板探测器与前两项装置相比具有更高的分辨力，受环境影响更小，甚至可以在恶劣环境下工作，使用期限长，实用性高，体积小，但价格相对更高。3 焊接缺陷图像特征一般来说，由于焊接过程会受到各种因素的干扰，因此得到的焊接产品总会存在一定的缺陷，对焊接缺陷进行检测的首要任务是了解各个缺陷的特征，才能进行后续研究处理。图像的缺陷影像特征是检测的主要因素，而缺陷影像的几何形状、黑度分布、位置信息则是可以进行观察并分析判断的3方面。不论是机器学习还是深度学习，在后期程序学习的过程中也是通过这些因素来区分焊接缺陷的种类。（1）影像的几何形状 不同缺陷的几何形状是不同的，例如，气孔通常为阴影状椭圆形轮廓；裂纹一般为轮廓分明曲折的黑线；夹渣一般没有固定的形状。因此，影像的几何形状是判断的主要依据，可先从几何形状入手进行初步判断1。（2）影像的黑度分布 不同缺陷的内在物质是不同的，因此具有不同的线衰减系数，这也就导致了其黑度化是不一样的，例如：气孔的内部是气体，影像黑度呈现较浅；夹渣的内部是区别于材料本身的其他物质，边缘轮廓分明、黑度均匀；裂纹的内部则是不一样的气体，轮廓分明，影像呈暗黑色。因此黑度分布也是一个重要的判断依据1。（3）图像中缺陷影像的位置 不同的缺陷在影像中的位置也是有差异的，例如，未焊透一般在焊缝的根部区域；夹渣分布无一定规律，一般呈密集状；气孔多分布在焊缝中心处。常见的裂纹、气孔以及夹渣缺陷如图1、图2所示1。4 基于深度学习的焊接缺陷检测近年来，随着大数据的流行和计算能力的提高，深度学习算法有了飞速的发展，许多领域的研究人员开始将自己研究领域与深度学习相结合，将其应用到了缺陷检测领域。通过查阅文献，本文将现阶段基于深度学习的焊接缺陷检测研究分为两大步：首先是对数据集进行扩充，进行数据增强；其次就是由于焊接缺陷类型不同，针对不同图像特征的缺陷，设计出更适合焊接缺陷检测的网络结构。4.1 数据增强数据集是深度学习网络结构进行训练的必要条件，一个标注清晰、结构合理的数据集可以使工作事半功倍。由于焊接缺陷检测领域深度学习技术的应用相对于医学、人脸及语音识别等较少，因此在焊接缺陷领域可用公开数据不多。目前，相关研究人员除本人与工厂合作获得的数据集以外，公开数据集只有德国柏林BAM联邦材料研究所公布的GDXray数据集，因此近几年相关领域的公开文献很多都采用了该数据集。为获得充足的数据库样本，人工获取焊接缺陷图像之后，通过数据增强的方法进行扩增数据库，最终得到充足的样本。主要采用的方法有传统的数据增强方法和基于生成对抗网络的数据增强方法，以下为近几年来该领域数据增强方法总结。（1）传统数据增强 传统的数据增强大致分为3类：几何变换、数据扩充及其他方法，如增加噪声、对比度变化、RGB通道修改等，该类方法在论文中的应用如下。DU等2通过带有RolAling的FPN为基础，水平翻转公共数据集GDXray图像，将其逆时针旋转90，并进行裁剪，直方图均衡化等操作增加数据集数量；杨志超等3采用Data Augmentation对50%的训练集进行反射变换、增加噪声、改变对比度；JIN等4采用图像分割，大大提高训练效率；CHIRAZ等5利用随机图像转换，水平反射和RGB通道修改，在训练前将图像大小按相同纵横比调整为特定尺寸，并按照一定比例进行划分；YANG等6、7均对公共数据集GDXray进行操作，YANG等6对数据集进行随机裁剪，YANG等7在训练集中采用随图1常见裂纹和气孔类缺陷图2常见夹渣缺陷2023年 第4期 热加工93检 测T e s t i n g机裁剪，在测试集中采取均匀裁剪；DENG和李砚峰等8，9对数据集进行切割操作；曾凯等10通过对比度、光亮调节的光学变换，切割，裁剪的几何变换，增加高斯噪声和替换背景的数据源扩充等方法进行扩充数据集；XU等11与上述方法都不相同，将自己创建的RIWD数据集中R001与GDXray中的W004结合，然后应用上述方法进行扩充数据集，大大提高了样本源的多样性。（2）生成对抗网络 生成对抗网络作为一种新兴的数据增强框架，在2014年12被首次提出后就备受关注，成为现阶段解决小样本问题的主要方法之一。在对生成对抗网络进行介绍之前，先介绍两个判断生成数据域和真实数据域分布距离的度量方法：KL散度式（1）和JS散度式（2），即 ()()()()logKLnP nDPQP nQ n=()()()11112222JSD PQD PPQD QPQ=+|（1）()()()11112222JSD PQD PPQD QPQ=+|()()()minmaxGln()ln 1()data xG zGANx Pz PGDDED xED G z=+-,GAN （2）式中 DKL（pQ）表示Q分布与P分布的差异，或 者信息损失，即式（2）中D；P（n）表示样本的真实分布，即P；Q（n）表示模型的预测分布，即Q。GAN网络由两部分组成：生成器和判别器。生成器通过对真实样本进行增加噪声等操作，生成新的样本，将其传送到判别器进行识别；判别器为一个二分类网络，只需要进行是否为真实样本的判别，通过判别器和生成器的相互博弈，使得生成器能力达到最优，判别器不能分辨是否为真实样本，最后达到纳什平衡。生成对抗网络的结构如图3所示。式中 GAN GAN网络的目标函数；D（x）判别器对真实数据的置信度；DG（z）判别器对生成器生成样本的置信度；ExPdata（x）E表示期望，其表示x都是真实数据 时的期望；EzPG（z）表示所有数据都是生成数据时的 期望。当固定G、讨论D时，就需要D（x）尽量大，DG（z）尽量小，从而得到最大的D；而当固定D、讨论G时，刚好相反，得到最小的G，当有最小的G和最大的D时就达到了纳什平衡。由于GAN技术出现较晚，其在焊接缺陷检测方面的应用相对较少。谷静等13提出一种加入卷积网络的DCGAN，成功消除不平衡及数量不足的问题，提升网络分类性能，解决过拟合问题。DAI等14利用平衡GAN和梯度惩罚，在样本极度不平衡的情况下，也能针对少数类样本进行生成图像，并将其添加到训练数据集中，达到提高分类器性能的目的。叶汉民等15将GAN网络与空间变换网络模块（STN）结合，对V形焊缝污染图像进行修复，使系统性能明显提升。生成对抗网络相较于传统数据增强，这种方法更简便，是一种无监督的学习，并且训练方式采用的是对抗训练，可以产生更加清晰、真实的样本。因为它的梯度更新信息来自于判别器，而不是数据本身，所以它的应用场景更为广泛，不仅可应用在焊接数据样本增强，还可应用在焊接图像修复等方面。但GAN网络也有一些缺点，如GAN网络需要达到纳什平衡，但是现阶段没有很好达到纳什平衡的方法，还有就是它存在模式崩溃、梯度消失等问题。由于传统GAN网络存在的一些问题，所以许多学者开始对GAN网络进行改良。其中相关的文献16，17推导了WGAN公式定理，从理论上分析了原始GAN的问题，并且有针对性地进行了改进，提出Wassertein距离（也叫EM距离）。WGAN既解决了训练不稳定的问题，也提供了一个可靠的训练进程指标，而且该指标确实与生成样本的质量高度相关。虽然现在WGAN在一定程度缓解了该问题，但是模式崩溃问题只能缓解，不能彻底解决，因此还有一定的优化空间。图3生成对抗网络结构生成对抗网络的目标函数为 （3）()()()minmaxGln()ln 1()data xG zGANx Pz PGDDED xED G z=+-,GAN 2023年 第4期 热加工94检 测T e s t i n g提高焊接缺陷检测的精度，一方面是进行数据集的增强，越好越多的数据集可以有效地提高检测精度，上文所述为目前相关研究学者在数据增强方面所用的方法；另一方面则是从模型结构、算法入手，对其进行一系列的改进。4.2 网络优化目标检测算法分为两个部分：一阶段与二阶段。一阶段的代表算法有YOLO系列、SSD等；二阶段代表算法有RCNN，Faster R-CNN等。两种算法各有优缺点，对于一阶段来说，其检测速度快，检测精度较二阶段较低；而二阶段刚好相反，一直有学者在此基础上对网络进行优化改进。相关学者在焊接缺陷检测领域的改进方法如下。（1）二阶段目标检测 DU等2通过改进特征金字塔（FRN）与传统二阶段Faster R-CNN更适合检测小的缺陷，并在最后的回归问题上，采用RolAlign比原始的Rol池有了明显提高，但其改进的方法只能识别图像有无缺陷，不能识别具体的缺陷，因此还有很大的改进空间。JIN等4将ResNet和Inception-ResNet与Faster R-CNN特征提取器进行比较，并提出了性能更高的ResNet，虽然可以对具体缺陷进行检测，但只适