基于改进U-net的金属工件表面缺陷图像分割方法_王一.pdf

文章编号：1002-2082(2023)01-0086-07基于改进 U-net 的金属工件表面缺陷图像分割方法王一1,2，龚肖杰1，苏皓1,3（1.华北理工大学电气工程学院，河北唐山063210；2.唐山市金属构件产线智能化技术创新中心，河北唐山063210；3.唐山市半导体集成电路重点实验室，河北唐山063210）摘摘 要：要：针对金属工件表面小尺寸缺陷及受非均匀光照影响的图像缺陷难以分割的问题，提出了一种改进的 U-net 语义分割网络，实现金属工件表面缺陷图像的精确分割。首先，在 U-net 网络中融入 CBAM（convolutionalblockattentionmodule）模块来提升图像中缺陷目标的显著度；其次，采用深度超参数化卷积 DO-Conv(depthwiseover-parameterizedconvolutional)代替网络中部分传统卷积，增加网络可学习的参数数量；然后，采用 LeakyRelu 函数代替网络中部分 Relu 函数，提高模型对负区间的特征提取能力；最后，采用中值滤波及非均匀光照的补偿方法进行图像预处理，减弱非均匀光照对金属工件图像表面缺陷的影响。结果表明：改进后的网络平均交并比、准确率和 Dice 系数指标分别达到 0.8335、0.9332、0.8674，改进的网络显著提升了对金属工件表面缺陷图像的分割效果。关键词：关键词：表面缺陷；图像分割；语义分割网络；卷积注意力模块；深度超参数化卷积中图分类号：TN209；TP391文献标志码：ADOI：10.5768/JAO202344.0102004Image segmentation method of surface defects for metal workpiecesbased on improved U-netWANGYi1,2，GONGXiaojie1，SUHao1,3（1.CollegeofElectricalEngineering,NorthChinaUniversityofScienceandTechnology,Tangshan063210,China；2.TangshanTechnologyInnovationCenterofIntellectualizationofMetalComponentProductionLine,Tangshan063210,China；3.TangshanKeyLaboratoryofSemiconductorIntegratedCircuits,Tangshan063210,China）Abstract：Forthesmall-sizedefectsofmetalworkpiecesurfaceandthedifficultsegmentationofimagedefectsduetonon-uniformillumination,animprovedU-netsemanticsegmentationnetworkwasproposedtoachieveaccurateimagesegmentationofsurfacedefectsformetalworkpieces.Firstly,theconvolutionalblockattentionmodule(CBAM)wasintegratedintotheU-netnetwoktoimprovethesignificanceofthedefectivetargetsinthe image.Secondly,part of the traditional convolution in the network was replaced by depthwise over-parameterizedconvolution(DO-Conv)toincreasethenumberoflearnableparametersofthenetwork.Then,theLeakyRelufunctionwasusedinsteadofthepartialRelufunctioninthenetworktoimprovethefeatureextraction ability of the model for the negative intervals.Finally,the median filtering and non-uniformilluminationcompensationmethodwereusedforimagepreprocessing,soastoreducetheeffectofnon-uniformilluminationonthesurfacedefectsofmetalworkpieceimages.Theresultsshowthattheimprovednetworkmeanintersectionoverunion,accuracyrateandDicecoefficientindexreaches0.8335,0.9332and0.8674,respectively.Theimprovednetworksignificantlyimprovesthesegmentationeffectofsurfacedefectimagesofmetalworkpieces.Key words：surface defects；image segmentation；semantic segmentation network；convolutional blockattentionmodule；depthwiseover-parameterizedconvolution收稿日期：2022-03-24；修回日期：2022-09-06基金项目：河北省高等学校科学技术研究项目(ZD2022114)；唐山市科技计划项目(21130212C)作者简介：王一（1981），男，副教授，博士，主要从事视觉检测与感知技术方面的研究。E-mail：通信作者：龚肖杰（1994），女，硕士，主要从事机器视觉、目标识别方面的研究。E-mail：第44卷第1期应用光学Vol.44No.12023年1月JournalofAppliedOpticsJan.2023引言金属制品在实际生产生活中应用非常广泛，金属工件质量的好坏直接影响产品的质量及其寿命，甚至影响产品的实用性及安全性，因此工件的缺陷检测至关重要1。传统基于机器视觉的缺陷分割技术有抗噪声差、精度不高并且容易造成过度分割、分割速度较慢等缺点。随着人工智能技术的快速发展，深度学习在产品表面缺陷识别领域的研究和应用越来越深入和广泛2。Wu 等3针对肺结节边界难以用一种模型分割的问题，提出一种利用 3D-CRF（conditionalrandomfield）优化训练集样本输出的方法分割图像，此方法可以降低模型的丢失率，但是需要采集大量数据集进行训练。Tao 等4针对复杂工业环境下金属表面缺陷准确率低的问题，设计了一种用于缺陷分割和定位的级联自动编码器，实现了金属表面缺陷的自动检测，提高了检测的准确性，但是需要花费时间手动标记数据。Zhang 等5针对选煤厂清除煤炭中异物依靠人工效率低的问题，设计一个嵌入注意力模块的卷积神经网络，实现了实时从复杂背景中准确地分割出煤炭中的异物，该方法提高了复杂环境中检测出异物的准确性，并提高了异物检测的效率。Li 等6针对带钢表面缺陷的复杂性和多样性导致检测准确低的问题，设计了一种全卷积的 YOLO 检测网络，此网络样本集包含 6 类带钢表面缺陷，可以同时预测缺陷区域的位置及尺寸信息，该方法具有较好的检测效果，但是检测精度还需要进一步提高。徐建桥等7针对轴承表面缺陷影响产品性能及寿命的问题，提出先通过规范化拆分方法扩充样本数据集，在利用 ResNet 网络训练检测模型，该方法相比利用原图直接训练模型的检测效果更好。Xiao 等8针对肺结节的多样性难以准确检测与分割的问题，设计具有多尺度特征提取能力的 3D-Res2Net分层连接网络，该方法不仅降低了梯度爆炸和消失的问题，而且提高了肺结节检测和分割的精度及模型的训练速度。卢印举等9针对玻璃缺陷的透明性及多样性的问题，设计一种玻璃缺陷图像分割算法，该算法融合了改进的双特征高斯混合模型，可以提高玻璃分割的准确性。Ye 等10针对圆柱形金属工件缺陷的复杂性及多样性导致检测准确率低的问题，提出集成注意力的弱监督学习框架，使用图像标签标注训练，实现了金属工件的分类与分割。曹富强等11针对当前图像分割算法对于工业铸件缺陷分割精度低的问题，设计了一种 Effi-Deeplap 缺陷检测算法，该算法在 DeepLabv-3+基础上，将原网络中 Xception 模块用 MBConv替代，并重新设计空洞空间金字塔池化中空洞卷积的扩张率，从而提高小目标缺陷的分割精度，该算法相比 DeepLabv3+具有更好的分割效果。卷积神经网络虽然具有很强的泛化性，可以自适应地分割不同环境的图像，但是对于一些小目标分割效果不理想。为解决金属工件表面缺陷图像的精确分割，提出一种改进的 U-net 型的表面缺陷分割算法，在原网络结构中融入 CBAM 模块并在网络编码器结构中采用 DO-Conv 替换传统卷积，增强特征的学习，使其能够更高效地对缺陷特征进行提取。采用LeakyRelu 激活函数代替部分Relu函数，解决卷积中 Relu 函数的稀疏性问题。为解决非均匀光照对图像分割的影响，设计图像采集视觉平台减少光照的影响，并采用中值滤波及非均匀光照补偿算法处理采集的图像，减少图像中局部反光及非均匀光照，使得图像中光照分布均匀。通过实验证明，改进后的网络平均交并、准确率及 Dice 系数相比原始网络均有所提高，对金属工件表面图像缺陷分割效果更好。1 网络结构1.1 语义分割网络 U-netU-net 网络是基于图像像素级分割的端到端的语义分割网络，原用于医学细胞图像的分割，因其所需数据量少、速度快、检测效果较好，被广泛用于目标检测任务中。U-net 网络结构图如图 1 所示。Conv 33 reluCopy and cropMax pool 22Up-conv 22Conv 11Inputimagetile Outputsegmentationmap32 64 128 256512512256256 128128 6464128 6432125632323图 1 U-net 网络结构图Fig.1 Structure diagram of U-net networkU-Net 网络12主要包含两个部分：左侧下采样的过程，可称为编码器结构，是模型深化的过程；右侧上采样的过程，该侧可称为解码器结构，是分应用光学2023，44（1）王一，等：基于改进 U-net 的金属工件表面缺陷图像分割方法87辨率恢复的过程。左侧收缩路径经过 4 次下采样，执行提取图像特征信息的工作，该过程主要包括33 的卷积层、Relu 激活层与 22 最大池化层，每次下采样提取图像特征，特征通道就增加一倍。下采样过程图像特征是从具体到抽象，因此其图像分辨率会随之降低。右侧扩张路径经过 4 次上采样，使分割图像恢复到原图像大小，即在原图像素基础上，通过运用不同的插值算法插入新的元素从而达到图像放大的目的，也就是一个反卷积过程。该过程包括作用于图像尺寸扩大的转置卷积、使特征图通道数减半的 33 卷积、深层特征与浅层特征的融合过程和把通道映射到需要的目标类别数的 11 卷积。运用反卷积和同维度特征图的拼接实现了分辨率的提升。1.2 改进的语义分割网络1.2.1注意力机制模块 CBAMCBAM13是双重轻量级注意力机制，由通道和空间 2 种子模块组成，能嵌入到任何 CNN（convolu-tionalneuralnetworks）架构中，增强特征图有用的特征而忽略无关紧要的特征，从而提高网络性能。在 U-net 网络中加入 CBAM 模块，可以使网络提取出积极有效的特征，CBAM 注意力模块