基于优化残差网络的复杂纹理表面缺陷检测_林李兴.pdf

文章编号：1002-2082(2023)01-0104-09基于优化残差网络的复杂纹理表面缺陷检测林李兴1，夏振平1,2，徐浩1，宋玉2，胡伏原2（1.苏州科技大学物理科学与技术学院，江苏苏州215009；2.苏州科技大学电子与信息工程学院，江苏苏州215009）摘摘 要：要：产品表面缺陷检测是工业自动化生产的重要环节，准确率是评价自动检测系统可靠性的主要指标。基于复杂纹理表面缺陷检测的特殊性以及对检测方法的实时性、通用性等要求，提出了优化骨干网络并使用迁移学习特征映射构建复杂纹理表面缺陷的检测方法。该方法通过优化残差网络模型并建立仿真数据集的方式进行迁移学习，以解决实际情况中复杂纹理表面产品数据集样本数量少、数据集制作困难、相似问题难以互相兼容等问题。实验结果表明，提出的方法可以准确地检测随机复杂纹理的人造木质板材表面缺陷，平均准确率可达 99.6%。现有实验条件下单张人造木质板材的检测时间为 305ms，可以满足在线检测的实时性要求。研究结果可为基于深度学习的复杂纹理表面缺陷检测提供新的思路与理论参考。关键词：关键词：机器视觉；复杂纹理；残差网络；迁移学习；缺陷检测中图分类号：TN27文献标志码：ADOI：10.5768/JAO202344.0102006Defect detection on complex texture surface based on optimized ResNetLINLixing1，XIAZhenping1,2，XUHao1，SONGYu2，HUFuyuan2（1.CollegeofPhysicalScienceandTechnology,SuzhouUniversityofScienceandTechnology,Suzhou215009,China；2.CollegeofElectronicsandInformationEngineering,SuzhouUniversityofScienceandTechnology,Suzhou215009,China）Abstract：Defectdetectionofproductsurfaceisanimportantpartofindustrialautomaticproductionandtheaccuracyisthemainindextoevaluatethereliabilityofautomaticdetectionsystem.Basedontheparticularityof defect detection on complex texture surface and the requirements of real-time and universal detectionmethods,adetectionmethodforoptimizingthebackbonenetworkandusingthetransferlearningfeaturemappingtoconstructthecomplextexturesurfacedefectswasproposed.Inthismethod,theResNetmodelwasoptimizedandthesimulationdatasetwasestablishedfortransferlearning,soastosolvetheproblemssuchasthesmallnumberofsamplesinthedatasetofcomplextexturesurfaceproducts,thedifficultyofdatasetmaking,andthedifficultyofsimilarproblemstobecompatiblewitheachother.Experimentalresultsshowthattheproposedmethodcanaccuratelydetectthesurfacedefectsofartificialwoodenplankwithrandomcomplextexture,andtheaverageaccuracycanreach99.6%.Undertheexistingexperimentalconditions,thedetectiontime of a single artificial wooden plank is 305 ms,which can meet the real-time requirements of onlinedetection.Theresearchresultscanprovideanewideaandtheoreticalreferenceforthedefectdetectiononcomplextexturesurfacebasedondeeplearning.Key words：machinevision；complextexture；ResNet；transferlearning；defectdetection引言近年来，随着科学技术的发展和人们生活水平的提高，各类工业产品的外形愈发复杂多样，复杂的表面纹理为实际生产中的产品质量检测带来巨收稿日期：2022-03-28；修回日期：2022-07-14基金项目：国家自然科学基金（62002254，61876121）江苏省自然科学基金（BK20200988）作者简介：林李兴（1997），男，硕士研究生，主要从事机器视觉检测方面的研究。E-mail：通信作者：夏振平(1985)，男，博士，副教授，主要从事信息显示、机器视觉、图像处理方面的研究。E-mail：第44卷第1期应用光学Vol.44No.12023年1月JournalofAppliedOpticsJan.2023大的困难。目前绝大多数工厂的复杂纹理产品表面质量的检测都是以人工目检的方式进行。复杂表面纹理使得质量检测出现人因干扰大、耗时久、准确率无法保证等问题。以人造木质板材为例，其表面花纹是通过模拟普通实木木材表面生成的天然复杂纹理，由于生产过程中存在冷压、热压、裁边等操作，导致产品出现表面油污、表面划痕、板材缺损、花色缺失等缺陷1。随着工业 4.0 的提出，各行业都在大力发展自动化生产。机器视觉是智能制造装备在自动化生产过程中精准识别和定位的关键部分，是机器人的“眼睛”2。机器视觉在图形图像学与信息学研究促进下迅速发展，其成果被广泛应用于医疗、军事、工业生产等领域3。工业生产中的产品质量检测，引入机器视觉检测代替人工目检的方法可以降低人工成本和提高检测准确率4，对复杂纹理产品表面进行缺陷检测是自动化生产过程中必不可少的一个环节5，提升机器视觉中缺陷检测方法的准确率是自动化生产设计中的关键点和难点。复杂背景下的产品表面缺陷检测问题是目标检测问题。针对这一问题，有许多研究者使用机器视觉中的图形图像学方法解决6。在被检测的缺陷与其所在表面其他区域有较为明显的区别时，缺陷的边缘通常能够通过特征提取的方式勾勒出来。例如 Roberts7基于交叉熵的梯度算法提出交叉微分算法对目标的轮廓进行提取，该算法常用于玻璃、金属表面等表面缺陷检测。如果缺陷所在表面过于复杂并且规律性难以掌握时，需要提取更多特征信息加以整合。Zhang 等8采集了缺陷几何区域特征、灰度纹理特征、不变矩特征等共 25 个图像特征，并基于主元分析法（PCA）将特征融合至最具代表性的 8 个特征，据此建立数据特征字典，以减少数据冗余和特征维度，最后使用压缩感知的方法对图像进行分类判别检测，其准确率达到了 92.00%。在更为复杂的环境下，机器视觉的可见光红绿蓝（RGB）三通道信息无法提供足够的特征。为了进一步提取缺陷特征信息，研究者们引入了红外光9、近红外光等信息进行特征融合。Li 等10使用红外光与可见光 RGB 的多通道图像信息，提取并引入特征金字塔进行特征融合，使得图像的信息熵从 0.778 提升至 0.845。以上方法应用于木质板材的木结、裂纹等缺陷检测时，因该类缺陷在图像中的占比大且特征较为明显，其表现较好，但是面对划痕、油污等小尺寸缺陷表现能力较差。同时，当前工业中生产环境要求检测方法和检测系统具备实时性和快速部署能力。在面对随机性纹理和变化复杂度较高的纹理背景时，存在某些正常花纹有可能会被误判为缺陷的情况。例如在人造木质板材的表面会出现“死结”、“裂纹”等花纹，使用图形图像学方法会产生误判，影响系统的准确性，导致传统缺陷检测方法难以满足人造木质板材表面缺陷的检测需要11。发展迅速的机器学习技术使用神经网络对图像进行特征提取与分类识别，一定程度上解决了图形图像学检测方法遇到的问题12。深度学习中调整参数方法通常能使得模型获得较好的表现，例如 Gao 等13优化了 ResNet34 网络的损失函数并使用亚当算法调整超参，该方法对“木结”这类较大缺陷分类检测的准确率达到了 98.69%。由于实际工业应用中没有特定产品的高质量公共数据集，同时对大量实际采集的图像进行手动添加缺陷标签的成本高，需要使用其他方法来规避制作数据集困难的缺点14。预训练是通常会使用的降低数据集要求的方法，例如 Ren 等15选择使用图像预训练方法获取优秀的图像分类器，建立了一种深度学习的通用表面自动检测方法，该方法应用于普通实木木材表面缺陷检测的准确率达到了91.55%。Urbonas 等16选择使用数据增强和迁移学习的方式强化 FRB-CNN 网络，对缺陷进行识别、分类和定位，该方法应用于普通实木木材表面木结检测的准确率达到了 96.10%。目前深度学习在较多领域中都优于传统图形图像学算法，但绝大多数是面向复杂纹理上的大尺寸缺陷17-18，例如死结和裂纹等缺陷，这类缺陷在图像中尺寸占比较大时，才能达到较高的准确率。而在检测人造木质板材表面的小尺寸缺陷时，准确率下降严重，难以满足实际生产的需要。为了解决复杂纹理表面的缺陷检测准确率低的问题，本文提出了一种结合网络优化和迁移学习的深度学习方法。该方法使用残差网络 ResNet18作为骨干网络，针对小样本数据集的问题对模型进行针对性优化；同时利用迁移学习的特点，对模型的训练过程进行优化，提升了模型的特征提取能力，籍以优化模型在小样本数据集上的表现；此外该方法还解决了复杂纹理表面上缺陷检测耗时久、模型训练成本高、对同类型不同复杂纹理适应能力差的问题。应用光学2023，44（1）林李兴，等：基于优化残差网络的复杂纹理表面缺陷检测1051 基于深度学习的图像识别解决复杂纹理表面的缺陷检测问题，不仅需要面对实际应用中数据集制作困难而导致的小样本问题，同时也需要满足实际部署中的兼容性、实时性等要求。实践中，需要在网络模型的复杂性和检测速度之间找到平衡，并通过优化训练过程使得模型在小样本数据集上获得更好的效果。本文提出的方法结合了残差网络的特征提取能力和迁移学习的特征映射优势，使得模型获得更好的表现能力。1.1 残差网络在图像识别的深度学习网络中，骨干网络由特征提取网络和分类网络 2 个部分组成。通常使用卷积神经网络 CNN（convolutionalneuralnetworks）作为特征提取网络，通过卷积层和池化层获取图像信息。不同的卷积神经网络模型性能不同。在面对人造木质板材这类复杂纹理表面的缺陷检测时，实际训练过程中选择使用 CNN、VGG（visualgeometrygroupnetwork）作为特征提取网络，常常会出现梯度爆炸和过拟合的问题。为了解决这些问题，研究者提出了使用“残差块”结构来优化网络框架的方法，使得模型达到较好的性能13。残差块的结构由 1 个正常块加上 1 个映射层组成。正常块沿用 VGG 的卷积层设计，由 2 个卷积层和 1 个激活层组成。输入信号经过卷积层运算获得输出残差映射 F(x)；残差块输入 x 还需要通过 1 个映射层将输入映射到输出。如果输入与输出的维度不同，则需要在映射层引入额外的 11 卷积进行维度统一。正常块输出 F(x)与映射输出x 做加权运算，得到输