基于改进YOLOv5s的大尺寸导光板缺陷检测_刘霞.pdf

基于改进 YOLOv5s 的大尺寸导光板缺陷检测刘霞,张环宇(东北石油大学电气信息工程学院,大庆163318)通信作者:张环宇,E-mail:摘要:导光板(LGP)是液晶显示器(LCD)背光模组的主要部件.导光板的缺陷将直接影响液晶显示器的显示效果.针对导光板图像纹理背景复杂、低对比度、缺陷尺寸小等问题,本文提出了一种用于大尺寸导光板缺陷检测的 AYOLOv5s 网络.首先,将导光板图像进行分图处理,然后在主干部分和特征融合部分集成 Transformer 和注意力机制 coordinateattention,并选择 Meta-ACON 激活函数.最后,基于自建数据集 LGPDD 进行了大量实验.实验结果表明,LGP 缺陷检测算法的平均精度(mAP)可以达到 99.20%,并且 FPS 可达 77,可以实现在 12s/pcs 内对尺寸为 17 英寸的导光板中的亮点、划伤、异物、磕碰伤、脏污等缺陷具有较好的实际检测效果.关键词:导光板缺陷检测;分图处理;AYOLOv5s;注意力机制;深度学习引用格式:刘霞,张环宇.基于改进 YOLOv5s 的大尺寸导光板缺陷检测.计算机系统应用,2023,32(2):339346.http:/www.c-s- Detection of Large-size Light Guide Plate Based on Improved YOLOv5sLIUXia,ZHANGHuan-Yu(SchoolofElectricalInformationEngineering,NortheastPetroleumUniversity,Daqing163318,China)Abstract:Alightguideplate(LGP)isthemaincomponentofthebacklightmoduleofaliquidcrystaldisplay(LCD),whosedefectscandirectlyaffectthedisplayeffectofLCD.Toaddresstheproblemsofcomplextexturebackground,lowcontrast,andsmalldefectsizeofLGPimages,thisstudyproposesanAYOLOv5snetworkfordefectdetectionoflarge-sizeLGPimages.First,theLGPimageisdividedintodifferentimages.Then,Transformerandtheattentionmechanismcoordinateattentionareintegratedinthemainpartandfeaturefusionpart,andtheMeta-ACONactivationfunctionisselected.Finally,massiveexperimentsarecarriedoutonthebasisoftheself-builtdatasetLGPDD.TheexperimentalresultsindicatethatthedefectdetectionalgorithmforLGPenjoysthemeanaverageaccuracy(mAP)ofupto99.20%andFPSof77,whichcanrealizegoodeffectsinthepracticaldetectionofbrightspots,scratches,foreignbodies,bumps,dirt,andotherdefectsinthe17-inchLGPin12s/pcs.Key words:defectdetectionoflightguideplate;figureprocessing;AYOLOv5s;attentionmechanism;deeplearning1前言随着工业现代化的飞速发展,国内的导光板厂商开始陆续尝试自动光学检测方法(AOI)进行导光板质检.AOI 是以机器视觉技术为基础的缺陷检测技术,AOI 是解决目前传统检测效率低、工人成本高问题的最有效方法.广泛应用于 PCB 等相关行业的检测中.稳定的 AOI 检测是目前导光板检测的发展方向.2019 年 Ming 等人提出了一种基于机器视觉的导光板(LPG)缺陷检测新方法.在图像分割和增强之后,对所提出的具有动态权重的组合分类器(CCDW)进行训练1.导光板图像有背景复杂、对比度低、亮度不均、各种缺陷特征差异大等特点.基于机器视觉和机计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(2):339346doi:10.15888/ki.csa.008881http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041收稿时间:2022-04-27;修改时间:2022-06-01;采用时间:2022-06-10;csa 在线出版时间:2022-11-14CNKI 网络首发时间:2022-11-15ResearchandDevelopment研究开发339器学习的传统检测方法需要提取手动特征,鲁棒性差.难以满足导光板在线缺陷检测的抗干扰性、检测精度、实时性等方面的需求.近年来,许多深度学习缺陷检测方法被广泛应用于 LCD 等工业领域.并且在导光板缺陷检测领域也开始了一些初步的尝试.2021 年 Li 等人提出了一种用于手机导光板缺陷检测的端到端多任务学习网络架构.同过 U 型编码结构获取多尺度特征,并采用特征融合与多尺度特征交互2.Hong 等人提出了一个密集双线性卷积神经网络(BCNN),一个端到端缺陷检测网络3.何炎森针对车载导航导光板缺陷,结合轻量化与级联网络提出了一种缺陷快速检测方法4.导光板的缺陷检测要求相对高,大部分缺陷,如亮点、暗点、线划痕和压痕小于 0.1mm.检测的精度需要大于 99%,每个导光板需要在 12s 内检测到.一般来说,基于深度学习分类网络的缺陷检测只能获得粗略的位置.相对而言,目标检测网络可以获取目标的准确位置和类别信息.目标检测模型可以分为两大类:两阶段和一阶段网络.两阶段网络需要在目标检测之前生成可能包含缺陷的候选区域,主要是包括 R-CNN5、FasterR-CNN6等网络.一阶段网络通过从网络中提取的特征直接进行缺陷检测和识别,主要包括 YOLO7,8系列和 SSD9等网络.检测速度更快,目前在导光板缺陷检测问题上已经取得了很好的效果,2022 年 Yao 等人提出一种用于 LGP 缺陷检测的 AYOLOv3-Tiny 网络10.对传统的YOLOv3-Tiny 主干部分的卷积操作进行改进,满足了工业检测需求,验证了 YOLO 模型在导光板缺陷检测任务上的优秀性能.YOLOv5 融合了 YOLO 系列版本的优点,在检测速度和精度上都更优秀.但是为了实现本文大尺寸导光板图像背景下对小目标缺陷的检测,还需要对 YOLOv5的网络结构进行相应的调整和改进.因此本文结合导光板的缺陷特征和检测要求,提出了一种基于改进YOLOv5s 的大尺寸导光板缺陷检测算法.2改进的 YOLOv5s 算法CIoUYOLOv5 根据不同 CSP 结构的深度和宽度主要将模型分为 4 种:YOLOv5s、YOLOv5l、YOLOv5m、YOLOv5x.模型依次增大,推理时间依次延长,考虑到算法的实时性,本文选择 YOLOv5s 为基础架构进行改进.图 1 为改进后的 YOLOv5s 网络结构图,由 Input、Backbone、Neck、Head 组成,本文将 Backbone 部分倒数第 2 层的 C3 模块替换为 C3TR 模块并将 coordinateattention 注意力机制11集成到 Neck 部分,在激活函数方面选择了 Meta-ACON12,在损失函数方面选择作为目标框回归的损失函数.使得网络训练速度的速度提高的同时,特征提取能力也得到了进一步的增强,从而提高了对细微缺陷的检测能力.下面从输入端(Input)、主干特征提取网络(Backbone)、特征融合(Neck)、激活函数、损失函数(Loss)这 5 个方面进行详细介绍.FocusConv3C3C3TRConv9C3SPPFConv3C3ConcatUpsampleConvCAConcatUpsampleConvConvConcatCAConvConcatConvConvConv9C3Conv3C33C33C3CAC3TRCAC3Conv11BottleneckConv11Conv11ConcatConv11TransformerConv11Conv11ConcatInputX Avg PoolY Avg PoolConcat+Conv2dConv2dConv2dSigmoidSigmoidOutputResidualRe-weightBatchNorm+SwishCH1C1WC/r1(W+H)C/r1(W+H)C1WC1WCH1CH1CHWCHWCH1nencoder1.Input2.Backbone3.Neck4.Head5.Output图 1AYOLOv5s 网络结构计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第2期340研究开发ResearchandDevelopment 2.1 分图输入本文待检导光板的尺寸为 1217 英寸.导光板的缺陷检测要求相对较高,且导光板尺寸太大.因此,本文采用 16k 线阵相机获取高质量的图像.图 2 为采集后的导光板图像,为了适应不同尺寸导光板,采集后的导光板图像分辨率统一为 25000163844.1亿个像素,而小的缺陷仅为 7 个像素左右,缺陷尺寸和图像背景差距悬殊,无法直接进行检测,因此考虑到算法的可实现性,需要采用逐行扫描的方式进行检测.本文首先将获得的完整导光板图像进行分图,裁剪成数张 640640 的小图后再通过算法进行滑窗检测.从图 2 采集的导光板图像可以看出,我们只需裁剪真正的导光板区域即可,即 1806413548 个像素的感兴趣区域.值得注意的是由于导光板进料时非常稳定,所以提取感兴趣区域时不需复杂操作,只需根据相应尺寸提前设置好区域坐标即可.为了消除边界缺陷的漏检,设置的大小为 10 个像素的重叠区域 overlap,那么步长就为 630 个像素点.从左上角开始切图,切出来图像的左上角记为x,y,那么可以容易想到 y 依次为:0,630,1260,17010但接下来却并非是 17640,因为 17640+64018064,所以这里要对切图的 overlap 做一个调整,最后一步的 y=18064640,基于此就可完成将所有感兴趣区域切成小图,将裁剪后的小图通过 Mosaic 数据增强后输入主干特征提取网络.64064010640640滑窗裁剪(overlap=10pixel)感兴趣区域ROI(1806413548)630(x,y)(x,18064-640)图 2采集的导光板图像 2.2 基于 Transformer 的主干特征提取网络YOLOv5 的主干部分采用了 Focus 下采样、改进CSP 结构、SPPF 池化金字塔结构提取图片的特征信息.YOLOv5 所使用的主干特征提取网络为 CSPDarknet,都由残差卷积构成,残差网络能够通过增加相当的深度来提高准确率.其内部的残差块使用了跳跃连接,缓解了在深度神经网络中增加深度带来的梯度消失问题.图 3 为 C3 模块结构图,YOLOv5 使用的 C3 模块结构是将原来的残差块的堆叠进行了一个拆分,如图 3 所示由两个分支组成,一个分支使用了多个 Bottleneck堆叠和 1 个标准卷积层,另一支仅经过一个基本卷积模块,最后将两支进行 Concat 操作.Conv11BottleneckConv11Conv11Conca