基于LT-YOLOv5s的PCB缺陷检测方法_张开生.pdf

ISSN 1006 7167CN 31 1707/TESEACH AND EXPLOATION IN LABOATOY第 42 卷 第 2 期Vol42 No22023 年 2 月Feb 2023DOI:10 19927/j cnki syyt 2023 02 023基于 LT-YOLOv5s 的 PCB 缺陷检测方法张开生，李昊晨，关凯凯，彭朋(陕西科技大学 电气与控制工程学院，西安 710021)摘要:针对传统 PCB 缺陷检测算法检测准确度低、实时性差等问题，提出一种改进的 YOLOv5s 网络 PCB 缺陷检测方法。针对缺陷特性，去除大目标的检测尺度，保留中小目标检测尺度;在网络模型末端用 Transformer 替代 BottleneckCSP 模块，提升了网络模型捕获目标特征的能力;结合坐标注意力模块，提升模型的性能并减少参数。以某 PCB 数据集为测试对象，结果表明，改进后的算法平均精度均值(mAP)达到 99 04%，平均检测速度为 19ms/帧，改进后的算法能够更加快速有效的检测出 PCB 缺陷。关键词:缺陷检测;YOLOv5s 算法;Transformer 模块;检测尺度;坐标注意力机制中图分类号:TP 391文献标志码:A文章编号:1006 7167(2023)02 0108 07PCB Defect Detection Method Based on LT-YOLOv5sZHANG Kaisheng，LI Haochen，GUAN Kaikai，PENG Peng(School of Electrical and Control Engineering，Shaanxi University of Science and Technology，Xi an 710021，China)Abstract:Aiming at the problems of low detection accuracy and poor real-time performance of traditional PCB defectdetection algorithms，an improved PCB defect detection method based on YOLOv5s network is proposed Firstly，for thedefect characteristics，the detection scale of large targets is removed，and the detection scale of small and mediumtargets is retained Secondly，the Transformer module is used to replace the BottleneckCSP module at the end of thenetwork model，which improves the ability of the network model to capture target features Finally，combined with thecoordinate attention module，model performance is improved and parameters are reduced Taking the PCB datasetreleased by Peking University as the test object，the results show that the mean average precision(mAP)of theimproved algorithm reaches 99 04%，and the average detection speed is 19ms/frame The improved algorithm candetect PCB defects more quickly and effectivelyKey words:defect detection;YOLOv5s algorithm;Transformer module;detection scale;coordinate attentionmechanism收稿日期:2022-04-08基金项目:陕西省自然科学基础研究计划项目(2022JQ-601)作者简介:张开生(1963 )，男，山西运城人，博士，教授，研究方向为微电子、物联网技术、工业自动化。Tel:13186179255;E-mail:80649433 qq com0引言近年来，各类电子设备生产厂商对于 PCB 裸板的质量和检测效率的要求越来越高。在 PCB 缺陷检测方面，基于深度学习的方法可自动提取图像特征，简化图像预处理过程，能有效提高 PCB 缺陷检测的准确率和效率，引起众多学者的关注，其中较为成熟的算法可以分为两类:一类是以 SSD1 和 YOLO2 5 系列网络为代表的基于回归方法的目标检测算法。例如:an等6 利用多尺度特征图定制不同尺度的边界框，通过非极大值抑制(Non-max suppression，NMS)优化检测结果改进了 SSD 神经网络框架，因没充分利用浅层特征图信息，容易导致定位不准确。曾凯等7 采用模型剪第 2 期张开生，等:基于 LT-YOLOv5s 的 PCB 缺陷检测方法枝、蒸馏和量化等技术对 YOLOv3-spp 检测模型进行压缩优化提升了 PCB 缺陷的检测速度。伍济钢等8 以 MobileNetV3 作为特征提取网络，Inceptionv3 作为检测网络降低了 YOLOv4 网络模型的深度，对各类缺陷的检测能力也得到了提升。以上两种方法所使用的模型权重文件较大，并不适合实际工程的应用。另一类是以 Faster-CNN 为代表的两阶段目标检测算法9。例如:Li 等10 结合 Faster-CNN 和 FPN 结构作为基础，在骨干网络插入 SE 模块提高了网络的特征提取能力，并使用 OI Align 代替 OI Pooling 提高小目标缺陷检测能力，但模型检测的速度过慢，难以达到实际生产场景下对于实时性的要求。为更好地平衡 PCB 缺陷检测的准确度与速度且更方便地部署在工业检测的设备当中。本文以YOLOV5s 网络模型作为基准网络模型，设计合理的检测尺度提高模型的推理速度;将 Transformer 模块替换网络末端低分辨率特征图的 BottleneckCSP 模块，让模型更关注缺陷本身特征;加入坐标注意力机制，提高模型的特征提取能力。将改进后的 YOLOv5s 网络模型称为 LT-YOLOv5s(Light Transformer-YOLOv5s)。1YOLOv5s 网络模型YOLOv5 共有 l、m、s、x 4 个版本，选择 YOLOv5s作为基准网络，其网络模型的权重文件仅 14M，很适合部署到嵌入式设备。其他版本的 YOLOv5 网络模型都是在 s 版本的基础上进行加深与加宽。YOLOv5s 网络结构由输入端、Backbone、Neck、Head 4 部分所组成，网络结构如图 1 所示。图 1YOLOv5s 结构图1 1输入端YOLOv5 的输入部分采用了 Mosaic 数据增强、自适应锚框计算和图片尺寸处理等方式，Mosaic 数据增强是对 4 张图片按照随机缩放、裁剪、排布的方式进行拼接，丰富了数据集样本，其结果如图 2 所示。图 2Mosaic 数据增强效果图自适应锚框计算是在初始锚框的基础上，将输出预测框与真实框做差值，通过不断的迭代获取最佳锚框值。图片尺寸处理采用自适应缩放图片将图片缩放到统一尺寸。1 2主干网络(Backbone)YOLOv5 网络的骨干网络为 CSPDarknet53，包含了 Focus、CBL、CSP1-x、SPP11 4 种模块。Focus 模块对特征图进行复制和切片操作，同时减少网络模型的计算量。CBL 由 Conv+BatchNormalization+Leakyelu激活函数共同组成，可实现特征图像的提取。CSP12 的残差结构能优化梯度信息，同时降低计算量，在保证准确度的同时也加快了推理的速度。SPP 模块采用 3个多尺度的最大池化进行多尺度融合，提高模型的感受野，同时解决了锚框与特征层的对齐问题。1 3颈部网络Neck 部分采用了特征金字塔(Feature PyramidNetworks，FPN13)+路径聚合网络(Path AggregationNetwork，PAN14)的网络结构，这种结构能融合深层特征信息与浅层特征信息增强小目标的检测准确度。901第 42 卷1 4输出端Head 部分以 GIoU 作为 Bounding box 的损失函数，采用 NMS 提高对多目标框重叠现象的检测能力，并输出一个向量，其中包含生成图像中预测的缺陷位置和分类信息。2改进的 YOLOv5s 网络结构设计2 1检测尺度改进YOLOv5s 的原始锚框为 10，13，16，30，33，23、30，61，62，45，59，119和 116，90，156，198，373，326。在 Head 部分包括 3 个输出层 P3、P4和 P5，步长幅度分别为 8、16 和 32。当输入图像像素大小为640 640 时，P3、P4和 P53 个输出层的检测尺度分别为 80 80、40 40 和 20 20 像素，分别预测大型、中等和小型目标。鉴于 PCB 缺陷属于小目标物体，对应 20 20 的检测尺度，感受野为 32 32 像素区域，负责预测大目标物体，超过了 PCB 缺陷所占像素区域大小。在这 3种检测尺度当中，去除了 20 20 的检测尺度，只留下40 40 和 80 80 这 2 种感受野大小为 16 16 和 8 8 像素区域的检测尺度，改进后的检测尺度如图 3 所示。鉴于原始锚框的检测效果很好，故本文采用的原始锚框为 10，13，16，30，33，23 和 30，61，62，45，59，119。图 3YOLOV5s-2head 结构图2 2Transformer 模块针对 PCB 缺陷较为稀疏且特征贫瘠的问题，网络模型在计算过程中缺陷本身的特征需要被特别关注。采用 vision Transformer15 当中的 Transformer 模块来替换 YOLOv5s 网络结构末端的 BottleneckCSP(C3)模块。Transformer 为 Full-attention 模型，由多头注意力(Multi-head self-attention，MHSA)机制所组成，如图 4所示。当有图像输入时，它可计算不同位置像素间的关系，每一个 head 都是特征和信息的子空间，这种方法能够更多地保留 PCB 缺陷的特征信息。图 4Transformer 模块结构图图 5输入特征图的 eshape 操作如图 5 所示，在计算之前增加一个线性层进行位置编码来减少在 eshape 时引起的部分位置信息的丢失。在自注意力机制(Self-attention)中，query 向量 Q、key 向量 K、value 向量 V 都是输入向量 I 通过不同的线性变换得到的。多头注意力机制是对由输入向量 I得到多个自注意力的 head 进行特征融合和线性变换MultiHead(Q，K，V)=Concat(head1，head2，headh)Wout(1)式中:Concat 为特征融合操作;Wout为线性变换矩阵;headh=Attention(Qh，Kh，Vh)=softmaxQhKThd()kVh(2)为第 h 个自注意力的计算结果。式中，dk为 Qh和 Kh点积的方差，用于缓解 softmax 出现梯度消失的问题;Qh=IWQhKh=IWKhVh=IWVh(3)式中，WQh为第 h 个 I 到 Q 的线性变换，再经过两次线性变换，就能获得更关注于 PCB 缺陷本身的特征图。2 3CA 模块在 PCB 缺陷图像