注意力机制与空洞残差网络的PCB缺陷检测_牛振振.pdf

2023 年 2 月 25 日第 7 卷第 4 期现代信息科技Modern Information Technology Feb.2023 Vol.7 No.410102023.022023.02收稿日期：2022-10-20基金项目：国家自然科学基金（61805133）注意力机制与空洞残差网络的 PCB 缺陷检测牛振振，陈力荣，王震，牛雅丽，吕旭阳（山西大学 物理电子工程学院，山西 太原 030006）摘 要：针对印刷电路板缺陷检测技术，文章提出了基于 YOLOv5s 的一个轻量型的 CNN 模型 YOLO_AD，用于 PCB 缺陷检测。该模型主要体现在将轻量型 Ghost module 作为骨干特征提取网络，融合注意力机制，对输入分配偏好进行通用池化和信息加权平均后，引入空洞残差网络，减少了网络模型与卷积运算，提高了网络处理效率。部署到嵌入式板卡中，采用 MVC 架构配合硬件优化及软件设计搭建了实时在线的 PCB 目标缺陷检测系统。实验结果表明，测试各类缺陷识别率为 90.53%，检测速度为 30 FPS。关键词：缺陷检测；轻量型网络；注意力机制；空洞残差网络；嵌入式系统中图分类号：TP391.4；TP18 文献标识码：A 文章编号：2096-4706（2023）04-0010-05PCB defect Detection of Attention Mechanism and Dilated Residual NetworkNIU Zhenzhen,CHEN Lirong,WANG Zhen,NIU Yali,LYU Xuyang(College of Physics and Electronic Engineering,Shanxi University,Taiyuan 030006,China)Abstract:For printed circuit board defect detection technology,this paper proposes a lightweight CNN model YOLO_AD based on YOLOv5s for PCB defect detection.The model mainly embodies the lightweight Ghost module as the backbone feature extraction network,incorporates the attention mechanism,introduces the null residual network after generalized pooling and information weighted averaging of input assignment preferences,reduces the network model and convolution operations,and improves the network processing efficiency.Deployed into the embedded board,the MVC architecture is used with hardware optimization and software design to build a real-time online PCB target defect detection system.The experimental results show that the test recognition rate of various types of defects is 90.53%and the detection speed is 30 FPS.Keywords:defect detection;lightweight network;attention mechanism;dilated residual network;embedded system0 引 言PCB 线路板质量的好坏决定了设备运行的优良程度。随着线路板集成度越高越复杂，其制造、加工、运输等过程极易出现缺陷。然而电路板缺陷会引起严重的不良后果。比如，医疗设备中的电路板故障可能会危及生命，智能手机或汽车电子的问题会干扰用户的活动。因此对 PCB 板的质量检测需求日益增多。现阶段电路板缺陷检测方法可分为人工目视主观判定法和机器视觉检测方法。人工检测借助显微镜，放大镜，由操作人员凭直观视觉检测电路板是否存在缺陷。机器视觉检测1可以弥补人工检测效率低、主观性强的缺点，同时还具备检测速度快、自动化程度高的优点。一般机器视觉检测分为激光检测和机器学习检测两大类。Zhang 等2采用激光脉冲热成像技术进行特征提取结合神经网络模型检测伪焊料缺陷，并开发了一套智能识别设备来检测 PCB 上的伪焊点，其识别率达到了 85%。Lopez-Escogido 等3提出使用 2-D 高精度激光传感器并用 Java 开发图形应用程序用于PCB 检测和数据处理，提高了对缺陷的特征提取的灵敏度。Ardhy 等4提出了一种基于梯度边缘检测的单板计算机低成DOI:10.19850/ki.2096-4706.2023.04.003本机器视觉，解决了 PCB 图像的不均匀照明问题，提高了边缘和缺陷检测精度。何国忠等5提出一种 YOLOv4 网络将全局注意力机制和 SPP 模块进行特征提取，有效提高了目标缺陷的识别功能，提高了 PCB 缺陷检测的速度。以上方法对 PCB 缺陷检测达到了一定的效果，然而上述方法网络训练采用随机梯度下降的方式区分缺陷程度的敏感性不够理想，系统处理的图像背景数据量冗余度较高，光学检测系统需要手动缺陷跟踪位置和识别缺陷类型存在一些局限，YOLOv4 网络特征提取较深，目标边缘缺陷特征提取能力随之有待提升。为了弥补嵌入式设备中网络对目标边缘缺陷特征提取不敏感、缺陷手动跟踪定位和检测速度慢的缺点。通过近年研究方法进行比对及深度理解，基于 YOLOv5s6算法设计了注意力机制与空洞残差网络的 PCB 图像缺陷检测。模型中采用了一个轻量型 GhostNet 的特征提取器融合注意力机制作为YOLO_AD 的骨干网络，满足了模型的轻量化设计的同时增加了网络的特征提取能力；再引入空洞残差结构模块对 PCB缺陷的特征提取，增大目标缺陷的视觉感受域和减少电路板背景的噪声干扰、提高了系统模型检测速度。软件方面使用QT5 进行上位机软件 MVC 架构嵌入式应用结合 YOLO_AD网络部署到嵌入式开发板中。此便携式智能检测应用操作简单，便捷轻巧，同样可实时高精度对 PCB 目标缺陷检测。11112023.022023.02第 4 期1 算法原理1.1 Ghost 网络结构Ghost 是华为诺亚方舟实验室提出的一个轻量型神经网络模块。Han7等学者将特征图通过一系列线性运算得到，与普通的卷积模块相比，线性运算在每个通道上的计算量远小于普通卷积模块。在进行卷积运算时，Ghost module 结构图如图1所示，采用了一种线性运算操作产生冗余的特征图，减少了大量的卷积运算。Conv1kInputOutputIdentity图 1 Ghost module 结构图首先，Ghost module 采用标准化卷积产生 m 个内在特征图，其中 h 和 w 是输出数据的长和宽。Y 用一个简单的线性变化产生幻影特征，其公式为：（1）是 Y 中的第 i 个内在特征图，是第 i 个内在特征图的第 j 个线性运算，最后一个 是用来保存内在特征图的identity 映射。通过线性运算，产生了 n=ms 个特征映射。所以将 Ghost module 应用于 YOLOv5s，可以显著降低模型的参数量。1.2 注意力机制Ghost 网络中的线性运算会导致特征图失去一些通道信息，为了加强特征图的不同通道的相关性，在 Ghost module中引入注意力机制8，可以分为三步：一是信息输入；二是计算注意力分布；三是根据注意力分布 来计算输入信息的加权平均。如图 2 所示，将不同通道的特征对分类的贡献进行排序，提取贡献大的通道特征进一步加强。V1V2VN2N1SoftmaxSSSqK1K2KNa图 2 注意力机制示意图第1步是信息输入：用X=x1,xN表示N个输入信息；第二步是注意力分布计算：令 Key=Value=X,则可以给出注意力分布：i=softmax(s(keyi,q)=softmax(s(Xi,q)（2）将 称之为注意力分布（概率分布），s(X,q)为注意力打分机制，将上一步生成的特征图进行打分评估；第三步进行信息加权平均：在上下文查询q时，第i个信息受关注的程度，采用一种“激励”的信息选择机制实现了特征的重要性标定。1.3 空洞残差卷积空洞卷积是指通过在卷积核的元素间插入空隙来增加感受野的方法。即大小为 KK 的卷积核，在每两个元素中插入 R-1 个元素，空洞卷积的等效卷积核：K=K+(K-1)(R-1)（3）输出特征图公式：Out=(input-K+2P)/S+1 （4）其中：R 为空洞卷积率，K 为原始卷积核大小，P、S 分别为填充和步长。如图 3 所示，计算结果可知空洞卷积可以有效减少卷积层参数，缩减模型计算量。*=108100000101101100000100010101365710 11 124914216 17 18 191520 21813242322*=1081000001011011000001000101242322*=108100000101101100000100010101365710 11 124914216 17 18 1915242322*=1081000001011011000001000101*=108100000101101100000100010101365710 11 124914216 17 18 1915 （a）输入特征图 （b）空洞卷积核（c）输出特征图图 3 空洞卷积结果图在残差网络结构中，以非线性 f(x;)去逼近目函数 h(x)时可将目标函数分解为：h(x)=x+h(x)-x （5）式中 x 称为恒等函数，h(x)-x 称为残差函数。在人工神经网络的数学理论当中，假设激活函数足够柔和的情况下，通用相似定理可以得出来非线性单元可以在理论上去逼近任意函数。因此：期望 f(x)逼近残差函数 h(x)-x 使得 f(x)+x 逼近目标函数 h(x)。证明：可设一个通用的残差块表示方式：（6）xl+1=f(xl)（7）式中 是以直接映射的方式。为激活函数。由此可得残差块另一种表示方式：（8）依次类推可得出神经网络9中更深的层 L 其与其他 l 层的关系表示方式：（9）式（9）反映了残差网络结构所具有属性：在神经网络结构中，L 层网络参数可以表示为任意一个比 L 层浅的 i=l层加上它们之间的残差部分之和。根据 BP 网络中使用的导数的链式法则，损失函数 关于 xl的梯度可以表示：=+（10）由式（10）可知在网络训练过程中，这表明网络引入残差网络后不会出现梯度消失的问题，神经网络中 L 层的梯度可以直接传递到任何一个比它浅的 i 层。如图4所示，可将空洞卷积替换残差网络中的普通卷积，同时设置空洞率为 1，2，5 避免提取图片信息中的因距离间隔导致信息不相关性的问题。在降采样过程也减少了无关特牛振振，等：注意力机制与空洞残差网络的 PCB 缺陷检测12122023.022023.02第 4 期现代信息科技征的参数计算，又扩大了小物体检测中的感受野，提高了网络模型检测速度。空洞卷积(空洞率=1)归一化普通卷积归一化激活函数Relu激活函数ReluXF(X)F(X)+X空洞卷积(空洞率=2)归一化空洞卷积（空洞率=5)归一化激活函数Relu图 4 空洞残差卷积图1.4 YOLO_AD 网络结构为 提 高 网 络 对 PCB 电 路 板 缺 陷 检 测 的 性 能，对YOLOv5s 网络做出相