基于改进YOLOv5通用电气控制板装配识别的方法研究.pdf

收稿日期：2023-04-24作者简介：姜阔胜（1983-），男，山东威海人，副教授，博士，主要从事故障诊断、智能装备与先进制造方面的研究。通讯作者：黄志伟（1997-），男，广西桂林人，硕士研究生。基于改进YOLOv5通用电气控制板装配识别的方法研究姜阔胜1，2，黄志伟1，权跃文1，墨世玉1（1.安徽理工大学 机械工程学院，安徽 淮南 232001；2.深部煤矿采动响应与灾害防控国家重点实验室，安徽 淮南 232001）摘要：针对电气控制板在人工装配过程中漏接、漏装及装配准确率低等问题，提出了一种划区域采集装配图像并用改进的YOLOv5模型算法检测电气控制板装配情况的方法。首先，设计了一种双轴活动的相机控制台划区域采集装配情况的图像；其次,添加 Squeeze Excitation（SE）模块建立各通道之间的联系，根据不同通道的权重进一步对特征进行加权；再次，将Transformer Prediction Heads（TPH）集成到YOLOv5上，同时用BiFPN替换PANet结构。实验结果表明：基于深度学习改进的YOLOv5算法优于改进前的算法，其器件的检测精度达到96%，检测速率为26 帧/秒，能够实现电气控制板上器件的精确检测和识别，满足设备制造过程中对装配准确率提升的需求。关键词：装配检测；电气控制板；图像采集；YOLOv5中图分类号：TP273文献标识码：A文章编号：1673-1603（2023）03-0063-06DOI：10.13888/ki.jsie（ns）.2023.03.012第 19 卷第 3 期2 0 2 3 年 7 月Vol.19 No.3Jul.2023沈阳工程学院学报（自然科学版）Journal of Shenyang Institute of Engineering（Natural Science）电气控制板是很多设备产品中不可缺少的电气控制设备，能够实现整个电路的调节控制、测量及信号传递等功能。电气控制板作为整个设备和产品中的控制中心，其装配至关重要，电气控制板中器件安装的正确与否在一定程度上会影响设备的可靠性。不合理的控制板装配不仅会影响设备的正常运行，也会影响设备的稳定性和工作的进度。因此，迫切需要高效快速的检测手段来准确地识别电气控制板的装配。目前，针对电气控制板的装配检测，国内也有一些极有参考意义的研究。王昕等1针对电气板生产中器件接线及安装效率低等问题，提出了一种装配自动检测方法，把机器视觉识别技术应用到装配检测领域。上述方法虽能解决电气控制柜中器件装配的问题，但通常电气控制板的安装环境复杂，内部的小型器件在装配时不易于检测，不规则的装配导致影响检测的因素也比较多，对装配环境变化极为敏感，检测方法不具有泛化的能力2。因此，本文提出基于改进 YOLOv53的装配检测方法，以提升电气控制板装配检测的效率和准确率。本文采用双轴活动相机试验台采集电气控制板装配图像。首先，通过划区域采集，再对不同区域所采集的图像进行拼接，得到完整的电气控制板图像；其次，优化YOLOv5模型，在网络预测结构中第 19 卷沈阳工程学院学报（自然科学版）增加小目标检测层；再次，在主干网络中添加TPH4和SE5模块，并用BiFPN6-8替换原YOLOv5模型中的PANet9-10部分。1图像采集系统采集图像的相机控制台主要由相机、PLC、两组步进电机、同步带、行程开关及电机驱动器组成。根据电气控制板上电气元件的位置建立运动坐标系，将电气板的左上角设置为原点，每个电气元件都有对应的坐标值。系统运行前先通过原点处的两个行程开关进行X、Y轴坐标归位。将控制板划分为4个采集区域（也就是将所有元件的坐标划分为4类），根据坐标确定采集区域后，PLC通过设定的坐标给步进电机脉冲值，驱动步进电机将相机移动到平面内指定的采集区域进行图像采集11。本文采集图像数据所使用的相机控制台如图1所示。图1相机控制台2改进YOLOv5本文的研究对象是电气控制板的装配，可以从器件个数和位置参数评估装配准确度。对于目标检测部分，目前高效且使用广泛的是YOLOv5网络模型。常规YOLOv5模型对于一部分样本尺寸较小器件的检测效果并不是十分理想，检测准确度也有待进一步提高。因此，本文首先在网络中加入小目标检测层。此外，针对装配检测的准确率和效率，将通过添加TPH和 SE模块实现提升。最后，在检测网络的主干网络BackBone和输出层之间，用BiFPN替换PANet结构。本文所采用的YOLOv5网络的结构分为3个部分：主干BackBone、颈部PANet及输出Head。主干网络将单个卷积神经网络应用在整个图像上，使图像在细粒度上聚合形成特征；Neck层采用了 FPN和 PANet结合的方式，自顶而下与自下融合，增强了图像特征的融合能力；Head输出层预测前端网络层传来的图像特征的类别，并进行非极大值抑制，输出最高置信度的类别12-13。2.1添加SE模块SE模块可以使重要的通道被网络模型所注意，本质上是进行gating 或者attention操作。SE模块根据损失对特征权重进行学习，在增强有益特征的同时也能够抑制非重要特征通道。SE模块如图2所示。图2SE模块原理1）zc由Fsq操作（Squeeze操作）计算所得，首先压缩每个通道的空间特征编码，输出1 1 C维度的卷积核：zc=1W Hi=1Wj=1Huc()i,j（1）式中，uc代表输入的张量。2）W1与W2维 度 为D，zc与W相 乘，经 过Squeeze压缩二维特征从而降低计算量，由sigmoid激活函数计算得出sc：D=1 1 Cr C（2）sc=sigmoidW2relu()W1zc（3）式中，W1和W2是线性层；r为缩放参数，在本研究中值为16；sc代表每个通道的权重。3）最后是scale操作，使得每个通道获得加权：X=Fscale()uc,sc=sc uc（4）式中，X为自适应强化的维度张量。64第 3 期姜阔胜，等：基于改进YOLOv5通用电气控制板装配识别的方法研究2.2添加TPH将 TPH添加到模型中，能够在高特征密度的环境下准确定位。Transformer encoder block代替原 YOLOv5 中的 CSP bottleneck blocks，提高捕获全局信息的能力。同时，考虑到低分辨率电气控制板特征图在末端的输出14，将 TPH 集成到 YOLOv5中来降低储存成本和计算功耗，并且使电气控制板上的小器件检测的定位更加准确。2.3用BiFPN替换PANet结构BiFPN是一种双向金字塔型结构，不同于FPN单一的自顶向下和PANet的自底向上的结构，其语义特征及定位信息在FPN与PANet组合的结构中反复传递，实现更高层次的特征融合15。相对PANet而言，BiFPN进行的改进如下：1）删除了仅有一条输入的P3和P7卷积节点，增加了跳跃式的连接结构，使得一层输入的原始特征直接连接输出层，提升了模型检测速度及特征提取能力，网络模块结构如图3所示。图3网络模块结构2）根据特征输入的贡献选择性地融合不同输入特征16。在本次方法研究中使用 Fast normalized fusion的带权特征融合方法，采取归一化使得所有权重值被约束在01的范围内，以显现不同输入的重要性。如式（5）：o=iwi+jwj Ii（5）式中，Ii为第i个输入特征；wi为对应特征的权重；=0.000 1。相较于Softmax-based fusion和Unbounded fusion这两类特征加权融合方法，Fast normalized fusion能以更快的速度在GPU中进行运算。3实验3.1实验数据集和实验条件运行神经网络的计算机环境及配置：Windows10 系统、8.00 GB 的 RAM、型号为 Intel（R）Core（TM）i5-8300H 2.3 GHz 的 CPU、NVIDIA GeForce GTX 1050 的 GPU、CUDA11.0、CUdann8.0.5、python3.9、pycharm、Anconda和OpenCV4.2。本研究检测的目标是齿轮啮合仪和视觉云盘机实验台中所使用的电气控制板上的各器件：PLC、固态继电器、电阻、12/24 V电源、光耦隔离、伺服控制器、滤波器、继电器、保险丝、空气开关。利用型号为 MV-CE200-10UMDE 的工业面阵相机搭建实验控制台，其分辨率为5 4723 648，动态范围为65.5 dB。通过实验控制台的电气控制板器件图像采集系统，在相应区域依次采集彩色图像作为测试训练样本，同时还进行了图像随机增加噪声和图像模糊系列的操作，再利用LabelImg图像工具对图像进行标注。最后去除无效标注之后，总共获得1 140张实验图像，以9 1比例划分训练集和测试集。为了使输入YOLOv5网络的图像特征更准确，将所有器件的坐标划分为4类，每类对应一个采集区域。区域 1：PLC、光耦隔离；区域 2：固态继电器、电阻、滤波器、12/24 V电源；区域3：伺服控制器、光耦隔离、继电器；区域4：光耦隔离、继电器、滤波器、保险丝、空气开关。电气控制板各元器件的坐标如表1所示，在确定坐标之后可以根据装配情况驱动X、Y双轴进行分区域采集图像，然后将4个区域采集的图像进行拼接，得到有效输入 YOLOv5模块的特征图像。表1电气控制板元器件坐标信息PLC光耦隔离固态继电器（0，471）（247，396）（277，395）名称坐标65第 19 卷沈阳工程学院学报（自然科学版）电阻24 V电源12 V电源6 A滤波器10 A滤波器空气开关保险丝继电器伺服控制器（300，380）（40，263）（200，250）（270，256）（270，220）（27，100）（125，96）（203，95）（340，114）名称坐标3.2神经网络模型训练为进一步减少模型训练时间，在加载的数据集中增加预训练权重。分别在预训练权重模型中训练PANet和BiFPN结构，将3640640大小的原始图像输入到训练模型中，设置Batch Size值为4，学习率为 0.001，总训练轮数为 300轮。对于评估损失，在模型训练之后可以获得训练集和验证集bounding box、目标检测和分类的loss。图4为YOLOv5改进前后模型训练的分类损失、定位损失和置信度损失曲线。由图4可知：loss发生了显著的下降，并且不再需要修改Batch Size及自适应动量优化器，达到了更加理想的检测效果；对比损失值loss的收敛情况可以观察出改进的算法模型损失曲线拟合得更加快速，能够得到更理想的训练结果，装配情况检测更为精确。图4改进前后YOLOv5损失曲线对比YOLOv5模型改进前后对于电气控制板上器件的检测准确率情况如图5所示，很明显可以看到改进后的总体正确率会更高。同时分析改进前后的误检率和漏检率，从而判断电气控制板的装配情况，如表2所示。a 改进前检测准确率b 改进后检测准确率图5改进前、后检测准确率表2YOLOv5与改进YOLOv5的性能对比检测算法YOLOv5Improved YOLOv5平均准确率mAP/%95.296.0误检率/%1.61.3漏检率/%3.22.7表3为改进算法前后装配检测效果对比情况。通过交并比IoU、mAP和每秒帧数FPS，分析边界框的准确性、平均准确性和检测速率来验证模型检测控制板装配情况的有效性。交并比IoU相较于改进前由0.62优化提升到0.67；对于检测速率，改进前的网络模型为21 帧/秒，优化后提升至26 帧/秒。表3改进算法前后装配检测效果对比情况检测算法YOLOv5Improved YOLOv5IoU0.620.67mAP/%95.296.0FPS/（帧 秒-1）2126表1（续）66第 3 期姜阔胜，等：基于改进YOLOv5通用电气控制板装配识别的方法研究通过上述参数等指标发现：加入TPH、SE模块并改进为BiFPN结构后，虽然增加了计算量，但在一定程度上强化了装配情况检测所需要的重要特征信息，在FPS上影响也并不大，反而得到5帧/秒的提升。通过YOLOv5模型运行之后得到的电气控制板器件的识别图（图6）可以清晰地发现：在模型改进后，检测效率在一定程度上得到了提升，控制板上不同尺寸器件的装配识别精度也得到了明显的提升，完全符合本文电气控制板装配检测的需求，并且通过统计检验框的类别及数量可以确定器件安装的完整程度。a 改进前的控制板装配识别结果b 改进后的控制板装配识别结果图6控制板装配识别结果4结论本文提出一种划区域采集图像以及改进YOLOv5目标检测网络模型的方法，应用于通用电气控制板上器件的装配检测领域。研究过程：首先通过标定器件坐标后的划区域采集装配图像特征，然后对于YOLOv5目标检测网络模型增加小目标检测层，添加TPH和SE模块，同时用BiFPN替换PANet结构，最后输入原始图像进行实验。实验结果表明：将拼接后的图像输入到改进的YOLOv5中，装配器件的平均准确率得到了大幅度提高，并且检测速率也显著提升。参考文献1王昕，沈行良，李鹏鹏，等.基于机器识别的电气接线自动检测技术研究 J.制造业自动化，2020，42（11）：47-50.2王晓东，胡美玲，郭富杰，等.外螺纹螺距机器视觉检测 J.长春工业大学学报，2019，40（5）：488-494.3 马中原，彭育辉，黄炜.改进YOLOv5网络模型的车位检测方法 J.福州大学学报（自然科学版），2023，51（3）：379-386.4ZHU X K，LYU S C，WANG X，et al.TPH-YOLOv5：improved YOLOv5 based on transformer prediction headfor object detection on drone-captured scenariosC/IEEE/CVFInternational Conference on Computer VisionWorkshop.Piscataway：IEEE，2021：2 778-2 788.5乔高杰，廖闻剑.基于Squeeze-Excitation的音频场景分类研究 J.电子设计工程，2021，29（19）：179-183.6WANG K X，LIEW J H.PANet：few-shot image semanticsegmentation with prototype alignment C/IEEE/CVFInternational Conference on Computer Vision（ICCV）.Piscataway：IEEE，2019：9 196-9 205.7 XUE Z Y，LIN H F，WANG F.A small target forest firedetection model based on YOLOv5 improvement J.Forests，2022，13（8）：1 332.8 LIU S，QI L，QIN H F，et al.Path aggregation networkfor instance segmentationC/Proceedings of the 2018IEEE/CVF Conference on Computer Vision and PatternRecognition.Piscataway：IEEE，2018：8 759-8 768.9 张倩，刘紫燕，陈运雷，等.融合Transformer和改进PANet的YOLOv5s交通标志检测 J.传感技术学报，2023，36（2）：232-241.10PIAO Y R，JIANG YY，ZHANG M，et al.PANet：patch-aware network for light field salient object detection J.IEEE Transactions on Cybernetics，2023，53（1）：379-391.11 邵春雨，李春辉.基于PLC的智能家居控制系统设计与实现 J.沈阳工程学院学报（自然科学版），2022，18（2）：86-89.12田枫，贾昊鹏，刘芳.改进YOLOv5的油田作业现场安全着装小目标检测 J.计算机系统应用，2022，31（3）：159-168.13 PANDIT O，HOU Y F.Probing for bridging inference intransformer language modelsC/Conference of theNorth American Chapter of the Association for Computational Linguistics：Human Language Technologies.San Diego：ACL Press，2021，4 153-4 163.14 WANG W H，XIEEZ，SONG X G，etal.Efficient andAccurate Arbitrary-Shaped Text Detection with PixelAggregation Network EB/OL.（2020-08-02）2022-67第 19 卷沈阳工程学院学报（自然科学版）Research on Assembly Identification Method Based on ImprovedYOLOv5 General Electric Control BoardJIANG Kuosheng1,2,HUANG Zhiwei1,QUAN Yuewen1,MO Shiyu1（1.School of Mechanical Engineering,Anhui University of Science and Technology,Huainan 232001;2.State Key Laboratory of Deep Coal Mining Response and Disaster Prevention and Control in Deep Coal Mines,Huainan 232001,Anhui Province）Abstract：Aiming at the problems of missing connection,missing assembly and lower assembly accuracy inthe manual assembly process of electrical control board,an improved YOLOv5 model algorithm is proposed todetect the assembly of electrical control board.Firstly,a two-axis active camera console is designed to collectthe image of the assembly area.Then,the Squeeze Excitation(SE)module is added to establish the connectionbetween each channel,and the features are further weighted according to the weight of different channels.Transformer Prediction Heads(TPH)is integrated into YOLOv5,and PANet structure is replaced by BiFPN.The experimental results show that the improved YOLOv5 algorithm based on deep learning is better than thatbefore improvement.The detection accuracy range of the device is 96%and the detection rate is 26 fps.It canrealize the accurate detection and recognition of the devices on the electrical control board and meet the needsof improving the assembly accuracy in the equipment manufacturing process.Keywords：Assembly inspection;Electrical control panel;Image acquisition;YOLOv505-10.https：/arxiv.org/abs/1908.05900.15张德春，李海涛，李勋，等.基于CBAM和BiFPN改进YoloV5的渔船目标检测 J.渔业现代化，2022，49（3）：71-80.16韩岩江，王伟，王峰萍.融合坐标注意力和BiFPN的YOLOv5s交通标志检测方法 J.国外电子测量技术，2022，41（11）：170-179.Intelligent Street Lamp Control System Basedon SolarAuto-TracingDING Yiting,LIU Junqing（School of Automation,Shenyang Institute of Engineering,Shenyang 110136,Liaoning Province）Abstract：In response to the low energy density of solar power,an automatic solar tracking system was addedfor real-time photovoltaic tracking to improve the efficiency of the solar panel significantly.Additionally,apedestrian detection system was incorporated using infrared sensors to determine pedestrian density and adjustthe brightness of the streetlights accordingly,achieving significant energy savings.The system wasimplemented with closed-loop control using a microcontroller as the driving chip.Through multiple practicaltests,the adopted methods have met the requirements for green energy efficiency,safety,and reliability,andhave practical significance for promoting and applying solar-powered streetlights.Keywords：SCM;solar energy;street lighting;photoelectric tracking;infrared induction（上接第62页）68