基于机器视觉的角钢塔螺母识别定位方法研究_胡春华.pdf

电 力 信 息 与 通 信 技 术Electric Power Information and Communication TechnologyVol.21 No.2Feb.2023第 21 卷 第 2 期2023 年 2 月基于机器视觉的角钢塔螺母识别定位方法研究胡春华1，宋泽明1，张陵2，万建成1，周威1（1.中国电力科学研究院有限公司，北京市 西城区 100055；2.国网新疆电力有限公司 电力科学研究院，新疆 乌鲁木齐 830011）Research on Angle Steel Tower Nut Recognition and Positioning Method Based on Machine Vision InspectionHU Chunhua1,SONG Zeming1,ZHANG Ling2,WAN Jiancheng1,ZHOU Wei1(1.China Electric Power Research Institute Co.,Ltd.,Xicheng District,Beijing 100055,China;2.Electric Power Research Institute,State Grid Xinjiang Electric Power Co.,Ltd.,Wulumuqi 830011,Xinjiang,China)摘要：组塔施工中螺栓紧固工作量巨大，螺栓的紧固性很大程度上决定了整体铁塔的防振动性能以及整体的结构稳定性。为实现输电线路机器人自动紧固角钢塔中螺栓的功能，文章对螺母识别检测技术开展了研究。首先应用YOLO V5对工业相机采集的图像进行初定位，处理螺母子图像；然后，采用Canny边缘检测算法得到螺母边缘；最后，利用霍夫圆检测算法对螺母内圆进行检测，通过局部纹理特征信息进行加权投票，确定螺母内圆区域，并将螺母内圆圆心作为待紧固螺母中心位置。实验结果表明，对于30722048 pixels的图像，行、列定位误差均可以达到10 pixels以内，且本文算法对增加了不同概率密度的椒盐噪声图像中心定位准确度和定位效果依然具有较强的鲁棒性。研究成果能够快速实现对螺母的精确定位，定位精度较高，检测速度快，具有较强的实用性。关键词：YOLO V5；机器视觉；角钢塔；螺母识别；最大熵阈值分割ABSTRACT:Angle steel tower construction bolts fastening workload is huge,the bolt tightness largely determines the overall vibration performance and the whole stability of the tower.To realize the function of the transmission line robot automatic fastening bolts,this paper carried out research work on nut recognition detection technology.Firstly,YOLO V5 was used for industrial camera acquisition at the beginning of the image positioning and image processing.Then,the edge of the nut is obtained by using the Canny algorithm.Finally,the Hough circle detection algorithm is used to detect the inner circle of the nut,by means of weighted voting,the inner circle position is obtained,and the center of the circle is the center of the nut.Experimental results show that both row and column positioning errors can reach within 10 pixels for 3072 pixels2048 pixels images,and the proposed algorithm still has strong robustness to the center positioning accuracy and positioning effect of salt-and-pepper noise images with different probability densities.The research results can quickly realize accurately positioning the nut,with high positioning accuracy,fast detection speed,and strong practicability.KEY WORDS:YOLO V5;machine vision;angle steel tower;nut identification;maximum entropy threshold segmentation0引言在输电线路工程中，角钢塔是支撑导线、地线并保持其与地面建筑物具有一定安全距离的一种钢结构1。各种塔型均属空间桁架结构，杆件主要由单根等边角钢或组合角钢组成，整个塔由角钢、连接钢板和螺栓组成，杆件间连接采用粗制螺栓，靠螺栓受剪力连接。组塔施工作为线路工程施工中主要的分部工程之一，螺栓紧固工作量巨大。作为角钢塔中连接各构件的关键节点，螺栓紧固不到位会对铁塔构件内力产生影响，进而会影响其承载能力2，因此，角钢塔螺栓的紧固性很大程度上决定了整体铁塔的防振动性能以及整体的结构稳定性。角钢塔螺栓数量大、分布广，需要耗费大量的人力才能完成紧固施工。现阶段角钢塔螺栓紧固主要依靠人工借助简单工具或电动扳手作业，存在紧固力矩不达标、紧固力矩一致性差的缺陷，同时还可能存在漏紧的情况，给后期运行埋下很大的安全隐患。另外，人工紧固铁塔螺栓还存在劳动强度大、危险性高、作业效率低等问题3。目前针对角钢塔塔身螺栓紧固机器人的研究尚处于摸索阶段，其中螺栓紧固机器人实现螺栓紧固中图分类号：TP391.41 文献标志码：A 文章编号：2095-641X(2023)02-053-07 DOI：10.16543/j.2095-641x.electric.power.ict.2023.02.06著录格式：胡春华，宋泽明，张陵，等基于机器视觉的角钢塔螺母识别定位方法研究J 电力信息与通信技术，2023，21（2）：53-59基金项目：国家电网有限公司总部科技项目资助“角钢塔塔身螺栓紧固机器人研究”(5200-202036147A-0-0-00)。胡春华等：基于机器视觉的角钢塔螺母识别定位方法研究Vol.21 N的关键是实现对紧固螺母的自动识别与定位。国内外已有学者针对螺母检测开展了相关的研究工作。彭智勇等4提出了一种应用于钢轨紧固件螺母中心多特征分级定位算法，利用六边形角度约束与距离约束关系实现了钢轨紧固件螺母的中心精确定位；Aytekin等5通过采用3D高速相机实现了对螺母的实时检测；张安等6提出了一种基于改进Canny算子的改进方法实现了对引流板螺栓紧固作业的螺母中心定位，但未给出定位精度；Li等7提出了一种基于Canny算子和霍夫变换的螺母定位方法；李睿等8提出了一种用于低压断路器生产线过载保护检测部分的螺母定位系统。为支撑角钢塔螺母自动紧固机器人研究，确保定位精度，本文提出了一种角钢塔螺母检测方法，通过将YOLO V59和图像纹理特征10相结合来实现角钢塔螺母中心位置的精确定位。首先应用经过训练的YOLO V5深度模型对工业相机视野内的螺母进行识别、检测，实现对螺母的初定位；然后，对包含螺母初定位的子图像进行提取，采用霍夫圆检测结合加权投票的算法，实现对螺母中心的定位。本文通过对大量螺母采集图像进行定位测试，测试结果表明，所提算法具有较好的识别效果和定位精度。1角钢塔螺母识别定位系统及基本原理1.1定位系统结构角钢塔螺母紧固检测系统结构示意如图1所示。工业相机与螺母紧固套筒安装在紧固机器人末端的导轨上，工业相机镜头前端与角钢连板保持固定距离H。为了降低自然光阴影导致的检测误差，在工业相机镜头前端安装有环形主动光源。在对待紧固螺母识别定位时，紧固机器人主控制器根据工业相机返回的初定位位置和精确定位位置，伺服电机驱动紧固套筒至待紧固螺母上方后，控制套筒对待紧固螺母进行紧固操作。当前螺母紧固结束后，移动至下一待紧固螺母位置继续工作。1.2定位技术原理首先采用YOLO V5对工业相机视野范围内带紧固螺母进行初定位，提取待紧固螺母子图像后，利用霍夫圆检测方法对螺母内圆进行检测得到多个螺母内圆候选区域，并利用区域纹理特征通过投票方式从候选区域中确定螺母内圆区域，进而得到螺母中心实现精确定位。螺母中心定位算法流程如图2所示。2螺母初定位及图像处理2.1螺母初定位螺母初定位即为对螺母的初步定位，从整幅图像中提取待紧固螺母的子图像，可以减少后续需要处理的数据量。工业相机与连板之间的距离约为200 mm，工业相机镜头焦距为8 mm，由于角钢塔连板螺母间距离较近(75 mm)，无法避免相机视野范围多个螺母的情况(见图3)。由图3可知，由于光线强度、相机拍摄角度不同以及螺栓出头对螺母的遮挡，难以实现直接对待紧固螺母进行直接精确定位，因此采用基于YOLO V5深度学习模型对视野范围内的螺母进行初定位11。得到螺母的初定位位置后，机器人紧固前端移至待紧固螺母初定位位置，再进行精确定位。YOLO V5采用一个单独的卷积神经网络模型物距H工业相机主动光源角钢连板紧固螺栓螺母套筒导轨 图1角钢塔螺母紧固检测系统结构示意Fig.1Structure of angle steel tower nut fastening detect system工业相机采集图像基于YOLO V5 提取包含待检测螺母的子图像利用霍夫圆检测方法得到螺母内圆候选区域利用区域纹理特征通过投票筛选螺母内圆并实现中心精确定位高 斯 滤 波高 斯 滤 波 图2螺母中心定位算法流程Fig.2Nut center positioning algorithm process图3工业相机视野内螺母图像Fig.3Nut image in view of industrial camera54第 21 卷 第 2 期电 力 信 息 与 通 信 技 术实现端到端的目标检测12，由于检测目标只有螺母这一待识别对象，螺母所处环境背景简单，因此采用YOLO V5进行初定位时具有较高的识别率。本实验通过对不同光线条件下采集的角钢塔螺母图像进行标注后，采用800张样本图片对YOLO V5模型进行训练。利用训练后的YOLO V5模型对工业相机采集的图像进行识别、检测，实现螺母初定位。2.2子图像预处理通过螺母初定位提取到的包含待紧固螺母子图像如图4所示。首先利用图像灰度化处理、高斯滤波去噪、最大熵阈值分割、采用Canny边缘检测算子提取螺母图像边缘轮廓。为了准确实现对螺母的精确定位，通过选取最佳阈值对图像进行分割，实现前景螺母目标与背景的分离13-15。二维最大熵图像分割方法是将熵值作为目标函数，图像分割后的前景目标区域与背景区域熵的和为最大值，最大熵对应的阈值即为图像最佳分割阈值16。二维最大熵分割方法是基于图像的二维直方图。图像的二维直方图计算方法为：Pij=nijMN(1)式中：MN为输入图像的大小；nij为图像灰度值，即i邻域灰度平均值为j的像素个数；Pij为其对应的概率。假设分割的概率为(s,t)，其中t为像素的灰度值，0tL-1，s