基于最小化图像技术的带式输送机载物识别研究.pdf

第44卷第3期2023年6 月煤矿机电Colliery Mechanical&Electrical TechnologyVol.44 No.3Jun.2023问题探讨陈华颖.基于最小化图像技术的带式输送机载物识别研究 J.煤矿机电，2 0 2 3，44（3）：30-34.doi：10.16 545/ki.cmet.2023.03.007基于最小化图像技术的带式输送机载物识别研究陈华颖（中煤科工集团北京华宇工程有限公司，北京10 0 0 13）扫码移动阅读摘要：针对带式输送机载运物体CPU处理资源允余问题，提出一种控制摄像机触发信号方法，利用机器视觉处理技术在带式输送机运动过程中识别物体的位置和旋转数据，并利用这些数据由机器人进行栋选和放置操作，进而实现最小化图像处理资源和重复数据删除以识别带式输送机上的物体。为了实现这些目标，并考虑到摄像机的识别范围、物体的大小和带式输送机的速度，尽量减少成像处理的CPU资源，同时为一个物体在摄像机的多个顿中被识别为独立物体的问题提供了解决方案。根据带式输送机速度和物体大小等系统条件，获得最适合图像处理的fps值，通过试验及仿真证明，在使用触发信号前0.4545m/s的带式输送机速度和使用触发信号后0.450 m/s的带式输送机速度下，CPU资源的比较表明，使用机器视觉技术时，资源的使用量分别减少了31%和14%，充分证明了所提理论和方法的正确性。关键词：带式输送机；图像识别；机器视觉；fps值中图分类号：TD528.1；T P39 1.4文献标志码：B文章编号：10 0 1-0 8 7 4(2 0 2 3)0 3-0 0 30-0 5Research on Belt Conveyors Loading Based on MinimizedImage Recognition TechnologyCHEN Huaying(CCTEG Beijing Huayu Engineering Co.,Ltd.,Beijing 100013,China)Abstract:Aiming at the problem of redundant processing resources of the CPU of the belt conveyor carryingobjects,a method of controlling the camera trigger signal was proposed.The machine vision processing technologywas used to identify the position and rotation data of objects during the movement of the belt conveyor,and thesedata were used by the robot to pick and place operations,thus realizing the minimization of image processingresources and data deduplication to identify objects on the belt conveyor.In order to achieve these goals,taking therecognition range of the camera,the size of the object,and the speed of the belt conveyor into account,the CPUresources for imaging processing were minimized as much as possible.At the same time,a solution was provided forthe problem of an object being recognized as an independent object in multiple frames of the camera.Based onsystem conditions such as belt conveyor speed and object size,the most suitable fps value for image processing wasobtained.Through experiments and simulations,it was proved that under the belt conveyor speed of 0.454 5 m/sbefore using the trigger signal and 0.450 m/s after using the trigger signal,the comparison of CPU resourcesshowed that using machine vision technology reduced respectively resource usage by 31%and 14%.Thecorrectness of the proposed theory and method has been fully demonstrated.Keywords:belt conveyors;image recognition;machine vision;fps value2023年第3期0引言带式输送机通常用于煤炭和工业生产的材料运输和货运物流 1-3。带式输送机是工业输送设备中最重要的设备之一，其实时运行对整个行业的效率有形象的影响 4-7 。带式输送机的运行速度及物体识别技术是其目前运行的核心和重要参数，测量带式输送机的速度和识别技术以满足工业生产现场的生产要求至关重要 8-10 。机器视觉技术使得在皮带运输过程中获取带式输送机上移动物体的部件和数据变得非常容易 1-12 。这些数据被智能机器人用来对货物进行分类和装箱，如果将区域扫描相机的FPS设置得很高，以识别物体数据,则物体在不同的顿中被扫描，并在几个顿中被识别,这就集中了图像处理资源 13针对最小化图像技术的机器视觉识别领域正在被世界各地的研究人员使用，不仅是在工业界，而且在学术界也有着越来越广泛的研究。徐可等 14 基于伽马范数最小化算法，提出了一种最小化图像去噪算法，该算法可以在高斯噪声条件下很好地去除噪声图像。王洪雁等 15 提出了一种基于低秩理论的伽马参数最小化图像去噪算法，以解决传统的基于核参数最小化的去噪方法由于核参数的近似秩函数有偏差而导致去噪效果不佳的问题。所提出的算法能更明显地消除高斯噪声图像，并能更好地恢复原始图像细节。李雪梅等 16 提出了一种用于图像最小化的边缘检测方案。该方案将加权核规范最小化（WNNM)图像去噪算法与Sobel边缘检测算法相结合，该算法的有效性通过在高噪声水平下获得清晰、连续的边缘信息得到了验证。中国电子科技大学和中国科学院研究所进一步研究了基于机器视觉的物体检测技术，包括双目立体模型的研究、影响双目测量精度的因素以及对结构关键参数与测量误差之间关系的详尽剖析 17 。对结构关键参数系统进行综合模拟，创新了双目立体智能机器人的识别速率测量系统,整合了速率测量环境的特点 18 。为了减少由于车辆跟踪序列的巡逻而产生的速率测量偏差,选择了分布式计算中的并行计算方法,并进一步提出了分布式带式输送机速率识别测量方法，以并行计算带式输送机跟踪序列中的辊筒速率 19 。同时,机器视觉技术由于其非接触性，长期以来一直被用于带式输送机相关研究，其软件图像算法组件也被用于煤矿输送领域的许多研究成果中 2 0 。本文旨在提出一种减少图像处理资源的带式输送机载物识别方法，即考虑到带式输送机的速度、物陈华颖：基于最小化图像技术的带式输送机载物识别研究机器人对象数据传感器数据电动机控制触发器抓取器控制器机器人工作空间图像图1基于图像处理技术的带式输送机载物系统模型VISIONTCP/IP发送器-.-TCP/IP接收器删除重复对象一-编码器(数字I/O)图像处理运动控制视觉触发器RX图2 系统模型软件结构2计算分析2.1#带式输送机上物体的坐标估计假设带式输送机的移动方向和摄像机的坐标系与机器人的坐标系x重合。计算带式输送机速度需要一个PPM值,将编码器的脉冲单位转换为毫米。理想的PPM，可以用以31体的大小、相机的FOV等，改变相机的触发点，同时，本文还通过试验环境验证了改变带式输送机速度和物体大小对CPU资源和穴余算法的改变。最后通过试验和仿真进一步证明了本文所提方法的正确性。1系统模型本文研究的带式输送机载物视觉识别系统大体上可以分为视觉系统和机器人系统。视觉系统接收来自机器人控制器的触发信号，收集图像并通过通信接收图像的处理结果。据此该系统可以广泛应用于带式输送机载物的视觉解决方案中。机器人控制器由实时系统和FPGA组成。实时系统提供诸如接收物体数据的通信、处理多帧中识别的重复物体和机器人控制等功能。FPGA负责计算带式输送机的移动速度并向视觉系统发送触发信号，系统及软件结构分别如图1和图2所示。编码器数据机器人视觉系统ROBOTRTFPGA带式输送机视觉触发器TX32下计算公式计算。PPM,=3TDxN式中：PPM，为每分钟脉冲数,pulses/mm;N为每转脉冲数,pulse/rev;D为编码器直径,mm;为编码器类型,x1x2x4。输送机带式物体：图3带式输送机和摄像机的位置与理想的PPM,计算方法不同，由于带式输送机的类型、厚度和张力，以及安装编码器时使用的机械部件的误差，可能会出现PPM误差。因此，为了预测运动物体的位置，需要PPMR值。使用机器人计算带式输送机上两点的距离和编码器在距离上的脉冲数n。它是实际测量的PPMR值和计算PPM，值之间的差异。PPMR=1n8=PPMR-PPM,式中:为PPM误差,mm/pulse;l为长度,mm;An为编码器的脉冲数。带式输送机校准指的是通过纠正计算出PPM值的误差而产生的数值，对象的移动距离计算如下。s=n(PPM,+)(4)SV式中：s为物体在带式输送机上的移动距离，m；u为带式输送机的速度，m/s。2.2摄像机触发器的有效控制摄像机拍摄时的信号（触发器）是由机器人控制器产生的。触发信号是利用带式输送机的速度、物体的大小和摄像机的FOV数据计算出来的。如图4所示，如果触发时间设置为T,由于物体没有进人FOV范围内，因此无法识别。在本研究中,触发时间T是在从摄像机的FOV范围内扣除物体的长度并除以带速后计算的，如图4所示,以确保物体在FOV范围内至少被拍摄一次或最多两次。煤矿机电(1)式中：j为相机FOV长度,mm;k为物体长度,mm;T为达到FOV范围所需的时间；FPS为每秒帧数。相机物体长度物体FOVFOV长度2023年第44卷T=i-K1FPS:T相机FOVFOV长度带式输送机物体带式输送机物体一-触发器-带式输送机图4与FOV和物体有关的T设置如果图像是由产生的触发信号收集的，同一物体最多拍摄2 次。从这个意义上说，可以减少PC上的资源，因为带式输送机图像处理不需要多次进行。2.3消除算法(2)摄像机每次收到触发信号时，都会使用图像处理算法来识别物体。这些信息（X,Y,)被传送到机(3)器人控制器（TCP/IP）。如果一个物体被识别为第一个和第i个，就需要一种确认该物体是否相同的方法。所提出的去重方法是利用带式输送机的移动距离P(x,y）和摄像机拍摄的物体位置P（x i,y i）预测物体的欧氏距离进行计算。(5)4.P(xi-1yi-1)带式输送机图5摄像机识别的物体位置和预测的物体位置P(x,y)=(xi-1+S,Yi-1)式中:P(x,y)为利用带式输送机的移动距离预测物体的位置;P（x;,y;）为基于第i个图像处理的物体位置;P(xi-1,yi-1)为基于第i-1个图像处理的物体位置。(6)(7)一物体物体触发器T物体触发器T相机FOVS物体触发器P(xy)P(xiy.)(8)2023年第3期d(P(x,y),P(xi,y:)=(x-x,)+(y-y.)?(9)P(x;,y:)=P(x,y),if d阈值(10)P(,y)是通过使用P(x;-1,yi-1)首次识别物体位置和带式输送机移动距离来计算的。以此为参考,如果下一幅图像拍摄时P（x;,y i）的位置和P(,y)的距离短于阈值,则将2 个数据去掉,作为一个物体处理。最终得到的数据(X,Y,)的数量与放置在带式输送机上的物体数量相同。3试验及仿真验证最小化图像视觉识别技术可以应用于煤矿机电中的很多方面，例如：煤矿巷道的监控和安全检测，煤矿机械设备的自动化控制，煤炭质量的评估和分类以及煤矿生产环境监测等。总之，最小化图像视觉识别技术可以在煤矿机电中的多个方面实现应用，为煤矿机电行业带来更加智能化、高效化和安全化的生产模式。在本研究中，需要在带式输送机上构建一个机器人视觉系统，以进行如下的图像处理资源最小化试验。物体识别和CPU资源的试验是基于摄像头FOV为2 8 0 mm和物体长度为9 0 mm进行的。对于触发信号的机器人控制器，使用了美国国家仪器公司的SbRIO-9651,视觉系统用于图像处理的电脑配备了i52.8GHzCPU和8 GB内存。图6 视觉识别试验设备3.1通信协议的实现在本文中，机器人系统和视觉系统以服务器-客户端的关系工作，并使用以太网通信发送物体数据。视觉系统使用LaonPeople的NAVI(视觉新架构）程序进行模式匹配，该程序配备了机器视觉算法的视觉新技术。通过模式匹配识别的物体数据（X,Y,）根据NAVI传输数据协议格式，通过TCP/IP通信传输到陈华颖：基于最小化图像技术的带式输送机载物识别研究3开始标记顺序信息开始标记顺序信息数据分隔符数据结束标记终止器图8NAVI传输数据协议3.2用于图像处理的CPU资源一般来说,对带式输送机上物体进行去重时,要将成像处理速度设置为最大,以识别该物体。本研究中使用的LaonPeople视觉系统能够以最高9 fps的速度进行采集。研究发现，当一个物体在带式输送机上以0.4545m/s的速度移动时，大约31%的CPU资源被使用,如图9 所示。iFrameil Frame图9 带式输送机以0.4545m/s的速度和相机以9 帧/s的速度拍摄的物体图像在重复图像中,至少有12 顿的摄像机画面就足以确定是否有物体被识别。如第3.1节所述，本研究试图找到最佳的FPS值，以便利用带式输送机的速度、物体的大小和摄像机的视野等数据来识别带式输送机上的物体,并相应地比较CPU资源的使用量。（注：图10、图11是二维图，将CPU资源、相机同时作为纵坐标，是在利用带式输送机的速度、物体的大小和摄像机的视野等数据来识别带式输送机上的物体时,能清晰看到CPU资源的使用量，可以更清晰地看到彼此的变化规律）。1）根据速度变化而使用的图像处理资源。试验中物体的尺寸被设定为9 0 mm,并根据带式输送机的速度寻求相机的fps值。图10 为CPU资源使用情况的比较结果。33KITECH图7 NAVI程序屏幕机器人系统，NAVI的传输数据协议形式如图8所示。124数据结束标记终止器i+2 Framei+3 Frame53424一CPU资源-相机/fps22F20F181614F12F10F864100200300400500600700800带式输送机终止器速度/(mms-l)图10 根据带式输送机速度变化而使用的CPU资源2）根据物体大小变化使用的图像处理资源。试验中物体的速度被设定为0.2 8 0 m/s,并根据物体大小寻求摄像机的fps值。图11为CPU资源使用情况的比较结果。4.0 C PU 资源-相机/fps3.5F3.0F2.5上2.01.5F1.040图11根据相机FPS使用的CPU资源根据带式输送机速度和物体大小等系统条件，经过试验和仿真设计，获得最适合图像处理的fps值。在使用触发信号前0.4545m/s的带式输送机速度和使用触发信号后0.450 m/s的带式输送机速度下,CPU资源的比较表明，使用图像处理技术时，资源的使用量分别减少了31%和14%。4结论1）提出一种控制摄像机触发信号方法，利用机器视觉处理技术在带式输送机运动过程中识别物体的位置和旋转数据，并利用这些数据由机器人进行栋选和放置操作，进而实现最小化图像处理资源和重复数据删除以识别带式输送机上的物体2）提出一种根据带式输送机速度和物体大小确定最佳相机顿速的技术,并测试了一种尽量减少重复物体识别和CPU资源使用的方法。由于所提出的触发技术可以接收带式输送机的速度反馈，该技术可以帮助防止图像处理中不必要的资源消耗，即使在低性能的系统配置下,带式输送机系统也能顺利驱动。煤矿机电74.0参考文献：3.51草韩越，齐传刚.带式输送机改向滚筒有限元分析及系列化设计 J.煤矿机电,2 0 2 2,43(2)：2 3-2 7.3.02满咏梅.新型带式输送机三工位头部伸缩装置设计 J.煤矿sd/142.52.01.51.00.51;724242424sd/142424242424680120物体尺寸/mm2023年第44卷机电,2 0 2 2,43(1):59-6 1.3LI X G,SHEN L F,MING Z X,et al.Laser Based On-line Ma-chine Vision Detection for Longitudinal Rip of Conveyor Belt J.Optik,2018,168:360-369.4 武文泽.基于机器视觉的选煤厂输送机皮带磨损故障诊断研究 D.徐州：中国矿业大学，2 0 2 0.5 王平.基于数字图像处理的输送带跑偏状态实时监测技术J.煤矿机械,2 0 2 1,42(2):16 8-17 0.6张顺，龚怡宏，王进军.深度卷积神经网络的发展及其在计算机视觉领域的应用 J.计算机学报，2 0 19，42（3）：453-48 2.7朱新龙.基于分布式计算的视频测速算法研究 D.泉州：华侨大学，2 0 2 0.8 LIU Y,MIAO C Y,LI X G,et al.Research on Deviation Detec-tion of Belt Conveyor Based on Inspection Robot and Deep Learn-ing J.Complexity,2021(7):1-15.9董杰.基于机器视觉的输送带检测系统图像采集器的研究D.天津：天津工业大学，2 0 15.10孟凡林.基于图像处理的带式输送机调速及效能提升研究D.徐州：中国矿业大学，2 0 2 0.11董代安，初石泉，夏松鸽.基于AMESim与Simulink联合仿真的矿井无轨列车液压同步控制系统 J煤炭科技,2 0 2 0,41(3):42 45.12DU X L.Research and Application of Intelligent Permanent Mag-160200220net Technology in Coal Mine Belt Conveyor Equipment J.CoalScience&Technology Magazine,2019,40(2):96-98.13马宏伟，毛清华，张旭辉.矿用强力带式输送机智能监控技术研究进展 J振动.测试与诊断，2 0 16,36（2）：2 13-2 19.14徐可，王洪雁基于非凸范数最小化图像去噪算法 J火力与指挥控制，2 0 2 1，46(2）：17-2 2.15王洪雁，王拓，潘勉基于伽马范数最小化的图像去噪算法J通信学报，2 0 2 0，41(10)：2 2 2-2 30.16李雪梅，钟坚加权核范数的边缘检测在最小化图像去噪中的应用 J自动化与仪器仪表，2 0 2 2（4）：16-2 0.17QIAO T,CHEN L,PANG Y,et al.Integrative Binocular VisionDetection Method Based on Infrared and Visible Light Fusion forConveyor Belts Longitudinal Tear J.Measurement,2017,110:192-201.18GAO Y,QIAO T,ZHANG H,et al,A Contactless MeasuringSpeed System of Belt Conveyor Based on Optical Flow Tech-niques.IEEE Access,2019(7):2169-3536.19 BAO Y G.Coal Flow Control System Based on Visual InformationRecognitionJ.Electronic Technology Software,2019,55(10):1-15.20BANERJEE K,DAM B,MAJUMDAR K.An FPGA-based Inte-grated Signal Conditioner for Measurement of Position,Speed andAcceleration of A Rotating Shaft Using An Incremental EncoderC.NewYork:IEEE,2016.作者简介：陈华颖（19 8 2 一），女，高级工程师。2 0 19 年毕业于中国矿业大学（北京）（硕士学位）。现从事矿山机制专业设计工作，已发表论文6 篇。（收稿日期：2 0 2 3-0 4-13；责任编辑：任雨晴）