基于机器视觉的水表分拣系统研究_严冰.pdf

电气与自动化严冰，等基于机器视觉的水表分拣系统研究第一作者简介:严冰(1996)，男，福建莆田人，硕士研究生，研究方向为机器视觉。DOI:1019344/j cnki issn16715276202301046基于机器视觉的水表分拣系统研究严冰，唐旭晟，朱博文(福州大学 机械工程及自动化学院 福建 福州 350116)摘要:针对现阶段水表生产分拣主要依靠人工、自动化程度不高、效率低下等问题，对水表定位、机械手自动抓取等问题进行研究，设计了一套基于机器视觉的水表分拣系统。通过颜色特征粗定位水表区域，基于归一化内积相似性精定位水表，得到水表位姿;构建 EyetoHand 手眼标定模型并求解，将水表位姿转换到机械手坐标系，实现机械手对水表的精确抓取。研究结果表明:该系统的定位误差在 15 mm 以内，机械手能准确抓取水表，极大地提高水表上下料效率，基本避免了人工失误。关键词:水表定位;手眼标定;机器视觉;工业机械手中图分类号:TP3914;TP2412文献标志码:B文章编号:1671-5276(2023)01-0184-05esearch on Water Meter Sorting System Based on Machine VisionYAN Bing，TANG Xusheng，ZHU Bowen(College of Mechanical Engineering and Automation，Fuzhou University，Fuzhou 350116，China)Abstract:In relation to problems like manual sorting，low automation，and low efficiency etc in present water meter production，water meter positioning and automatic grabbing by manipulators are studied，and a set of automatic water meter sorting systembased on machine vision is designed With the water meter area being roughly located by color features，the water meter is preciselypositioned based on the normalized inner product similarity to obtain the water meter pose The EyetoHand calibration model isconstructed and solved to convert the water meter pose to the robot coordinate system，with which the the water meter is accuratelycaptured by manipulator The research results show that the positioning error of the designed system is within 15 mm，and themanipulator can accurately grasp the water meter，which greatly improves the efficiency of water meter loading and unloading bybasically avoiding the occurrence of manual errorsKeywords:water meter positioning;handeye calibration;machine vision;industrial manipulator0引言水表分拣是水表生产中的一个重要环节，其效率和准确性将直接影响水表生产的整体效率和质量。现阶段水表生产线的分拣依靠的是人工操作，通过人眼定位和手动抓取水表完成分拣，受分拣人员的身体状况影响极大，不仅分拣速度低，而且出现失误的概率大。因此采用人工分拣水表满足不了实际生产的高效需求，而且人工干预生产也是工业发展的一大阻碍。为了满足水表分拣的高效要求，本文阐述如何通过机器视觉引导工业机器人分拣取代人工操作。赵彬1 对静态工件和动态工件的分拣问题分别进行了研究，利用OpenCV 视觉算法库对静态工件识别，MeanShit 算法搜索动态工件，并利用 C+建立图像处理算法库。袁仁辉2 首先利用基于 OpenCV 和基于 HALCON 的两种单目相机标定方法求出相机内外参数，然后根据双目视觉系统的相机结构模型，给出双目系统的标定方法和系统实现，最后进行全局手眼标定，利用双目视觉引导机械手抓取工件。GAO Y 等3 把 CNN 和 LSTM 相结合来处理时序特性的力觉信息，利用 CNN 处理视觉信息，通过融合视觉和力觉多模态信息进行物体材质的分类，可解决机器人在复杂环境下的目标定位问题。这些研究结果都存在结构复杂、稳定性和鲁棒性不足等缺点。为了解决这些问题，本文将设计一套基于机器视觉技术定位水表并引导工业机器人抓取的水表分拣系统。1视觉分拣系统平台搭建本研究设计的 EyetoHand 水表分拣系统，其硬件部分主要由工业相机及镜头、上位机、工业机器人及其控制柜、水表、传送带等组成。此外，还设计了吸盘式的机器人手用于抓取水表，如图 1 所示。1)工业机器人。本平台所选用的机器人为 ABBIB1200 型 6 自由度工业机器人，该机器人自质量为54kg，末端最大负重可达 7kg，该机器人有 6 个旋转关节，6 个自由度，运动灵活，精度较高，可以达到 002 mm。从理论上来说该机器人末端可以到达工作范围的任意位置(除了机器人基座坐标系原点)。2)图像采集系统。水表分拣环境复杂，各种因素都481电气与自动化严冰，等基于机器视觉的水表分拣系统研究可能会影响获取到的图像质量。本研究选用的是某公司的 IMC751G 彩色相机和 16mm 定焦镜头作为图像采集装置，并选用碗光源。3)末端结构设计。由于水表表盘是镜面结构，吸附性能好，因此采用最简单有效的吸盘式手抓结构。这里选择直径为 50mm 的吸盘，理论最大吸附力可达 15kg，完全能够满足水表抓取工作，此外还设计了吸盘和机器人末端的连接件。图 1水表分拣台2分拣系统算法针对水表的定位，本研究通过水表的颜色特征粗定位水表区域，再以模板匹配精定位水表位姿，之后标定相机内参，通过手眼标定将水表位姿转换到机器人坐标系，引导机械手精确抓取水表。算法流程图如图 2 所示。图 2算法流程图21水表粗定位由于水表出水口和入水口都是蓝色，因此本文利用颜色特征实现水表的粗定位，以此来提高定位速度。蓝色分量在 Lab 颜色空间中集中于 B 通道，比起其他颜色空间，蓝色水表更易于分割。将滤波后的图像从 GB 颜色空间转 Lab 颜色空间，如图 3(a)所示。为了使蓝色前景部分与背景区别更加明显，便于后续分割，按式(1)将 B 通道的图像归一化到 0255。归一化后图像如图 3(b)所示。B(x，y)=B(x，y)B(x，y)minB(x，y)maxB(x，y)min255(1)式中:B(x，y)表示图像未归一化时位于(x，y)处图像像素值;B(x，y)max表示图像中像素点的最大像素值;B(x，y)min表示图像中像素点的最小像素值。图 3识别图像颜色特征由图 3(a)可知，水表前景与背景具有明显的区别，且背景灰度分布较为均匀，并未出现较大幅度的变化，因此采用由全局阈值分割算法 大津算法4 推广得到的双阈值大津算法。由于水表前景部分的水表表盘和水表通水口存在明显的灰度差，因此前景部分分为水表表盘和通水口两部分，再加上背景部分，整个图像可分割为三部分5。阈值T1、T2将图像分割为C0、C1、C2三部分。C0像素范围为 0，T1，C1像素范围为T1+1，T2，C2像素范围为 T2+1，255，则该双阈值选取公式如式(2)所示。T1，T2=Argmaxk=0，1，2uk(T1，T2)(uk(T1，T2)u)2(2)式中:uk为各部分均值;u 为图像整体均值;T1、T2为所选双阈值。由 B 通道图像灰度直方图(图 4)可知，波峰部分对应背景，波峰左侧对应水表通水口部分，右侧对应水表圆形表盘。由于水表圆形表盘是分布在水表通水口中间，因此只需分割出水表通水口部分即波峰左侧即可。其分割方式按照式(3)实现，其中T1=100107，分割结果如图 5(a)所示。f(x，y)=255，0f(x，y)T10，其他(3)图 4B 通道图像灰度直方图581电气与自动化严冰，等基于机器视觉的水表分拣系统研究采用形态学开运算消除干扰的小区域，开运算公式见式(4)，开运算结果如图 5(b)所示。Z=(AB)B(4)式中:Z 为处理后的图像;A 为待处理图像;B 为形态学结构元素;表示腐蚀操作，表示膨胀操作。图 5B 通道图像二值化及开运算在求取其前景区域的外接矩形时，将图5(b)中的前景点坐标分别按行和列存储，并计算其最小行坐标、最小列坐标以及最大行坐标、最大列坐标，之后再将外接矩形的宽扩大15 倍，高扩大25 倍，最终提取的外接矩形如图6 所示。图 6扩大后外接矩形22水表精定位确定水表在图像中的大致位置后，采用基于归一化梯度内积相似性模板匹配算法6 确定水表的准确位置。以边缘梯度为相似性判断准则，不仅能通过设置相似度阈值来加速其判断过程，同时对光照变化也具有鲁棒性。首先构建图像金字塔模板，图像金字塔是图像多尺度表达的一种方式，它由原始图像经过一定采样间隔而得到的不同分辨率图像所形成的类似于金字塔结构，图像的分辨率由下到上逐级递减。为了避免因违反奈奎斯特采样定理而使图像出现混叠现象，图像必须进行低通滤波，例如高斯滤波。求取图像金字塔公式为Gl+1(i，j)=mnw(m，n)Gl(2i+m，2j+n)(5)式中:w(m，n)为高斯模板;Gl为第 l 层分辨率。本文所创建的模板图像金字塔如图 7 所示，设置层数为 3。图 7图像金字塔示意图本文采用 Canny 算子对图像进行边缘提取，以此来获取图像的边缘特征点，并通过 sobel 算子进行轮廓点梯度提取，以快速实现梯度计算。sobel 算子如式(6)和式(7)所示。G(x)=101202101(6)G(y)=121000121(7)将当前轮廓点的坐标转换为相对于轮廓中心点的相对坐标，其计算公式如式(8)所示。xr、yr为轮廓中心点坐标，xi、yi为相对于轮廓中心点的相对轮廓点坐标，n 为点的总数。xr=1n+1ni=0 xiyr=1n+1ni=0yiXi=xixrYi=yiyr(8)将轮廓点的相对坐标和其对应的梯度值存储到数组中并重复上述步骤直到完成所有层数的创建。由于待匹配图像上的模板位置是不确定的，因此在进行匹配的时候，需要将模板经过刚性变换，例如旋转。设模型由一系列点Pi(xi，yi)T组成的点集，并且每个点的梯度方向向量为di=(ti，ui)T，(i=1，2，n)。待匹配图像点的方向向量为ex，y=(vx，y，wx，y)，梯度方向向量可通过sobel 算子获得，则变换过的点坐标和梯度方向向量为p=Ap，d=Ad，其变换矩阵为A=a11a12a21a22(9)经过变换后的模型点与待匹配图像点的梯度内积相似性计算公式如式(10)所示。s=1nni=1 di，ex，ydi ex，y(10)在进行相似度计算时，为了加快查找速度，在此设置一个相似度阈值，若当前点的得分小于设置阈值，即停止当前位置的计算，这样就能避免后续点的无效计算。其阈值计算公式如式(11)所示。sth=min(smin1+f j/n，sminj/n)f=(1gsmin)/(1smin)(11)式中:smin为人为设定的最小相似度分数;g 为控制匹配速