基于图像轮廓的泵体口环位姿及尺寸检测算法_于福才.pdf

第45卷 第02期 2023-02【1】收稿日期：2021-03-10基金项目：国家重点研发计划（2017YFB1303900）作者简介：于福才（1989-），男，山东济南人，硕士，研究方向为图像处理，视觉算法。通讯作者：高云峰（1966-），男，黑龙江绥棱人，副教授，硕士，研究方向为智能机器人关键技术，特种机器人技术和自动化装备研制。基于图像轮廓的泵体口环位姿及尺寸检测算法Pose and size detection algorithm of pump body ring based on image contour于福才，豆祥忠2，徐昌军，曹雏清，高云峰*YU Fu-cai1，DOU Xiang-zhong2，XU Chang-jun1，CAO Chu-qing1，GAO Yun-feng1*(1.芜湖哈特机器人产业技术研究院有限公司，芜湖 241007;2.长安马自达汽车有限公司，南京 211100)摘 要：针对泵体口环人工检测安装精度差的问题，提出了基于图像轮廓的泵体口环位姿及尺寸的视觉检测算法。首先对泵体口环图像进行图像预处理，然后进行图像轮廓检测，分割出泵体口环目标轮廓，最后建立了求取泵体口环位姿及尺寸的数学模型，并根据目标轮廓中包含的像素点数学信息，设计了泵体口环位姿及尺寸检测算法。实验结果表明，基于该算法能够较精准的识别检测泵体口环位姿及尺寸，在较高精度工业机器视觉化应用中具有现实意义。关键词：泵体口环；视觉检测；图像预处理；图像轮廓检测；位姿及尺寸中图分类号：TP391 文献标志码：A 文章编号：1009-0134(2023)02-0001-050 引言在水泵装配制造业中，口环又称密封环，在泵体中增大泵体中介质流动时阻力，尽可能保证上下级导叶中的水不回流，起到密封的作用。传统的泵体口环装配工位，几乎是完全依靠人工进行作业。人工进行安装口环时，首先将泵体口环按照正确的位姿放置到带有两个凸点的泵体口环底座上，工艺要求泵体口环底座上的两个凸点位于泵体口环外边缘内凹圆弧的区域内，然后人工目测泵体口环底座上的两凸点与泵体口环外边缘内凹圆弧的距离是否在合适的尺寸范围内，泵体口环安装如图1所示。泵体口环底座凸点与泵体口环内凹圆弧距离过大，会导致泵体工作时伴有噪声；距离过小，影响泵体的性能，若尺寸满足允许误差范围，则进行下一道工序，否则，将该泵体口环视为不合格品并舍弃。泵体口环放置后盖上口环盖进行压装，完成泵体口环的装配作业。传统的人工安装工作效率较低，安装过程中存在诸多不规范的情况，影响安装工艺要求，这些存在问题导致传统人工装配难以满足现代工业中对于效率与生产标准的迫切需求。随着人工智能的发展及工业5.0时代的到来，机器视觉作为人工智能中重要的分支领域在工业中应用越来越广泛1，极大地推动了工业智能化的进程。在视觉化研究中，通常使用工业相机采集图像后，利用图像处理算法对图像中目标物进行识别分割及进一步的视觉化研究。由于目标物的边缘轮廓作为目标物信息最丰富的特征之一，能够很有效的表达图像中目标物的结构特点，故图像轮廓常用于目标物的识别检测2。虽然图像轮廓在视觉研究中应用很广，但目前针对水泵装配制造业中泵体口环的视觉化研究较为少见。本文针对水泵装配生产时泵体口环的安装现状，根据其工艺过程，将基于图像轮廓的机器视觉技术转化应用到泵体口环安装工艺中，并研究其位姿、加工尺寸检测等关键技术的实现，以满足水泵装配生产中对于泵体安装工位的工艺要求。泵体口环底座凸点泵体口环图1 泵体口环安装1 泵体口环图像预处理通常情况下，工业相机采集到的源图像存在图像畸变、噪声等现象，对后期图像处理造成干扰；另外，为了减少图像处理计算量，凸显目标物区域，增强目标物有关信息的可检测性，图像预处理在数字图像信息处理中显得尤为重要3,4。【2】第45卷 第02期 2023-021.1 图像矫正由于工业相机制造安装存在一定程度的误差，通常采集的图像存在径向畸变与切向畸变5，径向畸变对图像影响最大，越靠近图像边缘，畸变影响越明显，导致原始图像失真，故图像矫正是视觉定位工作中是必需的。在非线性畸变数学模型中，径向畸变用系数k1、k2、k3来描述，切向畸变用系数p1、p2来描述6，畸变图像像素点与矫正图像像素点的映射关系为：2462201231224622012321(1)2(2)(1)2(2)xxk rk rk rxp xyp rxyyk rk rk ryp xyp ry=+=+(1)其中，(x0,y0)是畸变图像像素点，(x,y)是矫正图像像素点。利用张正友标定算法7,8进行相机内参数据标定并得到畸变系数，根据非线性模型对图像进行校正处理消除图像畸变，保证后续目标物视觉定位精确度。1.2 图像降噪图像在数字化和传输过程中会受到外界及其自身成像设备的影响，采集到的图像中会含有噪声污染，如高斯噪声、椒盐噪声等9。噪声的存在使图像质量下降，影响图像后期处理的效果。对于泵体口环图像中的噪声污染，采用中值滤波算法1012对图像进行降噪处理。中值滤波算法利用mn模板窗口遍历整幅图像，对模板覆盖下的奇数个像素区域进行像素值取中值作为输出像素值，消除泵体口环图像中大部分噪声，保留了图像的细节部分，达到了良好的可视化效果。图像矫正降噪处理后效果如图2(a)所示。1.3 图像二值化图像二值化13不仅是最简单的图像处理技术之一，也是进行图像轮廓检测的重要图像预处理之一。通常指定一个像素灰度值作为阈值，若图像中某像素灰度值小于阈值，则将该像素的灰度值设置为0，否则设置为255，数学表达式为：(2)图像二值化后使图像中的数据量大为减少，凸显图像中目标的轮廓。图像二值化处理后效果如图2(b)所示。1.4 图像形态学处理在实际图像采集环境中，仅通过简单阈值法得到的二值化图像中一般会有相近像素值的非兴趣区域干扰泵体口环的识别分割。采用图像形态学14对二值化图像先进行腐蚀处理，剔除图像中大部分非泵体口环区域的干扰像素，然后进行膨胀处理，有效的恢复图像中对表达或描述泵体口环有价值的图像区域，便于后续的轮廓检测抓住泵体口环最接近本质的形状特征。图像腐蚀膨胀处理后效果分别如图2(c)、图2(d)所示。(a)图像矫正降噪 (b)图像二值化 (c)图像腐蚀处理 (d)图像膨胀处理图2 泵体口环图像预处理效果图2 泵体口环轮廓检测轮廓检测是指在包含目标物兴趣区域与其他背景非兴趣区域的数字图像中，排除背景、目标物的内部纹理及噪声影响，完成对目标物轮廓分割的过程15。泵体口环的轮廓检测是其位姿及工艺尺寸识别检测的重要基础。泵体口环图像二值化之后，泵体口环目标区域轮廓层次明显，分为含有四个内凹圆弧的外圆轮廓、内圆轮廓两部分。2.1 轮廓提取与描述常用的Canny算子16检测轮廓往往得到的只是人工视觉识别到的目标物的边缘轮廓，在实际的轮廓检测工程应用中，我们更希望得到轮廓中包含的数学信息，并根据其包含的数学信息进行图像算法处理完成对轮廓的操作。利用OpenCV库中findContours函数17对泵体口环二值化图像进行轮廓检测，得到轮廓的拓扑信息且每个轮廓都是由连续的像素点构成。2.2 基于轮廓面积分割泵体口环轮廓轮廓面积是构成轮廓的所有像素点围成的区域面积，是轮廓的一项重要的属性，利用轮廓面积可以简单有效的进行对轮廓的检测分割。遍历图像中的轮廓集合，将合适的轮廓面积值作为阈值，对泵体口环目标轮廓进行分割，即带有四个内凹圆弧的泵体口环外轮廓、泵体口环内轮廓，分别如图3(a)、图3(b)所示。3 泵体口环位姿及工艺尺寸检测算法3.1 基于最小包围圆的泵体口环位置检测最小包围圆是遍历所选轮廓中所有的像素点，找出轮廓中最上端、最下端、最左端及最右端的四个像素点，根第45卷 第02期 2023-02【3】(a)泵体口环外轮廓 (b)泵体口环内轮廓图3 泵体口环目标轮廓据这四个像素点，通过迭代算法求取包围这四个点的最小圆的圆心及半径18。由轮廓面积分割出图像中泵体口环的外轮廓后，根据其结构特点对其进行最小包围圆处理，对泵体口环外轮廓最小包围圆处理后，得到的泵体口环外轮廓对应的圆心坐标点OL(xL,yL)作为泵体口环的位置点，如图4所示。图4 泵体口环位置点3.2 泵体口环姿态检测算法步骤1：将泵体口环外轮廓最小包围圆半径作为阈值，若泵体口环外轮廓的所有像素点中的某个像素点与泵体口环外轮廓最小包围圆圆心的距离小于泵体口环外轮廓最小包围圆的半径，则保留该像素点，否则，剔除该像素点，进一步分割出泵体口环外轮廓上四个内凹圆弧轮廓。步骤2：遍历泵体口环外轮廓分割后的四个内凹圆弧，取某个圆弧轮廓上的首个像素点(xc0,yc0)为起始点遍历内凹圆弧轮廓上的像素点点集，其中变量c0,3，表示第c+1个内凹圆弧。内凹圆弧轮廓的像素点点集中，设定两个像素点之间的欧氏距离值L作为阈值，在内凹轮廓的像素点点集中搜寻首个满足距离采样像素点(xc0,yc0)大于等于阈值L的像素点(xci,yci)。然后以像素点(xci,yci)为采样二维点，在轮廓点集中搜寻下一个满足欧式距离阈值L的像素点(xcj,ycj)，直至搜寻到像素点(xcn,ycn)，采样像素点(xcn,ycn)后无满足距离阈值L的像素点为止，其中像素点(xcn,ycn)前一个满足条件的像素点设为(xcm,ycm)，变量i、j、m、n表示某个轮廓上第i、j、m、n个像素点。步骤3：对距离阈值筛选得到像素点点集(xc0,yc0)、(xci,yci)(xcj,ycj).(xcm,ycm)(xcn,ycn)中的元素依次进行求取相邻两点构成线段的斜率kc0i,kcij.kcmn及中点Mc0i、Mcij.Mcmn，其中，000()/()()/().()/()ccccciiicccccijjijicccccmnnmnmkyyxxkyyxxkyyxx=(3)000()/2,()/2)()/2,()/2).()/2,()/2)ccccciiicccccijijijcccccmnmnmnMxxyyMxxyyMxxyy=+=+=+(4)步骤4：相邻像素点构成的线段相当于圆弧上的弦，各弦的中垂线必过该内凹圆弧对应的圆心，中垂线的斜率依次为-1/kc0i、-1/kcij.-1/kcmn，依次求取过相邻像素点的中点的中垂线方程为：0001()/2()/21()/2()/2.1()/2()/2cccciiciccccijijcijccccmnmncmnyxxxyykyxxxyykyxxxyyk=+=+=+(5)依次求取各相邻中垂线的交点得到交点点集Ic0i、Ikcij.Ikcmn。步骤5：依次以交点点集中的各交点作为候选圆心，以设定的距离阈值作为半径，形成圆形窗口，若交点点集中的交点落入某个候选圆心的圆形窗口中数目最多，则将落入圆形窗口所有的交点求取坐标平均值作为该内凹圆弧对应的圆心位置。L1L2L3L4L5图5 求解内凹圆弧对应圆心模型图如图5所示，弦中垂线L1、L2、L3、L4的交点作为圆心的候选点，都落入到满足设定距离阈值半径范围之内的圆形窗口中，且落入该圆形窗口中的交点数最多，求取落入该圆形窗口中交点的坐标平均值视为内凹圆弧对应的圆心；落入到弦中垂线L4与弦中垂线L5的交点的圆形窗口中无其它交点或交点数少，则不视为圆弧对应的圆心。对泵【4】第45卷 第02期 2023-02体口环轮廓分割后的四个凹圆弧轮廓依次进行圆心求取，得到圆心坐标OcP(xcP,ycP)，其中变量c0,3。如图6所示。图6 泵体口环内凹圆弧对应的圆心步骤6：作泵体口环最外层轮廓的最小包围圆圆心与各内凹圆弧圆心连线线段OLOcP平行于图像像素坐标系X轴且过最小包围圆圆心的线段OLX，分别计算线段OLOcP与线段OLX的夹角0、1、2、3，将其绝对值最小的夹角描述泵体口环姿态信息，即：(6)求取的泵体口环姿态信息，如图7所示。图7 泵体口环姿态信息3.3 泵体口环尺寸检测算法内凹圆弧加工的优劣直接影响泵体口环安装后水泵的性能，加工尺寸不良会使泵体口环内凹圆弧在装配体中与口环底座凸点之间间隙精度过差而导致泵体性能不良。将泵体口环外轮