基于特征圆靶的单目视觉位姿测量算法研究_丁江.pdf

第 52 卷第 2 期2023 年 2 月Vol.52 No.2February 2023光子学报ACTA PHOTONICA SINICA02110061基于特征圆靶的单目视觉位姿测量算法研究丁江1，宋朝成1，2，马翠2，何凯2，左启阳2（1 广西大学 机械工程院，南宁 530004）（2 中国科学院深圳先进技术研究院，深圳 518055）摘要：为提高基于工业机器人近距离下空间平面位姿的求解精度，分析了由透视畸变引起的圆投影误差的变化规律，以物距与特征圆半径的比值作为衡量圆透视畸变误差的参数依据，提供了不同物距下的精度参考。推导了基于空间圆投影图像的三点相对位姿求解算法。定量的误差分析和实验验证表明，物距与特征圆半径比值在 18以内像素精度在 0.11像素时，算法精度平均可以达到 0.1，优于文中其他两种算法。关键词：测量；机器视觉；空间圆特征；位姿测量；透视投影中图分类号：TP391.41 文献标识码：A doi：10.3788/gzxb20235202.02110060 引言随着工业机器人1-2的应用越来越广泛，基于机械臂的自动锁螺丝机器人3，室内喷涂机器人4，缺陷检测机器人5等的精度需求也越来越高，其中机械臂与工作平面的相对位姿的准确度往往是最为关键的一环。而圆作为生活中常见的几何特征，往往多出现于各种物体和工件之上。鉴于单目视觉位姿测量6较于双目、多目，具有结构简单，系统运算量低等优势，故研究基于平面圆特征的单目视觉系统下空间平面相对位姿的求解将具有重要意义。目前空间平面位姿求解主要分为多点约束问题和非点约束问题。前者主要有FISCHLER J等7 在1981年提出的基于点约束的多点透视问题（Perspective n-points Problem，PnP），通过解析法和迭代法等可精确求解目标位姿，计算较为复杂；LEPRTIT V 等 8 提出的高效率多点透视（Efficient Perspective n-points Problem，EPnP）算法在能获得高质量图像的前提下大大提升了 PnP算法效率；陈鹏等9在 EPnP算法基础上提出的基于迭代的高效率多点透视（Iterative Efficient Perspective n-points Problem，IEPnP）算法，在对噪声的高鲁棒性下保持了 EPnP 算法的高效率。作为非点约束的基于平面圆特征的位姿测量研究因其靶标制作简易，原理简单，也引起了广大学者的注意。其基于是否考虑空间圆的透视畸变，又可分为考虑透视畸变的类椭圆方法和不考虑透视畸变的椭圆法。如 KABUKA M 和 ARENAS A10把圆投影图视作椭圆，提出了将投影椭圆短径与长径比值来作为目标平面的俯仰角，并通过目标靶面的投影阴影来消除姿态解的二义性。ZHOU Z 等11在正投影的前提下通过圆形标记实现了对物体的三维识别。SHIU Y C 和 AHAMED S12提出了既能处理球形特征，又能处理圆形特征的方法，并给出了封闭解。SAFAEE-RAD R 等13基于圆形特征的三维位置估计推导出了封闭解析解，提供了一种针对球面特征的封闭解析解方法，并做了仿真和实验验证。ZHANG G 和 WEI Z14建立了用于透视投影的椭圆中心位置畸变模型，提高了空间圆的定位精度。何森等15在考虑透视畸变的情况下完成了单目视觉的非接触式飞机舵面角位移标定，但对标靶尺寸精度要求较引用格式：DING Jiang，SONG Chaocheng，MA Cui，et al.Monocular Vision Pose Solving Algorithm Based on Feature Circle Target J.Acta Photonica Sinica，2023，52（2）：0211006丁江，宋朝成，马翠，等.基于特征圆靶的单目视觉位姿测量算法研究 J.光子学报，2023，52（2）：0211006基 金 项 目：NSFC深 圳 机 器 人 基 础 研 究 中 心 项 目（No.U2013204），国 家 自 然 科 学 基 金（No.51905113），广 西 自 然 科 学 基 金(No.2021GXNSFAA220095）第一作者：丁江，通讯作者：左启阳，收稿日期：2022 07 23；录用日期：2022 09 23http:/光子学报02110062高，坐标转换中间误差较大，依赖于准确的距离测算。WANG G 等16以更少的条件参数提出并证明了从一个圆和两对平行线的单一图像中恢复相机姿态的可能性。ZHENG Y 等17给出了圆的投影方程，在此基础上提出了单目圆位姿估计的闭合形式解，并从几何角度说明了这两种可能解集的合理性以及它们之间的关系。张磊等18设计了空间圆投影仿真模型，并增加了激光测距仪来获取深度信息；魏振忠等19通过圆和共面的直线对，基于欧氏空间中的角度不变量消除了圆特征姿态计算结果的二义性；苗锡奎等20通过引入额外参考点的方式消除了空间圆求解的二义性。LIU L等21在考虑透视畸变的前提下推导了空间圆姿态求解方程，但是对图像采集及处理要求严格，鲁棒性较低。李志宇等22研究出一种基于线结构光传感器的圆位姿测量方法，扩展了线结构传感器测量圆孔位姿的适应性。于长志等23借助排列点激光位移传感器提出了背靠视觉端面对接定位方法，进一步提升了空间圆位姿求解精度。由于上文所述研究大多涉及较远距离下的空间平面位姿求解，对近距离下的适用性还有待研究。如在目标圆靶大小不变时，近距离下透视投影带来的“近大远小”透视畸变将不得不被重视，其主要表现为圆在相机中的成像为一个类椭圆，而不是一个标准椭圆。此时仍然将其投影成像当作椭圆来处理，必然带来相应的误差。本文设计了一种圆形标靶和基于平面圆特征的单目视觉位姿测量算法。在考虑透视畸变的前提下，经过误差分析和实验验证，该算法具有更高的精度，满足近距离测量要求，通过将其和现有算法的配合使用，可以提高空间平面位姿的整体求解精度。1 靶标的设计和相机成像原理如图 1所示，本文设计了一种可用于求解机械臂末端与目标平面相对位姿的圆形标靶。该标靶主要由一个同心圆环，三个圆以及一个三角形组成。其内部特殊的图案组成，可实现对靶标圆心的准确定位，且在相机光轴与目标平面垂直时仍然可以推导出标靶绕其法向量的旋转角度。因本文主要研究空间平面与相机的相对俯仰角问题，其余问题在此不做叙述。在单目相机成像原理中，主要涉及三个坐标系。通过右手螺旋定则可建立如图 2所示的空间坐标位置关系，包括以相机光心为坐标原点的相机坐标系 OcXcYcZc，与相机坐标系 Z 轴同向，X，Y 轴相互平行的图像坐标系 O2X2Y2Z2，以及位于目标平面上的世界坐标系 O3X3Y3Z3。空间平面与相机的位置关系即变成了相机坐标系与世界坐标系之间的转换关系，在像平面 X，Y坐标轴完全垂直时，此转换关系可用式（1）表示。ZcXcYcZc=fu0u000fvv000010 RT01 X3Y3Z30=K RT01 X3Y3Z30（1）式中，Zc为相机光心与目标点的垂直距离，即目标的深度值，K 为相机标定获得的内参矩阵，R 和 T 同样由相机标定获得，分别代表旋转矩阵和平移矩阵。经标定后，本文所用相机的内参矩阵和畸变系数分别如图 1特征圆靶Fig 1Characteristic circular target丁江，等：基于特征圆靶的单目视觉位姿测量算法研究02110063式（2）、（3）所示。式（3）中 k1，k2和 k3为径向畸变系数，p1和 p2为径向畸变系数。此后计算所用图片均已消除畸变。K=1.11645670 10402.64247301 103001.11627533 1041.76785848 10300010（2）k1，k2，k3，p1，p2=-1.74714837 10-1，1.03382620，-4.01663490 10-4，1.33076036 10-3，-8.40295043 10-1（3）2 算法实现2.1算法原理基于相机成像中的透视投影原理，建立如图 3所示的投影关系示意图。为了方便理解和计算，本文取目标中心与相机光轴共线时的相对位置来对算法进行说明和仿真实验。图 3中相机坐标系原点 Oc与图像平面中心 O2的距离为焦距 f，相机坐标系原点 Oc与目标圆靶中心 O3的距离为 d，即物距。AB长度为目标圆靶的直径 2r。从 AB两点向 Zc引垂线分别交 Zc于点 M，N。由三角形相似关系 OcO2BOcNB和 OcO2AOcMA可以得到a1r cos=fd+r sin（4）a2r cos=fd-r sin（5）图 2相机成像原理Fig.2Camera imaging principle图 3透视投影原理Fig.3perspective projection principle光子学报02110064式中，a1，a2分别为目标圆成像中类椭圆短轴的两部分长度，且 a1a2，即图 3中 O2A与 O2B的长度，即为目标圆靶的俯仰角度。圆靶的投影示意图如图 4所示。再根据三角形角度关系cos2+sin2=1（6）联立式（4）（6）可以得到以远点（点 A）和近点（点 B）的结果 和 分别为=arcsin-a12d f()a1r2+()fr2-()a1d2r()a12+f2（7）=arcsin a22d f()a2r2+()fr2-()a2d2r()a22+f2（8）当目标圆靶与相机光轴 OcZc垂直时有b2r=fd（9）式中，b为该物距下目标圆靶直径所对应的其在图像坐标系中的长度，单位 mm，为消除物距测量和标靶制作误差，将式（9）分别代入式（7），式（8）可得=arcsin -2fa12+2f2()a1b2f2+b24-a12b()a12+f2（10）=arcsin 2fa22 2f2()a2b2f2+b24-a22b()a22+f2（11）此时，俯仰角 的计算只同图 4中的 a1，b以及定值 f相关。因为目标圆靶与相机坐标系所在平面 XcYcZc的夹角 范围在 090，所以角 的正弦值必然为正。由式（11）可以看出，当以近点（点 B）来计算时，可能存在两个正解。这在实际测量中，由于相机装配误差和成像的像素误差等的存在，这个现象将更加普遍，这便出现了同目标圆成椭圆像时的二义性相似的问题。所以本文采用的是三点算法，即目标圆成像中类椭圆长径的两个端点（点 C和点 D）和短径的远点（点 A），此处的远点仅代表短径的短边部分的端点。为了进一步说明特征点的选取依据，联立式（4）、（5）可得图 4圆靶投影示意图Fig.4Schematic projection of a circular target丁江，等：基于特征圆靶的单目视觉位姿测量算法研究02110065a1=f cos dr+sin 0 90a2=f cos dr-sin 0 90（12）取相机焦距 f为 25 mm，式（12）可用图 5表示如下。从图 5中的等高线也可以看出当目标圆靶直径确定时，随着物距的减小，a1由 改变引起的长度变化相对 a2更加显著，特别是 较小时更为明显。这对角度变化的测量更加有利。在对图形进行二值化，去噪，消除尖锐凸点和断点的开闭运算等形态学处理后，通过 canny24算子检测边缘并基于文献 25 中的二值化图案轮廓提取方法来提取圆靶外圆轮廓，且后续关键点的提取以及椭圆拟合均是基于此轮廓的计算。通过计算可以得出轮廓中距离最远的像素点对 C（u1，v1）和 D（u2，v2），以 CD连线（式（13）为基准，统计直线两侧轮廓点集的大小。根据透视投影中近大远小的原理，点集相对较小的即为远点所在轮廓。再通过求解此点集中距离直线CD最远的点即为所求远点（u0，v0），此点在图4中表现为点A。进而由式（10）求出目标圆靶所在平面相对于相机的俯仰角大小。最后借助点与直线位置关系判别式（式（14），以远点位于直线 CD上侧还是下侧作为俯仰角的方向。目标平面的偏转角则由直线 CD的斜率求得，至此即可唯一确定目标平面的旋转姿态。v-v1=v2-v1u