基于视觉双窗口的机器人视觉跟随式导航仿真_王连枝.pdf

收稿日期:20211224修回日期:20220103第 40 卷第 2 期计算机仿真2023 年 2 月文章编号:10069348(2023)02046605基于视觉双窗口的机器人视觉跟随式导航仿真王连枝，朱朝旭，赵帅，李宝玺(开封大学电子电气工程学院，河南 开封 475000)摘要:针对未知环境下机器人自主导航问题，以提升机器人视觉跟随精度与自主导航性能为目的，研究基于视觉双窗口的机器人视觉跟随式导航方法。机器人通过视觉双窗口摄像头采集跟随对象图像，采用两步标定算法获取视觉双窗口摄像头内外参数，将双窗口摄像头统一至相同世界坐标系内，实现视觉双窗口摄像机图像与现实场景内图像间的映射。对采集的图像序列进行特征立体匹配，将二维与三维扩展 Kalman 滤波器同时用于跟随对象位置预测，实现跟随目标的跟随定位。以基于行为的控制结构作为机器人导航控制结构的基础，根据跟随目标的跟随定位结果利用宏行为控制机器人运动。仿真结果显示，上述方法可控制机器人在复杂背景环境下准确跟随设定的对象，在存在障碍物的条件下，机器人可准确避开障碍物，并在之后回归到准确的跟随导航路线。关键词:视觉双窗口;机器人视觉;跟随式导航;摄像头标定;位置预测;宏行为中图分类号:TP391文献标识码:BSimulation of obot Visual Following Navigation Simulationof obot Based on Visual Double WindowsWANG Lianzhi，ZHU Zhaoxu，ZHAO Shuai，LI Baoxi(Department of the Electrical Engineering，Kaifeng University，Kaifeng Henan 475000，China)ABSTACT:Aiming at the problem of robot autonomous navigation in unknown environment，in order to improve therobot visual following accuracy and autonomous navigation performance，a robot visual following navigation methodbased on visual double windows is was studied The robot collecteds the following object image through the visual dualwindow camera，obtains obtained the internal and external parameters of the visual dual window camera by using thetwostep calibration algorithm，unifies unified the dual window camera into the same world coordinate system，andrealizes realized the mapping between the visual dual window camera image and the image in the real scene On thisbasis，the feature stereo matching is was carried out for the collected image sequence，and the twodimensional andthreedimensional extended Kalman filter wereare used to predict the position of the following object at the sametime，so as to realize the following and positioning of the following target The behavior based control structure waisused as the basis of the robot navigation control structure，and the macro behavior wais used to control the robot mo-tion according to the following and positioning results of the following target The simulation results show that thismethod can control the robot to accurately follow the set object in the complex background environment;Under thecondition of obstacles，the robot can accurately avoid the obstacles，and then return to the accurate follow navigationrouteKEYWODS:Visual double window;obot vision;Follow navigation;Camera calibration;Location prediction;Macro behavior1引言作为计算机视觉技术应用领域内的重要课题之一，跟随式导航技术利用摄像头拍摄目标对象1，并对图像序列进行分析，基于图像内目标特征实现目标跟随2，基于跟随结果生成导航路线。该技术被普遍应用于机器人视觉导航、交通监控等诸多领域内3。杨辉与吴赛燕等人将 STM32 与物联网应用在机器人导664航问题中4，依照所处环境获取目标图像，分析图像确定目标移动轨迹，实现机器人的自主导航。孟庆宽与杨晓霞等人研究普通光照条件下机器人导航技术5，利用视觉传感器获取目标图像，基于图像熵对灰度图完成机器人导航功能。上述方法均采用单目摄像头采集目标图像，其主要优势为运算速度较快。但该类方法在实际应用过程中未考虑实际场景的三维信息，导致所跟随的对象均具有相对性，由此造成机器人最终导航结果产生偏差。针对这一问题，研究基于视觉双窗口的机器人视觉跟随式导航方法，将视距双窗口摄像头应用于机器人导航问题中，提升跟随对象跟随精度，实现机器人的准确导航。2机器人视觉跟随式导航方法图 1 所示为基于视觉双窗口的机器人视觉跟随式导航方法实现流程。图 1机器人视觉跟随式导航方法实现流程基于视觉双窗口的机器人视觉跟随式导航过程中，在机器人视觉图像上选取引导目标矩形图像区域，机器人通过视觉双窗口摄像头采集跟随对象图像，标定视觉双窗口摄像头，实现视觉双窗口摄像机图像与现实场景内图像间的映射。在此基础上，对视觉双窗口摄像头采集的图像序列进行特征立体匹配，并提取三维坐标，实现跟随目标的视觉跟随定位。获取视觉双窗口摄像头在水平方向上的位置，以基于行为的控制结构作为机器人导航控制结构的基础，通过一个宏行为 MB_Move To Target 完成基于视觉双窗口的机器人视觉跟随式导航路线生成，控制机器人运动方向。2.1机器人视觉双窗口摄像头的空间点定位机器人视觉双窗口摄像头的空间点标定采用 TSAI 提出的两步标定算法获取参数6:1)左摄像头内、外参数:焦距、平移向量和旋转矩阵、平移向量;2)右摄像头内、外参数:焦距、实际图像中心坐标和旋转矩阵、平移向量。上述外参数均与各自标定过程中设定的世界坐标系相对应。以确定双窗口视场中空间点的三维坐标为目的，依照人类视觉惯性7，将机器人双窗口摄像头统一至相同世界坐标系内。以左摄像机光心为世界坐标系原点，也就是机器人位于左摄像头光心区域，在此条件下，可利用空间转换矩阵 T 描述右摄像机坐标系 orxryrzr同当前世界坐标系 oxyzxryrzr=Txyz1 =r1r2r3txr4r5r6tyr7r8r9tz (1)式(1)内，和 T 分别表示机器人视觉双窗口摄像头与世界坐标系的旋转矩阵与平移向量，两者的计算公式如下=al1T=Ta al1Tl(2)式(2)内，a 和 l 分别表示左、右摄像头的旋转矩阵，Ta 和Tl 分别表示左、右摄像头的平移向量。依照计算机图像坐标(u，v)与世界坐标(XW，YW，ZW)间的相关性8，结合式(1)能够得到视觉双窗口条件下空间点三维坐标，详细过程如下:将机器人视觉双窗口摄像头内参数分别代入矩阵Al=fldx0ul00fldyvl0001 ;Aa=fadx0ua00fadyva0001 (3)式(3)内，fl 和 fa 表示左、右摄像头焦距;dx 和 dy 分别表示图像在 x 与 y 方向单位像素的尺寸;(ul0，vl0)和(ua0，va0)分别表示左、右摄像头实际图像坐标中心。以(XW，YW，ZW)和(ul，vl)、(ua，va)分别表示空间点 P的世界坐标和在机器人各摄像头图像上的投影点，由此可得以下两组矩阵方程zlulvl1=Al G XWYWZWzauava1=Aa TXWYWZW(4)式(4)内，G 表示 4 阶单位矩阵。对式(4)进行展开处理能够将其转换为矩阵 M 与矩阵 U。设定 M XWYWZW=U，选取最小二乘法确定 P 在以机器人左摄像头光心为原点的世界坐标系内的三维坐标764XWYWZW=(M M)1 M U(5)通过视觉双窗口摄像头的空间点标定可实现机器人视觉双窗口摄像机图像与现实场景内图像间的映射，提升后续跟随对象识别与定位的精度。2.2基于视觉双窗口立体特征匹配的机器人视觉跟随算法机器人采用视觉双窗口摄像机采集跟随对象图像后，由于各图像内跟随对象间不存在显著的特征区别9，因此对图像进行立体特征匹配极为重要，能够有效改善视觉双窗口图像采集过程中的重复纹理以及重叠遮挡等问题10。基于视觉双窗口立体特征匹配的机器人视觉跟随算法实现流程如图 2 所示。图 2基于视觉双窗口立体特征匹配的机器人视觉跟随算法流程机器人利用二维扩展 Kalman 滤波器分别跟随两个不同摄像头所采集图像序列内的跟随对象，以所采集图像序列为基础，实现跟随对象的三维扩展 Kalman 滤波器预测跟随;若在不同摄像头所采集图像序列的预测区域内分别存在若干个候选跟随对象，那么机器人通过视觉双窗口下的外极线约束条件清除错误的候选跟随对象11，完成正确的跟随对象匹配，实现机器人视觉跟随目的。基于视觉双窗口立体特征匹配的机器人视觉跟随算法主要特点体现在两方面，分别是跟随过程中，二维与三维扩展 Kalman 滤波器同时用于预测，以及通过外极线约束处理视觉双窗口下不同二维候选跟随对象的对应问题。前者能够缩小跟随对象的搜索范围，降低因特征缺失导致的跟随对象跟随错误问题;后者能够清除错误的匹配关联，由此得到准确的候选跟随对象。以 k+1 和 Dn分别表示当前时刻和跟随对象，k 时刻下Dn的位置、速度与加速度分别以 wk、vk和 jk表示。跟随过程中，二维与三维扩展 Kalman 滤波器同时预测 k+1 时刻的状态?wk+1，?vk+1，?jk+1()，三者的计算公式如下?wk+1=wk+vk t+12jk t2(6)?vk+1=vk+1+(1)?vk(7)?jk+1=jk+1+(1)?jk(8)以Ck+1表示机器人视觉跟随对象的搜索范围，利用式(9)预测Ck+1:Ck+1=wk+vk t+12jk t2(9)若存在跟随对象 Dn，那么利用 Dn的信息更新不同状态变量的预测误差(wk+1，vk+1，ak+1)，公式描述如下wk+1=|wk+1 wk1|(10)vk+1=|vk+1 vk1|+(1)vk(11)jk+1=|jk+1 jk1|+(1)jk(12)若在跟随对象 Dn的预测区域内存在不止一个候选跟随对象，那