基于双目相机的SLAM回环检测改进算法研究_朱晨.pdf

书书书计算机与控制系统测控技术2023 年第 42 卷第 1 期收稿日期:2022 05 08基金项目:国家自然科学基金面上项目(41764002);江西省研究生创新专项资金项目(YC2021-S149)引用格式:朱晨，王宇杰，郭杭 基于双目相机的 SLAM 回环检测改进算法研究 J 测控技术，2023，42(1):113 118ZHU C，WANG Y J，GUO H Improved Algorithm of SLAM Loop Closure Detection Based on Binocular Camera J Measurement Control Technology，2023，42(1):113 118基于双目相机的 SLAM 回环检测改进算法研究朱晨，王宇杰，郭杭(南昌大学 信息工程学院，江西 南昌330031)摘要:回环检测算法在视觉即时定位与地图构建(SLAM)系统框架中具有重要的作用，能够修正在前端和后端计算过程结果中产生的不可避免的累计误差，在长时间运行的情况下能够保证定位与建图的准确性。传统的视觉 SLAM 中主要采用基于词袋模型的图像检索方式，但是在视角差异较大的情况下难以匹配到正确的图像。针对这种情况，基于双目相机提出利用透视变换和基于迭代最近点(ICP)算法的空间信息几何检验，对候选关键帧进行视角变换和匹配，完成较大视角差异情况下的回环检测，修正累计误差。该方法适用于对算法耗时要求不甚严格的场景。实验结果表明，该方法可以提高识别回环检测候选关键帧的准确率和召回率。关键词:回环检测;视觉 SLAM;透视变换;双目相机;ICP中图分类号:TP391 3;TP391 4文献标志码:A文章编号:1000 8829(2023)01 0113 06doi:10 19708/j ckjs 2023 01 018Improved Algorithm of SLAM Loop Closure Detection Based onBinocular CameraZHU Chen，WANG Yu-jie，GUO Hang(School of Information Engineering，Nanchang University，Nanchang 330031，China)Abstract:The loop closure detection algorithm plays an important role in the visual simultaneous localizationand mapping(SLAM)system framework The unavoidable cumulative errors in the results of the front-end andback-end calculation processes can be corrected，and the accuracy of positioning and mapping in the case oflong-term operation can be ensured The traditional visual SLAM mainly uses the image retrieval method basedon the bag-of-words model，but it is difficult to match the correct image when the perspective difference islarge To address this situation，the use of perspective transformation and geometric inspection of spatial infor-mation based on iterative closest point(ICP)algorithm based on binocular camera is proposed to transform andmatch the viewpoint of candidate key frames to complete the loop closure detection in the case of large view-point difference and correct the accumulated error The method is suitable for scenarios where the algorithmtime consumption requirement is not particularly strict The experimental results show that this method can im-prove the accuracy and recall rate of identifying loop closure detection candidate key framesKey words:loop closure detection;visual SLAM;perspective transformation;binocular camera;ICP随着社会与经济快速发展，定位和导航在大众生活和国家重要战略中发挥着越来越重要的作用。例如灾难救援1 3、工业生产4 5、家庭服务6 8 等。但是由于卫星导航系统在室内等场景下，无法进行高精度311定位，对于室内和室外卫星信号较弱的场景，同步定位与建图(Simultaneous Localization and Mapping，SLAM)技术能够有效地解决这一问题9。随着近些年计算机视觉技术的不断发展，以相机为传感器的视觉SLAM 技术受到了越来越多的关注10。视觉 SLAM 具有成本低、精度较高、采集的图像信息丰富等优点，在室内外复杂和未知的环境下具有很强的适应性10，因为视觉定位技术利用丰富的信息在定位的同时还能够进行环境感知(即为建图)，可以将未知环境变成已知环境进行进一步处理。视觉定位技术系统具有图像处理、跟踪(Tracking)、建图(Mapping)和回环检测(LoopClosing)4 个模块11。回环检测是视觉定位技术中较为关键的一个部分9。视觉定位技术虽然能够进行当前载体的实时位姿估计，但是从本质上来说是一种航迹推算算法，存在位姿误差累积的问题。所以需要回环检测算法消除与抑制累计误差10。基于词袋模型(Bag of Words，BoW)的回环检测技术，在目前各种开源的视觉 SLAM算法中被广泛使用，其本质上是基于外观的回环检测算法12，通过图像信息判断当前场景是否是之前到达过的地点，实现位姿纠正。随着视觉 SLAM 在小型移动载体上应用越来越广泛，近年来回环检测出现了一些新的问题。主要问题是小型移动载体对视角变化的要求较高13。以地面移动机器人为例，如果机器人在原地旋转一定的角度，虽然还是在原地，但是却很难正确匹配。为解决这一问题，部分学者提出使用全景相机来代替普通的相机14、利用激光 SLAM 来辅助视觉 SLAM15、直接基于 GB-D 相机来解决回环检测的问题16。虽然这些方法能够解决一些视角变换带来的问题，但是却增加了额外的成本。针对传统视觉 SLAM 闭环检测过程中，因视角变化导致难以正确闭环匹配的问题，本文对传统的基于BoW 闭环检测算法提出改进，采用低成本的双目相机进行环境感知。具体方法是:利用透视变换算法对当前图像关键帧进行视角变换;采用基于迭代最近点(Iterative Closest Point，ICP)算法求出当前关键帧与闭环候选关键帧的空间信息，进行几何检验。在算法耗时要求不甚严格的前提下，采用本文的算法，可以提高回环检测的准确率和召回率。1回环检测算法图 1 为本文回环检测算法流程。判断当前图像关键帧是否满足回环条件，首先，对该关键帧进行左右各30视角的透视变换，目的是减少因视角变化过大导致误匹配和漏匹配的影响;然后，提取变换后该关键帧中的特征点与描述子，将提取到的每一个特征点和描述子通过多级聚类的方式转化为词汇，计算出该关键帧的词袋向量。相似度计算是计算当前关键帧与历史关键帧的词袋向量的相似情况，如果小于设定的相似度阈值，历史关键帧中的关键帧即为闭环候选关键帧，进行下一步的操作。基于 ICP 算法与空间信息几何检验可以判断闭环候选关键帧是否真的构成回环，如果满足距离阈值，则认为是正确回环帧，从而纠正位姿，消除累积误差。图 1本文回环检测算法流程图2基于词袋模型的回环检测方法基于词袋模型的方法忽略单词出现的顺序和语法规则，只需要统计图像中的文本单词出现的次数，能够极大地提高单词的检索速度并减少内存开销。实现过程是将每张图片关键帧转为单词向量，即为词袋，然后计算当前关键帧与历史关键帧的词袋向量相似度，确定是否经过同一地点12。根据事先训练好的词汇树，计算出关键帧之间的相似度。根据关键帧的词袋，使用 TF-IDF 算法计算当前关键帧 Ii以及所有历史关键帧 Ij中每个单词的权值，每张关键帧中的所有词汇信息用一个词袋向量vt表示;最后将当前关键帧在之前的所有关键帧中检索，计算当前关键帧与候选关键帧的相似度分数，并对其进行归一化处理，如式(1)和式(2)所示。s vi，v()j=1 12vivivjvj(1)式中:s vi，v()j为关键帧 i 和关键帧 j 的词袋向量 vi和vj的相似度值。vi，v()j=s vi，v()js vi，vj()1(2)式中:为归一化的相似度分数;vj 1为和该地点最接近的另一个关键帧词袋向量。若 高于相似度阈值t，则关键帧 j 是当前关键帧 i 的闭环候选帧，在几何检验步骤中通过检验，则确认为正确回环。3利用透视变换对图片进行视角变换传统的视觉 SLAM 中主要采用的是基于词袋模型的图像检索方式，但是在视角差异较大情况下难以匹411测控技术 2023 年第 42 卷第 1 期配到正确的图像。在视觉 SLAM 过程中，地面机器人重新回到闭环地点处，相较于初始姿态，其当前姿态难免会发生变化。根据参考文献 13，当相机的视角旋转 30时，其相似度将衰减至原来的 20%，当相似度为 20%时则不可避免会产生错误的回环检测。所以本文提出采用透视变换的方式对当前关键帧的视角进行变换，从而减少因视角变化而产生的影响，提高算法召回率。在实际生活中的景物，由于观察距离与方位的不同，导致在视觉上引起不同的反映，即为透视现象。透视变换的本质是将在原来平面上的图像向一个新的平面投影，得到图像在新的平面上的坐标17，如式(3)所示。透视变换原理示意图如图 2 所示。图 2透视变换原理示意图xywT=uvwTa11a12a13a21a22a23a31a32a33(3)式 中:u，()v 为 原 来 图 像 像 素 坐 标;w=1;x=x/w，y=y/()w 为变换之后的在新投影平面上的像素坐标。透视变换矩阵分解为:T1=a11a12a21a22为图像线性变换;T2=a13a23用于产生图像透视变换;T3=a31a32为图像平移。透视变换后相机视角示意图如图 3 所示。Z 轴方向的视角为当前相机视角，通过透视变换矩阵对相机的当前视角下获取的关键帧图片进行左右各 30的视角变换，获得相机在发生向左(正方向)或向右(负方向)旋转 30的视角下拍摄到的当前场景的图片关键帧。在室内环境下实际相机视角拍摄的图片如图 4 所示。经过向左和向右透视变换 30后视角的图片如图5 和图 6 所示。4基于 ICP 算法空间信息的几何检验通过相似度阈值筛选出的闭环候选关键帧仍然图 3透视变换后相机视角示意图图 4实际相机视角拍摄图片图 5向左透视变换 30视角图片图 6向右透视变换 30视角图片511基于双目相机的 SLAM 回环检测改进算法研究存在误匹配、当前关键帧对应到多个闭环候选关键帧的情况，所以需要几何验证进一步去筛选。由于本文