基于ORB-SLAM3的P...SAC双目优化补偿SLAM_符强.pdf

引用格式：符强，梁燚东，纪元法，等 基于 的 双目优化补偿 电光与控制，（）：，（）：，基于 的 双目优化补偿 符 强，梁燚东，纪元法，任风华，（桂林电子科技大学，广西精密导航技术与应用重点实验室；信息与通信学院，广西 桂林；卫星导航定位与位置服务国家地方联合工程研究中心，广西 桂林）摘 要：为优化无人机 系统运行过程中发生的跟踪失败导致局部建图失败以及双目摄像头在远近复杂场景下轨迹误差大的现象，提出了一种双目。首先在系统中加入新的约束优化双目匹配的视差与深度，然后应用光流法基于单应运动补偿原理和 算法去除误匹配，最后根据单应补偿结果投影得到新的数据关联，在关键帧和地图点应用新的手段提高对补偿结果的利用率，保证了系统的实时性和鲁棒性。所提算法利用双目视差优化计算关键点的深度从而提高系统的定位精度和系统鲁棒性，在室内无人机 数据集上取得了较为优秀的精度提升。关键词：；双目；无人机；单应补偿中图分类号：文献标志码：，（，；，；，）：，：；引言视觉同步定位与建图（，）具有优秀的定位与建图能力，收稿日期：修回日期：基金项目：国家自然科学基金（，）；广西科技厅项目（桂科）作者简介：符 强（），男，海南东方人，硕士，副教授，硕导。通讯作者：纪元法（），男，山东聊城人，博士，教授，博导。相比于激光雷达同步定位与建图，视觉传感器的成本较低，这也使得 的应用逐渐增多。随着现代人工智能算法的研究深入，自主无人机开始为探索未知环境并执行危险任务提供服务，认识学习环境和定位导航在环境中的位置是无人机在执行任务时的主要挑战。解决问题的核心是为移动机器人提供映射环境并提供对象在映射环境中的定位服务，这与无人机的需求不谋而合，成为近年来的热点研究方向之一。系统根据视觉传感器的不同可以分为单目 第 卷 第 期 年 月 电 光 与 控 制 符 强等：基于 的 双目优化补偿、双目 和 ，不同的传感器具有不同的优势。单目需要更大的计算量和资源，而 相机对于光照过于敏感，不适合户外使用，因此双目是一个更为折衷合理的选择。但是双目传感器的深度由视差直接影响，在强光和遮蔽环境下的效果较差，使得传感器信息的利用率较差。文献对一些双目匹配方法进行了全面的统计评估，对实际场景下的精度提供了参考，提出了针对不同的场景对算法做出不同的针对性改进的建议；文献使用目标检测的方法分别评估了远距离位姿估计的单目和双目视觉系统，并提供了在实际应用场景下的具体的使用建议，证明了双目摄像头的精度要高于单目；文献针对农业场景双目 利用逆深度的方法将目标与背景分割，避免了远距离场景物体对系统的影响，同时提出了一种新的关键帧利用方案。然而，系统在增强了对深度和地图点的限制约束之后，常出现因匹配点不够而导致的丢失跟踪或跟踪失败的现象，这减弱了系统的鲁棒性，给系统带来了较大的影响。渐近式样本一致性（）算法由文献提出，在窗口内均匀随机采样抽取样本，是 算法的优化版本，并且速度比 算法快，迭代次数稳定且效率高；算法在机器人领域有着广泛的运用，文献结合 算法与 算法，将其运用于特征提取，使用 去除异常点；文献 将 算法应用于无人机图像匹配，增强无人机拍摄的低光照图像的匹配执行效率和鲁棒性。但是这些对 算法的应用都没有在 系统中实时运行并取得较好的优化提升效果。近年来数据关联耦合逐渐成为 中一个非常热门的研究方向。文献为无人机应用中不同性质和格式的数据的耦合与信息提取提供了融合思路并结合 中的路标和帧的选取问题提出了解决方案；文献针对地图点的相关性提出一种关联方案判断地图点的运动状态，同时对地图点数据参数做了优化并以此反馈分割动态对象，在完成优化之后反馈系统提升精度；文献将传统 基于 图像信息数据操作延伸到 语义信息数据，并将 信息数据与 特征信息数据关联耦合优化了数据传递所需时间，提升了回环检测的精度。数据关联耦合可以有效降低算法复杂度，给系统带来优秀的精度改进反馈，然而大部分数据关联耦合方案都需要 加速，这提高了配置要求，并给系统在无人机平台实时运行带来了挑战。系统框架本文提出的 系统是在 算法框架上改进的双目 系统，本文改进系统主要分为跟踪、局部建图以及回环检测和地图融合 个线程，本文在系统中引入双目匹配优化、光流法单应补偿 去除误匹配以及局部数据耦合 个线程，图 为系统流程图。图 系统流程图 跟踪线程由并行的光流法和 特征提取开始并从帧中获取关键点信息，将关键点信息数据载入 方法线程，计算更新单应矩阵形成对关键点的补偿并去除误匹配。然后，根据 特征提取得到的信息和优化的关键点信息判断选择初始化方案，最后形成关键帧转入局部建图线程。局部建图线程建立一个局部地图对数据做初步处理，减轻全局建图的计算量。局部建图线程对当前信息做数据处理，并将数据关联起来。在本文中修改了关键帧选取策略，使其增加了对深度的筛选。与此同时，本文优化了选取地图点的策略，针对重复相似的地图点，本文使用了融合策略以减少计算量，优化算法速度，减轻系统负担增强鲁棒性。回环检测和地图融合线程沿用 中的 第 期方法，通过搜索词袋模型实现回环。双目匹配优化本文使用左右一致性检验原则（）优化挑选出的最优视差，减弱遮蔽对匹配的影响，同时，由于无人机对视差和深度的要求较高，对深度做初步筛选，为接下来的关键帧筛选做初步准备。首先，根据左图关键点描述子和初步优化的视差搜索右图获取对应最小的汉明距离的描述子，然后，再反向遍历搜索左图获取第 个匹配结果，搜索原则为 （）（），（）式中：为设定的阈值；为描述子距离；为左图图像像素值；与 是根据图像金字塔系数修正的坐标。根据左右一致性检验原理，若视差结果相差为零则左右一致，反之则标记为遮蔽点。然而在 实时运行时对匹配点数量要求较高，若关键点数量较少会导致地图点较少，引起关键帧构建失败从而导致跟踪失败，因此本文减轻对于遮蔽点的约束使得遮蔽点的选取符合 。（）本文同时对双目匹配得到的深度做了一个初步筛选，深度是 系统中的一个重要的信息，尤其对于无人机来说，一个优秀的双目深度估计对于无人机路径规划应用有着重要意义，因此在本文中将视差小于 即深度为双目相机基线的 倍的关键点标记为深度过大点。光流法单应补偿 在 节中，通过初步筛选得到了一些理想的数据信息，然而在实测运行中 系统还是会出现精度较低和跟踪失败的现象。由于筛选的操作使得信息基数降低，随之导致的定位参考信息减少使得系统性能降低，因此，在本节中提出使用光流法通过 算法去除误匹配的方案增加补偿匹配。在跟踪线程中，跟踪速度和精度是衡量系统优劣的主要指标，为了迎合这个准则同时完成补偿任务，在提取特征时引用光流法。光流法是一种快速获取两帧之间信息的手段。本文中通过追踪已读取的图像灰度信息，获取关键点信息，若读取的是第 帧图像或当前帧，则对当前图像做跟踪。本文中首先设置 迭代所需的参数，如根据双目匹配的搜索窗口大小确定 算法迭代输出的关键点阈值以及根据输入的关键点数量确定，经过次采样由 转变为。然后在完成初始化后对输入的关键点集进行随机采样并挑选其中高质量的关键点进入迭代线程，质量根据每个关键点对应的描述子的距离来排序，设抽样点集为，点集内的元素为（），（）为点集内元素质量，与为关键点描述子距离，则排序规则为（）（）（）抽样样本序列迭代式可以表示为（）（）式中：（）为成长函数；（）表示输入原始关键点的集合即本次迭代的序列；代表从（）序列随机地抽取 个数据的集合，为抽取序列的 的大小。成长函数的定义为（）（）：（）式中，为抽样样本 的仅包含原始点集（）的数据点的平均样本数，的定义规则和迭代规则分别为 （）（）。（）经过抽样后计算抽取的高质量点，计算点的单应矩阵确定内点数量，若内点数大于关键帧选取条件所需的最小内点数且同时满足抽样数条件，则停止迭代，输出新的单应矩阵。抽样数条件为（）（）（）（）式中：表示此迭代时刻的内点数，表示达到阈值时刻迭代的成长函数的大小；表示当前迭代时刻的成长函数的大小即原始序列的大小；为抽样样本的数量。通过 迭代计算得到了质量较高关键点对应的单应矩阵，这个经过迭代计算得到的单应矩阵的内点数符合关键帧要求，达到了优化的效果。在获得了新的单应矩阵后通过透视变换更新关键点。单应矩阵包含了两个帧间的变换信息，若仅以关键点信息代表帧，则变换关系为 （）式中：代表前一帧；代表当前帧；表示两帧之间的单应矩阵。单应矩阵可以用于补偿相机运动带来的图像背景变化，本文中使用单应运动补偿优化光流提取的关键点。局部数据关联耦合关键帧在 位置定位估计中起到关键作用，是后端优化处理的主要对象，优秀的关键帧选取策略能简化计算复杂度，增强系统实时性和鲁棒性。经过 节中的补偿操作，在增加了匹配数的同时也增加了信息处理量，为了简化运算量，充分利用关键帧信息，本文优化了关键帧的选取策略，将关键帧与深度信息耦合关联，对关键信息做了新的定义。同时，本文根据匹配地图点的个数进行相似关键帧搜索，融合地图点。然后本文引第 卷电 光 与 控 制符 强等：基于 的 双目优化补偿 入了一个深度质量因子用以衡量深度，深度质量因子利用无人机双目测距原理计算，主要采用三角测量的原理，其 平面示意图见图。图 三角测量原理 图 中，两个对称三角形相似，根据对应边成比例，有 （）（）式中：为左右目相机间距离；和 分别为左、右像素坐标系下的横坐标，两者差值即为视差；为目标点 到双目相机基线的距离；为相机焦距。改写化简式（）为 。（）双目相机焦距 已知，距离 可以测出，视差 通过立体双目匹配得出，根据三角测量原理可以求解目标物体到双目相机的距离。得到整个三角形的底边和高之后，通过计算得到三角形的顶角，根据顶角所在的金字塔层设计阈值 的约束为（）。（）若符合约束条件并当匹配点数量达到预期的数量后，将当前帧标记为关键帧；若不满足约束条件但匹配点数达到要求，则标记为候选帧。由 节的单应补偿操作得到了优秀的关键点数据，这些数据主要体现为图像坐标系内的 信息。为了实现对相机位置的估计，需要将 信息投影映射到世界坐标系为 信息，以此获得与路标的位置对应关系，从而实现位置估计的目的。本文沿用了 中的三角化策略，局部关联图如图 所示。首先投影前一帧的地图点，然后通过计算描述子的汉明距离搜索相似地图点，同时增加对关键帧的访问以明确地图点的相似性并以此来引导地图点耦合和地图融合。为了达到简化地图点处理量的效果，本文通过搜索相邻地图点，计算地图点之间的汉明距离，若距离较小，则将新地图点标记为旧地图点的相似地图点，在处理时直接调用旧地图点，以此达到耦合的目的。图 局部关联图 实验测试本文实验测试验证的计算机硬件环境为 ，主频为，内存，不使用 加速，软件运行环境为 系统。本文主要使用 评估工具对系统运行产生的轨迹记录文件做测评工作，通过计算均方根误差（）以绝对轨迹误差（）作为主要的评价衡量系统精度的指标。实验结果挑选系统多次运行后得到的评估结果中出现较多的同一范围中的数据。远景特殊场景验证为了验证系统在传感器捕获较多远景下的表现，本文挑选了 数据集中的特殊序列场景。此序列是载具高速运行在开阔高速公路捕获的数据，序列同时包含了高速动态目标以及较远场景点两大影响因素，对系统鲁棒性和精度有较大考验。本文对比了 算法与本文算法在数据集上的表现，其中，本文算法挑选了多次运行后的结果中较为典型的 组数据，如表 所示。表 特殊场景测试数据 算法最大误差 平均误差 中值误差 最小误差 本文算法 由表 计算可得，本文算法对系统精度的提升在左右，较好情况下可达到，同时，本文算法对最大误差、平均误差、中值误差、最小误差都有不同程度的优化。尤其对于最小误差，在较好情况下提升可以达到 第 期。图（）为 的地实轨迹对比，图（）为本文算法的地实轨迹对比，可以看到，本文算法对轨迹估计偏移和稳定性有明显优化。图 地实轨迹与估计轨迹对比 系统精度和鲁棒性验证本文针对无人机实时运行应用设计了双目 系统，为验证系统鲁棒性和精度，在 数据集上进行了广泛性实验，数据集是在 上使用 传感器收集的，其中包括同步的 立体声图像和 消息，本文通过对比 与 系统对本文算法系统做出评估，如表