基于改进时间差分的视觉_惯性组合导航研究_王丰.pdf

计算机测量与控制 （）设计与应用 收稿日期：；修回日期：。基金项目：山西省青年科技研究基金资助项目（）。作者简介：王丰（），男，安徽宿州人，硕士研究生，主要从事深度学习，图像处理，组合导航方向的研究。通讯作者：李沅（），女，山西忻州人，副教授，硕士研究生导师，主要从事光电检测，信号与信息处理，自动武器导航，人工智能等方向的研究。引用格式：王丰，李沅，李佳潞，等 基于改进时间差分的视觉惯性组合导航研究 计算机测量与控制，（）：文章编号：（）：中图分类号：文献标识码：基于改进时间差分的视觉 惯性组合导航研究王丰，李沅，李佳潞，侯琪，李皓（中北大学 信息与通信工程学院，太原 ；中国电子科技集团公司第十二研究所 微波电真空器件国家级重点实验室，北京 ）摘要：针对全球导航卫星系统（，）在军事战争、室内和水下等情况下存在因信号缺失导致的全球定位系统（，）无法使用和惯性导航系统（，）状态误差发散过快的问题，提出了一种基于连续帧时间差分视觉辅助导航的方法；为了抑制状态误差的快速发散，提高 在长航时工作上的性能，分析了机器视觉连续帧间差分法，并对其进行了计算上的改进，设计了一种时间差分视觉惯性组合系统，并进行了仿真实验和分析；结果与纯 相比，均方根误差（，）在北向位置上减少了 ，在东向误差上减少了 ，表明该方法有效抑制了纯惯性导航速度和位置的误差发散，延长了惯性导航的可用时间。关键词：惯性导航；机器视觉；零速校准；卡尔曼滤波；组合导航；时间差分 ，（，；，）：（）（），（），（），：；引言随着社会的发展，导航越来越成为军事应用、多种地形目标探测和辅助个人定位以及路径规划的核心。在军事上，每个战斗单位的实时定位与多种状态信息对于战场的指挥调度起着至关重要的作用，对于飞弹的准确命中目标也是必不可少的，在陆地单位的战斗中坦克以及驾驶员往往需要较高的位置和状态信息精度以便对战略和路径做出准确的规划。为了获得更高的精度，现代导航技术往往是采用多种技术如里程计、惯性导航、卫星导航等多种模块组成的组合导航，目前最主流的方法是 与惯性系统的组合导航系统。是以经典牛顿力学定律为基础理论的一种可以实现完全自主的导航技术。其根据原理和有无现实的平台可以分为平台式惯性导航系统和捷联式惯性导航系统（，）。平台式惯性导航由三轴陀螺仪，三轴加速度计和稳定的平台组成，由平台的三根稳定轴来对一种导航坐标系进行模拟，能够隔离载体自身的角运动，所以其具有精度高的优点。但是同时也由于有平台的存在导致其结构比较复杂，体积较大，制作成本也非常之高，不适用于普通车载。使用虚拟的数学平台代替了真正的平台，使导航系统体积大幅度缩小，集成度大幅提升，成本也大幅度降低，逐渐应用在民用领域，如汽车导航，无人机探测技术，水下探测等领域，投稿网址：第期王丰，等：基于改进时间差分的视觉惯性组合导航研究 但同时也由于其虚拟的数学平台的引入也导致了很多计算上的问题，使得算法更加复杂化，的解算需要用到计算机对加速度计测得的飞行器加速度信号和陀螺仪角速度数据以及当前的姿态信息进行坐标变换，然后再进行 的计算得出需要的导航状态信息参数。的本质是测量加速度与角速度并进行积分运算，其不可避免的问题就是误差随时间的累积导致长时间计算所得 信息的不准确不可信。为了克服惯性导导航长航时误差过大的问题，可以采用惯性与多传感器组合的方法来减少误差以便于惯性设备可以更长时间的使用。虽具有精度高、实时性好的优点，且 惯性组合导航也取得了一定的成果，但是在很多情况下几乎无法使用如军事作战、建筑物遮挡与水下、矿洞等，目前国际形势动荡，迫切需要研究在卫星信号不可用情况下的导航与定位。为了实现对惯性误差的补偿，且视觉传感器的低成本和便捷性，越来越多的传感器被使用在导航技术之中，从仿生学导航来说，动物与人类都可以通过视觉和运 动 的 感 知 来 实 现 对 自 身 的 定 位 导 航，年 提出了惯性测量单元（，）偏置的初始化方法，年 等人发现对惯性导航定位和状态信息误差影响最大的是陀螺仪的偏置，而加速度计的偏置影响相对较小，年北京邮电大学赵鸿儒、乔秀全等人设计了基于神经网络的视觉惯性里程计提高了载体平移和旋转角度的准确性，年火箭军工程大学的薛海建等人提出了一种里程计辅助惯性导航设备定位与状态估计的方法减小了惯性积分误差。本文基于载体运动特点提出一种可靠性较高（判断零速的准确程度远高于视觉实时速度解算），运算简单的视觉辅助惯性导航进行速度校准抑制误差累积的方法，从而有效减少 积分的误差累积，便于实现更高精度和更长时间的导航定位和多状态信息的估计 ，可以适用于低精度、低光照和视觉传感器噪声较大的场景，有效的辅助了惯性导航。惯性导航系统 常用坐标系）地心惯性坐标系简称系，坐标轴相对恒星不变且与地球的自转无关，以地球之心为原点，其轴与地球自转轴重合并以指向北极为正方向，它的轴指向平均春分点，且指向春分点为正方向，轴则是倍定为与，两轴同时垂直且符合右手直角坐标系。）地心地固坐标系简称系，也叫地球坐标系，它以地球质心为坐标原点，随地球自转而改变，相对于系旋转角速度为 ，轴与地球自转轴重合且正方向指向地球北极，轴在赤道平面内，轴指向本初子午线，符合右手坐标系。）地理坐标系简称系，随着载体位置的变化而变化，相对载体静止。一般地坐标系有两周表示，即东北天坐标系和北东地坐标系，它们以载体重心为原点，轴，轴指向当地的东向和北向，在系中采用经度、纬度和高度来描述载体当前的位置信息。）导航坐标系简称系，一般采用当地的地理坐标系作为导航系。）载体坐标系简称系，主要表现载体的运动方向、运动速度和当前位置等信息，主要载体系有前右下坐标系和右前上坐标系（即载体的，轴正方向分别对应前右下和右前上）分别对应地理坐标系的北东地和东北天。坐标系转换 载体的姿态信息、速度信息与位置信息的计算需要将载体系输出信息转换到导航系坐标，载体坐标系通过虚拟的数学平台转换到当前的导航坐标系。通过载体当前的姿态信息即航向角、俯仰角、横滚角，导航坐标系到载体坐标系的转换可以分成个方向的旋转，整体的转换可以通过一个旋转姿态矩阵来表示（如图所示），具体姿态矩阵的计算方法如式（）所示。图坐标系的旋转 熿燀燄燅 熿燀燄燅 熿燀燄燅 熿燀燄燅 熿燀燄燅 熿燀燄燅 熿燀燄燅（）机械编排在惯性导航设备工作之前，需要先对载体状态信息初始化，初始化的准确度会影响后续的解算误差和精度。初始化主要是指的是对初始位置、初始速度和初始姿态进行初始化对准，惯性导航传感器本身只有初始化初始姿态的能力，而初始速度和初始位置需要 给定或者人工设置。初始化之后通过更新算法和 加速度计输出的加速度数据和陀螺仪输出的角速度数据进行实时解算与当前状态信息更新，状态信息主要包括姿态信息、速度信息和位置信息，由于不可避免的传感器噪声、精度和力学编排算投稿网址：计算机测量与控制第 卷 法具有一定误差的问题，惯性导航的误差会在每一次积分的时候逐渐累积，需要每隔一段时间使用无误差累积的外部观测手段对其进行误差校准，当前最主流的是惯性和 的组合使用，但是在特定场景下 因为遮挡和屏蔽无法使用，我们必须使用他传感器的辅助导航，增强系统鲁棒性，本文采用了视觉传感器与惯性传感器的组合方法。的牛顿力学编排原理的基本实现如图所示。图惯性导航力学编排原理差分视觉零速校准视觉传感器是所有机器视觉信息的源头，其主要是指利用一些光学感应器件和成像结构的组合来获取周围环境的光学信息的仪器，目前视觉传感器的种类和应用日益增加，最常用的有 、相机、雷达成像和红外成像等，最普通的 相机已经广泛的进入到人民的日常生活中，个人电脑，个人手机以及行车记录仪都有着视觉传感器的身影。惯性导航器件的加速度计与陀螺仪积分运算造成的三向速度不准确以及长时间误差累积较大的缺点，普通视觉里程计需要较高精度和良好的环境才能作为算法正确发挥作用的保障，通常视觉传感器会受到目标物体结构相似、纹理重复以及光照不理想的影响导致的误差较大，不利于准确高精度的辅助惯性系统导航。针对上述的问题，本文利用军事作战单位或者行驶汽车经常驻停的特点提出了使用视觉传感器数据获取当前速度状态并对载体当前速度进行校准，纯惯性导航的核心误差主要有九个，分别为位置误差个方向的分量、速度误差的个方向的分量和姿态误差的个分量，通过速度的校准可以有效的减少速度误差和位置误差。相机载体静止判断视觉传感器记录了相机与世界的相对运动，既可以用于检测相机中运动目标的检测，也可以用来推算相机的运动与否，对传统的惯性导航起到了良好的辅助作用。目前，视觉传感器运动判断最主流的方法通常有种，分别为光流法，连续帧时间差分法和背景差分法。）光流法指的是在连续的两帧图像中由于图像中的视觉传感器自身和视觉场景中物体相对运动导致传感器图像中目标像素的改变。光流法使用的前提是假定相邻两帧之间具有灰度不变性和相邻像素间相似运动，它的理想输出应该是两帧图像中每个像素的运动情况（如图所示），并且可以根据算法使用的图像目标像素范围将光流法分成稀疏光流法和稠密光流法。图光流法表示的物体连续运动由于光流法实现种类较多且计算量较大（最简单的稀疏光流法也需要特征点的计算与判断），不符合本文要求的计算简单。）背景差分法通过背景图像与传感器输入信息进行比较从而分辨出运动的物体，它要求运动物体的像素值与背景的像素值存在较大的差别，需要能够使计算机轻易的区分出运动物体和背景，通过简单的相减便可以得出运动物体的轮廓、形状和大小等信息（如图所示），这种方法比较适合摄像机静止的场景，不适用运动中的摄像机，因此不适用本文的研究。图背景差分法计算原理）连续帧时间差分法也叫做帧间差分法是一种通过对视频相邻的连续帧做差分运算获取运动目标大小和形状的方法。它根据静止视觉传感器连续帧变化非常微弱的特点来设计的，如果相机静止，那么前后两帧的像素值变化微弱，对这两帧的像素值进行运算，得到的应该是一副纯黑色的图像，由于连续帧时间差分法对光线等场景变化不敏感，能适应多种不同的复杂环境，鲁棒性较高并且计算量最小，原理简单，能够最准确、最快速的判断出载体的运动与静止状态，所以本文采用此种方法并对其进行适当的算法改进以便于外界信息的观测与使用。改进连续帧时间差分法相机连续两帧时间差分是一种较为常用的的相机静止判定方法，只需要选取视觉传感器输入的时间上的前后两帧进行运算即可得到相机的运动静止信息，其可以用于检测运动物体，对与动态的物体有很强的自适应性，也可以用于检测相机本身的运动，相比传统视觉里程计计算更投稿网址：第期王丰，等：基于改进时间差分的视觉惯性组合导航研究 为简单且零速误差极小（连续帧差分法的像素级运算），只需要检测的光源信息具有一定区分度即可，无需较好的光源和高精度的传感器，具有更大的速度参考价值，主要流程如图所示。图静止判断流程图对于某些视觉传感器分辨率较高，得到的是很多分辨率较高的图像，数据图像的长度和宽度过大导致的计算量巨大且运算速度慢，因为使用连续帧时间差分的方法运算数据量较大，为了减少像素的差值运算量，由于本文研究不需要获取运动目标的清晰轮廓，所以可以通过采用间隔取点运算的方法进行差分运算，这种方法基本不会影响其判定运算的结果，但是却可以节约大量的运算成本。例如，对于一幅 的高分辨率 图像，时间差分计算至少需要 次运算，而采用每隔 个点进行采样计算的情况下计算量为 ，运算量足足减少 倍，对于某些帧率过高的视觉传感器输入，可以采取关键帧的策略，即每间隔一定的时间或帧数来选取需要解算的帧作为关键帧，也可以大幅减少运算耗时，具体间隔时间和帧数应当根据具体的要求来确定，以便在获取足够高的精度的同时减少计算量。图为每个像素选取一个关键像素点信息进行差分计算的原理示意图。图间隔采用示意图连续帧时间差分法需要计算当前第帧与前一帧的相同位置上的采样点 像素值差值（如图为某一通道中对应的采样点运算），代表采样点矩阵的第行，则代表采样点矩阵的第列，代表像素差值，分表代表个不同的通道。如果相机位置没有发生足够大的变化，通常前后两帧的三通道像素数据应该不会发生大的改变，将采样像素数据进行做差运算，应当获得一张