基于视觉导航的无人机自主精准降落_贺勇.pdf

引用格式：贺勇，李子豪，高正涛 基于视觉导航的无人机自主精准降落 电光与控制，（）：（）：基于视觉导航的无人机自主精准降落贺 勇，李子豪，高正涛（长沙理工大学电气与信息工程学院，长沙）摘 要：针对传统导航方式精度低、误差大等问题，结合视觉导航设计了一种基于 码的着陆标识。对机载相机采集的实时影像进行图像处理，利用世界坐标系与像素坐标系的映射关系建立无人机位姿估计模型，以特征点坐标解算得到当前无人机与着陆标识物之间的相对姿态估计值，设计并融合误差模型进一步提高定位精确性。通过无人机室外实际应用实验证明，设计的降落标志及新型识别算法大大提高了无人机自主降落的精准性，能更好地满足在军事无人机等高精度降落要求场合的应用。关键词：无人机；视觉导航；识别算法；自主降落中图分类号：文献标志码：（）：；引言自主降落一直以来都是无人机飞行中最为重要的环节之一。由于传统导航方式存在精度低、误差大、成本高等问题，而植保、物流、军事等领域要求精度更高、误差更小的自主降落方式，所以视觉辅助技术与无人机技术相结合已成为一种新趋势。在无人机视觉引导着陆技术中，早期的研究多采用单二维码或其他单级靶标，该方法配合高效的识别算法在一定程度上提高了降落精度，但是容易受摄像收稿日期：修回日期：基金项目：长沙理工大学校企合作基金（）作者简介：贺 勇（），男，湖南长沙人，硕士，副教授。通讯作者：李子豪（），男，湖南长沙人，硕士生。头分辨率、摄像头视角以及无人机飞行高度的影响；贾配洋等采用局部搜索等策略优化的改进 识别跟踪降落算法，对移动目标进行跟踪降落，但其过于依赖算法提取的目标位置与姿态，少数情况下容易出现降落失准的情况；孟学斌等设计了由正三角形和圆环组成的视觉识别降落标志，通过两个阶段实现了无人机自主精准降落，但因多次采用 圆变换，使得算法过于复杂，且所需运行时间过长；张伟等设计了绿白两色结合的“”形降落标志，实现了无人机跟踪降落到移动平台，但其降落标志过于复杂，算法所需特征点等信息过多，从而对相机参数要求高，降落精度、实时性和稳定性均有待提高。以上降落合作标志在一定程度上都发挥了各自特性，但无人机自主精准降落对实时性、精准性、鲁棒性要求较高。因此，设计 第 卷 第 期 年 月 电 光 与 控 制 贺 勇等：基于视觉导航的无人机自主精准降落一种简洁、高效的降落合作标志以及识别算法尤为重要。本文针对传统导航方式精度低、误差大等问题，结合视觉导航与无人机技术，设计了一种基于 码的嵌套合作标识以及识别算法，通过对机载相机采集到的图像进行处理，融合角点检测与位姿估计，并以特征点坐标解算无人机与坐标标识物之间的相对姿态估计，通过误差模型与加权融合进一步提高算法精准性。而板载计算机将这一信息转换为导航信息传送给飞控板，从而实现无人机姿态控制。最后通过实验仿真验证了该方案的有效性。降落标志设计与坐标系转换 嵌套的 码设计基于视觉导航的无人机自主降落系统中，着陆标志的设计尤为重要，必须满足易识别、简单高效等特点，而基于 码的降落标志满足：）由黑白两色组成，图像阈值处理效率高；）具有方向性，便于辅助求解位姿；）具有可识别性，通过内部编码即可确定。本文设计的基于 码的嵌套降落标志主要由 个 码构成，如图 所示。图 基于 的降落标志 在无人机自主降落过程中，根据无人机与降落板之间的高度变化可分为 个阶段：）第 阶段，摄像机视野下只有大尺寸的二维码，此时只能根据大二维码解算得到位姿信息进行降落；）第 阶段，将有 个不同尺寸的二维码存在于摄像机视野中，分别是外侧大二维码、中心的小二维码以及 个角的二维码，此时可通过对 二维码进行内部编码，识别内部，采取一种加权融合算法对定位数据进行处理，进一步提高降落精度，而 个角的二维码的作用是控制误差，以防止无人机发生偏移，进而保证降落过程的稳定；）第 阶段，大二维码溢出视野，摄像机视野下只存在小二维码，对其检测完成最后的降落。坐标系定义与转换本文相关坐标系转换如图 所示。图 坐标系转换 ）世界坐标系 以 码的中心点为原点，轴与 轴分别平行于降落平台矩形边框，轴垂直于降落平台向下，空间中一点在世界坐标系下可表示为（，）。）机体坐标系 以无人机质心为原点，轴与 轴在与无人机的同一水平面内，定义 轴为四旋翼的任一个支架，轴方向则垂直于该支架，轴垂直于机体平面向下。）机载相机坐标系 以相机光心为原点，轴与光轴重合，且垂直于该平面向下，轴与 轴平行于图像坐标系 与 轴。由于相机云台始终固定在无人机正下方，通常情况下可以用机载相机坐标系代替机体坐标系。）图像坐标系 以光轴与图像中心交点为原点，与 轴平行于图像平面两垂直边。）图像像素坐标系 以图像平面左上角顶点为原点，与 轴分别平行于 与 轴。通过坐标系定义，码上的点（，）到图像像素坐标系下的点（，）的转换关系为（）式中：为机载相机坐标系下 轴的坐标值；，分别为每个像素在 与 轴上的尺寸；为相机的焦距；（，）为图像坐标系的原点在像素坐标系下的坐标；，为相机的内参矩阵，第 期在相机标定中已测得；，为所要求的相机外参矩阵；，分别为旋转矩阵和平移向量。图像处理图像处理的目的是对着陆目标进行定位，然后提取并标记其特征点。该过程包括：图像灰度化、图像阈值化、轮廓提取、四边形检测筛选、码内部 识别。通过优化相应原先算法，进一步提高标志识别准确率和标志识别效率，为基于标记的位姿估计解算算法提供基础条件。在无人机自主着陆中，使用灰度图像可以大大减小图像处理中的计算量，增强实时性。由于本次采用的合作标识是由黑白块组成的，这使得在灰度图像中处理这些图像，获得所需的目标信息更容易。通过加权平均法得到灰度图像为（，）（，）（，）（，）（）式中：（，）为图像像素点灰度化后的灰度值；（，），（，），（，）分别为 图像 个分量的值。考虑到本文实验条件是在室外环境下、受光照影响大、背景复杂等问题，在阈值分割过程中，采用反二进制阈值化选取有效的阈值。（，）（，）（，）（）以式（）的局部自适应值分离灰度图像中背景与着陆标识物，再通过局部邻域块的高斯加权法得到相应阈值（，）。图像阈值化后得到黑白图像，其中：黑色为背景，其像素值为；感兴趣区域为白色，其像素值为，边缘即为黑白区域之间的边界。利用这一特性，采用掏空内部点的方法完成二值化图像的轮廓提取过程。对得到的感兴趣区域进行轮廓处理，由于本文中选择标记的整体形状为四边形，所以需要对提取的轮廓做进一步的滤波操作以提取候选标记，最后通过 算法对图像中的所有轮廓进行多边形拟合。为实现无人机在复杂环境下的降落，如航母等海上环境，由于降落板会随着海面来回摇摆，导致相机视野里的图像变形或丢失，影响降落精度，本文提出一种投影映射的方法，通过构造透视矩阵，使得检测到的图像始终保持稳定，而不会因为降落板的波动发生畸变。投影到新平面的透视方程为 （）式中：（，）为原始图像；（，）表示变换后的图像，为透视变换矩阵。对于每一个 码而言，都具有 个顶点坐标，再加上 个目标坐标便可构造 个方程，而式（）中只有 个未知数，所以得到透视矩阵后再完成一次变换便可将形变图像变换为正面视图图像。完成上述步骤后，需要验证其是否为降落标志图像，因此进行 编码内部识别就尤为重要。主要包括 个步骤：判断黑白色方块、提取内部 矩阵、根据汉明距离得到最终的 编码、细化角点。改进的位姿解算算法现阶段，基于二维码的无人机自主降落的位姿估计大多是采用（）算法，其主要分为直接线性法、定位算法以及 算法等。直接线性法的原理是将全部信息点的坐标代入构造解算矩阵，直接求解，其优点在于获取的数据简洁明了，但增加了计算量，不便于实时求解；定位算法是基于相似三角形的原理，只要保证 个点在同一平面且不共线即可，减少了计算量，但是其算法更多地适用于非正常情况下的 码求解，如标识物遮挡等情况。本文通过结合不同算法的优缺点，提出位姿求解关系，如图 所示。图 位姿求解关系 以 码坐标系为世界坐标系，则 个角点的坐标可表示为 （，），（，），（，），（，）。假设其在图像中对应投影点的像素坐标分别为 （，），（，），（，），（，），代入式（）化简可得（以 坐标为例）第 卷电 光 与 控 制贺 勇等：基于视觉导航的无人机自主精准降落（）式中，；。考虑到内参矩阵 已知且不变，令 ，代入式（）可得 （）用最后一行消去（即 ），可得两个约束条件，即（）将式（）化简得 （）旋转矩阵 为单位正交矩阵，自身具有 个约束：（）由式（）、式（）可知，每个特征点提供了两个关于 的约束条件，而矩阵 中有 个未知数，理论上来说，需要 对匹配点才能解算出，但由单位正交矩阵自身所具有的 个约束，正好加上 码的 个角点就可解算出旋转矩阵和平移向量，另一个角点留作验证。算法性能分析如表 所示。表 算法性能分析 算法平均姿态估计时间总运行时间直接线性法 定位法 共面 算法 本文改进算法 由表 可知，改进的定位算法在姿态估计时间和运行时间上，相较于传统的 算法都有一定缩短。由于改进的检测算法得到的控制点信息在大部分情况下都存在相对误差，这主要可能是由相机畸变或者图像处理所带来的。为进一步提高降落精准性，本文设计了一种基于线性回归的误差模型，从而补偿定位结果。考虑到无人机与降落台的位置和距离关系，通过线性方程可得到残余误差 （）式中：表示每一个测量点；表示实际的测量值；为线性方程回归值；，为回归系数。用矩阵形式，令 ，则式（）的矩阵形式为 （）假定测量值 精度不变，由矩阵变换，可得到回归解为 （）。（）将式（）代回式（）可解得 （）（）（）（）（）（）（）（）（）（）式中，为矩阵的系数。考虑到本文设计的降落板包含 种不同 的 码，为进一步提高无人机自主定位精度，对位姿信息进行加权融合，取降落过程中的观测量和估计量 （）（）式中：为无人机与降落 码之间的距离；为观测到的不同尺寸 码的定位随机误差，；，为不同尺寸 码的定位测量权值。设估计误差为 （）将式（）进行均方误差转换可得代价函数（）（）（）（）又因为（）（）（）（）（）（）（）（）（）（）所以有 ，那么式（）可改写为 （）第 期（）（）。（）要使得代价函数 取最小值，对定位测量权值求偏导，将（），（），（）代入式（），得到无人机相对于降落标志的最优估计量 。（）不同尺寸 码融合后的效果如图 所示。图 不同尺寸 码定位数据融合前后对比图 从图 中可以得到，加权融合后的定位数据精确度有很大提高，相较于单个标签，可靠性更高。在 轴、轴方向的数据离散程度大致相似，在 轴和偏航方向上，大二维码采样数据的离散程度要比小二维码的小，这说明得到的动态和静态数据都有大致相似的规律，因此该方法能大大提高定位数据的精确度。实验研究为验证视觉定位的精度，确保无人机安全稳定降落，采取同一高度下和相同高度下不同角度两种方式进行实验，选定 轴方向上，个角度进行测试，每隔 进行记录，数据结果如图（），（）所示。图 真机实验数据 从总体来看，识别算法对大、小标记的识别均较为稳定，在整个降落过程中，大标记的定位精度基本稳定在 之内，满足无人机第 阶段降落要求；小标记在 以内定位精度基本稳定在 以内，随着高度增加，定位精度误差也逐渐增大，但满足无人机自主降落阶段要求。为进一步验证降落的精准性，继续对自主降落过程中得到的无人机质心与标识物中心的位置误差距离进行分析，误差分析如图（）所示。由图（）可知，当检测到降落标识物时，俯仰方向上的误差距离为负，此时横滚方向上的误差距离为正，表示标识物在机身前方且靠右的位置。在第 和第 之间，横滚方向上产生了一个较大的正向误差，这是由于在无人机的右侧受到外界风的影响使得机身向左方漂移，在外界飞行环境下这种情况是难以避免的，但在导引信号的控制下，误差逐渐消除。总体上看，在无人机自主降落过程中，视觉引导信号始终对无人机位置进行调整，控制误差，在第 后，俯仰、横滚两方向上的误差距离均在 以内并持续了 以上，满足无人机自主降落阶段条件。取 次降落数据对比各标识物识别性能，如表 所示。表 标识物识别性能比较 合作标识物及识别算法平均检测时间 平均降落精度 三角形与同心