垂直起降无人机自主视觉着舰方法_林海威.pdf

引用格式：林海威，王彪，唐超颖，等 垂直起降无人机自主视觉着舰方法 电光与控制，（）：（）：垂直起降无人机自主视觉着舰方法林海威，王 彪，唐超颖，徐贵力（南京航空航天大学，南京）摘 要：考虑垂直起降无人机着舰问题的特殊性，提出了一种基于机载视觉的自主着舰方案。突破了传统 光流测速的弊端，利用图像球面光流估计出目标舰船的三维速度矢量。为解决传统位置控制方案对着落轨迹精度控制不足的问题，利用 理论实时规划出一条满足着舰软着落约束条件的期望轨迹，最终以无人机三维飞行速度矢量作为控制量设计了轨迹跟踪控制器。基于 软件开发视景仿真环境，模拟不同海况条件，对所设计系统进行了半实物闭环仿真验证。与传统轨迹规划方案相比，所提方法无需复杂优化迭代计算，能同时满足着舰的实时性和精确性需求。关键词：垂直起降无人机；视觉着舰；球面光流；理论中图分类号：文献标志码：（）：；引言作为衡量一个国家军事实力的重要指标，航母俨然已成为强国的象征。这其中舰机协同、舰载自主着落具有很重要的战略意义，同时也具有很大的挑战性。受海面恶劣环境影响，船只浮摆晃动，这无疑都给着舰造成了极大的困难。因此，亟需一种高精度的自动辅收稿日期：修回日期：基金项目：国家自然科学基金（）作者简介：林海威（），男，福建泉州人，硕士生。通讯作者：王 彪（），男，辽宁开原人，博士，副教授，硕导。助着舰设备。目前，广泛用于导引无人机着舰的系统有很多，比如美国的 无人机自动回收装置采用的就是雷达指令制导，美国 公司研发的 进近着舰虚拟成像系统是基于激光驾束制导。但是这些都依赖于强大的地基 舰基设备支持，搭建成本高昂，不适合小型无人机、小型民用舰船使用。机载视觉传感器是一种成本较低且更自主的传感器，近年来成为较为热门的研究对象。但目前国内外基于视觉的无人机自主着舰相关技术研究还不成熟，仍处于实验室研究阶段；文献使用半球形气囊模拟了着舰区域，第 卷 第 期 年 月 电 光 与 控 制 通过自主识别定位气囊目标，完成了固定翼无人机的自主着落；文献通过检测舰船上的网状区域，完成了对小型固定翼无人机的着舰回收；文献通过在皮卡上搭载可手动控制摇晃的甲板平台模拟海面舰船，并使用图像伺服的相关技术成功实现了四旋翼无人机的自主着舰；文献讨论了基于视觉和 的多传感器融合的视觉着舰方案；文献设计了多种颜色的同心圆环作为着舰目标，并基于 位置偏差控制成功在其自主研制的无人艇上完成了着艇。但上述的大多数视觉着舰研究都没有很好地提出一整套可靠的着舰导引方案，更多的只是关注在视觉目标检测和位姿估计的研究上，而这只是着舰导引系统中探测工作的一部分，并没有关注到着舰的一些特点。因此，本文总结前人工作，并参考视觉着陆的相关研究方案，进一步思考着陆与着舰的区别与联系。通过总结众多学者对于视觉着陆导引规律的研究，根据视觉信息的处理和使用方法的不同，视觉着陆导引方案大体可以分为如下两类：基于位置控制或者位置伺服（，）的视觉导引方案和基于图像伺服（，）的视觉导引方案。基于位置控制的视觉导引方案是指利用图像信息解算出无人机与目标的三维空间相对位置，将空间相对位置信息作为输入数据输入导引模块，并根据当前位置与期望位置之差设计导引控制器，控制无人机移动到目标位置。文献利用位姿解算算法解算出无人机与目标之间的相对位置，接着将数据发送给导引模块，基于位置偏差控制无人机到达指定目标点。基于图像伺服的视觉导引方案是指直接根据由图像特征定义的误差信号设计反馈控制策略导引无人机飞行。文献设计了一套光流控制策略，并使用李雅普诺夫法验证了系统稳定性。文献通过建立图像雅可比矩阵和图像中的当前像素位置与所期望像素位置之差之间的关系，计算出当前无人机的期望速度指令，最终控制无人机着陆在移动目标上。但是基于伺服方法要么只适用于固定目标要么着落轨迹难以精确控制，因此，后来就有学者开始将轨迹规划方案应用于无人机着陆。文献 均是基于路径规划跟踪的位置控制方案，通过规划出一条基于多项式的着陆轨迹，并使目标函数最小化，最终控制无人机按指定路径飞行从而完成着陆。基于轨迹规划的方案，可以有效解决目标从相机视野消失的问题，因为其始终跟踪的只是空间中的路径点，且非常适用于移动目标的着落问题，是近年来的重点研究方向，但其需要对目标运动进行建模，且需要迭代求解最优化问题，计算量庞大，目前的硬件条件难以保证无人机着陆的精度和实时性。此外，此类方案通常都只关心空间中相对位置点，而忽视了目标转动造成的影响，这就使得在着舰场景中应用存在一定的局限性。理论是 提出的一种仿生学方法，他指出当动物接近一个目标时，其对获取的视觉信息处理是有一定的目标导向的，即恒定膨胀策略。动物会根据感知到的光线变化快慢做出相应机动，这与图像光流控制策略十分类似。文献将 理论应用于无人机的悬停研究；文献将 理论应用于无人机目标物体抓取轨迹规划研究；文献改进固有 理论应用于无人机轨迹规划研究。理论方案通过同时控制轨迹点的空间尺度和时间尺度从而避免了传统位置控制方案对轨迹控制精度不足的问题，且其算法简单，满足实时性需求。但是固有 理论通常只适用于固定起始位置和固定目标位置的着落研究，且目标的转动也通常是被忽略的。针对以上问题，面向无人机着舰场景，假设无人机具有稳定的飞行控制回路，本文同时兼顾传统位置控制方案以及 理论方案的优缺点，提出一种决策策略以提高着舰安全性。系统总体方案首先将着舰导引过程分为两个阶段进行设计：）从检测到甲板上的着落标识开始，直至抵达目标上方设定的安全高度处结束，继而进入着舰决策阶段；）决策阶段将目标甲板晃动考虑在内可动态调整安全飞行高度。两个阶段均采用基于速度指令的轨迹规划跟踪导引方式，如图 所示。图 视觉导引系统结构组成图 视觉探测部分为着舰导引提供相对斜距矢量信息，且由于视觉解算得到的为相对位置关系，因此，视觉部分还需输出目标的三维速度矢量信息以将相对空间变换到绝对飞行空间进行设计；导引部分根据视觉解算得到的信息设计轨迹规划跟踪模块，输出速度矢量指令控制无人机着舰；本文采用导引环和控制内环分体化设计的方案，内环控制部分使用的是现有的开源飞控方案，假设无人机具有稳定的飞行控制回路，因第 卷电 光 与 控 制林海威等：垂直起降无人机自主视觉着舰方法此不对控制部分进行研究。本文将从视觉探测和着舰导引算法设计这两个部分阐述视觉着舰导引方案。目标三维速度矢量解算在传统平面透视投影模型中，目标的平移造成的图像光流变化以及目标的转动造成的图像光流变化在转动幅度较小的情况下基本无法区分。为解决这一问题，文献提出球面成像模型，类比人眼视网膜，将成像空间映射到一个单位球上。如图 所示，在本文中 表示相机坐标系，表示机体坐标系，表示惯性坐标系即世界坐标系，（，）为相机坐标系下目标点的位置矢量，（，）为相机光心在惯性坐标系下的位置矢量，为 与目标平面垂线之间的夹角，将其称为视线角，为相机光心到目标平面的垂直距离，此目标平面即为甲板上着舰标识所在平面。图 相机坐标系和机体坐标系关系示意图 惯性坐标系中一点 投影到球形图像的坐标为，表达式为。（）透视成像平面上的一点的光流 与球切线平面上的该点的球面光流 存在映射关系，即（）式中，为投影算子，其物理意义为将向量 投影到与 垂直的切线平面上，表达式为 （）式中，为三阶单位矩阵。目标点 在惯性坐标系下的运动速度矢量为，相机光心在惯性坐标系下的平动速度矢量为，即 （）由于球面光流是在相机坐标系下的表示，故需要将惯性系下的运动速度转换到相机坐标系下进行计算，令和 表示 和 转换到相机坐标系后的结果，即 （）式中，为相机坐标系到惯性坐标系的旋转矩阵。由刚体质心运动学原理及两坐标系之间的转换关系可得旋转矩阵对时间的微分，即（）式中，为一个反对称矩阵，表示的是相机在相机自身坐标系下描述的旋转角速度矩阵，其表达式为 （）式中，分别为相机坐标系下，相机绕自身 个坐标轴，轴的旋转角速率。相机坐标系下目标点 的位置矢量（，）可由惯性坐标系下的位置矢量转化得到，表达式为（）。（）对式（）和式（）求导，经推导可得 （）。（）定义图像三维光流为 。（）定义 为 个目标点的球面矢量累加和，即 ，（）则有 （）（）（）式（）为三维光流计算式，代入三维光流定义式（）并移项可得目标的三维速度矢量 （）式中，可由机载传感器测量得到，至此便得到目标的三维速度矢量。但是式（）仅考虑了目标的平移，目标转动造成的光流变化并未考虑在内。由于目标转动速度无法预估，可将其视为一种观测噪声进行处理，在此采用球面积分降噪的办法。整个目标平面的球面光流积分表达式为 （）式中：为球面积分区域；为一小块积分面积；，为球面积分角度。如图 所示，其为对应相机光轴方向下半球面区域上角度在 到 之间的一部分区间。第 期这么做的原因，首先是为了节约积分成本，节省计算时间，其次，在积分中心的那些点本身并不携带太多的光流信息，对改善测量噪声不会有太大贡献，因此，为了简化计算，将下半球面角度在 以内的部分区域光流忽略不计。的选择与相机的视场角有关，最大取值为。图 球面光流积分区域 采用黎曼积分计算，将整个目标图像平面所在球面积分区域分为 个小块，每个小块的面积为，每个小块取其中心一点的球面光流计算，最后求得的积分结果为 （）（）式中：为目标平面单位法向量在相机坐标系下的表示；为一个对角阵，其表达式为（，）。（）因此，可得三维光流的球面积分为 （）（）代入式（）即可求得积分后的目标三维速度矢量。基于 理论的着舰轨迹规划与跟踪文献定义了一个与时间相关的视觉变量，其表达式为。（）耦合理论指出不同变量之间的 值将保持恒定比例 变化，且随着一个变量闭合收敛至零，与之对应的另一个变量将同时收敛至零，表达式为（）且当且仅当 时，变量 随 衰减至零，速度和加速度也同时衰减至零，且加速度不会出现无穷大。在着舰过程中斜距矢量，目标视线角，目标方位角 之间的关系如图 所示。着舰过程需要满足三者同时收敛至零，且沿斜距方向的速度大小和加速度大小也同时收敛至零的平稳软着落条件。因此基于 耦合理论，建立三者的耦合关系为 （）求解式（）微分方程可得（）（）（）（）（）式中，为初始斜距。定义一个二次抛物线型速度、加速度曲线为（）（）（）（）（）式中：为常数；为衰减时间；为初始时刻速度。建立斜距大小随速度曲线的 耦合关系为（）（）（）同理，解关于斜距大小 的微分方程可得（）（）（）（）（）（）（）（）式中，为初始接近速度。至此，仅衰减时间 待求取。整个着舰过程，无人机初始状态已知，终端时刻自由待求取，终端状态约束，因此，衰减时间 的求取可转换为一个终端时刻自由、终端状态约束、控制有约束的最优控制问题。以沿斜距方向加速度作为系统状态方程的控制输入可得 （）（）（）式中，为终端约束条件，其意义为在衰减时间 斜距为零，沿斜距方向接近速度为零。以时间最优和控制输入能量最小为性能指标定义第 卷电 光 与 控 制林海威等：垂直起降无人机自主视觉着舰方法如下目标函数：（）根据最优控制理论，式（）最小化目标函数为 （）（）（）（）式中，为中间变量。假设初始斜距 ，初始接近速度 ，由式（）可得期望衰减时间 ，由式（）可得斜距变化及沿斜距方向接近速度变化曲线，如图 所示。图 斜距及接近速度的变化率曲线 由图 可见，当 时，斜距以接近速度为零，接近加速度为零衰减至零，满足设计需求。所设计的斜距是随时间变化的函数，因此根据图 中的空间关系可以得到斜距矢量 随时间的函数为 （）（）（）（）（）（）（）（）。（）以目标中心为坐标原点，根据式（）可以得到关于时间的一系列空间轨迹点，因此，着舰导引问题便转化成了斜距矢量的跟踪控制问题，只需要选择合适的轨迹跟踪控制器，即可控制无人机跟踪当前时刻的期望轨迹点，按期望轨迹着舰。本文采用基于滚动时域优化（，）的控制算法来生成速度控制指令，关于滚动时域优化的具体算法可以参考文献中的算法方案。本文以观测到的斜距矢量 作为状态变量，并以沿斜距方向的接近速度矢量 作为控制输入变量，建立的状态方程及观测方程为 （）式中：为零矩阵；，为单位矩阵；由视觉解算算法测量得到。根据文献