基于视觉的飞机操纵系统输入端位置测量技术_杜官明.pdf

数据采集与处理测控技术2023 年第 42 卷第 2 期收稿日期:2021 09 23基金项目:国家自然基金青年科学基金项目(61702260)引用格式:杜官明，孙瑾，高敬博 基于视觉的飞机操纵系统输入端位置测量技术 J 测控技术，2023，42(2):81 86DU G M，SUN J，GAO J B Vision-based Position Measurement Technology of Input Terminal of Aircraft Control System J Meas-urement Control Technology，2023，42(2):81 86基于视觉的飞机操纵系统输入端位置测量技术杜官明，孙瑾，高敬博(南京航空航天大学 民航学院，江苏 南京210016)摘要:飞机操纵系统输入是飞行性能、安全监测的重要数据来源，针对传统飞行数据采集方式需对真机进行改装并加装传感器所带来的改造成本大且影响飞行员操纵感觉的弊端，提出一种基于视觉的飞机操纵系统输入端位置测量技术。为避免视觉输入中飞机驾驶舱复杂环境的影响，将随机生成的二维码固定在飞机操纵系统输入端，使用计算机视觉技术识别二维码并进行特征点提取，通过 PnP(Perspec-tive-n-Point)问题的求解将飞机操纵输入端的位移测量转换为相机位姿求解。实验结果证明了所提方法的有效性，并通过与红外测距仪的对比实验验证了本文算法在精度上的优势，其测量平均误差在 2mm 内，能达到实时处理速度，丰富了飞行数据的采集方式。关键词:飞机操纵系统输入端;计算机视觉;PnP;飞行数据采集中图分类号:V227;TP391文献标志码:A文章编号:1000 8829(2023)02 0081 06doi:10 19708/j ckjs 2022 02 218Vision-Based Position Measurement Technology of Input Terminal ofAircraft Control SystemDU Guan-ming，SUN Jin，GAO Jing-bo(College of Civil Aviation，Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China)Abstract:The input of aircraft control system is an important data source for flight performance and safety mo-nitoring In view of the disadvantages of the traditional flight data acquisition method that requires the modifica-tion of the real aircraft and installs sensors，which is costly and affects the pilots feeling of handling，a vision-based technology for measuring the position of the input terminal of aircraft control system is proposed In orderto avoid the influence of the complex environment of aircraft cockpit in the visual input，the randomly generatedQ code is fixed at the input terminal of the aircraft control system The computer vision technology is used toidentify Q code and extract the feature points Through the solution of PnP(Perspective-n-Point)problem，thedisplacement measurement of the aircraft control input is transformed into the solution of camera pose Experi-mental results indicate that the proposed method is feasible Compared with infrared rangefinders，it is verifythat the proposed method has higher accuracy with the average measurement error within 2 mm，and it can a-chieve real-time processing speed，which enriches the way of flight data acquisitionKey words:input terminal of aircraft control system;computer vision;PnP;flight data acquisition飞行数据指记录下来的用于描述飞机运动状态和飞机各系统工作状态参数的集合，主要包括飞机设计数据、风洞数据和试飞数据等，也称飞行数据包，广泛应用于事件调查、飞行品质监控和飞机维修等领域，同18时也是飞行模拟器研制中的关键数据。当前由于技术壁垒和价格因素，飞行数据包成为飞机设计、模拟器研制过程中的瓶颈。飞机操纵系统输入端数据是飞行数据中的重要组成部分，目前主要由真机改造加装传感器获取，其中线性可变差动位移传感器1(Linear Variable DifferentialTransformer，LVDT)是飞机驾驶杆位移测量中的常用设备，可实现对飞机操纵系统的动、静态特性的测试。LVDT 传感器适应性良好、测量精度高，但是其作为一种接触式测量工具，安装时必须对飞机进行改装。例如，文献 2 和文献 3 通过将力传感器与线性位移传感器连接实现驾驶杆杆力和位移的测量。传统上对飞机进行改造加装传感器时需要对飞机驾驶舱中的一些部件进行拆除，同时要求不能改变飞机操纵系统的功能和特性。受驾驶舱空间限制，传统上对飞机进行改装的成本高、时间代价大，不可避免地会影响驾驶员的操纵感觉。随着计算机技术的发展，计算机视觉技术作为一种非接触式的测量方式，在检测、识别和人机交互等方面得到广泛研究与应用。基于计算机视觉对飞机操纵系统输入端进行位置测量隶属于视觉测量范畴，目前视觉测距中广泛使用红外测距方式，其测量范围广、响应时间短。但由于黑色物质吸收红外线，因此无法对黑色物体精确测距。同时为获得精确测距，红外测距要求被测物体平面与光线垂直。针对飞机座舱环境，本文采用普通相机实现视觉测距。当前使用相机实现测距的方式主要有单目测距、双目测距和多目测距。其中，双目测距4 5 往往使用深度相机来对目标进行深度测量和 3D 转换，深度相机测距范围有限并易受外界干扰。多目测距是双目测距的拓展，算法复杂度高，会影响实时性。相对而言，单目测距具有结构简单、运算速度快、成本低等优点。因此本文采用单目测距方式实现飞机操纵系统输入端的位置测量。PnP(Perspective-n-Point)问题始于相机标定问题，为得到最优解并提高测距精度，Li 等6 提出 PnP 算法解决抗噪能力不强的问题，Wang 等7 提出了相比于 PnP 算法精度和稳定性更优的 SPnP 算法。通过对 PnP 问题求解衍生出多种相机位姿估计算法，如POSIT 算法8、EPnP 算法9。本文将 PnP 问题应用于飞机操纵系统输入端位置测量，利用 PnP 问题将飞机操纵输入端的位移测量转换为相机位姿求解，最终实现基于视觉的无接触式数据采集方案。相较于加装传感器方式，所提出的方法无须对飞机进行改装，降低了数据采集成本，且不会影响飞机安全性能。1PnP 问题已知观察物体上 n 个特征点，且已知它们之间的相对位置，PnP 问题就是从透视投影得到的 n 个图像点计算相机相对物体的位姿。PnP 问题自提出以来就备受关注，其广泛应用于不同设备的姿态测量、无人机着陆、导弹导航定位和虚拟现实等领域。对于 PnP 问题的解决始于相机标定，通过利用多个控制点在三维场景中的坐标及其在图像中的透视投影坐标即可求解出相机坐标系与表示三维场景结构的世界坐标系之间的绝对位姿关系，包括绝对平移矩阵 T 和旋转矩阵。即通过图像成像时的几何关系对图像坐标系和相机坐标系以及世界坐标系进行转换，其实质就是利用世界坐标系中的特征点及其二维图像所对应的投影来计算相机坐标系与世界坐标系之间的旋转矩阵 和平移矩阵 T。相机成像模型如图 1 所示，相机坐标系是以相机为中心的 XcYcZc坐标系，Zc轴为相机光轴;像平面坐标系是指在相机内所形成的 xy 像平面坐标系统，像平面与相机坐标系的 XcYc平面平行，这样像平面原点就在相机光学轴上;图像坐标系是指在计算机内部数字图像所用的坐标系，即图 1 中 uv 坐标系，与像平面坐标系在同一平面上，不同之处是计算机图像坐标系 u、v 是以像素为单位的图像坐标系，像平面坐标系 x、y是以物理单位(例如 mm)表示的图像坐标系。像平面坐标系以图像内相机光轴与像平面的交点 O 为原点，该点在 uv 坐标系中坐标为(u0，v0)，称为主点。该点一般位于图像中心处，但由于相机制造工艺等原因，会有所偏离。由图 1 相机的成像模型可知，世界坐标系与相机坐标系的关系为XcYcZc1=T01XwYwZw1(1)式中:(Xc，Yc，Zc)为空间点 P 在相机坐标系中的坐标;T 为相机坐标系相对世界坐标系的旋转矩阵与平移矩阵;其中 为 3 3 矩阵，T 为 3 1 矩阵。图 1相机成像模型28测控技术 2023 年第 42 卷第 2 期由图 1 可知，相机与图像坐标系的关系为xy1=f0000f000010XcYcZc1(2)式中:为比例因子，0;f 为相机的焦距;p(x，y)为三维空间点 P(Xw，Yw，Zw)对应的图像投影点，即为光心 Oc和 P 点的连线与图像平面的交点。将式(1)与式(2)结合可得到世界坐标系与像素坐标系的转换关系:uv1T=1dx0u001dyv0001f000f0001 TXwYwZw1=fx0u00fyv0001 TXwYwZw1(3)式中:(u0，v0)为主点坐标;f 为相机的焦距;dx、dy为每一个像素在 X 轴和 Y 轴方向上的物理尺寸;fx=f/dx，fy=f/dy分别为 x 轴和 y 轴上的归一化焦距;(Xw，Yw，Zw)与(u，v)为空间点对应的 3D 坐标与其图像坐标系上的 2D 投影点;fx，fy，u0，v0为相机内参，可以通过对相机进行标定求出，定义相机内参数矩阵为K=fx0u00fyv0001实际过程中，由于 u 轴和 v 轴不垂直产生畸变，内参数矩阵增加一个畸变因子 s(Skew Parameter)，所以相机的内参数矩阵 K 重新定义为K=fxsu00fyv0001为提高测量精度，在对飞机操纵系统位置测量中通过对相机进行标定求得相机的畸变参数，对输入视频进行消畸变。对 和 T 展开，可进一步得到:uv1T=fx0u00fyv0001111213T1212223T2313233T3XwYwZw1=K111213T1212223T2313233T3XwYwZw1(4)通过对式(4)求解可以得到其旋转矩阵 和平移矩阵 T，即得到相机相对于世界坐标系的位置和姿态，此为 PnP 问题的解。将相机固定，将世界坐标系原点设在飞机驾驶杆上，飞机驾驶杆的位姿信息则转换为通过 PnP 问题求解相机相对于世界坐标系的位置。2飞机操纵系统输