一种面向无人机的阵列相机设计及其目标定位算法研究_廖杰 (1).pdf

第 61 卷 第 3 期Vol.61 No.32023 年 3 月March 2023农业装备与车辆工程AGRICULTURAL EQUIPMENT&VEHICLE ENGINEERING0 引言多 UAV 协同编队飞行（Coordinated Formation Flight,CFF）1在执行军事任务中运用广泛，其中采用视觉跟踪实现无通讯自动执行任务更是目前热门研究方向。在军事任务执行中，由于其特殊环境，对于任务中敌方的电磁干扰尤其敏感，这样会导致无人机失控坠毁，无法执行任务而导致重大损失。通过无通讯视觉跟踪系统，视觉识别定位均只需单架无人机完成，无需无人机之间电磁信号通讯，使得抗电磁干扰能力强，并且具有保密性、隐蔽性好的特点，通过视觉识别能自动实现目标识别定位，完成跟踪任务。其中也有很多难点，在飞行过程中由于环境变化复杂，任务中对应飞行目标小，飞行相对位置变动范围大，因而识别难度大，目标定位将要求相机有更广范围的焦距和视场范围，硬件要求高。国外研究人员 Sai Prashanth Soundararaj 等在已知环境下，利用双目视觉定位信息结合光流信息辅助2进行无人机的自主飞行，成功实现了无人机定位和导航功能。此外，Sapienza University of Rom 和弗莱堡大学的自动系统实验室也致力于研究 IMU和视觉定位等技术3，完成了飞行器的自主导航功能验证。2017 年，麻省理工学院的 Zhang 等 4设计了一套基于 RGB-D 相机与 IMU 融合的无人机自主定位系统。目前我国的高校和研究院所等也开展了很多相关研究。2005 年，国防科技大学提出了一种基于双目视距5的里程计方法，通过在运动估计中doi:10.3969/j.issn.1673-3142.2023.03.020一种面向无人机的阵列相机设计及其目标定位算法研究廖杰，吴明晖（201620 上海市 上海工程技术大学 机械与汽车工程学院）摘要 双目视觉定位系统广泛应用于无人机视觉定位领域中，但鉴于普遍使用普通单双目相机，其视场角较小，可调焦距小，不能满足无人机对复杂飞行环境中目标的大视野定位的需求。为此，设计了一种面向无人机的阵列相机包含对应定位算法，无人机搭载其可获得更大视角，降低视觉盲区的影响。同时，为了提供更高的无人机视觉定位系统对空中小目标检测的精度，采用阵列相机技术以及对应定位算法，当僚机搜索待检测目标时，通过阵列相机技术先切换到合适的相机组，然后自动调节相机焦距，识别定位目标。实验表明，该设计可以让无人机更快地追踪到目标，并且目标在画面中成像更清晰，定位更精准。关键词 无人机；阵列相机；双目视觉；视觉定位 中图分类号 TP391.41；TP751.1 文献标志码 A 文章编号 1673-3142(2023)03-0095-06引用格式：廖杰,吴明晖.一种面向无人机的阵列相机设计及其目标定位算法研究 J.农业装备与车辆工程,2023,61(3):95-100.Design of an array camera for UAV and research on target localization algorithmLIAO Jie,WU Minghui(School of Mechanical and Automotive Engineering,Shanghai University of Engineering Science,Shanghai 201620,China)Abstract The binocular vision positioning system is widely used in the field of UAV visual positioning.However,due to the common use of ordinary single-binocular cameras,its field of view is small and the adjustable focal length is small,which cannot meet the requirements of UAVs in complex flight environments.To meet the needs of the targets large field of view positioning,this paper designs a UAV-oriented array camera including the corresponding positioning algorithm research.The UAV can obtain a larger viewing angle and reduce the impact of visual blind spots.Meanwhile,in order to provide a higher accuracy of the detection of small targets in the air by the UAV visual positioning system,the array camera technology and the corresponding positioning algorithm are used.When the wingman searches for the target to be detected,the array camera technology is used to first switch to the appropriate camera group,and then automatically adjust the focal length of the camera and identify the positioning target.Experiments show that this design allows the drone to track the target faster,and the target can be imaged more clearly in the picture and positioned more accurately.Key words UAV;array camera;binocular vision;visual positioning收稿日期：2022-01-18 96农业装备与车辆工程 2023 年利用位置误差平方和最小对运动估计参数进行优化，该算法的位置估算准确性较好，但是实时性较差；2008 年浙江大学提出了一种基于双目视觉的定位系统，首先利用将 RANSAC 算法6与最小二乘算法相结合的方式对过滤匹配对的外点进行过滤，粗略估计运动参数，然后通过 L-M 方法7迭代优化获取运动载体的位置与姿态。该方法减少了由特征点的错误匹配引起的误差的影响；2011 年，孙超等8在 2016 年研究提出了基于对极集合理论的视觉定位算法。该方法提出了一种基于视频流的方式对现有数据库建立方式进行改进，并提出了一种能较好适应环境复杂度的快速图像检索算法9，减少了图像检索的时间，随后利用对极几何条件实现了一种精度较高的视觉定位。上述方案要么采用传统双目定位系统，使用复杂算法优化，要么采用超多变焦单元，到达四五组。前者算法复杂，计算相应慢，后者硬件冗余，质量大，不适合无人机执行复杂飞行任务搭载。针对上述问题，本文设计了一种面向无人机的阵列相机，采用 32 相机阵列组，利用模糊识别切换最合适相机组，再自动对焦识别定位目标；研究改进了相应识别定位算法，相较传统双目定位系统，可实现更快识别、更精准定位及更大更远的视野范围。1 阵列相机的设计与样机搭建1.1 阵列相机的设计为了实现不同距离下相机精确拍照，选用不同焦距原理。焦距指平行光入射时从透镜光心到光聚集之焦点的距离。在相机中即从镜片中心到底片或CCD（Charge coupled Device）图像传感器等成像平面的距离，即平时所说的镜头的焦距，如图 1 所示。由三角形的边长关系可得h/f=H/L (1)式中：hCCD 的高度；f 焦距；L焦距到被拍摄物体的距离；H被拍摄物体的最大尺寸。即拍摄距离的计算公式为L=fH/h (2)值得注意的是式（2）是指被拍摄物体完全占满相机画幅，也即相机成像后目标完全占据画面，这个在识别定位中不需要，只需目标在相机画幅中不过大或者过小，视觉识别定位实验得到一般目标处在相机画幅中 0.10.2 倍之间最为合适，这里用N 来代替，则对应换算焦距 f 的公式为f=（Lh）/（HN）(3)1.2 阵列相机的搭建搭建阵列相机时，考虑到运用于无人机搭载，选用性能强劲的 680PR0 无人机，其三维尺寸为 98 cm98 cm32 cm，最大载质量 2 kg，完全满足搭载阵列相机的硬件条件，并且采用相同型号无人机作为后续实验识别定位目标。在设计阵列相机时，首先考虑所选镜头，这里单个镜头采用视觉识别定位领域最常用的 Prime41相机，在跟踪范围方面具有极大优势，这一优势是多目相机阵列所倾向的，在这个跟踪范围内，Prime41 相机使多目阵列相机能够有效地对前方环境做出不同的反应。Prime41相机具体参数见表1。表 1 阵列相机参数列表Tab.1 Array camera parameter list diagram精度快门类型延迟/ms帧频/(f/s)成像仪分辨率 画幅尺寸/mm亚毫米 全局5.530180 2 0482 048 11.26411.264根据实际无人机飞行识别定位跟踪目标，其与目标的间隔距离在 010 m 不等，在经过多次实际实验考虑实用性、稳定性，最终以2 m、7 m作为分割，设计一种 23 的相机阵列，在僚机上挂载不同焦距的 23 相机阵列，并使用 3 组双目视觉定位的方法来对无人机队列的主机进行空间识别和定位。根 据 之 前 所 给 间 隔 L 为 2 m，7 m，所 选Prime41 相机画幅 h=11.264 mm，目标 680PR0 无人机最大尺寸 H=95 cm，代入焦距 f 计算公式（3），可以计算出最佳焦距范围，如表 2 所示。表 2 最佳焦距范围表图Tab.2 Best focal length range chart距离/m最小焦距/mm最大焦距/mm78.299 816.599 6275.335 610.671 27 m 的范围，也就是长焦镜头，在最佳范围内尽可能选择更大的，这样阵列相机可获得更远的视野。这里也考虑到 Prime41 相机常用镜头，最终选择了 16 mm 的焦距镜头。同理，对于 7 m 时，利用长焦距双目相机 C 进行检测自动定位，使长机在相机画面中成像更大更清晰，并能够在远距离下获得更加精确的定位结果。而当定位距离 7 m距离2 m是是是否否否图 8 阵列相机工作流程图Fig.8 Workflow of array camera廖杰 等：一种面向无人机的阵列相机设计及其目标定位算法研究图 9 室外无人机跟踪状态下测试环境及检测效果图Fig.9 Test environment and detection effect diagram under outdoor UAV tracking stateUAV98.28图 10 3 m 处定位距离图Fig.10 Positioning distance map at 3 m距离/cm308306304302300298296294292室内中午傍晚0 5 10 15 20 25 帧100农业装备与车辆工程 2023 年分析定位实验结果表明，在室内3 m处，深度方向定位误差率为1.6%，平均定位误差只有4.8 cm，经测试最大定位误差率仅为 2.9%，此刻定位误差为20.3 cm，满足无人机定位精度要求。经分析，在室内、室外不同距离处的定位误差率相比传统双目都更快，更加精准。4 结论本文所设计面向