基于双变焦摄像头的空中目标跟拍系统_何紫阳.pdf

电气与自动化何紫阳，等基于双变焦摄像头的空中目标跟拍系统第一作者简介:何紫阳(1995)，男，江西上饶人，硕士研究生，研究方向为嵌入式系统开发。DOI:1019344/j cnki issn16715276202301053基于双变焦摄像头的空中目标跟拍系统何紫阳，赵敏，周宇阳(南京航空航天大学 自动化学院，江苏 南京 210016)摘要:针对空中目标的跟拍画面不清晰、不稳定的问题，设计了一种基于双变焦摄像头的空中目标跟拍系统，采用高精确云台、双变焦摄像头及高性能计算机，能够根据目标距离动态调整双变焦摄像头的焦距，在跟踪目标并拍摄清晰、稳定的运动图像。该系统采用了基于深度学习的目标检测算法，通过加权质心算法计算目标质心位置;采用卡尔曼滤波与轨迹拟合相结合的位置预测算法，利用三面交汇原理计算目标的空间位置。实验结果表明:该系统能够获取目标稳定清晰的图像并计算目标的空间位置，验证了系统的可靠性和实用性。关键词:目标检测;目标跟拍;目标空间定位;双变焦摄像头中图分类号:TP275文献标志码:B文章编号:1671-5276(2023)01-0219-03Air Target Tracking System Based on Two Zoom CamerasHE Ziyang，ZHAO Min，ZHOU Yuyang(College of Automation，Nanjing University of Aerospace Science and Astronautics，Nanjing 210016，China)Abstract:Aimed at the problem of indistinct and unstable tracking picture of air target，an air target tracking system based on twozoom cameras is designed The system，equipped with a highprecision pan tilt，two zoom cameras and a highperformancecomputer，can dynamically adjust the focal length of the dual zoom camera in line with the target distance，and capture a clear andstable moving image of the target while tracking the target The system adopts the target detection algorithm based on deep learningand calculates the target centroid position through the weighted centroid algorithm The system also employs the position predictionalgorithm combining Kalman filter and trajectory fitting to calculate the spatial position of the target by three sided intersectionprinciple The experimental results show that the system can obtain a stable and clear image of the target and accurately calculatethe spatial position of the target，which verifies the reliability and practicability of the systemKeywords:target detection;target tracking;target space positioning;two zoom cameras0引言为了记录空中目标的运动过程，需要对目标进行跟踪拍摄。空中目标具有运动速度快、运动方向不定、体积小等特点，这给基于图像的空中目标跟踪造成了巨大困难。传统的方法是由人手持摄像设备对目标进行跟拍，这容易造成拍摄画面抖动、模糊等。目前，大部分的目标自动跟踪系统采用单个定焦摄像头，这不仅容易丢失目标，而且无法根据目标距离调整摄像头焦距，最终无法拍摄目标的清晰图像。针对上述问题，本文提出了一种基于双变焦摄像头的空中目标跟拍系统。该系统包含多座基站，每座基站都带有一对长短焦摄像头，各基站在不同位置跟拍目标;同时该系统能够根据多组基站的目标跟踪信息对目标进行空间定位，以合理调整摄像头焦距。该系统相对于传统的目标跟踪系统，不仅能够监控更大的空间区域、更迅速地发现目标，而且采用了长短焦摄像头相结合的目标跟拍策略，既能获得较大的视野而不丢失目标，又能获得较为清晰的目标图像。1系统设计11系统硬件组成该空中目标跟拍系统包含多座基站，基站的结构示意图如图 1 所示。基站包括基座以及包含在基座内的工控机，置于基座顶部的无线通信模块、授时定位模块、跟踪摄像头、跟拍摄像头、云台分别与工控机有线连接;跟踪摄像头和跟拍摄像头并排固定于云台上并且保持光轴平行;系统利用无线通信模块建立无线通信网络，并利用该网络共享目标信息;系统利用授时定位模块实现时间同步，确保各基站同步拍摄目标跟踪图像;系统利用授时定位模块获取各基站的空间位置;云台转动带动两座摄像机对准同一空域;跟踪摄像头拍摄的目标图像输入工控机进行处理;跟拍摄像头拍摄的目标高清图像直接输入存储卡进行存储。912电气与自动化何紫阳，等基于双变焦摄像头的空中目标跟拍系统图 1基站结构示意图12系统工作原理系统工作前，三座基站沿顺光方向面对目标空域，并呈环形分布，相邻基站间间隔 20m 以上，基站布置图如图 2 所示。在系统工作过程中，系统会根据翼伞距离将云台两侧摄像头的焦距调整至不同值。其中短焦摄像头用于跟踪翼伞，同时通过云台带动长焦摄像头对准翼伞，长焦摄像头只用于清晰拍摄翼伞。这种长短焦摄像头结合的跟拍方式既能够防止翼伞丢失，又能够拍摄翼伞清晰的图像。图 2基站布置图系统工作包括以下步骤:1)各基站跟踪摄像头、跟拍摄像头的焦距同时初始化到较小的默认值;2)基站探测到翼伞后，调整云台角度，使翼伞成像在图像中心区域，该基站进入跟踪状态，跟踪状态的基站估算翼伞距离和翼伞空间位置，计算跟踪摄像头理想的焦距值，将两座摄像头的焦距同时调整至该值，同时基站向系统广播翼伞的空间位置，其他基站据此调整云台的角度，发现翼伞后进入跟踪状态;3)整个系统进入跟踪状态后，各基站定时、同步向系统广播翼伞的方位信息，系统利用 3 组翼伞方位信息确定翼伞具体的空间位置;4)各基站开始采用卡尔曼滤波与轨迹拟合相结合的位置预测方法，预测翼伞下一时刻的位置，提前调整云台，以保证翼伞在下一帧中成像在图像中心区域;5)各基站计算跟拍摄像头理想的焦距值，并将跟拍摄像头的焦距逐步调整至该值，根据翼伞距离的变化，动态调整跟拍摄像头的焦距，使翼伞在拍摄画面内始终占据 1/4 的中心区域。跟踪摄像头理想的焦距值 f1及跟拍摄像头理想的焦距值 f2的计算方法如下:f1=M1LdDf2=M2LdD(1)式中:D 为目标二维尺寸;L 为基站到目标的距离;d 为像素尺寸;M1为目标能够清晰识别所需的最少像素个数;M2为目标成像区域占据图像 1/4 画面时的像素个数。2空中目标检测、跟踪、定位方法21目标检测方法目标检测识别是指提取图像中发生空间位置相对变化的物体12，并确定其是否为目标。其主要通过图像处理的相关算法对一些时间或空间上的冗余信息进行剔除从而确定目标的出现34。常见的目标检测算法存在着算法复杂性高、抗噪声能力差、对光照变化十分敏感等问题。随着深度学习理论的发展，基于深度学习的目标检测识别技术对复杂背景条件下的目标探测精度越来越高，利用该技术可以直接实现对目标的检测与识别。同时该方法的速度较快，自适应能力较强。因此，本文采用深度学习的方法实现对目标的检测与识别。该方法只需前期利用大量的目标图像训练神经网络，训练成功后即可快速准确地识别并定位图像中的目标。该方法相较于传统的方法可以避免繁琐的图像处理步骤，在目标识别的精度与速度上都得到了提升56。本文以翼伞目标为例，利用深度学习技术进行翼伞的检测与识别。利用工业级机器视觉软件 Halcon 进行图像的处理。借助 Halcon 中的深度学习功能，训练神经网络，利用训练好的网络对翼伞进行识别定位。首先收集大量的翼伞图像作为训练数据集，对神经网络进行训练，之后将其他来源的翼伞图像输入网络，验证是否能够对图像中的翼伞进行识别与定位。神经网络对翼伞检测的结果如图 3 所示。图 3翼伞检测结果22目标跟踪方法目标跟踪是指在每帧图像中确定目标的位置并及时调整摄像头的角度使得目标始终成像在图像中心区域。在利用基于神经网络的目标检测识别算法确定目标区域022电气与自动化何紫阳，等基于双变焦摄像头的空中目标跟拍系统后，对该目标区域采用改进的质心跟踪算法以获取目标的质心。要实现对目标的稳定跟踪，必须准确预测目标下一时刻的位置，以便提前调整云台角度。这可以应对目标运动速度过快和目标被障碍物遮挡的情况。本文采用卡尔曼滤波与轨迹拟合相结合的位置预测方法。建立目标的运动模型和观测模型如式(2)所示。xkvk=1t01xk1vk1+wkzk=10 xkvk+uk(2)状态转移矩阵 A=1t01，观测矩阵 B=10。式中:系统噪声 wk和测量噪声 uk是相互独立的零均值高斯白噪声，方差分别为 Q 和;xk和 vk分别代表 k 时刻翼伞的空间位置和速度的状态值;zk代表 k 时刻翼伞的空间位置的观测值;t 代表采样间隔。利用卡尔曼滤波法减小当前时刻 k 翼伞位置状态量的误差，设 k1 时刻的协方差矩阵为 P(k1|k1)，k 时刻的预测协方差矩阵为 P(k|k1)=AP(k1|k1)AT+Q。k时刻滤 波 增 益 矩 阵 为 K(k)=P(k|k 1)BTBP(k|k1)BT+T1，则可以获得当前时刻 k 的状态量滤波值为xkvk=Axk1vk1+K(k)zkBAxk1vk1(3)式中:xk1、vk1为 k1 时刻状态量的滤波值;zk为当前时刻k 的观测值。利用当前时刻 k 和前 k1 个时刻的翼伞空间位置状态量的滤波值进行轨迹拟合，获得轨迹拟合曲线 xk=f(k)，由此预测 k+1 时刻翼伞空间位置为 xk+1=f(k+1)。在对目标下一时刻的位置进行预测以后，需要根据目标预测位置与目前位置的偏差量来调整云台。设预测目标在下一时刻在图像中的成像位置的坐标为(x，y)，摄像头焦距为 f0，设摄像机的水平视场角和垂直视场角分别为 和，水平方向和垂直方向像平面像素总长为 Width和Height。水平旋转调整角度为，垂直旋转调整角度为。根据公式:f0tg2=Height2f0tg=Xf0tg2=Width2f0tg=Y(4)求得调整角度为:=arctg2Ytg2Width=arctg2Xtg2Height(5)在完成上述步骤后，就能够实现对目标的稳定跟踪，使得目标始终成像在图像的中心区域。23目标空间定位方法利用多个摄像头在多个角度对翼伞稳定跟踪拍摄后，根据各个摄像头的俯仰和水平角度、翼伞在图像中的成像位置、摄像头之间的相对位置等信息，解算翼伞的方位78。拟采用一种利用 3 组摄像机中的翼伞成像信息确定翼伞具体空间位置的方法9。该方法的示意图如图 4所示。图中 O1、O2、O3分别为 3 台摄像机的成像平面中心，P1、P2、P3分别为翼伞在 3 台摄像机的成像平面中的位置。已知 3 台摄像机的相对位置、水平和俯仰角度以及焦距等信息，根据三面交汇原理，就可以确定空间一点为翼伞的位置。图 4目标空间定位示意图3系统测试与实