基于PTZ摄像机的行车吊钩主动跟随算法_朱林.pdf

第 37 卷 第 5 期 2023 年 9 月湖南工业大学学报Journal of Hunan University of TechnologyVol.37 No.5 Sep.2023 doi:10.3969/j.issn.1673-9833.2023.05.001收稿日期：2022-11-17基金项目：湖南省自然科学研究青年基金资助项目（2020JJ5144）；湖南省教育厅科学研究基金资助项目（19C0563）；2022 年度省市联合基金资助项目（20221150088）作者简介：朱 林（1995-），男，江苏扬州人，湖南工业大学硕士生，主要研究方向为图像处理与机器视觉，E-mail：通信作者：龙永红（1968-），男，湖南株洲人，湖南工业大学教授，博士，主要研究方向为智能检测，控制理论与应用，机 器视觉及其应用，E-mail：基于 PTZ 摄像机的行车吊钩主动跟随算法朱 林，龙永红，胡聪崴（湖南工业大学 轨道交通学院，湖南 株洲 412007）摘要：传统固定式摄像机由于其监控的狭隘性与被动性，无法自适应调整其焦距值来获得目标清晰图像，使得行车吊钩跟随具有较大的挑战性。因此，提出一种基于 PTZ 摄像机的行车吊钩主动跟随算法。首先通过摄像机标定求解摄像机初始状态角度和内置参数 K 中的焦距值，利用几何投影关系，建立摄像机与车间坐标系的动态成像模型，根据模型和行车吊钩位置估计摄像机的 P、T、Z 值；然后针对高分辨率图像逐渐偏移图像中心区域的问题，采用特征点自动对准算法，二次计算摄像机的 P、T 增量；最后基于估计的 P、T、Z 值及其增量，调用摄像机接口函数进行姿态调整，使行车吊钩始终位于图像中心，完成主动跟随任务。实验结果表明，该算法可以很好地适用于大视场下的目标跟随。同时，该算法需要实时采集目标点的世界坐标，因此同样适用于装有 GPS 定位设备或者距离传感器等的目标跟随。关键词：PTZ 摄像机；主动跟随；动态成像模型；自动对准中图分类号：TP273+.2 文献标志码：A 文章编号：1673-9833(2023)05-0001-08引文格式：朱 林，龙永红，胡聪崴.基于 PTZ 摄像机的行车吊钩主动跟随算法 J.湖南工业大学学报，2023，37(5)：1-8.An Active Following Algorithm for Crane Hooks Based on PTZ CameraZHU Lin，LONG Yonghong，HU Congwei（College of Railway Transportation，Hunan University of Technology，Zhuzhou Hunan 412007，China）Abstract：Due to the narrowness and passivity of the traditional fixed camera monitoring,as well as its inability to adjust the focal length values to obtain clear images of the target,crane hook following is confronted with a significant challenge.Therefore,an active following algorithm has thus been proposed for crane hooks based on PTZ camera.Firstly,a calculation can be made of the initial state angle of the camera and the focal length value in the built-in parameter K through camera calibration.By using geometric projection relationships,a dynamic imaging model can be established between the camera and the workshop coordinate system,followed by an estimation of the P,T,and Z values of the camera based on the model and the position of the crane hooks.Then,in view of the problem of high-resolution images gradually shifting from the center area of the image,a feature point automatic alignment algorithm is adopted for a calculation of the P and T increments of the camera twice.Finally,based on the estimated P,T,Z values and their increments,the camera interface function is called to adjust the attitude,so that the crane hook is always located in the center of the image,thus completing the active following task.The experimental results show that the 2湖南工业大学学报 2023 年proposed algorithm can be well applied to target tracking in a large field of view.Meanwhile,the algorithm requires a real-time collection of the world coordinates of the target point,which makes it applicable to target tracking equipped with GPS positioning equipment or distance sensors as well.Keywords：PTZ camera；active following；dynamic imaging model；automatic alignment1 研究背景随着“中国制造 2025”的快速推进，传统工业正在向数字化、网络化、智能化改进。冶金工业作为工业体系的一部分，更是我国其它行业发展的基石。冶金的特殊工艺流程，需要对各个阶段的有色金属进行大规模、高频率地搬运，这使得智能物料无人搬运系统的应用具有重要作用。同时，优化智能物料无人搬运系统对冶金工业智能化具有十分重要的意义。国内冶金工业现场的物料搬运系统，主要依靠人工交流指挥行车进行运输，由于冶金车间工业生产的特殊性，人工交流方式常常会因为高噪声、远距离等因素而使得工人指挥行车信息不明确，易导致安全事故。因此，如何对冶金现场下的行车吊钩进行主动跟随是实现智能物料无人搬运系统的关键环节。目前，对于大规模冶金工业场景的无人搬运系统的自动化、智能化要求，其主流的解决方案是构建大量固定摄像机或者 PTZ（Pan/Tilt/Zoom）摄像机组成的多摄像机系统1，但是此方案的设备价格昂贵且复杂，运行稳定性较差，因此，采用单个PTZ 摄像机主动跟随动态目标的方法受到国内外学者们的广泛关注。PTZ 摄像机主动跟随系统，根据动态目标位置大小来控制摄像机的姿态和焦距变换，具体的解决方案主要分为动态目标图像检测和动态目标成像模型两种。其中，动态目标图像检测是指利用数字图像处理方法，从图像或者视频序列中分离出动态目标信息，再依据检测结果实现后续摄像机的主动跟随效果。由于本系统最终需要被应用于实际工业场景中，因此，对目标检测算法的鲁棒性和实时性提出了较高要求。同时，随着 PTZ 摄像机主动跟随下姿态角的变化，动态背景模型的更迭也加大了目标位置的定位难度。动态目标成像模型，是指利用摄像机标定技术建立动态目标成像模型，后续将动态位置坐标输入成像模型中，最终计算出摄像机主动跟随的姿态角与焦距值。其中，动态目标位置的获取主要通过可编程逻辑控制器（programmable logic controller，PLC）或者全球定位系统（global positioning system，GPS）等定位设备进行采集。虽然此方案摒弃了上述目标检测中的动态目标定位过程，但是需要建立PTZ摄像机的动态目标成像模型，这导致其中的摄像机内外参数标定成为主要的研究目标之一。目前，国内外学者们对 PTZ 摄像机主动跟随系统进行了大量的研究。其中文献 2 提出了一种基于固定摄像机与 PTZ 摄像机的动态对齐，将其视场转换为简单的反正切控制函数的方法，以动态计算 PTZ的控制参数。文献 3 提出了一种智能高帧率目标跟随算法，该算法能够在复杂背景下同时检测和跟踪外观变化目标，实现高速视觉的反馈控制。文献 4 主要针对摄像机在不同视角下的背景变化问题，提出了一种在线校正 PTZ 摄像机内外参数的方法，实验结果表明该方法可以实时跟踪多个运动目标。文献5 提出了一种快速随机森林方法，以预测摄像机的姿态角，且因该方法不需要进行图像与图像间的特征匹配，从而为新图像提供了一种有效的校准方法。文献 6 提出了一种通过跟踪图像中具有已知 3D 位置的无人机来估计PTZ摄像机6自由度姿态的技术，模拟实验结果证明其能在短距离视觉跟踪飞行后，定位其 PTZ 参数值。文献 7 将目标检测和目标跟踪相结合，并利用 PTZ 模糊控制策略，实现了 PTZ 对动态目标的主动跟随效果。文献 8 考虑到摄像机镜头的畸变问题，提出了一种简单而有效的校准 PTZ（倾斜/变焦）相机的方法，该方法只需利用两张图像的焦距、长宽比、主点坐标和失真系数等内置参数。也有学者通过深度学习来预测摄像机姿态角的计算方式，此方法主要被应用于较为常见的固定场景中，比如足球、篮球赛场等。如文献 9 提出了一种精确实用的多台云台摄像机直播校准方法。该方法对云台摄像机系统进行建模，可以准确地预估模型中的未知参数。预估完成后，利用摄像机系统中传感器采集的泛倾角和变焦值，可实时计算出准确的摄像机参数。文献 10 提出了一种端到端的方法，可被用于具有挑战性场景运动中的单运动摄像机校准。此外，学者们提出了一些基于几何图形学来进行动态目标跟踪的方法，主要包括背景差分法11、帧间差分法12、光流法13等。3朱 林，等基于 PTZ 摄像机的行车吊钩主动跟随算法第 5 期虽然上述研究在各自的应用场景中均取得了较好的跟随效果，但是对于进行目标的主动跟随方面，还存在以下问题：1）PTZ 摄像机的内外参数矩阵随着 P、T、Z 值动态变化，如何校准各参数，建立摄像机与运动目标之间的动态成像模型，尚需进一步研究。2）当运动目标距离摄像机较为偏远时，一般通过增加焦距值来获得高分辨率的目标图像，但主动跟随效果受到 P、T 值的影响较大，故如何精准计算 P、T 值来增加算法的鲁棒性尚需深入探讨。针对上述问题，本文提出一种基于 PTZ 摄像机的行车吊钩主动跟随算法，将摄像机的 P、T、Z 值作为模型参数值，建立 PTZ 摄像机与行车吊钩动态成像模型，此模型无需进行离线标定。且针对适用高分辨率图像进行跟踪时易受摄像机 P、T 值影响等问题，课题组采用自动对准算法，进行二次计算 P、T 值增量，提高主动跟随目标精度。2 算法概述本研究提出的主动跟随动态目标算法流程具体如图1 所示。基于 PTZ 摄像机的行车吊钩主动跟随算法，主要是根据吊钩的世界坐标，自动调整摄像机的姿态角P 和