激光点云中三维多目标在线跟踪方法_陈伯云.pdf

第 44 卷 第 4 期2023 年 4 月 激光杂志LASER JOURNALVol.44,No.4April,2023http /收稿日期:2022-09-29基金项目:国家自然科学基金资助项目(No.62065002;61865002)作者简介:陈伯云(1998-),男,硕士研究生,主要研究方向为图像处理、多目标跟踪。通讯作者:陆安江(1978-),男,副教授,硕导,博士,主要研究方向为图像处理,MEMS,光电子技术。E-mail:39146565 激光点云中三维多目标在线跟踪方法陈伯云1,陆安江1,周 骅1,赵 麒2,黄际玮11贵州大学大数据与信息工程学院,贵阳 550025;2贵州民族大学机械电子学院,贵阳 550025摘 要:为降低三维多目标跟踪系统计算复杂度,实现准确高效的多目标在线跟踪,提出一种激光点云中三维多目标在线跟踪方法。在目标检测阶段,通过 3D 深度相机获取五帧点云序列进行三维背景建模,将实时获取的序列与背景模型进行差分运算检测运动目标。在数据关联阶段,结合运动矢量一致性和最小欧式距离建立预测与检测之间的权值匹配矩阵,使用带权匈牙利算法完成匹配。实验结果表明,对于百万级点数的点云图本算法完成目标跟踪耗时每帧低于 0.1 s,跟踪准确度高于 95%,跟踪精度低于 0.5 mm。能够实现毫米级工业小目标的在线跟踪,兼顾了精确性和实时性。关键词:多目标跟踪;三维背景差分法;深度相机;目标检测;数据关联中图分类号:TN249 文献标识码:A doi:10.14016/ki.jgzz.2023.04.0683D multi-object online tracking method in laser point cloudCHEN Boyun1,LU Anjiang1,ZHOU Hua1,ZHAO Qi2,HUANG Jiwei11College of Big Data and Information Engineering,Guizhou University,Guizhou 550025,Guiyang,China;2College of Mechanical Electronic and Engineering,Guizhou Mingzu University,Guizhou 550025,Guiyang,ChinaAbstract:In order to reduce the computational complexity of the three-dimensional multi-object tracking system and achieve accurate and efficient multi-object online tracking,a three-dimensional multi-target online tracking method in the laser point cloud is proposed.In the object detection phase,five-frames of point cloud sequences is ob-tained by the 3D depth camera for 3D background modeling,and the sequences obtained in real time are differentially calculated to detect moving targets.In the data association stage,the weight matching matrix between prediction and detection is established by combining the motion vector consistency and the minimum Euclidean distance,and the weighted Hungarian algorithm is used to complete the matching.The experimental results show that for the point cloud sequence of millions of points,the target tracking time of this algorithm is less than 0.1 s per frame,the tracking accu-racy is higher than 95%,and the tracking accuracy is less than 0.5 mm.It can realize the online tracking of millime-ter industrial small targets,taking into both accuracy and real-time.Key words:multi-object tracking;three-dimensional background difference method;depth camera;object de-tection;data association1 引言多目标跟踪(MOT)是计算机视觉领域的关键技术,在智能驾驶、交通流监测、流水线机器人、航空航天等领域有着广泛的应用1-3。其主要工作是估计目标位置、维持目标身份以将不同帧中同一目标关联起来4,涉及的主要步骤为目标检测、目标状态估计和数据关联等5。得益于近年来深度学习目标检测技术的飞速发展,基于二维图像的多目标跟踪技术目前已经日趋成熟,而针对三维多目标跟踪的研究还方兴未艾6。但传统的二维图像缺少对目标的深度信息,当目标之间出现相互遮挡时无法提取目标的有效信息从而导致跟踪目标之间身份来回切换。深度相机能够提供目标有效空间信息,使用多目标跟踪技术对三维目标进行建模能实现精确的跟踪。http /SORT(Simple Online and Realtime Tracking)7算法是多目标跟踪领域简单高效的算法,将卡尔曼滤波和匈牙利算法这两种成熟算法结合起来,实现了比同时期先进跟踪器快 20 倍的优秀水平,后来的多数算法都在 SORT 基础上进行改进。DeepSor8在 SORT基础上加入了预先训练关联度量来合并的外观信息,实现了较长时间遮挡下的跟踪。但这种方法在目标具有相似外观和复杂运动模式时难以保持目标身份。Jiating Jin 等人9结合 SORT 框架加入了基于 Siamese网络训练提取的外观信息和用光流补偿的卡尔曼滤波器产生的运动信息,相比 DeepSort 算法获得了更好的跟踪精度。但由于二维信息的局限性,这种方法对于相互遮挡的目标仍无法保持目标身份,受环境光影响也比较大。Tingting KOU 等人10利用 RGBD 信息和 Frustum PointNets 作为检测器,在三维数据集上获得了较好的跟踪表现。但该方法算力要求较高,目标跟踪效率不高并不适用于大多数实际场景。通过分析基于结构光成像的 3D 深度相机重建的深度图,将二维图像处理中获取运动物体图像的背景差分法推广到三维点云图,以鸟瞰视角实现了实时获取流水线上运动目标的点云数据。对检测目标运动建模分析,将目标运动矢量一致性和最小欧式距离纳入权值矩阵。实现了流水线上小体积工业目标快速稳定的在线跟踪,具有良好的跟踪精度和实时性。2 三维多目标跟踪算法多目标跟踪算法根据是否使用图像序列的全部帧进行跟踪可分为离线跟踪和在线跟踪,离线跟踪将图像序列中所有目标检测出来,将目标状态信息输入系统进行优化后输出目标预测轨迹11。在线跟踪则对图像序列进行逐帧处理,通过当前帧目标位置信息预测下一帧目标可能的位置信息,这是基于贝叶斯滤波思想实现的12。与前者相比,后者更符合多目标跟踪应用场景,研究也是基于在线跟踪方式的。2.1 基于三维图像的背景差分法(1)背景差分法:背景差分法13是目前二维图像中用于检测运动目标的最常用的方法之一,将获取的图像序列的每一帧与背景参考模型14在同一像素点处的灰度值做差,与背景参考模型像素点差异较大的定义为前景(运动物体),差异较小的定义为背景。假设采集到的背景模型灰度图为 B(x,y),当前获取的帧序列灰度图为 Jn(x,y),对差分结果进行二值化处理,将灰度值大于设定阈值 T1的像素点置为 255,小于 T1的置为0,则差分后获得二值化图像:F(x,y)=255,Jn(x,y)-B(x,y)T10,Jn(x,y)-B(x,y)T1(1)(2)基于三维图像的背景差分法:根据三维成像原理的不同,点云可分为无序点云和有序点云,无序点云通常是由激光雷达等逐点扫描型设备采集的,有序点云则通常由基于结构光、双目视觉 3D 成像原理的深度相机采集。实验采用基于结构光原理的 3D 深度相机采集,该类相机根据投射编码在物体表面上的形变程度进行相位解调获得物体的深度图15-16。对于内参矩阵 Mc、摄像机与投影仪坐标变换矩阵 Mp已知的结构光系统,令摄像机坐标系与世界坐标系重合,则图像坐标 p(xi,yi)与世界坐标 W(x,y,z)的转换关系有:x=zxi/fy=zyi/fz=F(Mc,Mp,f,xi,yi)|(2)式中,f 为摄像机焦距。可以看出,图像坐标与世界坐标相互映射,每帧采集序列相同点之间有严格的一一对应关系,可进行背景差分法二维到三维的推广。采用均值法进行三维背景建模,设通过深度相机连续采集五张不含感兴趣区域的点云图 Ji(x,y,z),i15,则计算得到背景模型:B(x,y,z)=5i=1Ji(x,y,z)()/5(3)在背景建模过程中对相邻帧同位置点在 Z 轴的平均波动误差来设定背景差分法中深度变化阈值 T,提高了运动目标的检测效果,实现了阈值 T 与背景模型的自适应匹配。第 n 帧 Jn(x,y,z)序列各点 Z 轴的值用 zn表示,zn =(zn1,zn2,znq),其中 q 为一帧采集到的总点云数。使用背景序列的前 4 帧求解阈值 T:T=q1(z1i-z2i+z3i-z4i)/2q(4)假设当前获取帧序列为 JN(x,y,z),当前序列各点 Z 轴的值用 zN表示,zN=(zN1,zN2,zNq),背景模型各点 Z 轴的值为 zB,zB =(zB 1,zB 2,zBq)。根据背景建模获取的阈值 T,Z 域值大于 T 的点为前景点保留(用 1 表示),小于 T 的为背景点去除(用 0 表示):F(x,y,z)=1,ZNi-ZBiT0,ZNi-ZBiR(8)式中,t1=0.7,t2=0.3,t1,t2是实验中根据欧式距离和向量夹角为正确匹配贡献权值的可靠度。图 1 目标运动矢量关联图2.3 实验模型及算法流程以鸟瞰视角对运动目标进行检测,将基于二维图像的背景差分法推广至三维图像的背景差分法,主要变化在于背景参考模型与当前序列对应点处由二维图像的像素值之间的差值,变化为三维点云图对应点处深度值之间的差值。搭建的实验模型如图 3 所示。图 2 目标欧式距离关联图图 3 实验模型图本算法流程如图 4 所示。使用 3D 深度相机获取不包含感兴趣区域的五帧点云序列进行三维背景建模后,首先将通过 3D 深度相机实时采集的当前帧与背景模型进行三维差分运算检测运动目标。然后对运动目标进行运动建模后使用卡尔曼滤波对目标状态进行预测,建立预测与检测的权值匹配矩阵,最后使用带权匈牙利算法进行数据关联实现目标跟踪。图 4 算法流程图3 实验结果与分析3.1 实验环境搭建为验证本算法有效性,搭建的实验环境如图 5 所示。选用 3D 深度相机型号为 VS-PCA-P600,该相机使用近红外激光光源,基于结构光成像原理。z 轴重07陈伯云,等:激光点云中三维多目标在线跟踪方法http /复精度为 0.1 mm0.5 mm,单帧采集时间 0.4 s0.8 s,基本满足实验需要。该 3D 相机分辨率