图像与激光点云融合的实时目标定位算法_崔善尧.pdf

第 11 卷 第 2 期 导航定位学报 Vol.11，No.2 2023 年 4 月 Journal of Navigation and Positioning Apr.，2023 引文格式：崔善尧,贾述斌,黄劲松.图像与激光点云融合的实时目标定位算法J.导航定位学报,2023,11(2):99-105.（CUI Shanyao,JIA Shubin,HUANG Jingsong.Real-time target positioning algorithm based on image and laser point cloud fusionJ.Journal of Navigation and Positioning,2023,11(2):99-105.）DOI:10.16547/ki.10-1096.20230211.图像与激光点云融合的实时目标定位算法 崔善尧，贾述斌，黄劲松（武汉大学 测绘学院，武汉 430079）摘要：针对单一传感器在自动驾驶实时目标定位中的局限性，提出一种基于图像与激光点云融合的实时目标定位算法：对图像进行目标检测，得到目标在图像坐标系中的区域；然后将激光点云投影到图像坐标系中，使用基于密度的带有噪声的空间聚类（DBSCAN）算法对目标区域内的少量点云进行聚类以提取目标真实点云，降低计算量的同时获取目标准确的位置信息。实验结果表明，该算法可以有效提升在遮挡情况下目标定位的准确性；并通过在嵌入式平台上进行部署，验证了该算法在算力受限的平台上也具有较好的实时性。关键词：自动驾驶；图像检测；点云聚类；数据融合；实时目标定位 中图分类号：P228 文献标志码：A 文章编号：2095-4999(2023)02-0099-07 Real-time target positioning algorithm based on image and laser point cloud fusion CUI Shanyao，JIA Shubin，HUANG Jingsong（School of Geodesy and Geomatics,Wuhan University,Wuhan 430079,China）Abstract：Aiming at the limitations of the single sensor in real-time target localization in autonomous driving,the paper proposed a real-time target localization algorithm based on fusion of images and laser point clouds:the target detection on the image was performed to obtain the area of the target in the image coordinate system;and the density-based spatial clustering of applications with noise(DBSCAN)algorithm was used to cluster a small number of point clouds in the target area to extract the real target points;then the accurate location of the target was obtained while reducing the amount of computation.Experimental results showed that the proposed algorithm could effectively improve the accuracy of target positioning in the case of occlusion;and through deploying it on the embedded platform,it could be verified that the algorithm would have good real-time performance even on limited computing resource.Keywords:autonomous driving;image detection;point cloud clustering;data fusion;real-time target localization 0 引言 环境感知是自动驾驶车辆实现自主行驶的基础和前提1。提高车辆感知附近目标的实时性和准确性，不仅可以提高车辆的自动驾驶能力，也对自动驾驶安全具有重要意义2。因此，如何对车辆周围目标进行及时、精准的定位具有重要的研究价值。目标定位首先要对目标进行检测，已有大量学者针对图像目标检测算法进行了研究，目前的主流方法是基于深度学习的算法，主要包括只看一次（you only look once，YOLO）系列3-6、单次多视窗检测（single shot multibox detector，SSD）7、区 域 卷积 神经 网 络（region-based convolutional neural network，R-CNN）系列8-10、特征金字塔网络（feature pyramid networks，FPN）11等。这些图像目标检测算法虽然可以较好地获取目标方位，但受限于图像无法提供深度信息，难以准确判定目标的距离。激光雷达可以获取目标准确的空间位置，因此 收稿日期：2022-05-28 第一作者简介：崔善尧（1997），男，江苏淮安人，硕士研究生，研究方向为自动驾驶多源传感器融合。100 导航定位学报 2023 年 4 月 对于自动驾驶具有重要的应用价值。基于激光点云的目标检测算法也是一直以来的研究热点，其可分为传统算法和基于深度学习的算法。传统算法一般先进行地面点云滤除、滤波等操作，然后对点云进行空间聚类，从而确定各目标的位置。传统算法受聚类方法、点云数量的影响，难以保证较好的检测效果和实时性。基于深度学习的算法有采用单阶段网络的体素网络（voxel network，VoxelNet）12、点云柱状特征网络13、点云图神经网络（point-based graph neural network，Point-GNN）14等，以及采用双阶段检测的点云体素区域卷积神经网络（point voxel region-based convolutional neural network，PV-RCNN）15、体素区域卷积神经网络（voxel-based region-based convolutional neural network，Voxel R-CNN）16等算法。相较于单阶段，双阶段的检测精度更高，但速度较慢。同时，基于深度学习的点云目标检测对计算资源的需求较高，在算力受限的平台上实时性较差。结合相机可准确获取目标方位和激光雷达能准确获取目标空间位置的特点，众多学者对基于图像和点云数据融合的目标检测算法进行了研究。文献17先对点云进行聚类得到目标感兴趣区域，然后将其投影到图像坐标系下，再使用卷积神经网络对感兴趣区域内的目标进行检测，提升了检测速度。文献18分别对点云和图像数据进行目标检测，然后通过决策级融合获取目标的位置、类别等信息，但是目标被遮挡时距离准确度不高。文献19先对图像中目标进行识别，然后将图像检测框与点云进行快速配准，降低了图像漏检的概率。文献20先用参数自适应的基于密度的带有噪声的空 间聚 类（density-based spatial clustering of applications with noise，DBSCAN）算法对点云进行聚类，然后融合深度学习图像检测的结果，以去除聚类结果中的冗余目标。该算法虽然具有较高的精度和鲁棒性，但是处理的点云数量较多，融合时会剔除较多的点云聚类结果，消耗了计算资源。这些方法一定程度上提高了目标的检测率，但是在算力受限的平台上难以保证较好的实时性。针对以上单一传感器在实时目标定位中难以准确获取目标距离、算力要求高，多传感器融合在算力受限的平台上实时性难以保证的不足，本文提出了一种基于图像与激光点云融合的实时目标定位算法。该算法将图像的检测结果和激光点云进行融合，从而剔除目标区域外的点云以降低数据量，并使用 DBSCAN 算法对目标区域内的点云进行聚类，以提取目标的真实点云，实现对目标的定位。1 算法介绍 1.1 目标定位算法流程 本文设计的图像与激光点云融合的实时目标定位算法流程如图 1 所示，主要包括数据融合和目标定位 2 个部分。首先采集激光点云和图像数据，并对其进行数据同步；再将去畸变后的图像使用 YOLOv4 进行目标检测，得到多个目标在图像坐标系中的位置、类别等信息；然后利用相机与激光雷达间的外参，将点云投影到图像平面上，并剔除图像中目标区域外的点云，完成点云与图像之间的数据融合；最后对图像目标区域内的少量点云进行聚类，提取目标的真实点云，从而获取目标准确的空间位置和距离，完成目标定位工作。图 1 算法流程 1.2 图像和点云数据同步 1.2.1 时间同步 在相机和激光雷达构成的多传感器系统中，由于各传感器的时钟基准不一致，需要对传感器间进行硬件时间同步，以保证各传感器工作在同一时间基准下；又由于各传感器的曝光频率不一致，第 2 期 崔善尧，等.图像与激光点云融合的实时目标定位算法 101 需要对各传感器数据进行软件时间同步，以保证各传感器对同一环境事件的感知数据都拥有相同的时间戳，从而保证图像和点云数据的正确融合。本 文 选 用 了 车 规 级 千 兆 多 媒 体 串 行 链 路（gigabit multimedia serial links，GMSL）相机和非重复扫描式激光雷达作为实验用传感器。GMSL 相机支持触发式曝光，通过记录相机触发时间并对数据传输延迟进行修正，可获取图像的真实时间戳，该时间基准由上位机提供；激光雷达通过精确时间协议（precision time protocol，PTP）进行硬件时间同步，其时间基准由上位机提供。至此，相机和激光雷达便工作在了同一时间基准下，然后可对其数据进行软件时间同步。本文采用时间索引的方式，即对每一帧激光点云数据寻找与其采样时刻最近的图像数据，从而完成图像和点云数据间的软件时间同步。1.2.2 空间同步 相机和激光雷达的成像数据都在其自身坐标系下，在进行数据融合时，需要将其数据在空间上转换到同一个坐标系下，即进行空间同步。传感器A 到传感器 B 的坐标转换矩阵BAT为 TBBBAAA|=ORtT1（1）式中：BAR为传感器 A 到传感器 B 的旋转矩阵，矩阵大小为 33；BAt为传感器 A 到传感器 B 的平移矩阵，矩阵大小为 31；TO为零矩阵的转置矩阵，矩阵大小为 13。在进行激光点云和图像数据的融合时，涉及的坐标系有激光雷达坐标系LO，下标 L 表示激光雷达；相机坐标系CO，下标 C 表示相机；图像坐标系UVO，下标 U 表示图像的水平方向，下标 V 表示图像的垂直方向。图 2 为这 3 个坐标系之间的空间转换关系。图 2 坐标系空间转换关系 设环境中一点P在激光雷达坐标系下坐标为LP，在相机坐标系下坐标为CP，在图像坐标系下坐标为UVP，则点LP从激光雷达坐标系转换到相机坐标系下的计算方法为 CCCCLLLLL=+=PR PtT P（2）式中：CLR为激光雷达到相机的旋转矩阵；CLt为激光雷达到相机的平移矩阵；CLT为激光雷达到相机的转换矩阵。则点CP从相机坐标系转换到图像坐标系下的计算方法为 UVCCxxyyfcfcZZ|=PKPP0110001（3）式中：Z为点P在相机坐标系下z轴的坐标；K为相机的内参矩阵；xf、yf为相机焦距的缩放因子；xc、yc为图像