基于邻域一致性的点云场景流传播更新方法_郑晗.pdf

基于邻域一致性的点云场景流传播更新方法郑晗1王宁1马新柱2张宏1王智慧1李豪杰11（大连理工大学-立命馆大学国际信息与软件学院辽宁大连116000）2（悉尼大学电气与信息工程系澳大利亚悉尼2006）（zheng_）Point Cloud Scene Flow Propagation Update Method Based on NeighborhoodConsistencyZhengHan1,WangNing1,MaXinzhu2,ZhangHong1,WangZhihui1,andLiHaojie11（International School of Information Science and Engineering,Dalian University of Technology-Ritsumeikan University,Dalian,Liaoning116000）2（Department of Electrical and Information Engineering,The University of Sydney,Sydney,Australia 2006）AbstractSceneflowisa3Dmotionfieldbetweencontinuousdynamicscenes,whichiswidelyappliedinroboticsandautonomousdrivingtasks.Existingmethodsignorethecorrelationofpointcloudpointsandfocusonlyonthepoint-by-pointmatchingrelationshipbetweenthesourcepointcloudandtargetpointcloud,whichisstillchallengingtoestimatethesceneflowaccuratelyatthepointswithinsufficientlocalfeatureinformation,becausethematchingrelationshipdependsentirelyonthefeatureinformationofthepointclouddata.Consideringthecorrelationpropertyofthesourcepointcloudslocalregions,theNCPUM(neighborhoodconsistencypropagationupdatemethod)isproposedtopropagatethesceneflowfromhigh-confidencepointstolow-confidencepointsinlocalregions,soastooptimizethesceneflowatthepointswithinsufficientlocalfeatureinformation.Specifically,NCPUMconsistsoftwomodules:theconfidencepredictionmodule,whichpredictstheconfidenceofthesourcepointcloudaccordingtotheprioridistributionmapofsceneflow;thesceneflowpropagationmodule,whichupdatesthesceneflowofthelowconfidence point set based on the local area consistency constraint.We evaluate NCPUM on both challengingsyntheticdatafromFlyingthing3DandrealLidarscansfromKITTI,andexperimentresultsoutperformbypreviousmethodsalargemargininaccuracy,especiallyonKITTIdataset,becausetheneighborhoodconsistencyismoreapplicablewiththeaprioriassumptionsofrealLidarscans.Key wordssceneflow；pointcloud；neighborhoodconsistency；confidence；deeplearning摘要场景流是连续动态场景之间的 3D 运动场，广泛应用于机器人技术和自动驾驶任务.现有方法忽略了点云点的相关性，仅关注源点云和目标点云逐点的匹配关系，由于匹配关系完全依赖于点云数据的特征信息，导致在局部特征信息不足的点上准确估计场景流仍然存在挑战.根据源点云相邻点具有相关性的特性，提出 NCPUM（neighborhoodconsistencypropagationupdatemethod）方法，在邻域内将场景流从高置信度点向低置信度点传播，从而优化局部特征信息不足点的场景流.具体来说，NCPUM 包含 2 个模块：置信度预测模块，根据场景流先验分布图，预测源点云逐点的置信度；场景流传播模块，根据局部区域一致收稿日期：20210709；修回日期：20220225基金项目：国家自然科学基金项目（61976038，61932020，61772108，U1908210）；中央高校基本科研业务费专项资金（DUT20GF18）ThisworkwassupportedbytheNationalNaturalScienceFoundationofChina(61976038，61932020,61772108,U1908210)andtheFundamentalResearchFundsfortheCentralUniversities(DUT20GF18).通信作者：王智慧（）计 算 机 研 究 与 发 展DOI：10.7544/issn1000-1239.202110745JournalofComputerResearchandDevelopment60（2）：426435，2023性的约束更新低置信度点集的场景流.NCPUM 在合成数据集 Flyingthings3D 和真实驾驶场景数据集KITTI 上进行评估，准确度上达到了国际先进水平.由于邻域一致性更符合真实激光雷达场景的先验假设，因此在 KITTI 数据集上的提升更加明显.关键词场景流；点云；邻域一致性；置信度；深度学习中图法分类号TP391场景流（sceneflow,SF）是定义在 2 个连续场景中表面点的 3D 运动场，是一个感知动态场景的基本工具.随着自动驾驶、人机交互等应用的大规模商业落地，感知系统需要精确感知环境中的动态运动物体1-2，因此精确估计场景流成为近年来的研究热点.由 LiDAR 等 3D 传感器直接获得的点云数据可以得到场景中点的精确位置信息，因此点云数据被广泛应用于场景流估计任务中.点云数据仅包含 3D 点坐标，因此在稀疏点、边缘点处会出现特征信息不足的现象，在这些点上的匹配会更加困难，这些匹配困难点严重影响场景流估计的整体准确度.近几年的方法都是关注 2 个连续点云间对应的匹配关系来优化场景流的估计精度，FlowNet3D3在单尺度上获取匹配关系；HPLFlowNet4使用双边卷积层（bilateralconvolutionallayer,BCL），在多个尺度上联合计算匹配关系5；PointPWC-Net6在多个尺度上建立用于匹配的代价体（costvolume,CV）和重投影（warping）模块.但这些方法仅考虑了点云间的匹配关系，缺少优化匹配困难点的方式.如图 1(a)所示，图片中的点为场景的一部分，其中红色代表该点的端点误差（endpointerror,EPE）小于 0.05m；绿色代表该点的端点误差大于等于 0.05m 且小于 0.3m；蓝色代表该点的端点误差大于等于 0.3m.在图 1(a)虚线框中，PointPWC-Net 在一个局部邻域内（一个汽车整体）同时有匹配准确的红色点和匹配困难的蓝色点.本文提出的基于邻域一致性的点云场景流传播更新方法（neighborhood consistency propagation update method，NCPUM）方法根据点云相邻点的相关性，即属于源点云的场景流在足够小的邻域内很大程度上存在一致性，将局部邻域中的准确场景流传播到匹配困难点上.可以有效地减少匹配困难点场景流的误差，提升整体准确度.图 1(b)为经过 NCPUM 方法优化后的效果，可以看到在虚线框内的汽车点和匹配困难的蓝色点消失，匹配较差的绿色点明显减少，匹配准确的红色点明显增多.具体来说，NCPUM 假设利用点云内相邻点的相关性使场景流估计具有邻域一致性，通过置信度图传播更新提升整体场景流估计的准确度.基于该假设，NCPUM 设计了置信度预测模块和场景流传播模块，对骨干网络输出的初始场景流预测置信度图，经过场景流传播模块在具有一致性的邻域内将场景流从高置信度点集向低置信度点集传播，改善邻域内匹配困难点的准确度.本文的贡献有 2 方面：1）根据场景流的邻域一致性设计了场景流传播优化方法 NCPUM.该方法使用场景流在局部邻域内传播的方式，改善估计效果.NCPUM 的评估结果优于之前的工作，证明了该方法的有效性.2）NCPUM 在 Flyingthings3D 和 KITTI 数据集上的测试结果在准确度上达到国际先进水平，并更换不同的骨干网络进行了测试，验证了 NCPUM 对于不同的骨干网络都能明显提升其估计准确度.1相关工作 1.1场景流估计在 Vedula 等人7工作中，定义和介绍了场景流的概念，之后许多工作8-12在多种类型的数据集上进(a)PointPWC-Net方法(b)本文方法Fig.1Visualcomparisonofthetwomethods图12 种方法的可视化对比郑晗等：基于邻域一致性的点云场景流传播更新方法427行场景流的估计，随着最近几年基于点云的深度学习方法13-15的发展，可以在点云上直接估计场景流.其中一个使用可学习的深度网络来估计点云上的场景流的方法是 FlowNet3D3，它将下采样的特征进行嵌入，得到点云间的运动信息，通过上采样方法回归得到对应点的场景流.FlowNet3D 只在单一尺度上进行了特征的嵌入，单一尺度的感受野无法在大尺度和小尺度运动上同时获得精确的估计结果.HPLFlowNet4使用双边卷积在多个尺度上联合计算匹配度，但限于内存使用限制无法在上采样过程中细化场景流.而 PointPWC-Net6遵循了光流估计的“由粗到细”（coarsetofine,CTF）的范式，在多个尺度的局部范围内使用 PointConv13建立用于匹配的代价体和重投影的模块.FLOT16通过最优传输（optimaltransport），优化源点云和目标点云的匹配关系.这些关注于匹配关系的方法得到了很好的场景流估计结果.HALFlow17使用注意力机制，嵌入更多的位置信息，获得更准确的场景流估计结果.文献 34,6,13,1617 都是通过匹配连续点云间的特征回归出对应源点云的场景流，在匹配困难点处没有额外的优化措施.本文方法在源点云中根据相邻点的相关性，在邻域内改善匹配困难点的场景流，获得优于匹配方法的估计准确度.1.2邻域一致性之前的场景流估计工作中都会注重在邻域内提取特征，根据提取到的特征来进行连续点云间的匹配3-4,6,17-19，回归出点云间的场景流.但这只是在提取的特征上包含了邻域信息，在邻域特征信息不足的点上会出现匹配困难的情况.在同样使用邻域信息进行匹配的任务中20-21，LiteFlowNet320根据局部光流一致性，在代价体上对邻域内的点进行优化，获得了相对于匹配方法更好的光流估计精度.受该想法的启发，我们合理假设在 2 个连续场景中，一个合