点-体素结合的多尺度激光点云学习网络_杨亚坤.pdf

第 44 卷 第 4 期2023 年 4 月 激光杂志LASER JOURNALVol.44,No.4April,2023http /收稿日期:2022-08-14基金项目:国家自然科学基金(No.62072325)、山西省研究生创新项目(No.2021Y669)作者简介:杨亚坤(1989-),女,博士研究生,讲师,主要研究方向:三维点云处理。E-mail:yyktyust 通讯作者:王安红(1972-),女,博士,教授,博导,主要研究方向:点云处理、图像/视频编码技术。E-mail:422941758 点-体素结合的多尺度激光点云学习网络杨亚坤,王安红太原科技大学电子信息工程学院,太原 030024摘 要:由激光扫描器获得的点云是表示三维世界的重要数据形式,已有许多方法学习点云特征,但大多都难以兼顾准确性和高效性。对此,提出一种结合点方法和体素方法的点云特征学习网络,该方法通过点分支获取激光点云的逐点特征和全局特征,通过体素分支获取点云在不同分辨率下的多尺度局部特征,将所有特征融合后应用于下游各类点云任务中。该网络既能利用点方法内存消耗小的优点,又能利用体素方法获得连续的内存访问具有良好的局部性和数据规则性的优点,适合疏密不均匀的激光点云学习。在 ModelNet10/40 和ShapeNet 数据集上进行实验表明,该方法相比于之前的其他点云特征学习方法,分类和分割精度高、内存消耗少、计算速度快,同时兼具准确性、高效性、鲁棒性。关键词:激光点云;深度学习;特征学习;体素化;分类分割中图分类号:TP391.41 文献标识码:A doi:10.14016/ki.jgzz.2023.04.134A Multi-scale point-voxel-joint deep learning network for laser point cloudYANG Yakun,WANG AnhongCollege of Electronic and Information Engineering,Taiyuan University of Science and Technology,Taiyuan 030024,ChinaAbstract:The point cloud obtained by laser scanner is an important data form that represents the 3D world.There have been many study on point cloud feature learning,but most of them are difficult to balance accuracy and efficiency at the same time.In this regard,this paper proposes a point cloud feature learning network that combines point method and voxel method.This method obtains the point-wise features and global features of all points through the point branch,and obtains the multi-resolution local features through the voxel branch,then merges all the features to apply to all kinds of point cloud tasks.It can not only take advantage of the point method to reduce memory consumption,but also use the voxel method to reduce the irregular,sparse data access and improve the locality,and is suitable for the sparse and uneven laser point cloud.Experiments on the ModelNet10/40 and ShapeNet datasets show that com-pared with the previous methods,the method proposed in this paper is both memory and computation efficient,and has higher overall accuracy and mean IoU,at the same time has robustness.Key words:laser point cloud;deep learning;feature learning;voxelization;classification and segmentation1 引言随着三维激光扫描技术的不断发展,点云数据的获取变得越来越容易。激光点云可以提供丰富的几何和形状信息,广泛应用在自动驾驶、虚拟/增强现实、机器人等领域1-2。这些应用大多需要与人实时交互,因此,设计一个高效准确的点云学习网络显得十分重要。当前深度学习技术占据计算机视觉领域的主导地位,已有很多深度学习网络应用于激光点云补全、分类、分割、目标检测、目标跟踪和三维重建等任务http /中3-8。PointNet 9开创性的提出直接将点作为输入来学习点云特征,取得较好的效果。但其中每个点的特征都是独立学习的,没有考虑到点与点之间的局部结构信息。PointNet+10在其基础上提出一种分层网络,可聚集邻域信息从而捕捉精细的局部几何结构。但点云无序、稀疏、结构不规则,不能获得连续的内存访问模式,使得 PointNet+中时间更多花费在构造数据上,效率较低。Transformer11是当下最流行的学习框架,将其应用于点云特征学习可取得很好的效果。但随着模型增大,计算资源的需求也呈平方级增长。将点云体素化12可使其结构变得更规则,并且具有良好的内存局部性。但在体素分辨率较小时点云信息会有严重丢失,而在体素分辨率较大时计算代价和内存占用随着输入分辨率的增加会呈立方增长。PVCNN13提出将直接处理点云和体素化点云相结合,但它只考虑了逐点特征和固定分辨率下的体素特征,没有考虑全局特征,这是对分类任务非常重要的信息;而且现实场景中的激光点云往往疏密不均,只学习单一分辨率下的局部特征使得网络的鲁棒性也不够强大。为克服以上问题,同时适用于激光点云的分类、目标检测等高级别任务和补全、采样等低级别任务,在上述研究基础上提出一种新的点云学习模型。用点作为输入数据,利用其稀疏性以减少内存占用,同时在体素中执行卷积,以减少不规则、稀疏的数据访问并提高局部性。将由点分支得到的逐点特征、全局特征和体素分支得到的多分辨率下的不同尺度的局部特征融合来表示点云特征。将其应用于点云分类、分割、下采样任务中,实验结果表明,提出的点云特征学习网络在内存和计算方面都很高效,精度也有进一步提升。2 点-体素结合的多尺度学习网络2.1 概述基于对上述各类方法的研究和瓶颈分析,提出一种准确、高效、鲁棒的点云深度学习网络用于激光点云的各项任务,如图 1 所示。图 1 点云学习及任务网络 其中,包含有 N 个点的激光点云 P 表示为 P=pi,i=1,2,N=(ci,fi),ciR3,fiRC,ci为点的三维坐标,fi为点的 c 维其他特征,如法向量、颜色、反射强度等。学习后得到的点云特征为 F,维度为 d。图 2 为激光点云特征学习网络的详细结构。点分支提取每个点的特征,它不聚集邻域信息,分辨率很高,同时内存占用小。体素分支首先将点转换成低分辨率的体素网格,然后通过基于体素的卷积聚合相邻的点学习点云特征,之后去体素化将其转换回点,与点分支进行特征融合。将多个分辨率下的局部特征融合,可实现跨越不同细节尺度的感受野,从多个尺度学习局部几何信息,使对在真实环境中分布不均匀的激光点云的特征学习具有鲁棒性。2.2 基于点的方法在点方法这一分支,直接对激光点云中的每个点进行处理。首先使用多层感知机(MLP)提取单个点的特征。之后分为两路,一路是 d1维逐点特征,另一路是通过最大池化(Max Pooling)操作得到的整个点云的 d2维全局特征。将两路相加后得到点分支的点云特征。这种精细的、逐点的、高分辨率的点信息对于补充基于体素的粗粒度信息非常关键。2.3 基于体素的方法在体素方法这一分支,根据分辨率不同划分为多个通道。每一通道首先进行三维坐标归一化处理,将ci=(xi,yi,zi)变为ci=(xi,yi,zi)以减少不同点云的尺度差异,方便后续网络的学习和处理。接着对归一化后的点云(ci,fi)进行体素化操作,使其落入体素网格Vu,v,w中。如公式1 所示,将归一化后坐标ci=(xi,yi,zi)处于体素网格(u,v,w)中的这些点看作一个体素,将这些点的特征 fi相加后进行平均,作为531杨亚坤,等:点-体素结合的多尺度激光点云学习网络http /该体素的特征。其中,Vu,v,w为体素网格集合,Nu,v,w为归一化因子,决定了落入该体素网格的点数,是判断坐标ci是否属于体素网格(u,v,w)的二进制指示符,r 是体素化时的分辨率。在本方法中体素通道只是提取邻域信息,体素分辨率 r 并不需要很大,因此,体素化表示不会占用很多内存。Vu,v,w=1Nu,v,wNi=1floor(xi r)=u,floor(yi r)=v,floor(zi r)=w fi(1)图 2 点云特征学习网络详细结构 在将点转换为体素网格后,数据结构变得规则,可用三维卷积聚合特征,得到激光点云的局部信息。由于需要将基于体素得到的特征与基于点的特征融合在一起,因此,还要将体素化得到的特征变换回点云域。这里利用三线性插值去体素化将体素网格转换为点,可确保映射到每个点的特征不同。由于体素化和去体素化都是可微的,整个基于体素的特征学习分支可以进行端到端学习优化。由于激光点云疏密不均匀,单一分辨率的体素化不能很好地适应真实点云分布,网络健壮性不强。将不同分辨率下得到的局部特征融合,实现多尺度特征学习,可扩大感受野,解决点云的稀疏、不规则表示带来的影响,使网络具有鲁棒性和出色的细节捕捉能力。3 实验与分析3.1 分类点云分类使用 ModelNet10 和 ModelNet4014数据集进行实验评估。ModelNet10 包含 10 个类别的 4 899 个三维对象,其中 3 991 个用于训练,908 个用于测试。ModelNet40 包含 40 个类别的 12 311 个三维对象,其中 9 843 个用于训练,2 468 个用于测试。与PointNet 模型一致,训练前先将每个对象统一采样到1 024 个点。设置批大小为 32,epoch 为 200,初始学习率为 0.01,每 20 个 epoch 学习率下降为之前的50%。体素分辨率 r 设置为 4、8、16。采用 ADAM 优化器进行训练。分类的评价指标是总体精度(Accu-racy Overall)。同时,用对整个测试集进行测试的时间和 GPU 显存消耗来反映模型的效率。实验结果如表 1 所示。与 PointNet、PointNet+、PVCNN(r=16)相比,提出的网络在两个数据集上都获得最高的分类精度。这比 PointNet、PVCNN 方法有明显提高,原因是 PointNet 不具有点云的局部信息,PVCNN 不具有点云的全局信息。在获得与 PointNet+相当精度的情况下,本方法所需测试时间更短,GPU占用更少,这是由于 PointNet+在获取局部信息时使用邻域查询等操作,计算耗时多,同时需要占用较大的内存。综合来看,提出的网络同时具备准确性和高效性。631杨亚坤,等: