结合局部与全局特征的点云语义分割卷积网络_宋秀容.pdf

三维激光扫描系统作为对地观测系统中数据收集最重要的技术之一，具有快速获取大规模、高精度地面信息的优势，且在各种地理信息产品（城市规划、环境监测和电力线检测等）生产中起着越来越重要的作用1。通过机载三维激光扫描系统对城市进行扫描，可直接获取具有坐标和几何属性（如强度）的大规模三维激光点云。从点云中提取各种类型的地理信息首先需对点云进行语义分割2。然而，由于传感器噪声、复杂的对象结构、不完整的点和不均匀的点密度，准确而有效的点云语义分割仍是一项艰巨的任务3。早期的机载激光点云分类问题主要通过机器学习的方法解决。通常点云分类任务是先局部和全局提取代表点特征，再利用学习到的特征表示将每个点分类为预定义的语义类别4。这些方法首先计算几何特征，然后通过特定的分类器最大程度地区分各种语义特征5-6，从而实现逐点语义分割；但原始点云的特征计算能力有限，且过于依赖特定的先验信息或规则7，独立估计每个点的局部特征并生成标签预测，结合局部与全局特征的点云语义分割卷积网络摘要：点云语义分割在许多与点云相关的应用程序中具有重要作用，特别是对于机载激光点云，精确的注释可大大扩展其在各种应用中的用途。然而，受限于传感器噪声、复杂的对象结构、不完整的点和不均匀的点密度，准确而有效的语义分割仍是一项艰巨的任务。因此，提出了一种结合局部与全局特征的机载激光点云语义分割网络。首先利用改进的渐进三角化不规则网络致密化滤波算法将点云划分为地面点和非地面点，然后针对非地面点分别提取局部和全局特征，再聚合局部特征和全局特征并获得点标记结果，最后基于图优化模型进行语义标签优化。为评估该方法性能，在一个大规模机载激光点云数据集中进行测试实验。结果表明，该方法在DALES基准数据集上的总体精度可提高至97.4%，对8个语义类进行分类，mIoU为78.2%。与其他较前沿方法相比，该方法可实现更高的分割精度。关键词：机载激光点云；语义分割；深度学习；后端优化中图分类号：P231文献标志码：B文章编号：1672-4623（2023）03-0025-06Point Cloud Semantic Segmentation Convolution Network CombiningLocal and Global FeaturesSONG Xiurong1,QUAN Xuezhen1,ZHANG Jie1,ZHAO Chuangxing2(1.Qinghai Basic Surveying and Mapping Institute,Xining 810001,China;2.Qinghai Remote Sensing Center for Natural Resources,Xining 810001,China)Abstract:Point cloud semantic segmentation plays an essential role in point cloud related applications.Especially for the airborne laser pointcloud,accurate annotation can greatly expand its use in various applications.However,accurate and efficient semantic segmentation is still a chal-lenging task,due to the sensor noise,complex object structures,incomplete points and uneven point densities.In this paper,we proposed a air-borne laser point cloud semantic segmentation network combining local and global features.We adopted the improved progressive triangulationirregular network densification filtering algorithm to divide the point cloud into ground points and non-ground points at first.And then,we ex-tracted local and global features for non-ground points,aggregated the local and global features,and obtained the point labeling result.Finally,we performed semantic label optimization based on the graph optimization model.We conducted comprehensive experiments on a large-scale air-borne laser point cloud dataset to evaluate the performance of this method proposed in this paper.The overall accuracy of this method on theDALES benchmark data set can be increased to 97.4%to classify 8 semantic classes,and the mIoU is 78.2%.Compared with existing methods,the method can achieve better performance on accuracy.Key words:airborne laser point cloud,semantic segmentation,deep learning,rear optimization收稿日期：2021-08-13；修回日期：2021-11-30。项目来源：青海省自然保护地三维实景游览建设资助项目（63000021T000000009010）。第一作者简介：宋秀容（1984），工程师，研究方向为航测遥感数据处理，E-mail：。引文格式：宋秀容,全雪贞,张洁,等.结合局部与全局特征的点云语义分割卷积网络J.地理空间信息,2023,21(3):25-30.doi:10.3969/j.issn.1672-4623.2023.03.006Mar.,2023Vol.21,No.3地 理 空 间 信 息GEOSPATIAL INFORMATION2023 年 3 月第21卷第 3 期（1.青海省基础测绘院，青海 西宁 810001；2.青海省自然资源遥感中心，青海 西宁 810001）宋秀容1，全雪贞1，张洁1，赵闯姓2地理空间信息第21卷第3期并未考虑邻域点之间的标签一致性，因此语义分割结果易受噪声和标签不一致的影响8。一些研究试图通过马尔科夫随机场和条件随机场等优化模型整合上下文信息9-10，增强标签平滑度以提高性能；但这些基于机器学习的点云分类方法综合利用手工制作的特征来表征输入点云中的每个点，当应用于大规模野外场景时，它们的泛化性有限。近年来，深度学习方法在场景分类、目标检测、变化检测、高光谱图像分类等应用中均取得了显著成功。顺应这一趋势，研究人员一直将注意力转向采样一些深度学习模型解决三维点云语义分割问题。例如，为了利用卷积神经网络（CNN）的强大功能，有些方法将原始点云投影到二维图像中，再利用传统的CNN机载点云分类11-12，通常需要手工制作的特征来增强二维特征图像表示，且由于三维到二维转换过程中的信息丢失，分类性能受到限制。将无序点云体素化为规则三维网格的方法是处理点云以适应深度神经网络的替代方法，如Schmohl S13等先将ALS点云体素化，再投入到子流形稀疏卷积网络进行处理。然而，体素化不可避免地导致信息丢失并生成伪影，对三维特征的学习产生负面影响。此外，存储在体素结构中的大量未占用网格将导致高内存需求14。一些研究人员也尝试直接在原始点云上应用卷积算子，并利用深度神经网络学习高级点特征，如Yousefhussien M15等提出了一个完全卷积网络，它将输入点云的原始坐标和从相同位置的地理参考图像中提取的3个附加光谱特征作为输入，用于逐点分类；WANG S16等开发了多尺度深度神经网络，以实现更强大的特征学习，并进一步提高了点云分类性能。这些方法首先利用共享的MLP网络提取每点特征；然后利用下采样块将每个点的特征聚合到基于集群的特征中；最后利用另一个MLP网络后跟Softmax分类器进行逐点分类。WEN C17等提出了一种用于点特征提取的方向约束卷积算子，并设计了一种用于点云分类的多尺度全卷积网络；Arief H A18等开发了Atrous XCRF模块来增强原始PointCNN模型，并在机载LiDAR点云分类方面开发了有益性能。在林业领域，WANG Y J19等提出基于KNN搜索的三维点云语义分割方法，改进了现有方法在局部点云特征提取方面的不足，有效提高了语义分割的精度。尽管这些基于点云的方法在机载激光点云分类方面取得了出色效果，但由于点云数据的密度分布不均匀，它们不能充分识别细粒度的局部结构。为了解决该问题，LI X20等利用密度感知卷积将每个点的逆密度馈送到另一个MLP网络以进一步增强，并采用上下文编码模块正则化器对全局语义上下文进行正则化。考虑到点云的固有拓扑信息，这两年研究人员将图卷积神经网络用于无序三维点云分类。图形化模型可自然地表示三维场景，再将图形结构化的数据嵌入新设计的网络中21。梁振明22等提出了一种多尺度动态图卷积网络，首先利用最远点采样方法采样三维点云数据集的代表点，降低模型计算复杂度；然后利用不同尺度的K最邻近节点聚合方式对图中每一个中心节点的K最邻近节点进行定位；最后利用边卷积操作对中心节点及其邻接节点的局部属性特征进行提取与聚合，实现点云分类。为了顾及点之间的全局上下文关系，WEN C23等提出了一种用于机载激光点云分类的全局局部图注意力卷积神经网络。该网络结合了边缘注意力和密度注意力的局部注意力模块，以及全局注意力模块。局部边缘注意模块根据相邻点的空间位置关系动态地学习卷积权重，卷积核的接受场可以动态适应点云的结构；局部密度关注模块解决了非均匀采样点云数据的密度分布不均匀问题。为了更好地获取点云的全局上下文信息，通过计算每两个点之间的欧氏距离来实现全局关注模块，并利用MLP网络来学习它们的关注权重。最近，注意力机制变得越来越流行，因为它可提供参数的重要性分数，有助于改善判别特征和抑制干扰。HUANG R24等研究了远程空间关系和通道关系的重要性，首先利用局部空间差异注意力卷积模块学习局部几何描述和局部依存关系，然后研究由空间关系感知注意力模块和通道关系感知注意力模块组成的全局关系感知注意力模块，进一步了解二者之间的全局空间和通道方向关系。1研究方法本文方法主要由4个模块构成（图1）：地面点提取，通过改进的渐进三角化不规则网络致密化滤波算法将点云划分为地面点和非地面点；局部特征提取；全局特征提取；标签细化。执行图结构优化算法，通过构造加权间接图并利用图切割解决优化问题来实现初始语义标记结果的空间平滑。1.1地面点提取由于机载激光雷达系统的扫描方式和激光脉冲重复率高，地面点占据了整个场景的很大一部分。大量的地面点不仅扩大了提取非地面目标的搜索区域，而且增加了空间复杂度，降低了处理速度。因此，区分地面点和非地面点是处理原始数据的一个初步但至关26第21卷第3期重要的步骤。为减少待处理的数据量并考虑大场景中的地形波动，本文采用了一种改进的渐进不规则三角网致密滤波算法19。该算法可快速有效地从各种点中去除地面点云场景，特别是结构复杂的区域