基于深度学习的大规模点云语义分割方法综述_双丰.pdf

第 卷第期 年月测绘科学 作者简介：双丰（），男，湖南娄底人，教授，主要研究方向为智能移动机器人、多维力触觉传感器和量子学习控制。：收稿日期：基金项目：广西自然科学基金项目（）；人工智能四川省重点实验室开放基金项目（）；广西制造系统与先进制造技术重点实验室开放基金项目（）通信作者：李勇 博士 ：引文格式：双丰，黄兴文，李勇，等 基于深度学习的大规模点云语义分割方法综述 测绘科学，（）：（，（）：）：基于深度学习的大规模点云语义分割方法综述双丰，黄兴文，李勇，刘修宁，覃建川，李旭（广西大学 电气工程学院广西电力装备智能控制与运维重点实验室，南宁 ；人工智能四川省重点实验室，四川 宜宾 ）摘要：为了展示深度学习在点云处理上最新进展，同时促进对点云语义分割方法的研究，该文对基于深度学习的大规模点云语义分割方法进行了综述。在介绍个室内和室外语义分割数据集的基础上，重点对近几年的深度学习点云语义分割方法进行了归纳和分析，并在 、和 数据集上对不同方法进行了比较，并构建了相应的基准。最后对目前点云语义分割算法存在的问题和未来趋势进行了分析。关键词：深度学习；激光点云；语义分割；综述【中图分类号】【文献标志码】【文章编号】（），（，；，）：，：；引言点云是现实世界三维数字化的一种表达，其中每个点都必须包含位置坐标信息，其次可以包含颜色、法向量和反射强度等信息。同时，点云能够用紧凑、灵活的方式保留扫描数据的原始几何结构，并为复杂的环境提供丰富的空间信息。因此，点云适用于大规模场景下的现实表达。近年来，随着 传感器的发展，扫描仪、激光雷达和 相机等点云数据采集设备得到了广测绘科学第 卷泛使用。然而，点云数据得以有效应用需依靠一些关键技术，如 物体分类、目标检测与追踪、点云语义分割和三维重建等。其中，点云语义分割的目的在于为场景中的每个点分配一个语义类别标签，现已成为 场景理解和感知的关键技术，在自动驾驶、机器人、遥感测绘和增强现实等领域得到了广泛的应用，具有重要的研究价值。现有的点云语义分割方法可以划分为传统机器学习方法和深度学习方法两大类。基于机器学习的点云语义分割方法，注重点云特征的手动设计和提取。与机器学习的方法不同，基于深度学习的方法能够自动地对点云中的坐标、颜色、强度等特征信息进行深度挖掘和抽象表达，更利于大规模点云的语义分割任务。通常基于深度学习的点云语义分割效果与点云的质量具有一定的相关性，而且点云的数据量、密度、噪声以及数据完整性等因素影响着点云语义分割算法的精确度和时空复杂度。因此，研究具有较高的鲁棒性和强大泛化能力的大规模点云语义分割算法是业界的迫切需要。近年来，已有一些语义分割研究进展的综述在知名期刊上发表。例如，文献 虽然对语义分割进行了综述，但是全文的重点在于讨论数据集不足导致的性能限制问题。文献 介绍了点云场景的分割现状，但针对的是传统方法的归纳，未对基于深度学习的方法进行综述。文献 较为全面地综述了基于深度学习的点云处理一般任务，包括分类、分割和检测等，但是并未详细地对大规模点云场景数据下的语义分割进行总结归纳。文献 深入研究了单一大规模场景（自动驾驶）下分割任务的现状，但是并未介绍其他大规模场景下的语义分割工作。与上述综述工作不同，本文的目标是在多种大规模点云场景（包括室内和室外）下，对近几年基于深度学习的语义分割方法进行系统的回顾。对目前的大规模点云语义分割数据集进行了介绍。本文以是否直接将点云输入网络为标准，将深度学习的语义分割方法划分为间接型和直接型两类，并对近几年的算法模型进行归纳。在 、和 数据集上对近年来较为典型的语义分割算法进行了对比分析，并构建了相应的基准（）。本文概括了激光雷达点云在大规模场景下的语义分割存在的共性问题以及发展趋势。本文的工作为大规模点云语义分割算法研究提供了重要基础，同时为基于点云的目标检测、实例分割和环境感知等研究提供了参考。大规模点云语义分割数据集基于深度学习的点云语义分割通常需要大量的、具有丰富语义标签的点云数据进行模型的训练和算法性能的验证。为了促进点云语义分割领域的研究，一些机构公布了一些点云数据集。本文对现有的典型数据集按照数据采集场景的不同分为室内数据集和室外数据集，如图所示；同时在表中对这几种典型的数据集进行了比较。图语义分割数据集介绍 第期双丰，等 基于深度学习的大规模点云语义分割方法综述 室内数据集）。如图（）所示，该数据集是被广泛使用的一种大规模室内 空间数据集，于 年在斯坦福大学通过扫描仪扫描获得。整个数据集包含了个大规模 空间的室内区域场景，共 个房间，个类别。一般情况下，区域（）用于测试，另外个区域用于训练。）。如图（）所示，该数据集是一个 视频数据集，拥有从 个 室内场景扫描的 万个视图，共有 个语义类别；其中用于训练的有 个场景，用于测试的有 个场景。此外，该数据集包含坐标 、标签 信息和颜色 信息。室外数据集）。如图（）所示，该数据集包含了村庄、街道、广场、教堂和城堡等个不同的城市室外语义场景类别，场景中的每个点都拥有 值与强度值。该数据集共包含 个场景，其中个 场 景 用 于 训 练，其 余 个 场 景 用 于测试。）。如图（）所示，该数据集属于大型城市室外数据集，收集于加拿大多伦多的大型街道，涵盖约 的路段，由大约 万个点和个标记的对象类组成。整个数据集共分为部分，每部分的范围约为 。其中包括的标记对象有道路、道路标记、天然树木、建筑物、公共线路、电线杆、汽车和围栏。）。如图（）所示，该数据集由个独立区域的机载激光扫描（，）点云组成，共包含个类别（电力线、低植被、不透水表面、汽车、栅栏树篱、屋顶、立面、灌木和树木）。其中，每个点都拥有 坐标、反射率、重复计数信息和标签，且用于训练的有 个点，用于测试的有 个点。）。如图（）所示，该数据集展示了德国卡尔斯鲁厄周边的城市内部交通、住宅区以及公路场景和乡村道路，覆盖近 ，包含了约 亿个点和 个类别标签。整个数据集由 个序列组成，其中序列 作为训练集（用作验证集的 序列除外），序列 作为测试集。）。如图（）所示，该数据集是大型室外场景数据集。该数据集是在移动激光扫描（，）系统下使用雷达（）采集，其点密度和测量精度 更 接 近 自 动驾驶汽车采集的 点 云 数据。该数据集覆盖近，有超过 亿个点，并提供了 个类别非常详细的标签。对于基准测试，该数据集使用个类作为语义分割的测试基准。）。如图（）所示，该数据集是由武汉大学与多个国外研究机构联合发布的地面激光扫描（，）点云数据集。该数据集是目前规模最大、类型最多的点云数据集，共拥有 种不同的场景（地铁站、高速铁路 平 台、山 区、森 林、公 园、校 园、住 宅、河岸、遗产建筑、地下挖掘和隧道），共计 亿个点。表几种典型数据集的比较 （）（）（）（）（）（）（）测绘科学第 卷点云语义分割方法近年来，研究者提出了许多点云语义分割方法。本文根据点云处理方式的不同将基于深度学习的点云分割方法划分为间接法和直接法，如图所示。间接法指需要将 点云转换成规则化数据才能进行模型学习的方法，主要包括基于图像的方法、基于体素的方法和基于多表示融合的方法。直接法指的是可将 点云直接输入网络进行学习，而不需要经过转换处理的方法，主要包括基于多层感知机的方法基于点卷积的方法、基于图卷积的方法和基于 的方法。间接法 基于图像的方法基于深度学习的图像语义分割已取得了较好的效果。然而点云的无序性和非结构化等特点使得点 云 数 据 难 以 直 接 利 用 图 像 的 深 度 学 习 模型 进行特征学习。为了解决这个问题，许多研究者先将 点云转换为 图像，然后利用图像语义分割方法，如全卷积网络（，）进行语义分割，最后将图像语义分割结果重新投影回 点云。受 卷积 在 图 像 领 域 的 良 好 表 现 的 启 发，文献 提出了一种多视图卷积神经网络处理 点云数据的方法，如图所示。该方法将点云映射到 多 个虚 拟 相 机 的 视 图 中，并 提 取 图 像 颜色、深度和表面法线的图像，再利用卷积神经网络（，）进行 语义分割，最后将预测的分数重新投影回点云以获得分割结果。虽然该方法解决了点云非结构化的问题，但是并没有考虑对象之间的空间关系，极大 地 限 制 了 局 部 特 征 的 描 述 能 力。类 似 的，利用多个虚拟相机为点云创建合适的 图和几何特征深度图，并用 分别对其进行语义分割，然后对分割结果利用残差校正的方式进行融合，一定程度上提升了分割精度，但空间 结 构 信 息 仍 然 没 有 被 充 分 利 用。此 外，文献 在特征提取的基础上，利用核为、和的卷积组成能够有效捕获上下文信息的菱形块，并与编码器解码器体系结构结合起来，从而 提 出 了 一 种 有 效 的 语 义 分 割 方 法。同时，为了更好地利用局部邻域信息并减少预测中的噪声，该方法引入总变差、和加权交叉熵的组合作为损失函数。该方法在 数 据 集 上 表 现 出 了 优 秀 的 性 能。最 近，根据几何关系在不同视图之间实现双向对齐和传播互补信息，有效地增强网络对于几何信息的挖掘，提高了分割精度。总体而言，这种基于视图的分割方法的性能对视点选择和遮挡非常敏感。图 网络结构 尽管基于图像的点云语义分割方法可以利用 图像处理中的 、和型网络（，）等算法的优势，但是 与 的变换过程会导致关键的几何信息和空间上下文信息的丢失，例如，目标的几何形态、目标的朝向和点对间的相对位置等。此外，投影变换的质量在很大程度上也影响着语义分割的精度。基于体素的方法体素化可以将不规则的 点云转换为结构化的体素数据，解决了点云的无序和非结构化问题。第期双丰，等 基于深度学习的大规模点云语义分割方法综述类似于 图像卷积的处理，点云体素化后的数据可以采用 卷积神经网络（）进行特征学习。由于体素化的方式能够比多视图投影的方法保留更多的点云原始结构信息，许多学者也在此方向上开展了一系列研究。利用了三线性插值有效地将 和全连接条件随机场相结合，在室内场景中表现出了良好的效果，但是该方法的计算量较大，且容易过拟合。为了解决体素类方法对于局部几何结构信息不敏感问题，利用 维树结构（，）实现特征学习。该方法在有效降低计算量的同时，增强了局部信息的捕捉能力。为了进一步提高在有限分辨率下网络对局部细节的学习能力，设计了空间密集提取（，）模块和注意力特征聚合（，）模块。在特征提取过程中，模块保持了空间分辨率，减轻了最大池化（）等子采样操作造成的细节丢失。而 模块可以从不同的抽象层次上自适应地选择特征信息，实现细节特征的有效聚合。相比而言，该方法提高了分割精度，但是模型复杂度较高。提出了体素级和原级的对比学习网络。体素级对比学习减少了类内距离，增加了各样本之间的类间距离；而原型级对比学习进一步减少了对比学习对负采样的依赖性，同时避免了来自同一类离群值的影响，使 能够更有效地用于室外点云全景分割。上述方法采用的体素构建方式为传统的立方体划分。这种体素划分方式虽然能够较大程度地保留点云的原始信息，但是也忽略了室外场景点云的稀疏性和密度不均匀性，且容易导致大量空网格的产生，从而增加了大量的不必要计算。为了解决这个问题，文献 将原始点云坐标转化为柱面坐标，并在此坐标下构建体素，然后利用非对称的 卷积进行特征学习，如图所示。该方法使每个体素既包含了近处的稠密点，也包含了远处的稀疏点，有效提高了非空网格（含点云的网格）的产生比例，减少了内存占用和计算中的冗余信息，且在 数据集上达到了同一时期的最高水平。图 网络结构 尽管基于体素的方法在许多数据集上表现出了优秀的性能，但是其仍然有相应的缺陷。体素结构决定了体素的分辨率比原始点云低，因而在数据表示方面存在信息缺失。此外，在体素划分后，有点云的体素网格和无点云的体素网格（空网格）均会被输入计算机进行操作，这会产生一些不必要的内存占用和计算需求。同时体素大小应控制在有效范围内，体素尺寸太大，模型的精度可能会下降；体素尺寸太小，模型的内存占用急剧增加。多表示融合的方法当前，基于点、基于图像和基于体素的方法在进行语义分割时都存在一定的不