3D-BSNet：双边特征和相似度量的点云实例分割网络.pdf

收稿日期：；修回日期：基金项目：黑龙江省自然科学基金资助项目（）；黑龙江省哲学社会科学基金资助项目（）；黑龙江省高等学校教改工程项目（）；东北石油大学研究生教育创新工程项目（）；东北石油大学引导性创新基金资助项目（）；黑龙江省省属本科高校基本科研业务费资助项目（）；黑龙江省教育科学规划重点课题资助项目（）作者简介：田枫（），男，黑龙江大庆人，教授，博导，博士，主要研究方向为计算机视觉、地质资源智能信息处理；徐昕（），女，辽宁大连人，硕士，主要研究方向为计算机视觉；刘芳（），女（通信作者），黑龙江大庆人，副教授，硕导，博士，主要研究方向为计算机视觉、智能油气地质（）；刘宗堡（），男，教授，博导，博士，主要研究方向为储层沉积学与油气成藏机理 ：双边特征和相似度量的点云实例分割网络田枫，徐昕，刘芳，刘宗堡（东北石油大学 计算机与信息技术学院；地球科学学院，黑龙江 大庆 ）摘要：针对现有的三维分割方法在挖掘点云特征时，会忽略几何特征有效利用的问题，提出双边特征和相似度量的点云实例分割网络 （）。该网络主要由双边特征学习和轻量级相似度量两部分组成。首先提出一种包含基于子流形稀疏卷积的 和多层感知机的双边特征提取模块，用于提取经过体素化处理的点云数据的语义特征和几何特征；然后设计一种结合通道维度和空间维度的双边注意力机制，用于减少双边特征聚合过程中产生的信息损失；最后开发一种轻量级相似度量模块，获取高维嵌入特征空间中邻近点云之间的相似性，并生成细粒度实例分割结果。实验表明，在 和 （）数据集上的多指标综合表现优越，其中在 （）上的平均精确率比 提高了 ，有效提高了室内场景三维实例分割的精度。关键词：点云实例分割；双边特征学习；双边注意力机制；轻量级相似度量中图分类号：文献标志码：文章编号：（）：，（，）：，（），（），：；引言近年来，随着深度传感器的快速发展，点云数据量逐渐增大，也逐渐渗透到自动驾驶 ，、辅助医疗诊断 、遥感测绘、虚拟现实等计算机视觉领域。点云实例分割作为三维场景语义理解和分析的基础技术，具有广泛的应用场景 。点云实例分割是一项以点云数据为输入，实现实例分割的高级视觉任务。由于实例分割任务本身具有一定的识别难度，且点云数据在高维空间中具有无序性、密度不一致性及非拓扑性等特点，给点云实例分割的研究工作带来了不小的难度。传统的点云实例分割思路是：首先选取点云的位置、曲率及法向量等特征构建人工特征，再通过不同的聚类方式完成实例分割任务，传统的方法处理速度较快但难以处理真实场景下大规模的点云数据，识别准确率也难以保证。随着深度学习在计算机视觉任务上取得巨大突破，关于点云实例分割的探索性工作也崭露头角。基于深度学习的点云实例分割方法有基于 的方法和基于 的方法。基于 的方法是在检测框的基础上获取每个点云的实例标签，将点云实例分割任务划第 卷第 期 年 月计 算 机 应 用 研 究 分为目标检测和实例标签预测两个阶段。等人 提出了 模型，通过重建场景中噪声观测的形状生成候选框，再引入 优化候选框并生成实例分割掩码。该模型大大减少了无意义的盲框，但对实例分割对象的细化需要代价昂贵的后处理操作。等人 提出了 模型，该模型首先将带有颜色信息的二维图像映射成体素表示，再与带有几何信息的体素进行融合，之后再预测场景中候选框的位置、类标签及实例对象标签。该方法虽然取得了较高的实例分割精度，但候选框检测网络和实例分割网络之间没有共享权重，且数据转换过程复杂，无法适用于大规模场景。等人 提出了 模型，该模型首先提取全局特征和点的特征，由全局特征直接生成所有潜在实例对应的粗糙候选框，并通过多准则判别损失函数来修正候选框；再根据点的特征和候选框预测分数对框内点进行二分类，从而生成实例分割标签。该方法能够返回较精确的候选框，具有高目标性，但两阶段的训练过程使模型的运算负担较重。基于 的方法具有较直观的效果，生成的结果也具备客观性，但是这类方法对错误识别的目标框容忍度较低，需要通过多阶段的训练去掉错误边界框，因此在预测时通常会产生巨额参数量，硬件要求相对较高。的方法 是在每个点云的类别基础上，具体区分出不同实例，将点云实例任务划分为语义分割和实例标签预测两个阶段。大多数该类方法主要集中于判别特征学习和点的分组等创新操作的探索，是点云实例分割的主流方法。等人 提出了 模型，是第一个直接提取点云特征的实例分割模型。该模型首先由 提取点云特征，并通过带有双铰损失函数的神经网络生成相似度矩阵，最后再由非最大抑制操作抑制噪声和对重叠剪枝，以生成实例分割预测结果。该方法能够处理冗余信息并减少噪声点，但相似矩阵的构造需要大量的内存消耗，难以扩展到大规模数据。针对 存在由相似矩阵引起的内存空间问题，文献 提出了 模型，该模型通过 和子流形稀疏卷积对每个体素化的点云进行语义分割级的类别预测，然后对相邻体素进行语义关联性预测。相比起来，该方法更高效，但由于该方法没有挖掘空间几何信息，使得网络性能提升空间有限。等人 提出了 模型，该模型使用改进的 处理输入的体素化点云，将具有相同实例标签的体素紧密聚合，将具有不同实例标签的体素疏散远离。由于该方法主要针对体素的方向特征将进行学习，容易丢失有效的几何信息。等人 提出 模型，该模型利用双分支网络将基于输入点坐标与偏移量的点坐标聚类，实现实例对象分离，最后由 来筛选与评估候选实例，优化分割结果。该方法通过探索对象实例间的空隙对点进行分组与聚类，但优化结果的过程中引入非极大值抑制的做法不利于有效数据的保留。为了有效地融合语义分割和实例分割两个任务中的互利特征，等人 提出了 和 模型。等人 构建了一种由共享编码器和两个平行编码器组成的基准网络，通过联合模块将语义特征转入实例嵌入空间中，再将转换后的特征与实例特征融合以提升实例分割精度。该方法能够同时处理语义分割和实例分割两个任务，但特征融合结构复杂、成本高昂，且对上下文及空间几何信息获取不充分。相比基于 的实例分割方法，的方法无须预先生成 ，计算量小，但由于该方法未明确实例对象边界，容易丢失有用信息，导致在复杂形状对象边界分割上的效果欠佳。目前点云实例分割的主要研究工作在于挖掘语义信息并设计出合适的点分组方法，存在的挑战有计算成本及空间几何特征的有效利用问题。模型针对现有网络捕捉局部细节能力有限和点云数据计算成本的问题，从特征学习和相似度量两个角度构建属于 类别的点云实例分割网络 。本文的主要贡献包括：）提出一种双边特征学习模块，可以有效提取并融合语义和几何信息；）设计了双边注意力机制，从通道和空间两个维度重新标定特征图，引入少量的计算量，但可以有效增强双边特征；）引入轻量级相似度量模块，以概率的形式处理数据，进一步提升了模型对同类别实例的区分能力。图 为 整体框架，包括基于子流形稀疏卷积的 、双边注意力机制和相似度量函数三个核心部分。原始点云数据经过体素化处理后，通过多层感知机和 分别提取几何特征和语义特征，再将提取到的特征进行融合。为了弥补特征融合中产生的信息丢失，通过双边注意力机制重新标定点云数据的双边特征。相似度量模块利用多元高斯分布函数处理带有特征的点云数据，再使用相似度量函数计算点之间和点与实例之间的相似度，最后经过 损失函数给每个点分配类别标签和实例 ，从而完成点云数据的细粒度实例分割任务。图 结构 双边特征模块 基于子流形稀疏卷积的 为了避免常规三维稀疏卷积会产生巨额参数量和稀释语义特征的问题，本文采用基于子流形稀疏卷积的 进行语义信息的提取。子流形稀疏卷积是指只有当三维卷积核的中心覆盖非空体素时才进行卷积计算，相较于常规稀疏卷积的全计算方式，子流形稀疏卷积的计算方式大大减少了参数量，又能够很好地适应点云数据的稀疏性。子流形稀疏卷积 定义为 （，），表示输入特征通道数，表示输出特征通道数，表示卷积核尺寸，表示卷积步长。本文采用卷积核尺寸和卷积步长均为 的子流形稀疏卷积操作，记为 。如图 所示，基于子流形稀疏卷积的 其整体框架采用 型结构，包含编码和解码部分。编码路径是图中向下走的部分，向下箭头表示步长为 的最大池化操作。在编码路径中每层包含一个由橙色标注的 ，每个卷积操作后均引入 批归一化层和 激活函数。每一层返回的特征再通过跳跃连接，将编码阶段产生的语义特征图与解码阶段同分辨率的特征融合在一起，使浅层次的细节特征和深层次的语义特征相结合。解码路径是图中向上走的部分，向上箭头表示步长为 的上卷积操作。在解码路径中使用反卷积操作来放大特征图，如图中绿色标注的 ，最后生成与原始输入数据相同大小的特征图（见电子版）。型结构通过编 解码流程能够实现低维特征在高分辨率的层中进行传播、捕捉多尺度的细节特征、弥补渐进式提取特征细粒度特征不足的缺陷，并丰富语义特征的完备性，从而使网络在细粒度实例分割精度上有很大的提升。双边注意力机制体素化输入点云的方法具有规则的数据结构，可以拟合各种卷积操作 。虽然子流形三维稀疏卷积可以大大地减少计第 期田枫，等：双边特征和相似度量的点云实例分割网络算开销，但仍无法避免由运算量导致分辨率较低的问题，进而会损失三维空间细节信息。注意力机制 能够以较高的权重聚焦重要信息，以较低的权重忽略冗余信息，使得网络能够克服缺乏特征强化的局限，并且增强了网络捕获远程依赖信息的能力。受此启发，提出双边注意力机制模块，该模块通过对提取的特征信息在通道和空间分别进行加权运算来抑制无效的语义特征信息。双边注意力机制由并行的通道和空间两大分支组成，结构如图 所示。图 基于子流形稀疏卷积的 结构 图 双边注意力机制结构 虚线部分为通道注意力分支，由于三维场景中对象实例的边缘可能会产生最大特征值，而全局最大池化操作可以很好地保留点云数据的边缘特征，所以在通道维度的注意力机制中引入全局最大池化层；又因为全局平均池化是对整体特征进行下采样，可以较好地保留背景语义信息，所以并行使用这两个计算可以充分保留点云数据的语义信息。相比于通过复杂计算求特征图在通道维度的权重数据，这种方式在提高模型性能方面的作用明显。实线部分为空间注意力分支，主要捕获空间位置上的全局依赖，这样对于三维场景中某个空间位置，若包含的空间几何信息比较重要，就会乘以一个较大的值从而被关注，反之会被抑制。具体实现过程如下：首先，通过使用三维卷积压缩特征图的尺寸得到两个特征图，利用转置再乘积的运算并经过 函数来计算特征图的权重；空间注意力模块将生成一个空间注意力矩阵，将注意力矩阵馈送到三维卷积层中以获取新的特征图，再与原始压缩特征图做乘法，输出空间维度重新标定的特征；最后分别沿通道和空间重新校准双边特征图合并输出。双边注意力机制同时关注空间特征和语义特征，通过学习每个维度的重要程度重新标定特征图，每个点的特征信息都会被赋予空间及语义信息，这样就可以最大程度地利用点云之间的复杂关系，增强点云实例分割的细粒程度。相似度量模块体素化点云经过特征学习后，在高维嵌入特征空间中度量点之间及点与实例对象之间相似性的操作称为相似度量。普通的相似度量是通过欧几里德距离或余弦相似度来衡量点与点之间的相似性。采用多元高斯函数对特征空间中的点进行概率嵌入并通过 核对度量点之间及点与实例对象之间的相似性进行测量。其中，多元高斯函数以点云数据间的特征偏差程度来衡量数据间的特征关联程度，两者之间的关联系数偏差越大表明数据间的特征差异越大。记点集 经特征学习后得到 ，由式（）取嵌入空间中实例 为 的均值，再由式（）得到三元高斯函数处理后的概率密度集合 （），其中为特征均值向量，为特征协方差矩阵。：（）（）（；，）（）：（），（），（），（），）（）概率嵌入后采用相似函数 （，）进行点与点之间的相似性度量计算，返回值为 ，趋近于 越相似，则该点属于该实例的可能性更大。通过这种计算方式得到的结果可以在一定程度上减少计算量，具体计算公式如式（）所示。（，）（；，槡）（；，槡），（，）（）（），（）（）（），（）（）（）（）（）由式（）还可以得到点与实例的相似度，即 （，）。同时设置 损失函数得到优化后的相似度量结果，如式（）（）所示。（，），（，）（）