基于稀疏卷积的非对称特征聚合点云压缩算法_黄炜.pdf

电视技术 第 46 卷第 12 期(总第 565 期)67PARTS&DESIGN器件与设计文献引用格式：黄炜，朱映韬，陈冬杰，等.基于稀疏卷积的非对称特征聚合点云压缩算法 J.电视技术，2022，46（12）：67-71，76.HUANG W，ZHU Y T，CHEN D J，et al.Sparse convolution based asymmetric feature aggregation algorithm for point cloud compressionJ.Video Engineering，2022，46（12）：67-71，76.中图分类号：TP311.1 文献标识码：A DOI：10.16280/j.videoe.2022.12.015基于稀疏卷积的非对称特征聚合点云压缩算法黄 炜1，朱映韬1，陈冬杰2，王宝土2*，陈 建1，2（1.福州大学 先进制造学院，福建 泉州 362200；2.福州大学 物理与信息工程学院，福建 福州 350108）摘要：当前基于深度学习的点云压缩算法存在局部特征学习不足的问题，点云庞大的数据量也限制了网络规模。为了保障重建质量的同时合理控制计算复杂度，提出一种基于稀疏卷积的非对称特征聚合点云压缩算法，设计非对称特征聚合编解码网络、逐通道稀疏残差卷积提升率失真性能。经实验验证，相较于现有的 G-PCC、V-PCC 和 Learned-PCGC 算法，所提算法的BD-Rate 分别减少 88%，46%，40%以上，BD-PSNR 分别增加 8.9 dB，2.4 dB，1.8 dB 以上。关键词：点云压缩；自编码器；稀疏卷积；非对称特征聚合Sparse Convolution Based Asymmetric Feature Aggregation Algorithm for Point Cloud CompressionHUANG Wei1,ZHU Yingtao1,CHEN Dongjie2,WANG Baotu2*,CHEN Jian1,2(1.College of Advanced Manufacturing,Fuzhou University,Quanzhou 362200,China;2.College of Physics and Information Engineering,Fuzhou University,Fuzhou 350108,China)Abstract:Current deep learning-based point cloud compression algorithms suffer from insufficient local feature learning,and the huge data volume of point clouds also limits the network size.In order to guarantee the reconstruction quality while reasonably controlling the computational complexity,a sparse convolution based asymmetric feature aggregation point cloud compression algorithm is proposed,and asymmetric feature aggregation codec network and channel-wise sparse residual convolution are designed to improve the rate distortion performance.It is experimentally verified that compared with the existing G-PCC,V-PCC and Learned-PCGC,the BD-Rate is reduced by more than 88.7%,46.7%and 40.9%,respectively,and the BD-PSNR is increased by more than 8.99 dB,2.42 dB and 2.36 dB,respectively.Keywords:point cloud compression;auto-encoder;sparse convolution;asymmetric feature aggregation0 引 言点云是三维空间中的点集，不仅能够表达物体与场景的几何信息，还包含了颜色或反射率等属性信息，比起传统的二维图像、视频，可以更逼真地展现三维世界，被广泛应用于沉浸式视频媒体、自由视点电视、移动机器人以及自动驾驶等智能领域。然而，点云庞大的数据量是限制其相关应用发展的一大瓶颈。因此，高效的点云压缩算法已成为新兴智能领域的研究热点之一。近几年，动态图像专家组（Moving Picture Experts Group，MPEG）正积极推进着点云压缩的标准化进程。现有的点云压缩标准主要有基于视频的点云压缩（Video-based Point Cloud Compression，V-PCC）和 基 于 几 何 的 点 云 压 缩（Geometry-based Point Cloud Compression，G-PCC），前者主要针对二类动态点云，后者则应用于一类静态点云和三类激光雷达点云。本文讨论的重点为一、二类密集点云的几 基金项目：国家自然科学基金（62001117）；国家级创新训练项目（202210386028）。通信作者：王宝土（1981），男，硕士，讲师，研究方向为计算机图形学、虚拟现实。E-mail：。68电视技术 第 46 卷第 12 期(总第 565 期)PARTS&DESIGN器件与设计何压缩方案。除了以 V-PCC 和 G-PCC 为代表的经典压缩算法，深度学习近年来也被成功应用于点云数据。基于学习的点云压缩方法倾向于采用自编码器网络1-7，从自重建中学习点云几何特征。然而，自编码器网络虽然能从自重建中学习全局几何特征，但其降维过程会丢失一部分高维丰富的局部特征，简单的重复降维与升维并不能实现较好的局部特征学习。此外，点云的庞大计算开销限制了网络设计时卷积层的深度与宽度，从而限制了压缩性能。针对这些问题，本文提出了基于稀疏卷积的非对称特征聚合点云压缩算法。1 相关工作在自编码器相关的点云压缩工作中，主流方法可分为基于点集的方法或基于体素的方法。基于点集的处理直接从三维点云数据中提取特征，而基于体素的方法使点云变得有序化和结构化，进而可对体素进行三维卷积特征提取，在当下能够实现更高的重建精度。GUARDA 等人最早将点云体素化并分块进行特征学习与压缩1，该团队后续在此基础上进一步研究了显隐式量化结合2，在解码端进行由粗到细的多分辨率重建3。MILANI 等人4则将自编码器网络与对抗网络的理念结合，实现更高精度的解码。然而在上述工作1-4中，解码端均通过固定阈值二分类判决重建点云的体素占用情况，对重建点云的准确度存在一定的影响。为解决这一问题，QUACH 等人提出的 GeoCNN5通过最小化输入点云与重构点云间的失真计算得到动态阈值，优化重建点云的准确度。FRANK 等人6在 Quach等人的基础上进一步研究通道熵建模，优化变分自编码器网络性能。WANG 等人提出的 Learned-PCGC7则通过匹配原始点云的点数提出另一种自适应阈值，进而优化率失真性能。2 所提方法本节对所提出的非对称特征聚合编解码网络进行阐述，并说明逐通道稀疏残差卷积的结构。2.1 非对称特征聚合编解码网络为解决现有自编码器网络不能有效学习局部几何特征的问题，本文设计了非对称特征聚合编解码网络。如图 1（a）所示，在所设计的编码网络内部，稀疏卷积层与 ReLU 函数用于特征粗提取与通道、维度变换，通过卷积核尺寸为 222，步长为2 的稀疏卷积实现降维。鉴于自编码器相关的大量工作1-7已验证过，当自编码器网络的升降维次数为 3 时，可在保证良好的率失真性能的同时具有适中的复杂度与计算开销。在如图 1（b）所示的解码网络中，使用卷积核尺寸为 222，步长为 2 的转置稀疏卷积实现升维，同时为了避免栅格效应，在转置稀疏卷积后衔接一次稀疏卷积。蓝色虚线框所示的特征精提取结构则通过本文设计的逐通道稀疏残差卷积进行高效的特征学习；绿色虚线框所示的多尺度特征聚合支路将高分辨率特征降维匹配维度后级联传递至深层，保证进行良好的全局特征学习的同时，实现更好的局部几何特征提取；二分类判决层用于判断体素是否被占用，以确定非空体素集，迭代 3 次最终输出重建点云。可以注意到，应用自编码器的工作中1-7，编解码网络的结构设计通常是对称的。本文在解码网络中并没有对称地设计特征融合支路，这是因为，若保持自编码器网络的对称结构而在解码网络中设计支路传递特征，则理论上需要随着自重建而不断升维匹配特征维度，然而点云数据的计算开销极其庞大，解码支路不断升维会导致模型的复杂度过高，进而造成严重的 过拟合。2.2 逐通道稀疏残差卷积为实现更高效的特征精提取，受深度可分离卷积8启发，本文将稀疏卷积、瓶颈层、逐通道卷积和残差链接有机结合，设计了逐通道稀疏残差卷积。如图 2 所示，经稀疏卷积层粗提取的特征以V通道特征的形式输入到逐通道稀疏残差卷积，对经由卷积核尺寸为 111 且输出通道数为 1 的瓶颈层生成的跨通道特征逐通道进行稀疏卷积，每一个通道对应不同的权重矩阵，分别学习每一个通道的特征。由于点云极其庞大的数据特性，若不对深度可分离卷积做改进就直接应用于点云数据，深度可分离卷积本身的结构将造成巨大的计算复杂度，而在稀疏卷积神经网络9中，稀疏张量被定义为由三维空间坐标矩阵和特征向量矩阵组成的数据结构，通过索引坐标实现仅在非空的体素上执行卷积运算，将稀疏卷积引入深度可分离卷积可以明显提升计算效率。而相比直接输入同样卷积核尺寸的稀疏卷积层，逐通道稀疏残差卷积通过引入瓶颈层与逐通道卷积，并通过残差链接复用相邻模块的特征输入，捕捉网 电视技术 第 46 卷第 12 期(总第 565 期)69PARTS&DESIGN器件与设计 （a）稀疏卷积编码网络 （b）稀疏卷积解码网络图 1 非对称特征聚合编解码网络模型图 2 逐通道稀疏残差卷积70电视技术 第 46 卷第 12 期(总第 565 期)PARTS&DESIGN器件与设计络中更长的依赖关系，在优化网络计算复杂度的同时也能提升整体的特征学习效果。此外，由于模块内部的每个稀疏卷积层的输入和输出均为 1 通道特征，激活函数可能导致较为明显的信息损失，因此在模块内部均不使用激活函数。2.3 损失函数在训练过程中，本文的网络模型应用率失真优化模型作为损失函数，定义为L=R+D（1）式中：为拉格朗日乘子，用于约束率失真性能的权衡，R即编码端输出码流的大小，D表示输入点云与重建点云之间的二元交叉熵。()()()2211log1log1NnnnnnDppN=+（2）由于解码端重建点云的过程可近似为二分类任务，升维后通过 1 或 0 来标识重建点云的体素是否非空，因此二元交叉熵可用于衡量编码输入与解码重建的失真，n为输入点云中第n个体素占用与否的情况，n的值为 1 时表示体素被占用，n的值为 0 时表示空体素，pn为重建点云预测第n个体素非空的概率，由 Sigmoid 函数映射得到。3 实验结果与分析为了保证公平对比，本文的训练集采用 Shape Net10数据集，共有 24 641 帧大小不等的点云，训练时随机抽取 10%的点云作为验证集。本文的网络模型实现平台为 Pytorch，采用 Adam 算法作为优化器，初始学习率设置为 0.001，随着训练进程衰减至 0.000 01，Batchsize 设置为 4，每个目标码率的模型统一训练 100 轮，训练与测试的硬件环境为Nvidia G