采用SJND模型的动态点云感知编码方法_刘威.pdf

第 44 卷 第 4 期2023 年 4 月 激光杂志LASER JOURNALVol.44,No.4April,2023http /收稿日期:2022-10-11基金项目:国家自然科学基金(No.62171243)作者简介:刘威(1998-),男,硕士生,从事基于视频的点云压缩技术研究。E-mail:lwspace1998 通讯作者:郁梅(1968-),女,博士,教授,博士生导师,从事多媒体信号处理与通信的研究。E-mail:yumei 光通信与网络采用 SJND 模型的动态点云感知编码方法刘 威,郁 梅,蒋志迪,徐海勇宁波大学信息科学与工程学院,浙江 宁波 315211摘 要:动态点云能有效描述自然场景与 3D 对象,提供沉浸式视觉体验;但其数据量庞大。需对其进行有效压缩。提出了采用显著性引导的恰可察觉失真(Saliency-guided Just Noticeable Distortion,SJND)模型的动态点云感知编码方法。针对纹理图感知冗余,构建了基于离散余弦变换域的 SJND 模型,应用于纹理图编码过程中的 DCT 系数抑制;考虑到相同失真等级下显著区域的几何失真更易被察觉,提出使用投影显著图将几何图进行分层;最后,为不同层级的编码树单元进行自适应量化参数选择和编码。与 V-PCC 标准方法相比,在保证动态点云视觉质量的前提下,所提出方法提升了动态点云的编码效率。关键词:动态点云编码;基于视频的点云压缩;显著性引导恰可察觉失真模型;自适应量化参数选择中图分类号:TN919 文献标识码:A doi:10.14016/ki.jgzz.2023.04.107Dynamic point cloud perceptual coding method with SJND modelLIU Wei,YU Mei,JIANG Zhidi,XU HaiyongFaculty of Information Science and Engineering,Ningbo University,Ningbo Zhejiang 315211,ChinaAbstract:Dynamic point cloud can effectively describe natural scenes and 3D objects,providing an immersive visual experience.However,it has a huge amount of data which needs to be compressed effectively.In this paper,a Saliency-guided Just Noticeable Distortion(SJND)model is defined and used to design a dynamic point cloud percep-tual coding method.Considering the perceptual redundancy of texture map,the SJND model is constructed in Discrete Cosine Transform(DCT)domain and used to suppress the DCT coefficients in texture map coding.Considering that the geometric distortion of saliency regions is more easily perceived at the same level of distortion,a projected saliency map is proposed to layer the geometric images.Finally,adaptive quantization parameters(QPs)are selected for Cod-ing Tree units(CTUs)of different levels.Compared with the V-PCC standard method,the proposed method improves the coding efficiency on the premise of ensuring the visual quality of the dynamic point cloud.Key words:dynamic point cloud coding;video-based point cloud compression;saliency-guided just noticeable distortion model;adaptive qp selection1 引言点云(Point Cloud,PC)是由 3D 空间中一系列离散点所组成的集合,每个点具有空间坐标和一组属性矢量(如:颜色、法向量、反射率等)1。点云可为用户带来更好的沉浸式视觉体验2,在虚拟现实、动画、游戏和导航等领域得到广泛应用3。但点云的数据表达方式与其庞大的数据量妨碍了其进一步应用4。因此,高效的动态点云压缩成为该领域亟待解决的关键问题之一。动态点云压缩方法主要可分为基于 3D 域的压缩5和基于 2D 域的压缩6。由于动态点云相邻帧之间存在点数的差异,使点的运动估计与补偿难以一一对应,从而导致基于 3D 域的动态点云压缩方法未能取得较高的压缩效率。基于 2D 域的压缩方法可以http /有效利用帧间信息,能够更好地实现动态点云压缩;这其中,基于视频的点云压缩(Video-based Point Cloud Compression,V-PCC)标准7是主流方法。V-PCC 标准主要是将动态点云投影成 2D 视频(包括纹理图序列和几何图序列),再使用现有高效视频编码框架(High Efficiency Video Coding,HEVC)8对纹理图序列和几何图序列进行压缩。V-PCC 标准主要着重于压缩动态点云的空域冗余和时域冗余,未充分考虑点云的感知冗余。显然,如何压缩点云感知冗余是进一步提升动态点云编码性能的有效途径。就此,Sandri 等9将感兴趣区域加入点云的感知编码方法中以优化点云的主观质量。Figueiredo 等10提出了一种基于投影图来预测点云显著性的方法,并将其引入点云编码中。Wang 等11利用 Patch 和视图之间的关系,提出了一种保留投影过程中可能丢弃的孤立点的方法,并以彩色点云的全参考质量评估方法12评价点云编码性能。Zhu 等13提出了与视图相关的动态点云压缩的方法,改善了重建点云的主观质量。然而,这些方法没有考虑到点云几何和颜色间的视觉感知关系及其对点云感知质量的影响。为此,提出了采用显著性引导的恰可察觉失真(Saliency-guided Just Noticeable Distortion,SJND)模型的动态点云感知编码方法,该方法与 V-PCC 标准相兼容。2 本方法基于人眼视觉感知特性,提出了一种基于 SJND模型的动态点云感知编码方法,如图 1 所示。首先,输入点云 Porg通过 V-PCC 投影得到其纹理投影图 TC和几何投影图 TG,对 TC进行 SJND 建模并应用于其离散余弦变换(Discrete Cosine Transform,DCT)系数的感知量化与编码;基于 TC的亮度分量,提取亮度自适应因子 FL,并对分块进行 DCT 变换。其次,在 DCT域计算对比敏感度函数阈值 TCSF。考虑到人眼对不同显著区域的视觉敏感度不同,对 Porg进行显著性检测以生成显著点云 PS。再对 PS进行投影来生成显著图 TS并计算其显著密度因子 s。然后,通过求得 TC的边缘图 TE,并在 s的引导下对 TE提取显著性引导的对比度掩蔽因子 FSCM。最后,将所提取的各感知因子相乘得到 DCT 域的 SJND 模型阈值 TSJND。此外,对TS进行显著密度计算求得显著密度图 T,其可用于几何图的显著分层。再为几何图中不同显著层级的编码树单元(Coding Tree Unit,CTU)进行量化参数(Quantization Parameter,QP)的自适应选择和编码。图 1 采用 SJND 模型的动态点云感知编码方法框图2.1 面向纹理图 TC的 SJND 模型基于 DCT 域的 JND 模型的基本框架源于 DC-Tune 模型14,它可表示为一个基准阈值与一些调制因子的乘积。考虑到人眼对点云显著区域的敏感度比非显著区域高,这里,将采用显著性引导来进行DCT 域 TC的 SJND 模型构建,并以 88 尺寸的块为单位进行计算,表示如下:TSJND(k,n,i,j)=TCSF(k,n,u,v)FL(k,n)FSCM(k,n,u,v)(1)其中,TSJND为 SJND 模型阈值,TCSF为对比敏感度函数(Contrast Sensitivity Function,CSF)阈值,FL是亮度自适应因子,FSCM是所提显著性引导的对比度掩蔽因子,k 表示当前帧的帧数,n 表示 DCT 块的位置,(u,v)表示 DCT 系数在当前块中的位置,u 和 v 分别取07 的整数值。人眼对不同频率区域具有不同的感知敏感度,即对高频和低频区域敏感度较低,而对中频区域感知敏感度较高15;基于变换域的 CSF 可表示为TCSF(k,n,u,v)=1ijexp(cuv)/(a+buv)+(1+)cos2uv(2)其中,u和 v表示 DCT 归一化因子,uv表示空间频率。表示斜向效应,根据经验值取 0.6。uv表示对应分量的方向角。其余为影响 CSF 模型的参数,分别取 a=1.33,b=0.11,c=0.18。人类视觉系统对背景中不同亮度区域的敏感度不同,其可见性阈值在暗区域和亮区域较高,在中等亮度区域较低;通过将 Gamma 校正与亮度适应效应相结合16,可计算亮度适应因子如下:FL(k,n)=(60-I)/150+1 I601 60I170(I-170)/425+1 I170|(3)其中,表示 88 尺寸的块中亮度分量的平均强度。801刘威,等:采用 SJND 模型的动态点云感知编码方法http /关于点云的显著区域估计,首先,将点云分别沿着水平方向和垂直方向进行旋转10。水平旋转角度为,0(360;垂直旋转角度为,-90(0.5,该 DCT 块属于视觉敏感块,则提取得到显著密度因子 s可表示如下:s=1-s,ifs0.51,ifs0.5(4)其中,每个块的密度由式(5)计算得到,block表示一个块内像素值不为 0 的像素个数。s=block/N2(5)使用 s指导对比度掩蔽效应的建模。先通过 Canny 算子对 TC进行边缘检测得到 TE,同样,采用式(5)对 TE计算得到块的边缘像素密度 edge,它用于指导块类型的划分。图 3 为 edge的可视化结果,并定义其为边缘密度图 Tr,图 3(b)和图 3(c)分别表示纹理区域和平坦区域。以 Tr中的 edge为条件进行块类型划分。若当前块包含非常稀疏的边缘像素,即 edge0.1,则其为平坦块 BP。若 edge0.2,即当前块包含许多边缘像素,这意味着该块有很高的频率能量,因而被认为是一个纹理块 BT。当 0.116 in BTblock|(6)考虑到显著区域应比非显著区域保存更多的信息,利用 s引导并提取因子 FSCM,计算如下:FSCM(k,n,u,v)=s,for(u2+v2)16 in BPandBEblocksmin 4,max 1,C(n,u,v)TCSF(k,n,u,v)FL(k,n)()0.36()(),others|(7)最终,将求得的 TSJND嵌入到 HEVC 的变换和量化模块之间,以用于 DCT 系数量化过程中信息冗余的抑制。当对应位置的 DCT 系数为正数且大于其TSJND时,将该 DCT 系数减去其 TSJND,作为该位置新的DCT 系数