多维点云结构相似性定量化评价_杨紫骞.pdf

第 31 卷 第 4 期2023 年 2 月Vol.31 No.4Feb.2023光学 精密工程 Optics and Precision Engineering多维点云结构相似性定量化评价杨紫骞1，2，王艳秋1，2，郑福1，2，孙志斌1，2*（1.中国科学院国家空间科学中心，北京 100190；2.中国科学院大学，北京 100049）摘要：点云配准技术作为点云数据处理中的核心技术，会因为点云质量而影响配准效果，质量好的点云可以提高配准精度、空间模型完整度、即时定位与地图构建系统的性能等，因此评价点云数据质量具有很高的客观价值；而通过传感器获得的点云数据存在系统误差和非系统误差等噪声，因此点云数据处理变得很重要，对点云数据处理效果的评价还没有一个较为客观的方法，本文提出了多维点云结构相似性定量化评价方法。通过将滤波前、后的点云数据和标准点云数据进行对比，分别比较三维坐标轴上所有点坐标的均值、标准差和协方差，再对 3个坐标轴上的结构相似性值进行权重分配最终获得三维结构相似关联度，进而对点云滤波、点云稀疏后的点云数据质量进行评价。该方法还对提高配准精度进行了实验验证。经过实验表明，该方法能够评价三维点云的质量，且能够评价不同噪声类型以及处理方法下获得的点云质量，为点云配准提供了参考。该方法不仅对点云预处理和点云质量进行了高效、客观地评价，还提供了一种提高点云配准精度和效率的方法。关键词：点云数据；结构相似性；定量化评价；点云滤波中图分类号：TP753 文献标识码：A doi：10.37188/OPE.20233104.0533Quantitative evaluation method for structural similarity of multidimensional point cloudYANG Ziqian1，2，WANG Yanqiu1，2，ZHENG Fu1，2，SUN Zhibin1，2*（1.National Space Science Center，Chinese Academy of Sciences，Beijing 100190，China；2.University of Chinese Academy of Sciences，Beijing 100049，China）*Corresponding author，E-mail：Abstract：Point cloud registration technology is the core technology of point cloud data processing.The quality of the point cloud will influence the registration effect of point cloud registration.An excellent quality point cloud can improve registration accuracy，spatial integrity，and slam performance.Therefore，assessing the quality of point cloud data has significant objective value.The point cloud data obtained by the sensor contains noise such as systematic and nonsystematic errors.In this case，point cloud data processing becomes crucial.However，there is no more objective method to evaluate the treatment effect.A quantitative evaluation method of multidimensional point cloud structure similarity is proposed.This method compares the point cloud data before and after filtering with the standard data.The mean，standard de文章编号 1004-924X（2023）04-0533-10收稿日期：2022-02-23；修订日期：2022-03-31.基金项目：国家重点研发计划资助项目（No.2016YFE0131500）；国家自然科学基金委面上项目资助项目（No.61474123，61274024）第 31 卷光学 精密工程viation，and covariance of all point coordinates on the three-dimensional coordinate axis are compared.Subsequently，the structural similarity values on the three coordinate axes are weighted.Finally，the similarity and correlation degree of the three-dimensional structure is obtained.Then，it realizes the evaluation of point cloud filtering，point cloud sparse，and point cloud data quality.The method is also verified by experiments to improve registration accuracy.Experiments demonstrate its capacity to evaluate the quality of the 3D point cloud.It can evaluate the quality of the point cloud obtained under different noise types and processing methods.It provides a reference for point cloud registration.This method improves both the accuracy and efficiency of cloud point registration，as well as its quality.Key words：point cloud data；structure similarity；quantitative evaluation；point cloud filtering1 引 言三维数据作为一种不同于二维数据的新的多媒体数据，目前备受人们的关注。多维点云数据，是除了三维信息，又增加了深度信息、色彩信息、反射率和法向量信息等综合的一种新的数据结构1，常用在建筑物三维建模等领域。作为一种常用格式，点云表示将原始几何信息保留在三维空间中，因此三维点云数据格式就成了自动驾驶和机器人技术此类场景理解相关应用程序的首选表示法2。虽然三维点云具有较高的精度，可以满足导航和避障需求，但是三维点云不容易闭环表示，使得导航存在轨迹偏移，从而影响精准度，而且目前点云获取方式通常是由三维成像传感器获得的，这种方式通常会有噪声点的存在3，特别是在物体的边缘或角落位置4，这是由于测量仪器或者多路径干扰等因素造成的。由于噪声的存在影响了物体表面的细节信息，就会给后续点云配准、点云分割及表面重建等工作带来困难，所以点云质量的优劣就变的至关重要。而且对于多幅点云配准和即时定位与地图构建（Simultaneous Localization and Mapping，SLAM）提供了参考，由于在多幅点云配准中，可能因为单幅点云质量不好导致整体配准效果很差，因此需要一种可以直观显示出点云模型质量的评价方法。尽管目前有很多点云预处理的方法，但是大多都是依靠主观评价来对点云质量进行判断，还没有一种较好的客观评价方法，用于评价经过预处理后点云质量。有些实验会利用均方误差法（Mean Square Error，MSE）5和 峰 值 信 噪 比（Peak Signal to Noise Ratio，PSNR）6的方法来进行点云质量评价，这两种评价方法虽然计算较为简单，但是并不符合人的主观感知7-8，即对结构的识别能力较弱，而本文提出的多维结构相似性 理 论（Multi-Dimension Structure Similarity，MDSS）定义明确、准确性好，更贴近人眼效果。鉴于以上论述，本文提出了一种多维点云结构相似性定量化评价方法，用于评价多维点云质量，并用三维点云数据进行分析验证。结果表明，高维结构相似性评价方法的曲线与置信度曲线走势基本相符，验证了该方法的可靠性。该方法实现了对点云质量的客观评价，为点云质量评价提供了一种新思路，同时该方法能够评价不同噪声类型以及处理方法下获得的点云质量，为点云配准提供了参考，提升了配准精度。因此该方法不仅对点云预处理和点云质量进行了高效、客观地评价，还提供了一种提高点云配准精度和效率的方法。2 结构相似性算法2.1单一轴向的结构相似性算法 SSIMWang 等提出的结构相似性指标（Structural Similarity，SSIM）9通常用于衡量图片的失真程度，也可以用于衡量两张图片的相似程度。结构相 似 性 主 要 考 量 三 个 关 键 特 征10，即 深 度（Depth）、深度对比度（Contrast of Depth）、结构（Structure）。假设一幅点云中的点云数为 N，其中的像素记为Ipi，则该副点云的均值、标准差、协方差分别为：534第 4 期杨紫骞，等：多维点云结构相似性定量化评价Ip=1NiNIpi，（1）Ipi=()1N-1iN(Ipi-Ip1)212，（2）Ip1，Ip2=1N-1iN(Ipi1-Ip1)(Ipi2-Ip2).（3）由于本文是将两幅点云数据进行对比，所以假设另一幅点云中的点记为Ipi2，则两幅点云分别减去它们的均值后的余弦相似度为：s(P1，P2)=iN()Ipi1-Ip1*()Ipi2-Ip2()iN()Ipi1-Ip1212()iN()Ipi2-Ip2212=1N-1iN()Ipi1-Ip1()Ipi2-Ip2()1N-1iN()Ipi1-Ip1212()1N-1iN()Ipi2-Ip2212=Ip1，Ip2Ip1Ip2.（4）由基本不等式：a2+b2 2ab.（5）当且仅当a=b时，公式（5）的等号成立，所以将a2+b2当作分母，将点云数据相同轴向坐标的均值、标准差和协方差对比度代入，可以得到深度相似度指标、深度对比度相似度指标和结构相似度指标：l(P1，P2)=2Ip1Ip22Ip1+2Ip22Ip1Ip2+C12Ip2+2Ip2+C1，（6）C(P1，P2)=2Ip1IP22Ip1+2Ip22Ip1IP2+C22Ip1+2Ip2+C2，（7）s(P1，P2)=Ip1，Ip2Ip1Ip2Ip1，Ip2+C3Ip1Ip2+C3，（8）其中：C1，C2，C3为常数，保证分母为 0 时的稳定性，C1，C2，C3这样给出：C1=(K1L)2，（9）C2=(K2L)2，（10）C3=C22.（11）在 实 际 计 算 中，通 常 取K1=0.01，K2=0.03。L为点云像素数。由于结构相似性算法是将深度值、深度对比度值、结构值来度量单一轴向的相似性，所以单一轴向的结构相似性公式如式（12）所示11：SSIM=l(P1，P2)c(P1，P2)s(P1，P2)，（12）其中，为调节三个值的权重。通常在计算中将其设定为=1，但有时也要根据不同场景进行一定地调节。此时将公式（6）公式（8）代入公式（1