基于异形曲面拟合引导的深度信息修复算法_王盛.pdf

第 40 卷第 3 期计算机应用与软件Vol.40 No 32023 年 3 月Computer Applications and SoftwareMar 2023基于异形曲面拟合引导的深度信息修复算法王盛王魏平张真(长春理工大学吉林 长春 130022)收稿日期:2020 06 08。军委装备发展部信息系统(31511060502)。王盛，工程师，主研领域:图像处理，虚拟现实，人工智能。王魏平，工程师。张真，工程师。摘要为了克服异形投影曲面 GB-D 空间的深度信息出现非预期抖动、表面采样缺失等问题，提出一种基于异形曲面拟合引导的深度信息修复算法。通过将格雷码序列图像投射于异形投影曲面对其赋予高可用纹理特征，使纹理形态为原始深度信息的修复过程提供强约束引导参照，以实现异形投影曲面的非重建式平缓区域划分。再利用原始深度信息划分结果对各平缓区域分别进行曲面拟合，然后根据拟合曲面方程对该区域内原始深度信息进行平滑修复，从而增强异形投影曲面深度信息的可用性及可信性。算法验证结果表明，该深度信息修复算法不仅能够实现异形曲面的空洞填补与平滑修复，还能够有效地减少深度信息过修复、欠修复等情况发生。关键词曲面拟合深度信息修复异形曲面表面重建几何形态中图分类号TP391文献标志码ADOI:10 3969/j issn 1000-386x 2023 03 042DEPTH INFOMATION ESTOATION ALGOITHM BASED ONFITTING GUIDANCE OF SPECIAL-SHAPED SUFACEWang ShengWang WeipingZhang Zhen(Changchun University of Science and Technology，Changchun 130022，Jilin，China)AbstractIn order to overcome the problems such as unexpected dither of depth information in GB-D space and thelack of special-shaped surface sampling，a depth information restoration algorithm based on the fitting guidance ofspecial-shaped surface is proposed The gray code sequence images were projected on the irregular projection surface togive it highly available texture features，so that the texture shape provided strong constraint guidance reference for therepairing process of the original depth information，so as to realize the non-reconstruction smooth region division of theirregular projection surface Then we used the original depth information partition results to fit the surface of each smoothregion，and then the original depth information in the region was smoothly repaired according to the fitting surfaceequation，thereby enhancing the availability and credibility of the depth information of the irregular projection surfaceThe validation results of the algorithm show that the depth information repair algorithm can not only fill the hole andsmooth the irregular surface，but also effectively reduce the over repair and under repair of the depth informationKeywordsSurface fittingDepth information repairIrregular curved surfaceSurface reconstructionGeometric shaper0引言异形投影曲面显示系统给人们带来了更佳的临场沉浸感和增强现实感，而且异形投影曲面的空间显示特性也极大地激发了视觉感受，其被广泛应用于虚拟现实、艺术表演、文化展示、科技普及、创新创意等众多领域。伴随着投影显示系统视觉表现力的提升，异形投影曲面显示系统对深度信息的还原度依赖变得较为严苛，深度信息的获取质量将直接影响到投影显示画第 3 期王盛，等:基于异形曲面拟合引导的深度信息修复算法271面的呈现效果。如果将采集得到的原始深度信息直接应用于异形投影曲面显示系统，则势必会影响到后续几何校正阶段的可靠性。借助于 GB-D 深度相机可以实时地采集投影曲面的深度信息，但由于受到 GB-D 深度相机自身缺陷、采集环境、采集距离、被测曲面固有属性等因素影响，使得其采集得到的深度信息会出现表面区域丢失、深度值抖动、空间分辨率不足等重要问题。众多研究学者已经针对空洞填充及深度优化等方面开展了大量工作，各种研究成果某种程度地提高了深度信息的可用性1。在基于滤波理论的深度信息修补算法中，主要利用待修补区域周围的邻域深度信息或结合彩色图像来估计相关深度值2 3。当此类深度信息修补算法被使用时，如果待修补区域周围的深度信息相似度较高，则会出现深度信息的过修补现象;如果待修补区域处于 GB-D 深度相机采集的边缘部分，则无法保证修补后深度信息的准确性。Tomasi 等4 提出了基于非线性双边滤波的深度信息修补算法，结合使用空域信息和灰度相似性，实现了深度信息的平滑修补和保边降噪。Petschnigg 等5 提出了基于联合双边滤波的深度信息修补算法，借助彩色图像引导深度信息的修补，某种程度上解决了深度信息修补过程中出现边缘模糊的问题。Jung 等6 提出了基于联合三边滤波的深度信息修补算法，以深度信息与彩色图像的区域相似度为切入点，实现了深度信息的修补和彩色图像的增强。Esfahani 等7 充分考虑了待修补区域深度信息与像素信息之间的关系，结合双边滤波有效地实现了较小区域深度信息的修补处理。Deng 等8 结合使用像素滤波和中值滤波进行深度信息修补，达到了平滑深度信息和保边降噪的目的。异形投影曲面深度信息的三维形态直接影响着异形投影曲面显示系统的画面呈现效果，虽然多数深度信息修复算法都能做到对空洞填补、曲面平滑、深度插值等处理，但深度信息的修复结果往往会存在过修复、失真等问题9 10。由于深度信息的缺失和抖动将严重影响几何形变的校正处理结果，而导致异形投影显示画面无法满足人们的正常视觉观感，因此对深度信息的修复可用性将对异形投影显示画面校正至关重要。图 1 所示为基于异形曲面拟合引导的深度信息修复算法系统构成图。图 1基于异形曲面拟合引导的深度信息修复算法系统构成图基于异形曲面拟合引导的深度信息修复算法系统主要由计算机、GB-D 深度相机、投影机、异形投影曲面构成，其中:异形投影曲面用于接收投影机投射的格雷码序列图像;投影机用于投射格雷码序列图像;GB-D 深度相机用于采集异形投影曲面 GB-D 空间的深度信息、异形投影曲面接收的格雷码序列图像;计算机用于获取 GB-D 深度相机采集的数据信息、传输格雷码序列图像给投影机。本文深度信息修复算法将被分解为两个解算处理过程，即:异形曲面引导形态估计和曲面拟合引导深度信息修复。1异形曲面形态估计为了更加合理地对异形曲面进行深度信息修复，本节将借助格雷码序列图像来体现异形曲面的形态变化情况。如果仅使用原始深度信息进行异形曲面的空间形态修复，则只能利用待修复区域周围的已知深度信息对其进行处理，而且原始深度信息自身存在的不稳定性也会直接影响深度信息修复的优化结果。由于多数情况的异形投影曲面并不存在彩色纹理，因此无法利用彩色纹理图像对深度信息的修复进行引导辅助。而本文将格雷码序列图像投射于异形投影曲面，这样不仅有利于为深度信息修复过程提供拟合引导参照，还有利于根据条纹图像的辅助作用确定有效投影区域范围。首先，根据格雷码编码原理、所需条纹数量来确定格雷码编码图像序列;然后，将格雷码编码图像序列投射于异形投影曲面，利用相机采集受异形投影表面调制的格雷码编码形变图像序列;再对编码条纹中心线进行提取识别，并得到每个编码条纹中心线的格雷码码值;最后，利用最小二乘曲线拟合方法对编码272计算机应用与软件2023 年条纹形成的边界离散点进行划分，从而达到进行异形曲面形态估计的目的。1 1异形曲面形态纹理图像序列由于任意两个相邻的格雷码编码值仅有 1 位二进制数不同，因此它具有错误最小化的编码特性。图 2所示为格雷码序列的像素化示意。异形投影曲面的接收表面往往缺少形态特征而无法为深度信息修复提供参考，故需要利用格雷码编码图像序列对异形投影曲面进行三维形态的主动纹理映射。图 2格雷码序列的像素化示意根据格雷码编码序列的二进制数排列形式可知，格雷码编码图像序列所包含的编码图像数量将由投影分辨率、编码条纹宽度共同决定。如果投影分辨率保持不变，编码条纹宽度越大则所需编码图像数量越少，编码条纹宽度越小则所需编码图像数量越多，也就是说，投影分辨率不变的前提下，编码条纹宽度与编码图像数量成反比。根据式(1)即可计算得到格雷码编码图像序列所含图像数目为:2n=SpSn(1)式中:n 表示格雷码编码图像序列所包含的编码图像数量;Sp表示投影机投射分辨率;Sn表示编码条纹所占像素宽度值。根据格雷码编码序列的二进制数排列形式，生成 t幅格雷码编码图像序列 GCPs=GCPs1，GCPs2，GCPst。通过投影机依次将格雷码编码图像序列 GCPs的每幅编码图像投射于异形曲面，同时使用 GB-D 深度相机单元依次采集投射于异形投影曲面的每幅编码图像，得到 GB-D 深度相机采集的 t 幅格雷码编码图像序列 CGCPs=CGCPs1，CGCPs2，CGCPst、GB-D深度相机采集的 t 组深度信息值序列 DGCPs=DGCPs1，DGCPs2，DGCPst，编码图像序列 CGCPs 与深度信息值序列 DGCPs 具有对齐关系，且深度信息值序列DGCPs 对齐于编码图像序列 CGCPs。1 2序列编码条纹提取识别通过相机采集得到格雷码编码形变图像序列后，需对编码条纹进行提取及解码以获取各编码条纹的格雷码值。为了准确地对序列编码条纹进行中心线提取与识别，需利用色彩空间转换将格雷码编码图像序列CGCPs=CGCPs1，CGCPs2，CGCPst 输出为 YUV色彩空间的 Y 通道编码图像序列 YGCPs=YGCPs1，YGCPs2，YGCPst，其具体色彩空间的转换过程可通过式(2)实现。正因亮度信息分量 Y 更好地表达了各像素点的亮度等级信息，所以对序列编码条纹中心线的提取过程将使用亮度信息分量 Y 进行。Y(i，j)U(i，j)V(i，j)=0 2990 5870 1140 168 70 331 30 50 50 418 70081 3(i，j)G(i，j)B(i，j)+0128128(2)式中:Y(i，j)、U(i，j)、V(i，j)、(i，j)、G(i，j)、B(i，j)分别表示某图像中第 i 行第