融合超像素分割技术的虚拟成像细节重建研究_刘彪.pdf

基金项目:2021 江苏高校哲学社科项目(2021SJA1384)收稿日期:2022-06-07 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0190-05融合超像素分割技术的虚拟成像细节重建研究刘 彪,顾邦军(苏州科技大学新媒体交互设计与应用研究所,江苏 苏州 215009)摘要:虚拟成像是在三维空间中投射立体影像的技术,受采集设备、环境以及网络传输等因素的影响,图像易出现分辨率降低问题,导致虚拟成像细节重建效果不理想。为解决上述问题,提出基于 VR 和小波降噪的复杂虚拟成像重建方法。依据光学原理确定最小识别距离,结合摄像机采集目标物体多视点图像。利用简单线性迭代聚类(simple linear iterativeclustering,SLIC)超像素分割技术优化小波降噪法,完成图像的去噪。基于此,通过 VR 技术获取全息三维影像重建点坐标和深度距离,并将其投射至透明介质上,实现复杂虚拟成像重建。实验结果表明,研究方法的虚拟成像超像素分割效果更优,平均峰值信噪比为 25.5dB,平均结构相似度为 0.83,具有较高的应用可靠性。关键词:虚拟现实;小波降噪;虚拟成像重建;多视点图像采集;简单线性迭代聚类算法中图分类号:TP274 文献标识码:BResearch on Virtual Image Detail ReconstructionBased on Super Pixel SegmentationLIU Biao,GU Bang-jun(Institute of New Media Interaction Design and Application,Suzhou Universityof Science and Technology,Suzhou Jiangsu 215009,China)ABSTRACT:Virtual imaging is a technology of projecting 3D images in three-dimensional space.However,it is af-fected by some factors such as acquisition equipment,environment and network transmission,and the resolution ofimages is easy to be reduced.As a result,this article presented a complex virtual imaging reconstruction methodbased on VR and wavelet denoising.According to the optical principle,we determined the minimum recognition dis-tance and collected the multi-view images of the target object by the camera.And then,we used the super-pixel seg-mentation technology based on simple linear iterative clustering(SLIC)to optimize the wavelet denoising method,thus completing the image denoising.On this basis,we used VR technology to calculate the coordinates and depth ofthe reconstruction points of the holographic image and projected them onto the transparent medium,thus realizingcomplex virtual imaging reconstruction.Experimental results show that the proposed method has better super-pixelsegmentation effect and high application reliability.The average peak signal-to-noise ratio is 25.5dB,and the aver-age structural similarity is 0.83.KEYWORDS:VR;Wavelet noise reduction;Reconstruction of virtual imaging;Multi-view image acquisition;SLIC algorithm1 引言虚拟成像是以全息科技为基础的高科技成像技术1,其原理是在获取到目标物体的全息影像后将其投射于透明介质上2,产生三维立体观感,从而提升视觉效果。目前虚拟成像重建技术在众多领域中均具有优异的表现,各领域科研人员利用虚拟成像重建技术能够实现信息分析与处理,为生产和生活带来极大的便利。针对虚拟图像的重建问题,当前相关领域的专家也得到了一些较好的研究成果。孙硕等人3提出基于面部虚拟整形的三维人脸重建系统。采集目标的多角度图像,将图像转换为点云模型后去噪处理。通过粗匹配拼接正面点云和侧面点云并采用精配准方法配准点云,生成三维点云模型并对091其网格化处理,引入细分算法提升重建后模型精度,实现复杂虚拟成像重建。刘东生等人4提出基于深度相机的大场景三维重建方法。融合深度图像和彩色图像作为基础模型,将输入 RGB-D 图像的几何误差和亮度误差最小化处理用于相机跟踪,计算相机与子网络中心的距离。若该距离大于设置阈值,则以体素单元整数倍距离为标准平移子网络。并基于该网络跟踪相机,重建局部场景模型。通过迭代步长法在子网格之间搜索相应表面点,将点间欧式距离和亮度误差作为约束条件,对全局相机轨迹优化处理,实现复杂虚拟成像重建。薛俊诗等人5提出一种基于场景图分割的混合式多视图三维重建方法。采用多层次加权核 K 均值算法分割场景图并混合重建每个子场景图建立子模型,构造最佳影像选择标准。依据稳健三角测量法和迭代优化策略等提升重建精度,合并全部子模型,实现复杂虚拟成像重建。以上方法忽略了对图像分辨率限制和超像素分割相关问题的解决,导致峰值信噪比和结构相似度仍达不到理想效果。为此,提出基于 VR 和小波降噪的复杂虚拟成像重建方法。通过对实景图像采集和预处理,获得去噪后的图像。采用 VR 技术,将获取的全息三维影像投射到透明介质,实现对复杂虚拟成像的重建。2 实景图像采集和预处理2.1 最小识别距离确定在复杂虚拟成像重建时,每个帧点像素分辨率均会对重建效果产生一定的影响,为了保证最终复杂虚拟成像重建质量,需要有效解决图像分辨率限制问题。重建虚拟成像前需要通过专业摄像机全面采集目标事物的实景图像,图像识别距离会直接影响实景图像分辨率。所提方法以光学原理为依据判定像素识别最小距离,将图像中扫描到的目标点视为一个光源结构,在两个目标点,即两个光源中往往存在一个及以上的艾里斑,当某个艾里斑的中心与另一个艾里斑边缘重合时,则两者间具有最大识别距离。将图像和摄像机之间实际直线距离记作 d,光源通过圆形路线直径记作 D,图像点光源进入摄像机内的实际波长记作,则 计算方式如下所示:=dD(1)在实际使用中,摄像机分辨率通常为恒定值,且该值往往高于其它光学衍射分辨率6,因此,依据式(1)得到最小识别距离后结合该值选取分辨率合适的摄像机有利于提升图像质量,进而提升最终复杂虚拟成像重建效果。2.2 多视点图像采集结合最小识别距离、摄像机配置标准和目标位置调节摄像机方位和标定,构建成像模型。为提升成像效果,通常采用针孔成像模型7,成像原理如图 1 所示。为了重建复杂虚拟成像,需要摄像机采集目标在若干不同角度和方位的多视点图像作为实景图像,采集过程中,摄图 1 针孔成像模型原理图像机和投影平面通过移动实现目标的动态捕捉。在针孔成像模型中,依据齐次坐标获取三维空间中任意点 Q 坐标 Q=(x,y,z,1),Q 点经映射呈现于图像平面,对应坐标记作 q=(x,y,z),连接该点与投影中心,用 代表投影矩阵,则可将映射关系表示为 q=PQ。将采集到的全部数据传输至计算机,通过单应矩阵计算全部图像样本标点改变值8,引入线性分析处理计算结果,即可得到摄像机和二维图像平面成像相关参数,主要流程如图 2 所示。图 2 多视点图像采集流程图 2 中,初始化是对摄像机自身各项参数计算并生成参数闭式解的过程9;非线性优化是以均值误差最小为原则,最小化图像全部目标特征点多次投影标定误差的过程10,过程中首先降低迭代梯度,然后引入雅可比矩阵封闭运算对标点参数非线性优化11,最后将实景图像信息存储于计算机相应数据库中。2.3 小波降噪利用 SLIC 超像素分割技术优化小波降噪方法,将采集191到的实景图像去噪处理。由于设备自身限制和外界环境干扰,采集到的图像中不可避免会存在部分噪声,小波降噪法在滤除图像噪声的同时能够有效保护图像边缘和细节,为了保证复杂虚拟成像重建质量,所提方法引入小波降噪法去除图像噪声12。将含噪图像表示为 g,原始图像表示为g,加性高斯噪声表示为 n,则图像去噪模型可表示为 g=g+n。对含噪图像平稳小波变换,生成尺度系数 LLJ以及三个不同方向的小波系数 LHj、HLj和 HHj,其中 J 表示最大小波分解尺度,j 表示当前分解尺度,j=1,2,J。通过合适的阈值估计法能够得到不同小波系数的局部阈值估计,记作 LHj、HLj和 HHj,选取阈值函数对小波系数收缩处理,生成阈值化后小波系数 L Hj、H Lj和 H Hj,将 LLJ、L Hj、H Lj和 H Hj逆小波变换,即可获取到降噪后图像g。所提方法引入分割结果紧凑均匀且所需输入参数较少的 SLIC 超像素分割技术分割图像13,结合实际需求设置分割尺度为 M,分割分解尺度为 j 时各方向上小波系数,生成标签图,汇总其中标签值为 k 的分割块中全部像素位置,构建集合 u(k),即不规则窗口 k,将该窗口中小波系数记作 Fu(k),引入软阈值函数 S 获取小波系数 Fu(k)的阈值化系数Fu(k),如下所示Fu(k)=S(Fu(k),j,k)j,k=2noise,jsignal,j,k|(2)式中,j,k表示在分解尺度为 j 时、不规则窗口 k 中局部贝叶斯阈值估计14,2noise,j表示分解尺度为 j 时的噪声方差估计,signal,j,k表示不规则窗口 k 中的信号标准差估计,2noise,j和signal,j,k计算方式如下所示2noise,j=median(|HHj|)0.6745signal,j,k=marg inal,j,k-2noise,j()|marg inal,j,k-2noise,j()=0.01,marg inal,j,k-2noise,j()0marg inal,j,k-2noise,j,otherwise(3)式中,marg inal,j,k表示不规则窗口 k 的边缘方差,用 Mk表示 u(k)中元素总数,fi表示 Fu(k)中第 i 个小波系数,fiFu(k),iu(k),则marg inal,j,k的计算方式如下所示marg inal,j,k=1MkMki=1f2i(4)通过以上方式,采用 SLIC 超像素分割技术改进局部自适应小波降噪法,将其用于采集到的图像降噪之中,经验证,该方法能够有效提升图像质量。3 成像重建3.1 坐标获取采用 VR 技术重建三维全息影像15,确定实景图像中各帧对应点坐标,选取一个与三个方向坐标轴距离近似的图像点作为三维空间坐标原点,依据该点搜索实景图像中全部坐标点与虚拟图像的坐标点映射,并在同一坐标系中融合实景图像和虚拟图