多聚焦图像焦深扩展分解融合算法仿真_刘丽丽.pdf

收稿日期:2022-04-02 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0195-04多聚焦图像焦深扩展分解融合算法仿真刘丽丽1,赵 玉2(1.长治学院计算机系,山西 长治 046011;2.石家庄铁道大学土木工程学院,河北 石家庄 050043)摘要:多聚焦图像在融合过程中,若源图像分辨率过低会直接影响图像的融合效果。为提升图像融合效果,提出基于焦深扩展的多聚焦图像融合算法。采用焦深扩展方法对光学系统实施优化,通过优化后的光学系统生成聚焦图像,并对获取的聚焦图像中的退化图像实施修复处理,提升源聚焦图像质量;使用双三次插值的单帧超分辨率法对图像实施分解处理,获取源聚焦图像的高分辨率图像,结合滤波处理算法,获取聚焦图像的细节系数;利用逆小波变换方法对图像细节系数,依据计算结果实现多聚焦图像融合。实验结果表明,使用上述方法开展图像融合时,融合效果较好,图像融合质量较高。关键词:焦深扩展;多聚焦图像;光学系统优化;图像分解;图像融合算法中图分类号:TP183 文献标识码:BSimulation of Multi Focus Image Focal Depth ExpansionDecomposition Fusion AlgorithmLIU Li-li1,ZHAO Yu2(1.Computer Department,Changzhi University,Changzhi Shanxi 046011,China;2.School of Civil Engineering Shijiazhuang Tiedao University,Shijiazhuang Hebei 050043,China)ABSTRACT:In order to improve the fusion effect of images,a multi-focus image fusion algorithm based on focaldepth extension was proposed.At first,the focal depth expansion method was adopted to optimize the optical system,and then the focused image was generated by the system.Meanwhile,the degraded image in the focused image wasrepaired to improve the quality of the source image.Moreover,the single-frame super-resolution method based onbicubic interpolation was adopted to decompose the image and thus obtain the high-resolution image of the source im-age.Combined with the filtering algorithm,the detail coefficient of the focused image could be obtained.Finally,theinverse wavelet transform method was used to calculate the detail coefficients of the image.Thus,multi-focus imagefusion was achieved.Experimental results show that the proposed method has better fusion effect and fusion quality.KEYWORDS:Focal depth extension;Multi-focus image;Optimization of optical system;Image decomposition;Image fusion algorithm1 引言随着科学技术的不断发展,图像信息获取手段已经从单一的可见光传感器1转换成高光谱甚至超光谱传感器。图像融合就是将不同传感器获取的图像实施空间配准,通过一定融合算法将各个图像有机结合,产生新图像的技术。近年来图像融合技术被广泛应用于遥感监测、医疗诊断等高端领域2。但是传统的图像融合技术无法满足当前人们对图像融合效果的需求,因此,提出更加高效的图像融合技术,成为目前亟待解决的问题。文献3提出了一种基于非下采样 Shearlet 变换耦合导向法则的多聚焦图像融合算法。该方法首先利用变换算法获取多焦距图像的不同图像系数;再提取图像标准差以及空间频率特征,测量图像关联性,制定融合规则;最后结合建立的融合法则实现多焦距图像的融合。文献4提出了一种基于超像素级卷积神经网络的多聚焦图像融合算法。该方法首先对焦距图像实施多尺度分割,并将分割出的超像素输入卷积神经网络中分类,依据分类结果建立初始决策图像;再通过获取的决策图确定不确定区域,结合空间频率对聚焦图像实施再次分类,获取阶段决策图;最后利用形态学方法对591决策图进行处理,完成图像的融合。文献5提出了一种无监督深度学习模型的多聚焦图像融合算法。该方法首先依据提取的无标记数据集结合注意力机制建立网络模型,获取图像的深层特征;再依据聚焦检测方法对图像深层特征展开测量,依据测量结果决策图;最后依据决策图实现聚焦图像的融合。上述方法由于未能在聚焦图像融合前,对源聚焦图像中的退化图像实施修复处理,导致上述图像融合方法在融合图像时,融合性能低、融合效果差。为解决上述多聚焦图像融合过程中存在的问题,提出基于焦深扩展的多聚焦图像融合算法。2 聚焦图像获取及预处理方法2.1 聚焦图像获取依据波前编码技术6,在光学系统的光瞳位置加入相位板,设定光学系统的相位因子为,计算相位板的当前位置,过程如下式所示(p,q)=(pi,qi)(1)式中,p、q 表示相位变量,二者之间互相独立,(p,q)表示相位板位置,i 表示相位板数量。基于上述计算结果,建立光学系统的焦深扩展函数,对光学系统7实施优化处理,过程如下式所示k(p)=12exp(pi),1|p|0,1|p|(2)式中,k(p)表示焦深扩展函数,exp(pi)表示指数函数,j 为常数。基于光学系统优化结果建立光学传递函数,建立过程如下式所示G(l,)=112|l|exp jli4()exp-j2l3(),l 01,l=0|(3)式中,G(l,)表示光学传递函数,表示焦深扩展系数,l 表示系统空间频率。依据上述获取的传递函数,获取聚焦图像,过程如下式所示Ta=k(p)G(l,)(p,q)(4)式中,Ta表示聚焦图像,a 表示图像数量。由于图像获取时,对光学系统焦深实施了扩展,由此避免了图像分辨率降低的概率,但是焦深扩展会降低图像成像质量,因此,在多聚焦图像融合前,需要对聚焦图像中退化图像实施图像复原处理8。2.2 图像复原由于光学系统中,成像机制相同,因此,设定图像的卷积计算符号为,以此获取聚焦图像的退化图像,过程如下式所示h(m,n)=S(m,n)f(m,n)+(m,n)(5)式中,h(m,n)表示退化图像,(m,n)表示噪声分布系数,f(m,n)表示目标聚焦图像,S(m,n)表示光学系统点扩散函数,(m,n)表示图像像素。基于上述滤波流程可知,精确的点扩散函数以及噪声分布系数是影响图像复原的关键。因此,对光学系统的焦深扩展函数实施傅立叶变换9,获取点扩散函数解析表达形式,过程如下式所示S(x)=23(-)13x(-)13Dk13,293x(-)13|32(6)式中,S(x)表示点扩散函数,Dk表示变换系数,表示相位因子。获取退化图像后,依据点扩散函数以及 Wiener 滤波对退化图像实施复原。滤波过程的具体表述形式如下式所示A(x,y)=1Z(x,y)1|Z(x,y)|22|Z(x,y)|2+L1L1+BnG(x,y)(7)式中,表示聚焦图像的对比度调节系数,表示正则化系数,为常数,Bn表示图像矩阵,L 表示拉格朗日算子,表示迭代次数,Z(x,y)表示图像退化函数,A(x,y)表示图像在频域中的最小均方误差,G(x,y)表示退化图像的傅立叶变换。最后通过聚焦图像的复原结果,获取完整的聚焦图像。3 一种多聚焦图像融合算法设计3.1 图像超分辨率增强双三次插值是典型的超分辨率方法10,由于该方法能够有效平滑图像边缘,获取高清晰度像素,多被用于多聚焦图像融合中。利用双三次插值的超分辨率方法可以在重建图像像素点关系后,获取像素密集点,从而得到聚焦图像的高分辨率图像。设定聚焦图像的行像素位置为 e,列像素位置为,图像像素值为 Pij,以此建立图像的邻域矩阵,过程如下式所示J=Pij=h(e-1,-1)h(e-1,)h(e-1,+1)h(e-1,+2)h(e,-1)h(e,)h(e,+1)h(e,+2)h(e+1,-1)h(e+1,)h(e+1,+1)h(e+1,+2)h(e+2,-1)h(e+2,)h(e+2,+1)h(e+2,+2)|(8)式中,J 表示建立的图像邻域矩阵,he,表示像素点位置。设定聚焦图像的超分辨因子为i,j,结合邻域矩阵建立超分辨率矩阵,获取图像高分辨率块,过程如下式所示691i=k=1,k ix-z(u(+k)z(u(+i)-z(u(-k)i=k=1,k jy-z(u(+k)z(u(+i)-z(u(-k)(x,y)=ni=1nj=1iPijj|(9)式中,u 表示超分辨率系数,(x,y)表示图像的高分辨率块,z(u()表示最小整数,k 表示平移位置,x、y 表示像素的行、列位置信息。3.2 图像融合流程的实现获取超分辨率块图像后,设定图像的任意信号为 R(t),以此获取图像分解11时的小波函数,过程如下式所示Q(a,b)=-R(t)a,b(t)dta,b(t)=1at-ab()|(10)式中,Q(a,b)表示小波函数,a 表示伸缩因子,b 表示平移因子,a,b(t)表示平移伸缩结果,t 表示信号当前状态。基于上述分解结果,对聚焦源图像实施低通、高通滤波处理12,获取图像各个方向的细节系数,结果如下式所示:CCj+1(a,b)=xycxjcyjCCj(a+x,b+y)CGj+1(a,b)=xycxjgyjCCj(a+x,b+y)GCj+1(a,b)=xygxjcyjCCj(a+x,b+y)GGj+1(a,b)=xygxjgyjCCj(a+x,b+y)|(11)式中,c 表示低通滤波,g 表示高通滤波,C、Cj+1分别表示图像分解后第 j 级以及 j+1 级的低频系数,CGj+1表示图像分解的水平细节系数,GCj+1表示垂直细节系数,GGj+1表示信号的对角系数。图像各项滤波系数提取完成后,将滤波系数直接在变换域实施融合处理,获取图像的变换系数,并开展小波逆变换13获取聚焦图像的融合图像,过程如下式所示L(j)(p,q)=14jc(x)c(y)L(j-1)+jg(x)c(y)G(j-1)+jc(x)g(y)V(j-1)+jg(x)g(y)D(j-1)(12)式中,c(x)、c(y)表示低通滤波器,g(x)、g(y)表示高通滤波器,q 表示融合图像的垂直位置,p 表示水平位置,L(j)表示聚焦图像融合后的细节信息,L(j-1)表示低频细小分量,G(j-1)表示图像的高频水平向量,V(j-1)表示高频垂直向量,D(j-1)表示对角向量。根据上述处理结果,给出多聚焦图像的融合流程如下:1)基于焦深扩展优化光学系统,获取聚焦图像,并使用滤波算法对退化聚焦图像展开计算,复原聚焦图像,获取完整的聚焦源图像。2)对多聚焦源实施分解处理,建立邻域矩阵确定图像块具体行、列位置。3)通过式(9)对图像块计算,通过计算结果获取源聚焦图像的高分辨率图像。4)对高分辨率图像实施滤波处理,获取图