基于多尺度分解红外和可见光图像融合算法研究-王贤涛.pdf

硕士学位论文硕士学位论文 基于多尺度分解红外和可见光图像融合基于多尺度分解红外和可见光图像融合算法算法研究研究 作者姓名：作者姓名：王王 贤贤 涛涛 指导教师：指导教师：赵金宇赵金宇 研究员研究员 中国科学院长春光学精密机械与物理研究所中国科学院长春光学精密机械与物理研究所 学位类别：学位类别：工工 学学 硕硕 士士 学科专业：学科专业：光光 学学 工工 程程 培养单位：培养单位：中中国科学院长春光学精密机械与物理研究所国科学院长春光学精密机械与物理研究所 2023 年年 1 月月 Research on Fusion Algorithm of Infrared and Visible Light Images Based on Multi-scale Decomposition A thesis submitted to University of Chinese Academy of Sciences in partial fulfillment of the requirement for the degree of Master of Natural Science in Optical Engineering By Wang Xian Tao Supervisor:Professor Zhao Jin Yu Changchun Institute of Optics,Fine Mechanics,and Physics,Chinese Academy of Sciences January 2023 中国科学院大学中国科学院大学 研究生学位论文原创性声明研究生学位论文原创性声明 本人郑重声明：所呈交的学位论文是本人在导师的指导下独立进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明或致谢。作者签名：日 期：2022.12.02 中国科学院大学中国科学院大学 学位论文授权使用声明学位论文授权使用声明 本人完全了解并同意遵守中国科学院有关保存和使用学位论文的规定，即中国科学院有权保留送交学位论文的副本，允许该论文被查阅，可以按照学术研究公开原则和保护知识产权的原则公布该论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存、汇编本学位论文。涉密及延迟公开的学位论文在解密或延迟期后适用本声明。作者签名：导师签名：日 期：2022.12.02 日 期：2022.12.02 摘 要 I 摘摘 要要 随着行业的发展趋势，图像类别的优势，使得基于红外（Infrared,IR）与可见光（Visible Light,VIS）图像融合研究已成为信息融合领域的研究热门和重点关注对象，在各大领域有重要应用。融合的关键在于对 IR 图像中重要目标和 VIS 图像中丰富细节的有效整合，这对于突出目标，增强对图像有效信息的理解 以及 后续应用具有重要意义。多尺度变换（Multi-scale Transform Methods，MST）方法的多分辨率、多方向性和各向异性可以将图像的信息特征有效展示出来。因此论文基于 MST 中的非下采样轮廓波变换（Non-subsampled Contourlet Transform，NSCT）方法，对 IR 和 VIS 图像的多尺度分解融合中存在对比度低、目标不显著、纹理细节丢失、引入边缘伪影等常见的问题进行改进研究，以得到更有效、适应能力强的算法。主要研究内容如下：（1）针对基于像素和窗口融合规则的传统融合方法和单一特征融合目标信息不够突出，细节、纹理缺失严重的问题。本文提出了一种基于多判断和加权最小二乘优化的 NSCT 红外和可见图像融合融合方法。首先，图像通过多尺度分解得到低频和高频子带；其次低频子带选择局部平方熵和修正拉普拉斯和（Sum-modified Laplacian,SML）来相互补充，在保证好的对比度下提取少量细节信息；高频子带充分考虑底层特征的重要性，选择相位一致性（Phase Consistency,PC）、加权局部修正拉普拉斯算子 和（Weighted Sum-modified Laplacian,WSML)和 加 权 局 部 能 量（Weighted Local Energy,WLE）相互补充的方式融合细节层，接着对其进行加权最小二乘（Weighted Least Squares,WLS）优化，可以提取更多的边缘纹理信息和减少噪声等无关细节。通过与 5 种基于 MST 代表性融合算法对不同类型特点的图像进行对比实验，结果展示了本文所提出的方法在目标的显著性、图像对比度、信息提取上更加出色。同时在保证客观评价指标互信息（Mutual Information，MI）有一个较好的结果下，平均梯度（Average Gradient，AG）、信息熵（Information Entropy，IE）、空间频率（Spatial Frequency，SF）都是一个最佳结果。说明提出算法弥补了单一特征提取的不足，是一种有效增强图像质量的方法。（2）针对红外图像传统和改进的基于区域融合规则的显著性检测算法由于存在对噪声敏感，而且只针对简单的几幅图像简单有效，适应性、抗干扰能力不强的问题。提出了一种基于改进的频率调谐（Frequency-tuned,FT）显著性检测的 NSCT 红外与可见光融合方法模型。为了提取较摘 要 II 好的红外显著图，进行了限制灰度范围、高斯滤波换为引导滤波、灰度能量和对比度拉伸函数增强处理瞄准红外图像，用于从背景中区分目标。对于低频子带系数利用计算得到的红外显著权重图进行指导融合，对于高频部分采用加权局部能量的规则和 WLS 优化来提取丰富细节图像。实验首先采用了 AG、IE、SF、MI 和的平均值作为一种快速的评价方法，验证了本文显著性检测算法的能力并确定了组合参数的寻优。接着选择数据库中四组图像与 5 种传统算法进行定性和定量分析。主观判断和四个指标的最佳结果，表明本文的融合方法在可见细节信息提取能力、目标能量保留能力更加突出，同时对于边缘伪影现象也表现出好的抑制能力，是一种改进有效和鲁棒性强的方法。关键词：关键词：图像融合，非下采样轮廓波变换，多判断，加权最小二乘优化，显著性检测 Abstract III Abstract With the industrys development trend and the advantages of image categories,image fusion research based on Infrared(IR)and Visible Light(VIS)has become a hot research topic and focus in the field of information fusion assignment.The key to fusion is the effective integration of important targets in IR images and rich details in VIS images,which is important for highlighting targets,enhance understanding of effective information in images,and subsequent applications.The Multi-scale Transform(MST)Methods multi-resolution,multi-direction,and anisotropy can effectively display the images information features.As a consequence,the multi-scale decomposition and fusion of IR and VIS images based on the Non-subsampled Contourlet Transform(NSCT)method in MST has low contrast,insignificant objectives,loss of texture details,and the introduction of edge artifacts，and other common problems in to carry out improvement research in order to create more effective and adaptable algorithms.The following are the major previous research:(1)The traditional fusion method based on pixel and window fusion rules and the single feature fusion target information are not prominent enough,and the details and textures are seriously missing.Based on multi-judgment and weighted least squares optimization,this paper proposes a fusion method for NSCT infrared and visible image fusion.To continue,the multi-scale decomposition process obtains the images low-frequency and high-frequency subbands.Second,the low-frequency subbands local squared entropy and sum-modified Laplacian(SML)are selected to complement each other,with aim of separating a small amount of detail information under good contrast.The high-frequency subbands fully consider the importance of the underlying features and selects Phase Consistency(PC),Weighted Sum-modified Laplacian(WSML),and Weighted Local Energy(WLE)fusion,and then performs Weighted Least Squares(WLS)optimization on it,which can extract more edge texture information and reduce irrelevant details such as noise.The experimental results show that the method proposed in this paper is better in object saliency,image contrast,and information extraction.At the same time,while ensuring that the objective evaluation index Mutual Information(MI)has a good result,the Average Gradient(AG),Information Entropy(IE),Spati