基于信息回收和频域金字塔的红外与可见光图像融合算法_黄勇斌.pdf

第 卷第期 年月淮阴师范学院学报（自然科学版）（）基于信息回收和频域金字塔的红外与可见光图像融合算法黄勇斌，郭立强，（淮阴师范学院 计算机科学与技术学院，江苏 淮安 ；淮阴师范学院 淮安市大数据智能计算与分析重点实验室，江苏 淮安 ）摘要：针对传统红外与可见光图像融合过程中所存在的视觉效果模糊、信息损失等问题，提出了一种基于信息回收和频域金字塔的图像融合算法 首先，在图像金字塔的上下采样过程中，使用频域滤波器替代空域滤波器进行滤波，构建源图像的拉普拉斯金字塔其次，将两个金字塔的对应层进行融合并构建融合金字塔，同时针对融合过程中损失的信息构建回收金字塔最后，通过上述两个金字塔分别重构出结果图像并叠加得到最终的融合图像实验结果表明本文所提出的算法能够获得较好的融合效果，在视觉信息保真度等客观评价指标上均优于经典算法关键词：图像融合；图像金字塔；频域滤波；信息回收中图分类号：文献标识码：文章编号：（）收稿日期：基金项 目：江 苏 省 计 算 机 学 会 教 学 类 专 项 资 金 项 目（）；江 苏 省 高 等 教 育 学 会 高 校 实 验 室 研 究 委 员 会 课题（）；江苏省大学生实践创新训练计划项目（）通信作者：郭立强，副教授，博士，研究方向为图像处理与模式识别引言图像融合是信息融合的重要分支之一，具体可分为多聚焦图像融合、多曝光图像融合、红外与可见光图像融合、遥感图像融合以及医学影像融合等 在图像融合的发展过程中，红外与可见光图像融合是研究的重点之一，它将异构传感器所获得的两种类型图像相融合，从而提供同一场景、不同角度的多层次信息描述具体而言，红外图像的成像过程是热辐射原理，因此存在着图像噪声多、分辨率差、对比度低、视觉效果模糊等缺点 但是，红外成像过程中对光照条件没有任何要求 相比之下，可见光图像的获取则需要较好的光照条件 一般而言，可见光图像具有较高的空间分辨率和相当多的细节和明暗对比红外图像和可见光图像的这一互补特性可以通过融合算法来生成一幅更全面、细节信息更丰富的融合图像，便于后续的工程应用近年来，红外与可见光图像融合研究有了长足的进步，产生了许多优秀的融合算法 按信息提取层次从低到高的角度可将现有算法分为类：像素级图像融合、特征级图像融合和决策级图像融合像素级融合依据某种给定的融合规则，直接融合不同图像的特征，最后生成一幅融合图像 它保留的原始信息最多、融合准确性最高，但存在着计算信息量大、计算复杂度高等缺点 刘明葳等人提出的基于各向异性导向滤波的方法，可以有效地去除噪声，抑制光晕和伪影 杨九章等人提出的对比度金字塔与双边滤波的方法，突出目标特征信息、保留细节特征 等人提出的基于傅里叶变换和差分最小化的方法，改进了现有图像融合算法计算复杂度高的缺点特征级图像融合首先对图像进行预处理，再通过给定模型提取图像的边缘、纹理等特征信息，再根据不同的融合规则对该特征信息进行选取、融合，最后生成一幅融合图像 该融合方法提取了原图的特征信息，将图像的细节信息注入融合图像中，有较好的视觉效果 吴冬鹏等人提出的边缘和对比度增DOI:10.16119/ki.issn1671-6876.2023.01.008强的 域的方法，提高图像整体对比度，同时增强图像的边缘细节表现能力决策级融合在进行图像融合之前，每一幅图都已经独立完成分类、识别等自身的决策任务，然后综合分析前面每一独立决策结果，生成全局最优决策结果并形成融合图像该融合方法具有灵活度高、容错能力强等优点，比较适合非配准条件下的图像融合任务 但是决策级图像融合需要首先对各个图像分别进行决策判断，导致图像预处理任务多、算法复杂度高 等人提出的基于 网络的方法，可以提高视觉质量，减少伪影和噪声 陈清江等人提出的基于卷积神经网络的方法，可以减小滤波的光晕影响，融合图像噪声较少，细节呈现更自然上述经典的红外与可见光图像融合算法都能获得较好的融合图像，但仍然存在着一些问题 例如，融合过程中存在信息缺失、融合图像不清晰以及人眼视觉感知模糊 为了解决上述问题，本文采用信息再利用机制并结合频域金字塔进行图像融合本文所提出的算法可以有效地利用信息，生成对比度清晰、与人眼视觉感知相符的融合图像背景知识 图像金字塔图像金字塔是一种以多分辨率来解释图像结构的方法，主要用于图像分割 以拉普拉斯金字塔（）为例的方法将图像分解为多尺度的图像金字塔，层数为，将低分辨率的图像置于上层，高分辨率的图像置于下层，上层图像的大小为下层图像大小的 用每一层图像减去其上一层图像上采样并高斯卷积之后的预测图像，得到一系列的差值图像即为拉普拉斯金字塔 频域滤波频率域滤波，即将源图像通过傅里叶变换，转换至频率域，在频率域利用该域特有的性质进行处理，再通过傅里叶反变换把处理后的图像返回至空间域 图像中的边缘和噪声都对应图像傅里叶变换域中的高频部分，所以使用特定的低频滤波器可以滤除高频部分，仅保留低频部分 信息再利用在图像融合的过程中会不可避免地造成信息丢失具体到图像处理领域而言，信息能量再利用方法 ，就是在应用某种算法后，将处理过后舍弃的部分信息通过一定的方法进行再利用，尽量减少算法所造成的信息丢失基于频域金字塔和信息再利用的图像融合算法本文算法使用图像金字塔的原理，将源图像作为底层图像.利用频域内高斯低通滤波器处理，然后对滤波后的图像进行下采样（去除偶数行和列）得到图像.将作为输入，重复下采样、滤波操作.经过反复迭代，形成一个金字塔形的图像数据结构.金字塔的每层图像进行上采样，然后进行高斯卷积滤波获取预测图像.将预测图与下层图像做差值，得到的一系列差分图像即为拉普拉斯金字塔.将红外金字塔与可见光金字塔的每一层进行融合，获得融合金字塔.将融合过程中损失的信息作为信息再利用的拉普拉斯金字塔.频域滤波的高斯低通滤波器的计算公式为（，）（，）（）在笛卡尔坐标系中，通过判断邻域内像素与中心像素的距离来决定是否执行滤波操作 本算法具体步骤如下：）使用频域滤波处理原始红外和可见光图像，然后进行下采样；）将低分辨率图像上采样后的模糊图与原图做差，获取高频信息；）对两图像的高频信息采用脉冲点火频率图进行选择融合，构建融合金字塔；）再将融合前后的高频信息做差值，获取被舍弃的细节信息，构建回收金字塔；）重复步骤到步骤，获取两个图像金字塔；）将红外与可见金字塔顶层的图像求均值，同时作为融合与回收金字塔的顶层；淮阴师范学院学报（自然科学版）第 卷）分别重建出两幅图像，分别是融合金字塔重建图和回收金字塔重建图；）将幅重建图像叠加来获取最终的融合图像 高频子带不同层的图像采用脉冲点火频率 的方法，采用的全模板卷积，比较两幅高频信息图的值获取脉冲点火图，然后迭代卷积，计算出范围内一半以上点火成功的点火频率图，用该点火频率图进行每一层的高频信息融合 低频子带图像金字塔的顶层是分辨率最低的图像，将其作为低频信息 采用均分的方法，直接融合两座图像金字塔顶层的低频信息，即（）其中，为红外图像金字塔顶层；为可见光图像金字塔顶层；为融合图像金字塔.实验结果与分析 评价方法通常来说，图像融合质量的评价指标主要分为两大类：以肉眼观测的主观评价和以公式计算的客观评价 本文使用的客观评价指标如下：）视觉信息保真度（）视觉信息保真度是基于人眼视觉提出的衡量融合图像质量的指标，的值越大，表示融合图像质量越好）基于结构相似性（）是一种与人类视觉评价一致的、基于结构相似性的评价指标 该指标旨在根据原图的结构相似性对缺失区域进行分类，可用于评估执行相同级别的图像合并计划 的值越大，表示融合图像越接近人类视觉效果）显著性权重（）具有独立于表面事实的判断能力，可以计算出每个输入图像中包含的显著信息有多少在不引入失真的情况下被转移到融合图像中（）（）（）（）（）（）（，）（）（，）（）式（）中，（）是计算和之间的局部权重，表示在窗函数下，图像相对于图像的相对重要性.（）越大，图像的权重越大.而局部质量指标使用 计算得到 越大，代表显著信息丢失越少，图像融合效果越好.）非线性相关信息熵（）非线性相关信息熵分别计算了红外图像、可见光图和融合图的非线性相关系数，获取相关矩阵和特征值 然后计算出非线性相关信息熵，该熵值越大融合效果越好）互信息（）互信息（）可度量两幅图像之间的相似程度，即融合图像获取了源图像信息量的多少 互信息越大，表示融合图像保留更多源图像信息，质量越好 ，（），（，），（，）（）（）（）第期黄勇斌，等：基于信息回收和频域金字塔的红外与可见光图像融合算法，（，），（，）（）（）（）式（）中，表示与之间的联合熵，为图像的信息熵，（，）和，（，）分别为与、与之间的归一化联合直方图.越大代表融合图像包含源图像的信息越多.）差异相关性（）差异相关性是用于图像融合的图像质量指标 它基于利用源图像和融合图像计算出的差分图像之间的相关性 该指标不是通过直接利用源图像和融合图像之间的相关性来评估融合图像的质量，而是通过考虑源图像及其对融合图像的影响来计算质量 其值越大，图像融合越好 结果分析本文选取数据集 的组红外与可见光图像来验证算法的有效性选取了传统拉普拉斯金字塔算法（）、基于高斯和双边滤波器的混合多尺度分解算法（）、基于导向滤波上下文增强算法（）、基于各向异性扩散融合算法（）、基于多尺度导向滤波融合算法（）种图像融合算法对比 实验结果如图图所示图第一组融合图像如图 图 所示，原图是一个交叉路口包含红绿灯、行人、汽车等多样化物体，从中可以观察到红外图像 缺乏细节信息、物体轮廓不清晰，可见光图 对比度低，仅有灯光和少量细节图 图 为不同算法的融合结果图图 图像对比度比图 较好，图 和图 在低频信息处损失了较多信息，图 整体偏亮，出现少量噪声，图 偏向红外图像，可见光图像信息利用较少，图 细节损失较少、未生成噪声，在保留红外与可见光图像高频和低频信息的基础上加强物体的轮廓图第二组融合图像如图 图 所示，原图是包含栅栏、树、三角标识牌的房子，从中可以观察到红外图像 偏亮、淮阴师范学院学报（自然科学版）第 卷物体内部缺少信息，可见光图 含有大量细节信息，但缺少物体辨识度 图、图 和图 融合效果好但房顶边缘产生少量误差，图 和图 物体边缘保持良好，图 保留物体纹理，视觉效果较好如图 图 所示，可以观察到红外图像 边缘明显，缺少细节，而可见光图 细节信息丰富，但整体偏暗，视觉感知模糊 、算法生成的融合图像，即图、图、图 和图，产生了较明显的噪声，图 和图 房屋墙壁出现较明显的不规则纹理，图 图像融合保留大量细节，没有出现过于明显的错误细节图第三组融合图像表第一组图像客观指标评价评价指标 本文算法 表第一组图像客观指标评价评价指标 本文算法 表第一组图像客观指标评价评价指标 本文算法 通过图图中不同算法得到的融合图像，计算出客观评价指标，具体结果如表表所示 结合表表的结果，可以看出本文算法的 、个指标均高于传统经典算法，表明本文算法的融合质量较高、视觉效果好 主客观评价结果验证了本文算法的有效性第期黄勇斌，等：基于信息回收和频域金字塔的红外与可见光图像融合算法结语提出了一种频域金字塔和信息回收的图像融合算法 在金字塔的上下采样过程中，使用频域滤波器滤波获取的高频细节与舍弃的高频细节同时保存，构造两种不同的融合图像，再均值融合获取最终融合图像 实验结果表明，对比现有经典算法，本文提出的算法无论是在主观视觉效果分析还是在客观评价指标上，都有较好的融合效果 后续工作将思考如何改进算法，降低所提出算法的计算复杂度，以便于实际工程的应用参考文献：苑津莎，赵振兵，高强，等红外与可见光图像配准研究现状与展望 激光与红外，（）：王蓉，柴玉华，高立群，等图像融合技术及融合效果评价的研究农机化研究，（）：刘明葳，王任华，李静，等各向异性导向滤波的红外与可见光图像融合 中国图象图形学报，（）：杨九章，刘炜剑，程阳基于对比度金字塔与双边滤波的非对称红外与可见光图像融合红外技术，（）：，：吴冬鹏，毕笃彦，马时平，等边缘和对比度增强的 域红外与可见光图像融合红外技术，（）：，：陈清江，李毅，柴昱洲基于卷积神经网络的红外图