潜在低秩表示下的双判别器生成对抗网络的图像融合_袁代玉.pdf

第 31 卷 第 7 期2023 年 4 月Vol.31 No.7Apr.2023光学 精密工程 Optics and Precision Engineering潜在低秩表示下的双判别器生成对抗网络的图像融合袁代玉1，袁丽华1*，习腾彦1，李喆2（1.南昌航空大学 无损检测教育部重点实验室，江西 南昌 330063；2.中国航发沈阳黎明航空发动机有限责任公司，辽宁 沈阳 110043）摘要：为了改善红外与可见光图像融合的视觉效果，通过潜在低秩表示将两种不同源的图像分别分解为各自的低秩分量和去除噪声的稀疏分量，采用 KL 变换确定权重对稀疏分量进行加权融合得到融合稀疏图。再对双判别器的生成对抗网络重设计，借助 VGG16网络提取两种源的低秩分量特征作为该网络的输入，通过生成器和判别器的博弈来生成融合低秩图。最后，将融合稀疏图与融合低秩图进行叠加获得最终的融合结果。实验结果表明，在 TNO 数据集上，与所列的 5种先进方法相比，本文所提出的方法在熵、标准差、互信息、差异相关性总和及多尺度结构相似度 5种指标上均获得最优结果，相比于次优值，5种指标分别提高了 2.43%，4.68%，2.29%，2.24%，1.74%。在 RoadScene数据集上只在差异相关性总和及多尺度结构相似度两种指标上取得最优，另外 3种指标仅次于 GTF（gradient transfer and total variation minimization）方法，但图像视觉效果明显优于 GTF 方法。综合主观评价和客观评价分析，本文所提方法确实能获得高质量的融合图像，与多种方法相比具有明显的优势。关键词：红外图像；可见光图像；潜在低秩表示；改进双判别器生成对抗网络；图像评价中图分类号：TN219 文献标识码：A doi：10.37188/OPE.20233107.1085Image fusion of dual-discriminator generative adversarial network and latent low-rank representationYUAN Daiyu1，YUAN Lihua1*，XI Tengyan1，LI Zhe2（1.Key Laboratory of Nondestructive Testing（Ministry of Education），Nanchang Hangkong University，Nanchang 330063，China；2.AECC Shenyang Liming Aero-Engine Co.，LTD.，Shenyang 110043，China）*Corresponding author，E-mail：Abstract：To improve the visual effect of infrared and visible image fusion，images from two different sources were decomposed into low-rank images and sparse images with noise removed by latent low-rank representation.Moreover，to obtain the fusion sparse plot，the KL transformation was used to determine the weights and weighted fusion of the sparse components.The generation adversarial network of the double discriminator was redesigned，and the low-rank component characteristics of the two sources were extracted as the inputs of the network through the VGG16 network.The fusion low-rank diagram was gener文章编号 1004-924X（2023）07-1085-11收稿日期：2022-08-09；修订日期：2022-09-26.基金项目：国 家 自 然 科 学 基 金 资 助 项 目（No.51865038）；南 昌 航 空 大 学 研 究 生 创 新 专 项 基 金 资 助 项 目（No.YC2021-085）第 31 卷光学 精密工程ated using the game of generator and discriminator.Finally，the fusion sparse image and the fusion low-rank image were superimposed to obtain the final fusion result.Experimental results showed that on the TNO dataset，compared with the five listed advanced methods，the five indicators of entropy，standard deviation，mutual information，sum of difference correlation，and multi-scale structural similarity increased by 2.43%，4.68%，2.29%，2.24%，and 1.74%，respectively，when using the proposed method.For the RoadScene dataset，only two metrics，namely，the sum of the difference correlation and multi-scale structural similarity，were optimal.The other three metrics were second only to the GTF method.However，the image visualization effect was significantly better than the GTF method.Based on subjective evaluation and objective evaluation analysis，the proposed method can obtain high-quality fusion images，which has obvious advantages compared with the comparison method.Key words：infrared image；visible image；latent low-rank representation；modified double-discriminator conditional generative adversarial network；image evaluation1 引 言图像融合主要包含 3 个关键步骤，即特征提取、融合策略和图像重建。目前的融合方法分为传统方法和深度学习方法。传统方法包括多尺度变换、稀疏表示、子空间和显著性表示等1。Ma 等2提出的 WLS（weighted least square optimization）方法，通过高斯滤波及引导滤波将源图像分解为基础层和细节层，基础层通过视觉显著图来获得融合权重，细节层通过最小二乘法的优化来融合。该方法避免了传统多尺度分解方法中出现的边缘模糊情况，但是融合结果对比度不高。Ma等3提出的 GTF（gradient transfer and total variation minimization）方法将融合看作是一个全变分最小化问题，能够很好地保留可见光的梯度信息，但像素强度会有所减小。随着神经网络和深度学习技术的快速发展，为了提高图像融合效率，更好地实现实时图像融合，基于卷积神经网络的方法被应用于图像融合任务中。Li 等4提出的 DenseFuse，其结构与自编码器一致，由编码器和解码器组成，在编码器特征提取过程中采用密集块的操作将浅层特征与高层特征进行级联从而避免浅层特征的丢失，然而需要人工选择融合策略后才能通过解码器重构图像。为了让融合图像中能同时保留红外和可见光图像中的重要特征信息，Li等5考虑从多尺度的角度保留图像特征，提出了 NestFuse，与 DenseFuse 结构一致，也是由编码器、融合策略和解码器组成，不同的是该方法的融合特征分别由每层卷积层提取的特征进行融合后提供，但是该方法也需要人工进行融合策略的选择。为设计一种可学习的融合策略，Li 等6提出 RFN-Nest，该方法在 NestFuse的基础上对融合策略进行改进，将红外图像特征图与可见光图像特征图分为级联后卷积与卷积一次后级联的两路通道，最后对这两路通道的特征图进行叠加，然而这种方法生成的图像对比度低，目标不明显。由于生成 对 抗 网 络（Generative Adversarial Network，GAN）7在各领域应用中都取得了不错的效果，Ma 等8将 GAN 应用到图像融合任务中，提出了一种端到端的 FusionGAN 融合方法，该模型由生成器和判别器组成，通过两者的对抗学习来生成融合图像。然而，由于缺乏真实图像，在判别器中分类对象只有融合图像和可见光图像，在不断判别的过程中融合图像得以保留可见光的细节信息，但却忽略了存在于红外图像的部分细节信息。为了弥补 FusionGAN 中缺失的红外细节信息，Ma等9提出 DDcGAN 方法，该方法通过设计双判别器使得生成器在生成图像时同时考虑两种源图像的重要特征。为了在融合结果中保留清晰的目标和丰富细节信息的同时减少边缘模糊和“晕”现象，本文提出一种基于潜在低秩表示框架下的改进双鉴别器对抗网络融合方法，采用潜在低秩表示将两种不同源的图像分解为带有全局信息的低秩分量和带有局部信息的稀疏分量，根据这两个分量的特征信息差异，设计特定的融合规则。本文算法结合潜在低秩表示的优势对源图像进行分解，1086第 7 期袁代玉，等：潜在低秩表示下的双判别器生成对抗网络的图像融合根据不同分量特征信息的区别实现针对性融合，改进双判别器生成对抗网络的网络结构；在特征提取过程中采用预训练的 VGG16 网络提取，设计一个特征融合模块，对每个层次的源图像特征进行融合，由融合特征生成金字塔以实现多层级的特征融合来增强目标。2 相关理论2.1潜在低秩表示低秩表示（Low-rank Representation，LRR）10是从数据矩阵中恢复低秩矩阵，可以描述为优化问题：min|A|*+|E|1，（1）式中：A 表示低秩矩阵；E 表示噪声矩阵；表示平衡系数；|*表示核范数；|1表示 l1范数。为解决这一优化问题，以原图像数据矩阵作为字典来探索数据的多个子空间结构从而找到最小秩矩阵，即：min|Z|*+|E|1，（2）s.t.X=XZ+E式中：X 表示原图像矩阵；Z 表示低秩系数矩阵；XZ表示低秩矩阵。当原图像矩阵不够丰富即字典不够完备或数据受损时，恢复低秩矩阵的质量会受到影响。Liu 等11提 出 潜 在 低 秩 表 示（Latent Low-rank representation，LatLRR），通过在字典中增加隐藏项来解决字典不完备的问题，即：min|Z|*+|E|1，（3）s.t.XO=XO+XHZ+E式中：XO表示已知图像矩阵，XH表示隐藏数据矩阵。式（3）可以简化为：min|Z|*+|L|*+|E|1，（4）s.t.X=XZ+LX+E 式中 L 表示显著系数矩阵。采用增广拉格朗日乘数法 12对式（4）求解获得系数矩阵 Z和 L，从而获得图像的低秩分量 X