基于多尺度残差融合网络的高光谱图像融合算法_刘娴雅.pdf

总第345期1引言高光谱图像拥有丰富的光谱信息，有效地提高了探测、识别等任务的能力1。近年来，高光谱图像已广泛应用于工业、农业、环境以及军事领域25。然而，由于高光谱图像成像设备有限，成像环境复杂，使得高光谱图像空间分辨率很低，这严重限制了高光谱图像的发展6。因此，为了得到高分辨率高光谱图像（HR-HSI），一般将同一目标的低分辨率高光谱图像（LR-HSI）和高分辨率多光谱图像（HR-MSI）进行融合。当前的高光谱融合方法通常分为三种：基于全锐化的方法、基于分解的方法以及基于深度学习的方法。基于全锐化的方法通常是将同一目标的多光谱图像和全色图像加以融合获得的高分辨率多光谱图像7。近年来，人们将全锐化技术推广到高收稿日期：2022年9月3日，修回日期：2022年10月10日基金项目：国家自然科学基金青年基金项目（编号：62201520）资助。作者简介：刘娴雅，女，硕士研究生，研究方向：高光谱图像处理。刘宾，男，博士，教授，研究方向：光电检测及图像处理、光场成像、嵌入式及动态测试。基于多尺度残差融合网络的高光谱图像融合算法刘娴雅刘宾（中北大学信息与通信工程学院太原030051）摘要针对高光谱图像空间分辨率低的问题，提出了一种基于多尺度残差融合网络的高光谱图像融合算法。该算法采用多尺度特征提取机制和多级尺度融合机制，将同一目标的低分辨率高光谱图像（LR-HSI）与高分辨率多光谱图像（HR-MSI）融合，得到高分辨率高光谱图像（HR-HSI）。实验证明，论文所提出的方法在CAVE和Harvard这两个数据集上峰值信噪比分别达到了39.8504和42.9646，光谱角映射分别达到了0.0685和0.1585，比其他几种方法均有一定的提升。该算法避免了传统融合方法人为制定融合规则的缺点，在极大程度上降低光谱失真的同时提升高光谱图像的空间分辨率，具有很好的应用前景。关键词高光谱图像；卷积神经网络；图像融合；多尺度残差中图分类号TP391.4DOI：10.3969/j.issn.1672-9730.2023.03.011Hyperspectral Image Fusion Algorithm Based onMulti-scale Residual Fusion NetworkLIU XianyaLIU Bin（School of Information and Communication Engineering，North University of China，Taiyuan030051）AbstractAiming at the problem of low spatial resolution of hyperspectral images，a hyperspectral image fusion algorithmbased on multi-scale residual fusion network is proposed.The algorithm uses multi-scale feature extraction mechanism andmulti-scale fusion mechanism to fuse the low resolution hyperspectral image（LR-HSI）and high resolution multispectral image（HR-MSI）of the same target to obtain high resolution hyperspectral image（HR-HSI）.Experiments show that the peak signal-to-noise ratio of the proposed method in CAVE and Harvard data sets reaches 39.8504 and 43.9646 respectively，and the spectral angle mapping reaches 0.0685 and 0.1585 respectively，which is better than other methods.This algorithm avoids the shortcomings of traditional fusion methods that artificially formulate fusion rules，and greatly reduces spectral distortion while improving thespatial resolution of hyperspectral images.It has a good application prospect.Key Wordshyperspectral images，convolutional neural network，image fusion，multi-scale residualClass NumberTP391.4舰 船 电 子 工 程Ship Electronic Engineering总第 345 期2023 年第 3 期Vol.43 No.344舰 船 电 子 工 程2023 年第 3 期光谱多光谱融合领域，但是由于全锐化涉及的光谱分辨率较低，因此全锐化的方法获得的融合图像会产生一定的光谱失真。基于分解的方法，这一类方法将融合问题视为反问题，通过利用解混模型和设计适当的先验信息来获得所需的融合结果 8。Yokoya等9采用非负矩阵分解法以耦合的方式对LR-HSI和HR-MSI图像进行解混。Dong10等利用高光谱图像空间光谱稀疏性的先验知识，将高分辨率高光谱图像的估计表示为高光谱字典和稀疏码的联合估计。Xu11等通过耦合张量正则多元分解探讨了HSI和MSI之间的关系，提出了一种用于HSI-MSI融合的分解模型。基于分解的方法通常效果较好，但是融合质量和所使用的特定融合模型有着很大的关联，并且计算成本较高，实现也比较复杂。近年来，基于深度学习的高光谱图像融合方法相比与前两种融合方法展现出一定的优势。Palsson12等提出了3D-CNN网络模型，虽然该模型可以有效减少图像的光谱失真，但是极大地增加了网络参数的数量。Dian等13将深度卷积网络与基于分解的方法相结合，利用深度卷积网络所学习的先验信息来正则化融合问题。但是这种方法只能在一些光谱波段进行训练，在其余部分进行测试，破坏了光谱的完整性。Zhou14等提出了一种金字塔全卷积网络以全局到局部的方式逐步重建HR-HSI，该融合方法有效地挖掘了 HR-MSI 的空间信息。虽然深度学习在高光谱图像融合领域得到了快速的发展，但仍然面临着一些困难和挑战，例如：特征提取不完整；深层次特征难以提取利用，将会影响融合的性能；没有考虑不同层次的特征融合，可能会导致融合结果信息丢失等问题。综上，本文提出了一种基于多尺度残差融合网络（Multiscale Residual Fusion Network，MRFN）的高光谱图像融合算法，来获得HR-HSI。相比于现有的高光谱图像融合方法，该网络能够有效提取高光谱图像的光谱信息和多光谱图像空间信息，可以显著降低光谱失真，提高高光谱图像的空间分辨率。因此，该方法在实际应用中对提高高光谱图像的性能具有重要意义。2网络结构本文提出了一种基于多尺度残差融合网络的高光谱图像融合算法。该算法网络框架由特征提取模块、融合模块以及特征重建模块三个核心计算模块组成，具体结构如图1所示。首先，采用特征提取模块分别提取LR-HSI的光谱信息和HR-MSI的空间信息；然后将特征提取模块中获取的特征信息，视为融合模块的输入，由模型自发地去学习融合规则，逐级获得融合图像的全部特征信息；最后通过特征重建模块重建高分辨率高光谱图像。图1总体网络结构2.1特征提取模块特征提取模块由多尺度特征提取模块（Multiscale feature extraction block，MFB）和级联残差模块构 成，用 于 分 别 提 取 LR-HSI 的 光 谱 信 息 和HR-MSI空间信息。首先使用一个多尺度特征提取模块对输入图像进行不同尺度的浅层特征提取，有效地保证了特征图信息的完整性。然后通过级联残差模块提取输入图像的深层语义特征，获取更45总第345期多图像细节特征。其实现过程如下：HSk=fk-1res()fMFB()LR-HSI（1）MSk=fk-1res()fMFB()HR-MSI（2）式中：fMFB表示多尺度特征提取模块；fres表示残差模块；HSk、MSk分别表示高光谱图像和多光谱图像第k层特征，本文中k=1，2，3，4。1）多尺度特征提取模块本文设计了一种多尺度特征提取模块，结合特征融合操作，同时采用4个不同大小的卷积核对输入图像进行特征提取，其结构如图2所示。该模块选择的卷积核大小依次是11，33，55，77，其中小卷积核提取图像中比较平滑区域，大卷积核提取图像的边缘轮廓信息，使用不同大小的卷积核能够获得图像更多的特征信息，从而提高了网络模型的特征提取能力。上述过程可以表示为|f11=w1fi+b1f33=w3fi+b3f55=w5fi+b5f77=w7fi+b7（3）fMFB=Concat()f11,f33,f55,f77（4）式中：fi为输入特征图；w表示卷积层的权重；b为偏置项；Concat 为特征图通道拼接；f11，f33，f55，f77分别对应的是11，33，55，77卷积操作。图2多尺度特征提取模块2）级联残差模块为了提取HR-MSI和LR-HSI空间维以及光谱维更多的细节特征，本文采用3个级联的残差模块提取图像深层特征，基本结构如图3所示。每个残差模块通过跳跃连接的形式将单元的输入信息绕道传至输出，这种形式极大地提高了输入信息的完整性同时提高模型的训练速度。当网络模型层数增加时，网络性能下降的问题也可以得到解决。图3残差模块2.2融合模块融合模块是将LR-HSI的光谱信息和HR-MSI的空间信息逐级融合。通过特征拼接方式将获得的特征信息堆叠成新的图像，并进行11卷积计算的结果。为了提升模型的融合能力，使用ReLU函数增加网络的非线性，防止过拟合。每一级融合都考虑了上一级融合的结果，因此可以看作是一种特殊的多级尺度融合方法。其实现过程如下：I0=Concat(HS0,MS0)（5）HSMS1=ReLU(f11(I0)（6）Ik=Concat()HSk,MSk,HSMSk（7）HSMSk+1=ReLU(f11(Ik)（8）式中：HS0为输入的LR-HSI，MS0为输入的HR-MSI；I表示拼接后的图像；HSMS为融合后的特征图。2.3特征重建模块特征重建模块由若干个卷积层组成。从融合模块所得到的特征图的通道数为256，因此要获取融合图像F，就需要对特征图进行降维重建。考虑到较大的核大小和网络深度会削弱融合性能，增加计算复杂度，因此本文采用4个11的卷积层，依次为11256、11128、1164、111。同时，为了增加模型中各层次间的非线性联系，可以通过ReLU 函数提高模型的非线性。具体实现过程如下：F=f11|ReLU().()f11()ReLU()HSMS5（9）式中：表示11的卷积操作；F表示融合后的图像。2.4损失函数为了更好地训练MRFN网络模型，使得融合结果接近真实的高分辨率图像，本文采用融合图像F与参考图像R之间的均方误差作为网络的损失函数，使网络神经元权值不断更新。MSE损失函数定义如下：刘娴雅等：基于多尺度残差融合网络的高光谱图像融合算法46舰 船 电 子 工 程2023 年第 3 期L=1ni=1n()F-R2（10）式中n为训练样本数。3实验及结果分析3.1数据集与网络配置本文使用CAVE15和Harvard16数据集来验证所提出方法的有效性。其中CAVE数据集是室内场景下的高光谱数据集，该数据集由三十张大小为512 512的高光谱图像构成，波段范围为400nm700nm，共三十一个高光谱波段。H