面向多光谱卫星成像的广义光谱超分辨率_何江.pdf

第 52 卷第 2 期2023 年 2 月Vol.52 No.2February 2023光子学报ACTA PHOTONICA SINICA02100021面向多光谱卫星成像的广义光谱超分辨率何江，袁强强，李杰（武汉大学 测绘学院，武汉 430079）摘要：针对多种多光谱卫星成像模式，对原始光谱超分辨率概念进行扩充，提出一种联合数据驱动与模型驱动的深度学习算法。模拟构建的多个数据集，讨论了不同多光谱成像模式下的光谱超分辨率之间的差异，验证了所构建算法的稳健性，提高了现有多光谱卫星影像利用率，对光谱超分辨率的更广泛情形进行了概括。关键词：广义光谱超分辨率；多光谱成像；高光谱成像；数据驱动；模型驱动中图分类号：TP751 文献标识码：A doi：10.3788/gzxb20235202.02100020 引言高光谱成像是一种以高光谱分辨率获取被观测物体辐射特性的技术。高光谱图像具有丰富的光谱信息，可用于语义分割、场景分类、目标检测和目标跟踪等方面。高光谱图像由于其在像元上具有连续的光谱特性，能够提高对物体的分辨能力，在食品科学、大气监测、医学科学和遥感等诸多领域越来越受到重视。尽管高光谱图像已经得到了广泛的应用，但由于在生成高信噪比光谱时，每个像素的传感器空间尺寸都在增加，高成本和低空间分辨率阻碍了其在精细化应用的发展。而多光谱传感器通常只通过几个光谱通道捕获高空间分辨率的图像，空间细节丰富，但是光谱信息粗糙。因此，如何以较低的成本从高分辨率多光谱图像中获取高分辨率高光谱图像成为了人们关注的问题。即，给定一幅多光谱图像，通过增加多光谱的通道数，得到一幅空间分辨率相同、光谱分辨率高的高光谱图像，称为光谱超分辨率（Spectral Super-resolution，sSR）。从退化后观测的多光谱图像求解原始高光谱图像，解是无穷个的1。为了解决这一欠定逆问题，传统的解决方法是采用稀疏恢复和字典学习来提取完备的高光谱字典库以及对应的稀疏系数，再应用到待提升光谱分辨率的多光谱数据上，实现光谱超分辨率，代表方法有 Arad2，A+3和高斯过程4等。随着深度学习在图像处理领域的不断斩获佳绩，数据驱动的友好训练方式以及强大的非线性学习能力使得光谱超分辨率算法也掀起了深度学习的浪潮5-9。从最早的 DenseUnet到注意力机制，Transformer等结构，网络已经有了翻天覆地的变化。早期算法只关注网络的光谱映射效果缺忽略了空间细节保真；后期算法模型逐渐庞大且缺乏泛化能力。虽然拥有较高性能，但深度学习算法也因为缺乏物理可解释性的黑匣操作方式饱受诟病。无论是模型驱动的亦或是数据驱动的光谱超分辨率算法，两者都是建立在共同的假设之上：现有可用的多光谱图像只有一个分辨率。在自然图像处理领域，这一假设是切合实际的，相机或摄像头拍摄的图片总是只存在一个分辨率。但是当所涉及的领域是卫星遥感图像时，这一假设就难以站稳脚跟。因此，本文在归纳了多种遥感多光谱卫星成像模式之后，对原有光谱超分辨率算法进行广义扩充，并且通过一个联合模型驱动与数据驱动的算法加以验证解决，同时构建了多光谱卫星图像光谱超分辨率数据集。引用格式：HE Jiang，YUAN Qiangqiang，LI Jie.Generalized Spectral Super-resolution for Multispectral Satellite Imagings J.Acta Photonica Sinica，2023，52（2）：0210002何江，袁强强，李杰.面向多光谱卫星成像的广义光谱超分辨率 J.光子学报，2023，52（2）：0210002基金项目：国家自然科学基金（Nos.41922008,62071341,61971319)第一作者：何江，通讯作者：袁强强，收稿日期：2022 09 12；录用日期：2022 10 20http:/光子学报021000221 问题与方法1.1多光谱卫星成像多光谱卫星是一种对广域地表地物进行高效监测与分析的手段。然而，根据需求不同，不同的多光谱卫星的成像模式也大不相同。如图 1 所示，多光谱卫星成像模式大致可以分为三大类，最熟悉的一类就是Landsat早期卫星，这些卫星只拍摄一组相同空间分辨率的多光谱数据；由于人们对空间分辨率的需求与成像条件的相互制约，后续发展出的高分系列以及 Landsat6-8、快鸟等卫星在拍摄多光谱卫星的同时，还拍摄同一覆盖区域的全色影像，这景全色影像具备极高的空间分辨率；最后一种是为了满足人们对特定光谱范围数据的需求，卫星在不同波段范围的波段分辨率不同，如 WorldView2号等。需要注意的是，图 1只是示意图，同一成像模式下的图像分辨率具有可比性，而不同成像模式间图像的分辨率关系不具有参考性，例如高分系列的低分多光谱数据（最低 8 m）实际比哨兵 2号的高分多光谱数据（最高 10 m）的空间分辨率还要高。1.2广义光谱超分辨率如上所述，由于不同多光谱卫星平台所对应的需求和应用不同，其多光谱成像模式也大不相同，如果只是采用其中的部分多光谱数据进行光谱超分辨重建，则会造成数据的浪费和损失（例如，第二种成像模式的全色影像以及第三种成像模式的低分多光谱数据）。因此，为了充分利用现有多光谱卫星数据，针对不同的多光谱卫星成像模式，本文对原始光谱超分辨率概念进行广义扩充，对于借助全色影像的高分辨率空间信息在光谱超分辨率的同时进一步增强空间分辨率的过程定义为 PansSR（Pansharpening+sSR），对于利用额外低分辨率光谱信息对光谱超分辨率进行优化改善的过程定义为 FusSR（Fusion+sSR）。综上所述，广义光谱超分辨率包含了原始的狭义 sSR，FusSR以及 PansSR三大情形。1.3问题描述在本文中，X RW H C表示理想高光谱图像，W和H分别为数据的宽、高，C表示图像的光谱通道数；MHRW H c1表 示 与 理 想 高 光 谱 图 像X具 有 相 同 空 间 分 辨 率 的 多 光 谱 图 像，其 光 谱 通 道 数 为c1；MLRw h c2表示低空间分辨率的多光谱数据，图像大小为w h，光谱通道数为c2。值得注意的是，本文的公式推导都是在 FusSR 的情形下进行的，当实际情况为 PansSR 时，只需要将MH替换为P RW H 1即可通用。图 1多光谱卫星成像模式与广义光谱超分辨率Fig.1Multispectral satellite imagings and generalized spectral super-resolution何江，等：面向多光谱卫星成像的广义光谱超分辨率02100023由于卫星上传感器的光谱响应函数不同，导致获取的多光谱和高光谱波段数也不同，多、高光谱数据间的关系可以通过转换矩阵来表示。在文本中，1RC c1表示获取MH的光谱响应矩阵，2RC c2则对应ML的光谱响应矩阵。考虑ML与X之间的空间退化关系Dwh WH，卫星多光谱成像观测模型可以表示为MH=X1（1）ML=DX2（2）式（1）和（2）阐明了卫星多光谱成像与高光谱图像之间的关系。光谱超分辨率是一个从观测得到的多光谱图像反向求解真实高光谱图像的逆问题，通常可以表述为一个最小化能量函数的优化问题X=argminX 12MH-X122+12ML-DX222+R(X)（3）式中，R是一个引入图像先验知识的正则化项，2表示数据保真项的欧氏范数，而则是权衡参数。1.4联合数据与模型的广义光谱超分辨率网络本文提出一个联合数据驱动与模型驱动的端到端卷积神经网络用以解决广义超分辨率问题，具体结构如图 2所示。网络由两部分组成，带有光谱分组策略的粗重建模块，以及主体深度展开优化模块，具体细节将在后续中逐一介绍。1.4.1深度展开深度展开的思想最早应用在图像去噪领域，后续被不断完善。受此思想启发，为了将模型驱动的算法与数据驱动的深度学习相结合，本文先应用半二次分裂法将式（3）转化为两个子问题，分别考虑先验项和数据保真项Xk+1=argminX 12MH-X122+12ML-DX222+Zk-X22（4）Zk+1=argminZ Z-Xk+122+R(Z)（5）Z是用来分裂能量函数的辅助变量等同于X，表示惩罚参数。对X子问题采取梯度下降法求解，而对Z子问题采用近端算子求解，可以得到解Xk+1=(1-)Xk-Xk1T1-DTDXk2T2+MHT1+DTMLT2+Zk)（6）Zk+1=Prox(Xk+1)（7）为了方便理解，式（6）中Xk1T1与DTDXk2T2表示网络反复学习退化-重建的过程，用X k+1表示；MHT1与DTMLT2表示原始输入图像的粗重建先验，用Mk+1表示。由此可得X子问题求解数据流Xk+1=(1-)Xk+Zk-X k+1+Mk+1（8）采用3 3卷积模拟空间矩阵，1 1卷积模拟光谱矩阵，近端算子采用残差网络，所有的超参数通过跨维度光谱注意力求解8。基于此，模型驱动的广义光谱超分辨率算法被深度展开为了卷积神经网络形式。保留了数据驱动的友好训练方式的同时，给模型引入了物理可解释性。图 2联合数据与模型的广义光谱超分辨率网络框架Fig.2Joint data-driven and model-driven network for generalized spectral super-resolution光子学报021000241.4.2光谱分组高 光 谱 数 据 波 段 间 具 有 强 相 关 性，其 中 最 直 观 的 确 定 方 法 是 光 谱 响 应 函 数（Spectral Response Functions，SRF），它表示了传感器将哪些波段范围的能量积分到某一多光谱波段上。为了更好地重建光谱信息，本文提出了基于光谱分组的粗重建过程，如图 3所示。图中，光谱梯度计算是计算波段间的光谱差分信息辅助网络进一步学习，卷积层第一层为3 3卷积，第二层分组卷积为1 1卷积，分组方式由光谱响应函数确定，光谱响应函数处于同一类型的波段被归为一组。2 结果与讨论2.1数据与模拟方式本文用到的卫星数据有：哨兵二号多光谱卫星，珠海一号高光谱卫星，用以验证狭义 sSR 以及 FusSR；高分一号卫星，地球观测一号卫星，用以验证 PansSR。前者所构成的数据集命名为 Sen2OHS，包含 4 个高分辨率哨兵二号多光谱波段，4个低分多光谱波段，以及 32个高分辨率珠海高光谱波段；后者所构成的数据集命名为 GF2Hyper，包含 4个低分多光谱波段，一个高分辨率全色波段，63个高分辨率高光谱波段8。选取了五个定量评价指标，分别是相关系数（Correlation Coefficient，CC），平均峰值信噪比（mean Peak Signal Noise Ratio，mPSNR），平 均 结 构 相 似 度（mean Structure Similarity，mSSIM），光 谱 角（Spectral Angle Mapper，SAM），相对全局无量纲误差（Erreur Relative Global Adimensionnelle de Synthse，ERGAS）。2.2狭义 sSR在 Sen2OHS 数据集中，仅选取哨兵 2 号数据的 10 m 分辨率的四个波段用来验证各个算法在狭义 sSR的效果，定量评价结果如表 1所示。从定量结果来看，仅使用 band 2、3、4、8这些高分辨率多光谱波段，本文方法和 HSRnet这两个联合模型与数据驱动的算法，得到的结果要比其他纯卷积神经网络更好。将光谱超分辨率结果与地面真值作差得到的图 4目视残差结果也佐证了这一结论。图 3光谱分组Fig.3Spectral grouping表 1Sen2OHS数据集上狭义 sSR定量结果Table 1Quantitative results of sSR on Sen2OHS datasetAlgorithmDenseUCanNetHSCNN+HSRnetProposed methodCC0.949 80.962 10.959 30.972 50