基于S-2AF-GCN的高光谱遥感图像分类模型_宋海林.pdf

第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展0228010-1研究论文基于 S2AF-GCN的高光谱遥感图像分类模型宋海林，汪西莉*陕西师范大学计算机科学学院，陕西 西安 710119摘要 在高光谱图像分类任务中，图卷积网络能够建模像素或区域间的结构关系和相似性关系。针对利用像素原始光谱特征计算节点相似度构造邻接矩阵不准确的问题，提出基于空间-光谱聚合特征的图卷积网络（S2AF-GCN），用于特征提取和像素级分类。以像素的空间位置为中心，聚合像素空间邻域内的其他像素特征，利用聚合后的像素特征动态更新与邻域内其他像素的权重，通过多次聚合，实现区域内像素特征平滑，得到像素的有效特征表示。然后利用聚合特征计算相似度并构图，获得更为准确的邻接矩阵，同时利用聚合特征训练网络，获得更好的分类结果。S2AF-GCN 在三个常用高光谱数据集 Indian Pines、Pavia University、Kennedy Space Center上利用1%的标记样本取得了85.51%、96.95%、94.92%的总体分类精度。关键词 图卷积网络；聚合特征；高光谱遥感图像分类；空谱信息中图分类号 TP391 文献标志码 A DOI：10.3788/LOP220612Hyperspectral Remote Sensing Image Classification Model Based on S2AF-GCNSong Hailin,Wang Xili*School of Computer Science,Shaanxi Normal University,Xian 710119,Shaanxi,ChinaAbstract For hyperspectral image classification tasks,a graph convolutional network can model the structural and similarity relationships between pixels or regions.To solve the problem of inaccurate construction of an adjacency matrix by calculating the node similarity using the original spectral features of pixels,a graph convolutional network based on spatial-spectral aggregation features(S2AF-GCN)is proposed for feature extraction and pixel-level classification.The S2AF-GCN considers the spatial position of the pixel as the center,aggregates other pixel features in the spatial neighborhood of the pixel,and uses the aggregated pixel features to dynamically update the weights of other pixels in the neighborhood.Through multiple aggregations,the pixel features in the region are smoothed,and the effective feature representation of the pixels is obtained.Next,the aggregated features are used to calculate the similarity and construct a more accurate adjacency matrix.Moreover,the aggregated features are simultaneously used to train the S2AF-GCN to obtain better classification results.The S2AF-GCN achieves overall classification accuracies of 85.51%,96.95%,and 94.92%on three commonly used hyperspectral datasets,namely,Indian Pines,Pavia University,and Kennedy Space Center,respectively,using 1%labeled samples.Key words graph convolution network;aggregation feature;hyperspectral remote sensing image classification;spatial-spectral information1引言随着高光谱成像技术的迅猛发展，近年来高光谱图像在土地覆被利用、军事目标检测、矿物识别、防灾减灾等领域受到广泛关注1-2。高光谱图像由数百个连续的光谱带组成，丰富的光谱特征使其在识别土地覆盖类型方面具有显著优势3-4。许多研究者对高光谱图像进行了深入的研究，早期研究主要基于传统的模式识别方法，直接利用光谱特征或基于人工设计的空 谱 特 征 进 行 特 征 提 取，之 后 采 用 支 持 向 量 机（SVM）5等方法进行分类。近年来，受益于卷积神经网络（CNN）和深度学习（DL）技术，对高光谱图像进行分类的各种先进的深度网络取得了重大进展6-7。Chen 等8采用的 CNN 从高光谱图像中自动提取空间特征和光谱特征，同时获得了更高的分类性能。CNN 可以应对像素特征的提取收稿日期：2022-01-24；修回日期：2022-02-26；录用日期：2022-03-14；网络首发日期：2022-03-26基金项目：国家自然科学基金（61701290）通信作者：*0228010-2研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展任务，但传统的 CNN 模型只对规则的矩形区域进行卷积，也有对不规则的区域提高特征提取能力的研究，如可变形卷积9，但其计算复杂度很高；CNN 模型参数较多，在标记样本较少的情况下往往不能很好地提取特征，且模型训练时间较长；此外，CNN 不能捕捉和利用高光谱图像中不同像素或区域间的关系，而这种通常以相似性表达的关系隐含了数据的结构信息，会为特征提取和分类提供更多的有用信息。2017 年，Kipf等10提出了图卷积网络（GCN）模型，将 GCN 模型用于高光谱图像分类时，图像中的每一个像素（或超像素11）看作一个节点，通过计算节点之间的相似度构造邻接矩阵，建模节点之间的几何结构关系和相似性关系，为分类提供更多更有效的信息12。众多研究表明，像素的空间邻域信息与光谱信息对分类结果都至关重要13。Hong等14对比了 GCN 与CNN 的区别和联系，提出了 GCN 与 CNN 相结合的模型 FuNet-C。该模型利用 CNN 提取像素 77 范围内的特征，同时利用光谱特征计算节点相似度构造邻接矩阵，利用 GCN 提取节点特征，将两个网络获得的特征级联再加全连接层进行分类。该模型意在建模像素之间的关系，利用 GCN 模型更新节点光谱特征，同时利用 CNN 提取像素局部空间特征和光谱特征，但在标记样本比较少的情况下，CNN 难以很好地提取像素的空间光谱特征，因此该模型的性能提升受限。Danel等15认为 GCN 模型能够建模节点之间的关联关系，但忽视了像素在图像中的空间相邻关系，提出了空间图卷积网络（SGCN），该模型在构建邻接矩阵时选择的邻居节点均为像素空间邻域内的节点。Qin等16认为像素的光谱特征信息与像素在图像中的空间邻域信息都很重要，提出了光谱-空间图卷积网络（S2GCN）模型。该模型利用像素的光谱特征计算节点之间的相似度，通过 KNN（K-nearest neighbor）算法选择 10 个近邻，然后再计算每个像素与图像中 55 范围内其他像素的相似度，二者进行相乘融合，获得最终的邻接矩阵。SGCN 模型与 S2GCN 模型虽然都利用了空间光谱信息，但二者构造的邻接矩阵都限制在空间局部邻域范围内。构造的邻接矩阵不准确是影响 FuNet-C、S2GCN等模型性能的另一个原因。FuNet-C 模型和 S2GCN模型都利用像素的原始光谱特征计算相似度，利用KNN 算法选择 K 个近邻构造邻接矩阵，因遥感影像中“同谱异物，同物异谱”现象的存在，邻接矩阵中不同类节点之间可能存在关联，因此 GCN 模型更新后的节点特征中可能包含非同类节点的特征，影响分类结果。为获得较为准确的邻接矩阵，Wan 等17设计了动态图卷积，即 GCN 对节点特征更新后，利用更新后的节点特征重新计算节点的相似度，重新构造邻接矩阵。但若初始构造的邻接矩阵不准确，后续再更新节点特征和邻接矩阵的话，依然难以达到获得具有所需表达能力的节点特征和邻接矩阵的目的，进而难以提升分类性能。为此，Bai等18利用核光谱角度映射器与光谱信息散度（KSAM-SID）度量节点之间的相似性，以构造较为准确的初始邻接矩阵，然后再利用 GCN 更新节点特征，利用新的节点特征重新构造邻接矩阵，该方法取得了不错的分类效果。为了充分利用像素的空间邻域信息和光谱信息，同时解决利用原始光谱特征计算节点相似度构造邻接矩阵不准确的问题，本文提出了基于空间-光谱聚合特征的图卷积网络（S2AF-GCN），用于高光谱遥感图像分类。该模型首先提取像素的空间-光谱聚合特征，再利用 GCN 更新与转换节点特征，获得分类结果。本文主要贡献有两个方面：一是提出了空间-光谱聚合特征方法，该方法以像素的空间位置为中心，聚合其周围邻域内的像素特征，利用聚合后的像素特征动态更新像素与邻域内像素的相似度权重，通过多次聚合，可充分利用像素的空间光谱信息，并对空间区域内的像素特征进行平滑，得到像素的有效特征表示；二是建模节点之间的连接关系，并利用聚合特征计算节点之间的相似度，与利用原始光谱特征计算节点相似度相比，利用聚合特征计算所得的邻接矩阵更为准确，可以获得更好的分类结果。2基于空间-光谱聚合特征的图卷积网络基于 S2AF-GCN 的高光谱遥感图像分类模型如图 1 所示。该模型主要由空间-光谱聚合特征模块和m iterationsspatial-spectralaggregation featuresgraph convolutional networkaggregationfeatureshiddenlayersadjacencymatrixX4X5X2X3X1Z4Z5Z2Z3Z1hyperspectralimageSoftmaxcross-entropylosslabelsinput图 1基于 S2AF-GCN的高光谱遥感图像分类模型Fig.1Classification model of hyperspectral remote sensing images based on S2AF-GCN0228010-3研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展图卷积网络模块组成。输入一幅高光谱图像，利用空间-光谱聚合特征模块对像素的原始光谱特征（OF）进行聚合平滑，将聚合平滑后的像素特征称为聚合特征（AF）；以像素为节点，利用聚合特征计算节点之间的相似度，构造邻接矩阵；将聚合特征和邻接矩阵送入图卷积网络，获得分类结果。2.1空间-光谱聚合特征对于像素级图像分类任务，空间上相邻的像素往往属于同一类13，16，19，为充分利用像素的空间邻域信息，对中心像素空间邻域内的像素特征进行动态加权聚