基于卷积神经网络的高光谱图像分类算法综述_易瑔.pdf

引用格式:易瑔，张宇航，宗艳桃，等 基于卷积神经网络的高光谱图像分类算法综述 J 电光与控制，2023,30(3):70-77 YI Q,ZHANG Y H,ZONG YT,et al A survey of hyperspectral image classification algorithms based on convolutional neural networks J Electronics Optics Control,2023,30(3):70-77基于卷积神经网络的高光谱图像分类算法综述易瑔，张宇航，宗艳桃，戴颜斌(中国人民解放军陆军装甲兵学院兵器与控制系，北京100000)摘要:高光谱图像拥有光谱分辨率高、图谱合一的优点，已经成为遥感科学的重要研究方向。大多数传统的高光谱图像分类方法是基于浅层人工特征且依赖于专家经验，已经难以满足当下的技术需求。近年来，随着卷积神经网络在人工智能领域的广泛应用，基于卷积神经网络的高光谱图像分类方法已经在分类精度和速度上取得突破性的进展。首先介绍了高光谱图像分类方法，分析了传统分类方法的局限性;然后根据卷积神经网络对高光谱图像特征提取方式的不同，将算法分为基于谱特征、空间特征和空谱特征 3 大类，并分析了每类算法的优缺点;最后对高光谱图像分类的小样本训练、实际应用和分类结果等问题提出建议。关键词:高光谱图像;深度学习;图像分类;卷积神经网络;特征提取;综述中图分类号:TP391 4文献标志码:Adoi:10 3969/j issn 1671 637X 2023 03 013A Survey of Hyperspectral Image Classification AlgorithmsBased on Convolutional Neural NetworksYI Quan,ZHANG Yuhang,ZONG Yantao,DAI Yanbin(Department of Weaponry and Control,Army Academy of Armed Forces,Beijing 100000,China)Abstract:Hyperspectral image has been considered as one of the greatest research directions in the remotesensing science due to its advantages of high spectral resolution as well as allowing for the synchronousacquisition of both images and spectra of objects Most conventional hyperspectral image classificationmethods,however,are based on“shallow”handcrafted features,and highly relies on expert knowledge,which aredifficult to meet the current technical requirements In recent years,with the wide application of convolutionalneural networks in the field of artificial intelligence,hyperspectral image classification methods based onconvolutional neural networks have achieved breakthroughs in classification accuracy and speed Firstly,hyperspectral image classification methods are introduced,and the limitations of traditional classificationmethods are analyzed Secondly,according to the different extraction methods of hyperspectral image featuresby convolutional neural networks,the algorithm is divided into three types:Spectral features,spatial featuresand spatial-spectral features,and the merits and demerits are analyzed Finally,some suggestions are putforward for the insufficient sample training,practical application and classification results of hyperspectralimage classificationKey words:hyperspectral image;deep learning;image classification;convolutional neural network;feature extraction;survey0引言高光谱遥感是将成像技术和光谱技术相结合的多维信息获取技术1，可以同时获取地面目标的光谱信息和二维空间信息。针对一定范围的地面区域，高光收稿日期:2022-02-08修回日期:2022-03-08基金项目:陆军武器装备军内科研项目(2019ZB117)作者简介:易瑔(1968)，男，陕西三原人，博士，教授。谱成像仪可以提供从可见光到近红外波段内上百个光谱波段，光谱分辨率高达纳米级，图像中每一个像元可以得到一条对应地面目标的连续光谱曲线，这使得原本在传统的可见光遥感和多光谱遥感技术中无法有效识别的地物，在高光谱遥感中得以探测2。高光谱图像已经成为遥感技术领域的热点研究方向，在精准农业3、环境科学4、海水污染治理5、军事侦察6 等军用和民用领域均有广泛应用。Vol 30No 3Mar 2023第 30 卷第 3 期2023 年 3 月电光与控制Electronics Optics Control易瑔等:基于卷积神经网络的高光谱图像分类算法综述高光谱图像分类技术是指根据图像中的信息为图像中每一个像元赋予类别标签。传统的高光谱图像分类方法大多数是基于统计学习方法或信号处理方法实现的，然而传统方法存在诸多局限性，始终难以达到令人满意的分类效果。一方面，传统分类方法只能提取高光谱数据中人工设计的浅层特征，这种人工特征无法表征数据内在的本质规律，在面对比较复杂的数据时难以保证算法的鲁棒性;另一方面，由于提取人工特征时算法参数的设定十分复杂，过度依赖于专家经验，因此难以保证算法的泛化性。近年来，随着深度学习技术在计算机视觉(ComputerVision，CV)的迅速发展 7，越来越多的深度学习算法被用于高光谱图像分类。以深度置信网络 8、稀疏自编码网络9 和卷积神经网络(Convolutional Neural Network，CNN)10 为代表的典型深度学习模型均在高光谱图像处理领域取得了较好的研究成果。其中，CNN 因其“参数共享”和“局部感知”的优点 11，可以提取数据的深度特征，同时避免模型参数骤增，已经成为高光谱图像处理技术的热门模型。CNN 的出现带动了高光谱图像分类技术取得突破性进展。如刘康等12 利用 Alexnet，VGG-VG-16 和 GoogLenet 等经典 CNN 模型得到了对“天宫一号”高光谱成像仪拍摄的若干数据集较高精度的分类结果，该“天宫一号”数据集包含机场、港口、农田等 9 个典型地物场景在内的 204 个高光谱影像数据，充分体现CNN 在高光谱数据场景分类中有较好的实现效果。CNN 在数据特征提取方面所体现出的巨大优势，使其受到高光谱图像处理学者的广泛关注，一些相关的文献资料和实验成果对 CNN 用于高光谱图像分类技术的发展起到很大的推动作用。CNN 在传统 CV 领域的研究综述已经广泛存在，但仍然缺少对 CNN 用于高光谱图像分类系统性的研究综述。本文针对近年来相关文献基于 CNN 的高光谱图像分类算法，总结了技术和学术进展情况，根据高光谱图像数据特征提取的方式为算法分类，分析了各类算法的优缺点，并针对该领域内存在的相关问题提出建议。1高光谱图像分类的背景与挑战1 1高光谱图像分类背景图 1 展示了高光谱图像的“图像立方体”数据结构，可以体现其“图谱合一”的性质13。图 1 中，X 轴和 Y 轴组成的平面代表高光谱图像的空间几何信息，轴表示光谱维信息。假设一个高光谱图像在 X 轴和 Y 轴的长和宽分别为 M 和 N，轴的光谱维波段数为 K，则高光谱图像可以表示为一个 M N K 的数据立方体，其中，M N 表示总像元数，K 表示图像的通道数。对于图像上任意一像元 p(i，j)，其光谱向量可以表示为(r1(i，j)，r2(i，j)，rk(i，j)，其中，r表示当前波段的光谱反射率，下标1，2，k 表示波段编号，若波段的数量足够多、波长间隔足够小，则可以得到一个近似连续的曲线图，成为该像元的光谱曲线。图 1高光谱图像表达形式Fig 1Expression of hyperspectral image高光谱图像分类即对于每一个属于 RK 1特征空间中的像素样本 X=piM Ni=1均有一个与之对应的标签 yi 1，2，C，其中，C 代表标签种类。从特征空间上看，由于每一类物质的光谱向量不同，其对应的高维特征空间中所处的位置也不同。相同物质所处的特征空间位置也更近。可以用数学方法对特征空间中的每一个向量进行深层特征提取，使像素之间的特征差异越来越明显，以达到准确分类的目的。实际上，高光谱图像分类问题可以看作是一种优化问题，即一种映射函数 fc()对输入的样本 X 经过一系列数学变换，输出与之对应的标签 yi，并通过优化算法不断降低真实值与预测值之间的差异，即y=fc(X，)(1)式中，代表在映射 fc:Xy 中适当的参数。1 2高光谱图像传统分类方法及其局限性在高光谱图像分类研究初期，研究者们还没有意识到空间特征的重要性，大多分类方法都是只利用高光谱图像的光谱维特征实现的，如基于 K 最邻近分类器(K-Nearest Neighbor，KNN)14、支持矢量机(SupportVector Machine，SVM)15、人工神经网络(Artificial NeuralNetwork)16 和多层感知机(Multilayer Perceptron，MLP)17 的分类方法。除此之外，还有一些方法专注于设计基于谱特征的特征提取或降维技术来实现分类，如基于主成分分析(Principal Component Analysis，PCA)18 和独立成分分析19(Independent Component Analysis)的分类方法。但由于仅利用光谱信息，这类方法最终难以取得满意的分类效果，特别是在面对空间场景分布比较复杂的地物时准确率会更低。已有研究表明，像素周围的空间信息对高光谱图像分类算法性能有至关重要的影响20。随着空间信息的引入，越来越多的空谱联合方法被提出，进一步提升了分类精度，如文献 21中利用 Hopfield 神经网络17第 3 期同时提取高光谱数据的空间和光谱信息;文献 22 在基于稀疏表示的分类方法中加入空间信息，取得了较好的分类效果;文献 23 24则是在传统 KNN 和 SVM 分类器中加入空间信息，比起只用光谱信息的分类器在准确率上取得很大提升。在高光谱图像的拍摄过程中，不同地物之间光线的反射及折射现象可能会使感兴趣目标的光谱曲线发生畸变，出