改进的残差3D-CNN的高光谱遥感影像分类_苗永庆.pdf

第 卷第期 年月测绘科学 作者简介：苗永庆（），男，河南安阳人，硕士研究生，主要研究方向为深度学习、神经网络在高光谱遥感影像分类中的应用。：收稿日期：基金项目：国家自然科学基金青年基金项目（）；辽宁省教育厅重点项目（）通信作者：赵泉华 教授 ：引文格式：苗永庆，赵泉华，孙清 改进的残差 的高光谱遥感影像分类 测绘科学，（）：，（，（）：，）：改进的残差 的高光谱遥感影像分类苗永庆，赵泉华，孙清（辽宁工程技术大学 测绘与地理科学学院，辽宁 阜新 ）摘要：针对高光谱遥感影像分类中空间特征和光谱特征利用率低问题，该文综合三维卷积神经网络、谷歌神经网络和残差神经网络的优势，提出融合改进 模块的残差三维卷积神经网络高光谱遥感影像分类方法。改进后的 模块包括条不同的卷积层分支，用以提取蕴涵在高光谱遥感影像中多尺度的特征；利用了 卷积核代替 卷积核能直接同时提取高光谱遥感影像中更丰富的空谱特征；通过残差结构连接分支提取特征缓解了梯度消失的问题，提取更深层次的特征。实验表明，该文算法不仅提高了条状和线状地物区域的边缘分类准确率，对小目标的分类能力也得到了增强。关键词：；模块；残差神经网络；高光谱遥感影像分类【中图分类号】【文献标志码】【文章编号】（），（，）：，：；第期苗永庆，等 改进的残差 的高光谱遥感影像分类引言由于具有光谱覆盖范围广、光谱分辨率高等特征，高光谱遥感影像已被广泛用于各行各业。高光谱遥感影像包含丰富的空间信息和光谱信息，最大似然法、最小距离法和支持向量机等传统影像分类方法只能利用其浅层特征，在一定程度上忽视了高光谱遥感影像丰富的信息，导致对高光谱遥感影像的分类精度不高。随着神经网络的兴起，研究者开始使用卷积神经网络提取高光谱遥 感 影 像 的 深 层 特 征 以 提 高 分 类 精 度。文献 采用一维卷积神经网络（，）在光谱维度上构建 卷积核，以提取深层的光谱特征，继而实现高光谱遥感影像分类。但该方法仅利用光谱信息，忽略了空间维度包含的邻域信息，使得分类精度较低。于是很多研究者提出基于二维卷积神经网络（，）的高光谱 遥 感 影像分 类方法。该类方法在空间维度上构建 卷积核，以提取空间邻域特征，进而提高分类精度。如文献 提出了基于半监督的 分类方法。该方法采用半监督学习策略训练编码器和解码器的参数，利用了大量的未标记样本，从复杂高光谱遥感影像中学习特征，证实了 网络分类结果优于传统分类方法。文献 提出了 网络模型，利用 卷积核进行卷积，设计了一个高度类似 模块的模块提取影像的空间信息，又设计了一个使用扁平化层丢弃空间信息来提取光谱信息的模块，将二者的输出结果在通道上串联提取高光谱遥感影像的空间和光谱特征，实现了高光谱数据的分类。但 主要提取高光谱遥感影像的空间信息，忽略了光谱维度连续信息的提取，使其分类精度仍旧不高。使用 卷积核在个方向上同时工作，可以直接同时提取高光谱图像的光谱信息和空间信息。为此，研究 者 开 始 使 用 三 维 卷 积 神 经 网 络（，）分类高 光 谱 遥 感 影 像。如 文 献 等 提 出 了 高光谱遥感影像方法。该方法利用 卷积核并结合正则化同时提取高光谱图像的空间维和光谱维 特 征，实 验 分 类 结 果 优 于 相 同 网 型 的 分类方法，得到了高精度分类结果，但该方法训练过程中存在梯度消失问题。部分研究者尝试利用残差神经网络（，）解决梯度消失问题。文献 设计了端到端的 光谱空间残差网络，通过构建光谱和空间残差块分别提取光谱和空间特征，实现了对 的立方体数据的分类。文献 为了解决高光谱遥感数据样本不充足的问题，提出了智能化数据网络（），在 单元内引入了 的思想，通过设计叠加 卷积和 卷积的分支并结合残差连接提取空间特征和光谱特征，融合后获得更好的分类特征，在一定程度上解决了高光谱遥感影像 训 练 样 本 少 的 问 题。之 后 有 研 究 者 在 基础 上 融 入 注 意 力 机 制、空 洞 结 构 和 滤波器等其他非神经网络基础单元结构改进网络 。文献 提出了基于 通道和空间注意力的多尺度空间谱残差网络。该网络结构采用层并行的残差网络结构，将提取的深度多尺度特征进行叠加，然后通过 注意力模块，增强对影像特征的表现力，同时注意力模块也增加了网络的复杂性。文献 提出了 空洞卷积残差神经网络。空洞卷积在原始卷积核的基础上，通过在值与值之间插入权重为的行与列，在光谱维度上进行间隔波段卷积，扩大卷积核的感受野。空洞卷积为了增加感受野牺牲了图像光谱特征的部分连续性，导致光谱特征提取不足。从 到 ，再到增加其他非神经网络基础单元的 ，网络参数不断增加，网络结构越来越复杂，网络整体运行时间加长，实验精度达到一定程度后不能再继续大幅增加，对高光谱数据集具有辨别力和代表性的特征提取相对有限。复杂的网络结构对影像的有效分类特征提取有限，因此可以认定复杂网络未必可以得到高光谱遥感影像更有效的分类特征，造成高光谱遥感影像丰富的空间和光谱特征利用率低。为了充分利用高光谱遥感影像丰富的空谱特征，本文引入了相比 更有利于提取高光谱遥感影像空谱特征的 ；引入了谷歌神经网络（）中的 模块的思想，在条并行分支中提取多尺度的特征；引入了残差神经网络的思想，改善了随着网络层深度与宽度的增加带来梯度消失的问题，提取更深层次的特征。本文提出了融合改进 模块的残差 ，全部使用卷积层提取特征，不包含其他非神经网络基础单元，降低了网络结构复杂性，提取更深层次、多尺度的空谱特征实现高光谱遥感影像分类。网络结构设计为了充分利用空谱特征、提取影像多尺度特测绘科学第 卷征，以及解决随网络层深度与宽度的增加带来梯度消失的问题，提取更深层次的特征。本文综合 、和 的优势，提出融合改进 模块的残差 卷积模块。该模块将 模块中的 卷积核替换为 卷积核，设计条不同的卷积层分支提取不同尺度的空谱特征，并逐点求和连接。将原始数据进行主成分分析降维，经过多次（本文算法选用次）融合改进 模块的残差 卷积模块，将输出结果输入到全连接（，）层中。输出层使用了归一化指数函数（），组成融合改进 模块的残差 ，实现高光谱遥感影像分类。提出的融合改进 模块的残差 结构如图所示。图融合改进 模块的残差 结构 网络中 模块有个基本组成成分，卷积，卷积，卷积，最大池化。模块设计了条并列的分支提取特征，采用反向传播算法对网络的参数进行修改，并训练网络在这条分支中选择最优过滤器组合类型。相比影像识别领域的其他模型，该模块增加了模型的宽度，最后对条分支运算结果进行通道上串联组合，用密集成分近似表达最优的局部稀疏结构。模块利用不同大小的卷积核实现不同尺度的感知，可以得到影像更优的特征。模块结构如图所示。图 模块 针对高光谱遥感影像这种高维数据，本文算法舍弃 卷积神经网络，选用 卷积神经网络。卷积核会在个方向上进行卷积操作，更利于高光谱遥感影像高维信息的利用，使其可以同时提取空间维和光谱维的信息，更适合处理高光谱遥感影像数据这种 数据，提取影像的空谱特征。与 卷积如图所示。图 与 卷积 的 卷积核在个方向上移动，计算神经网络第层第个特征图在坐标为（，）点的输出值，见式（）。，（）（）（），（）（）式中：表示第层中与当前特征图相连的特征图；，表示在（，）位置上第层中第个卷积核输出的值；与表示卷积核的长度和宽度；表示卷积核在光谱维度上的尺寸；，表示第层第个特征图的偏置；为激活函数。本文算法在 模块的基础上将 卷积核替换为 卷积核，并设计了四条不同的卷积层分支提取不同尺度的空谱特征，将条分支通过逐点求和连接到一起，组成了融合改进的 的残差 模块，提取更丰富的特征。每个卷积层分支输出后 经 过 一 个 批 归 一 化（，）层和 激活函数层增强网络的非线性表达。融合改进的 的残差 卷积模块结构如图所示。第一条卷积层分支采用了和卷积核，提取影像的边缘信息，同时在光谱维度上进行卷积，兼顾光谱信息的提取，可以更深入地提取输入数据的边缘信息，实现空间信息和光谱信息的特征提取。第一分支结构如图所示。第二条卷积层分支采用了经典的卷积核，直接使小立方体卷积核在高光谱遥感影像中移动，在空间维和光谱维上同时进行运算，可同时从个方向提取高光谱遥感影像的空谱特征，获得更有效的分类特征。第三条卷积层分支采用了两个的卷积核，提高此分支的感受野，便于提取更大尺度的空谱特征，相比 模块的一个卷第期苗永庆，等 改进的残差 的高光谱遥感影像分类图融合改进的 的残差 卷积模块 图第一分支 积核，两个的卷积核感受野大小没有受到影响。文献 通过实验证实了两个的卷积核比一个卷积核提取特征更有效。第四条卷 积 层 分 支 沿 用 的 模 块 的卷积结构，衔接一个的卷积结构。使用卷积可以减少参数量，减少计算量，实现跨通道的信息交互和信息整合，增加网络的非线性表达。该分支相对减小了计算量，可以去除冗余信息并压缩特征。为了避免丢失更多原始细节特征，将每一条分支输入端直接与原始输入连接，然后将每一条分支的结果进行残差计算。通过将前面的激活值跳过中间的网络层而直接传到后面的网络中，避免出现梯度爆炸和梯度消失现象。没有将分支的输出结果在通道上串联，而采用残差结构连接，减小了倍数级别的输入计算量（假设 模块条分支结果输出均为，网络将分支结果串联后结果为，残差连接后结果为，本文直接将分支结果通过残差连接输出结果为）。残差模块输入与输出的关系可表示为式（）。（）（）（）式中：（）表示计算结果；表示模块输入；（）表示残差学习函数。残差结构如图所示。图残差结构 本文算法不仅能提取浅层特征，而且能提取语义层次更高的特征，利用不同大小的卷积核实现不同尺度的感知，将不同尺度的特征图融合在一起，增强网络的特征提取能力。本文算法设计条提取不同尺度的空谱特征分支，提取更多尺度的特征，通过融入残差结构解决随网络层深度与宽度的增加带来的梯度消失问题，进而训练更深和更优的网络，提取更深层次、多尺度的空谱特征实现更高精度的地物分类结果。实验与结果分析本文首先对高光谱遥感影像进行主成分分析，并以各阶主成分构成的矢量代替波段光谱测度矢量生成新影像（在不至混淆的情况下仍称之为高光谱遥感影像）。文献 证实了当适当的降维作为第一步应用时，并不会因为数据的输入而影响分类结果，但是本文大大减小了输入数据量，进而减少了后续网络的计算量。在样本采集的过程中，以样本像元为中心选取其邻域像素的影像块作为训练样本与验证样本。其中，为高光谱遥感影像空间维上的采样尺度，指光谱维上的采样尺度（波段数），如实验中取和。针对高光谱遥感影像样本量不足的情况，本文选取每类像素总数的 为基本样本，并将测绘科学第 卷每个 基 本 样 本 以 光 谱 维 为 轴 线 经 过 、旋转以及左右、上下翻转种增强处理，以基本样本和增强样本构成训练样本；再次从高光谱遥感影像中选取每类像素的 作为验证样本，且与训练样本不重复。将训练好的网络对整幅高光谱遥感影像进行分类，然后对整幅高光谱遥感影像进行精度评定。多篇论文证实了 网络分类结果优于传统分类方法，相比 更加适合于高光谱遥感影像的分类。本文采用相同网络层 次 的 、和 作为对比算法。采用如下指标评价模型的性能：总精度（，）、平均精度（，），系数。为分类正确的像素点与总的像素点的比值，为指定类别像素点的分类精度的平均值。系数为被评价的分类方法相对完全随机分类产生的错误减少的比例值。为了评价本文算法的分类效果，选择萨利纳斯（）、帕维亚大学（）和印第安松树（）组高光谱遥感影像进行验证。影像 影像包含 个像素，空间分辨率为 ，共有 个波段，选取其中 个有效波段用于分类。该影像覆盖 个地物类别（分别记为 ）和个背景类别，分别包含 个已标记地物类别的像元和 个背景像元。图为本文 算 法 和 对 比 算 法 的 分 类 结 果 图，表为 分类精度评价表。图 分类结果图 第期苗永庆，等 改进的残差 的高光谱遥感影像分类表 分类精度评价 生产者精度地物类别 本文算法 由图可知，对于容易区分的、和，所有算法均可取得较好的分类结果。由 于 、和 （分别对应生长期为、和星期的莴苣）相似特征较多，算