基于弱监督鲁棒性自编码的高光谱异常检测_张国建.pdf

第 卷，第 期自 然 资 源 遥 感，年 月 ，：引用格式：张国建，刘胜震，孙英君，等 基于弱监督鲁棒性自编码的高光谱异常检测 自然资源遥感，（）：（，（）：）基于弱监督鲁棒性自编码的高光谱异常检测张国建，刘胜震，孙英君，俞凯杰，刘丽娜（山东建筑大学测绘地理信息学院，济南；自然资源部第一大地测量队，西安；浙江中测新图地理信息技术有限公司，湖州；宁波市鄞州区测绘院，宁波）摘要：高光谱异常检测因其以无监督方式检测目标的能力而受到特别关注，自动编码器及其变体可以自动提取深层特征，还可以检测异常目标。由于训练集中存在异常，自动编码器泛化性较强，从而降低了从背景中区分异常的能力。为解决上述问题，该文提出一种基于弱监督鲁棒性自编码的异常探测算法。首先提出了一种显著类别搜索策略，采用基于概率的类别阈值来标记粗样本，为网络弱监督学习做准备；同时，构建一个具有，范数与异常 背景光谱距离共同约束的鲁棒性自编码网络框架，该框架在训练期间对噪声和异常具有鲁棒性；最后，采用所有样本得到的重构误差检测异常目标。在 个高光谱数据集上进行实验，结果表明，与其他先进的异常检测算法相比，所提算法具有更好的检测性能。关键词：高光谱图像；异常检测；显著类别搜索；鲁棒性 中图法分类号：文献标志码：文章编号：（）收稿日期：；修订日期：第一作者：张国建（），男，讲师，主要从事摄影测量与遥感技术方面的研究。：。通信作者：刘胜震（），男，工程师，主要从事测绘方面的研究。：。引言成像光谱仪的出现与发展促进了遥感技术的进步，使得高光谱遥感技术在遥感领域受到越来越多的关注。高光谱影像能够同时获取地球表面空间信息和丰富的光谱信息，这些地物光谱信息在目标探测与地物分类中具有显著优势。目标探测技术是高光谱遥感领域的一个重要应用，而异常探测技术由于不需要任何目标与背景的先验信息，因此实际应用价值更高，广泛应用于精准农业、环境监测、军事领域等。异常目标定义为目标光谱特征与周围地物的光谱特征具有明显差异，且其目标小、数量少、分布随机的特性，因此异常目标的类型往往难以获取。高光谱异常检测通常具有以下特点：异常目标具有低概率特性；异常在光谱特征上与背景明显不同；没有关于背景或异常的光谱先验信息可用；在复杂背景情况下，异常目标与背景混合，往往为混合像元或亚像元。这些特性使得高光谱异常检测成为遥感领域中一个研究热点。近年来，研究者提出大量异常探测算法。由 等提出的 算法通过假设背景服从某种分布，再使用统计方法来估计像素属于异常目标的概率。随后部分研究学者提出一些基于 算法的改进算法，例如非线性的核 异常探测算法、基于权重 探测算法等。然而，真实高光谱影像含有多类背景地物且分布不均匀，因此很难准确对不同背景地物建模，在实际应用中往往受限。为了避免估计背景分布，等提出基于协同表示的异常探测算法（，），该算法假设每个像素可以由背景字典进行线性组合，其中预测值与真值之间的残差被视为像素的异常程度。针对背景字典中存在异常点污染导致检测精度下降的问题，刘万军等利用背景字典与字典均值的距离对背景字典中的各像元自适应设计权重，通过降低异常像元的权重提升检测精度。基于低秩和稀疏矩阵分解的马氏距离异常检测算法（，）通过在去除稀疏异常后充分探索背景的低秩特性来建立背景模型。基于分数傅里叶熵的检测器（）创新性地将分数傅里叶熵理论引入高光谱异常检测中，取得了良好的检测结果。尽管上述方法取得了良好的探测效果，但仅利用了低阶自 然 资 源 遥 感 年特征，这也限制了检测器的性能。近年来，深度学习已经应用在高光谱遥感影像分类及目标探测当中，其中自编码网络（，）是非监督学习领域中的一种，其以自动的方式获取抽象的、层次化的特征，已应用到高光谱异常检测中。等提出了一种光谱约束对抗（），其中将光谱约束策略结合到对抗性 中以学习高光谱数据的潜在表示，然后使用双层架构实现异常检测；等提出了基于流形约束 网络，该方法添加嵌入流形学习约束，最后，由全局和局部组成的重构误差用于异常检测。为了提出异常检测性能，等将高光谱影像分解为低秩部分和稀疏部分，低维潜在特征分别由 个堆叠 学习，最后采用局部马氏距离检测异常目标。上述深度方法有效提升了检测性能，网络在经过适当训练的情况下表现良好，而且由于没有背景或异常的先验光谱特征，训练集容易被异常像元破坏。当训练集中存在异常时，学习性能非常好，以至于它可以很好地学习异常并以较小的重建误差重建异常，使得检测性能降低。为解决上述问题，本文提出一种基于弱监督鲁棒性自编码的异常探测算法（，）。该算法首先提出了一种显著类别搜索方法来搜索样本的伪标签，即弱监督学习所需的不准确标签。同时，引入，范数与异常 背景光谱距离构建鲁棒性 （，）框架，以减轻异常部分对参数微调的影响，这使得 网络在训练过程中更加对噪声和异常更具有鲁棒性。最后，将所有光谱样本输入到 模型中，从而产生具重构高光谱影像，利用重构误差以探测异常目标。实验证明，本文方法有效抑制了异常像元对背景建模干扰，同时降低了虚警率，提升了检测精度。方法原理针对训练样本中含有异常目标且 网络训练不稳定问题，本文提出了一种用于高光谱异常检测的弱监督方法，并通过以弱监督方式对所提出的 网络进行对抗训练，从而学习具有背景鲁棒性和异常突出性的端到端重建。图 表示本文提出的 算法的框架，该方法由 个主要部分组成：显著类别搜索、弱监督 学习和重构影像的异常检测。图 算法结构 显著类别搜索针对训练样本中含有异常目标导致异常检测精度降低，结合基于密度的噪声应用空间聚类（，）算法，本文设计一种非监督的背景与异常目标的显著类别搜索算法，其是为弱监督网络学习准备，旨在预测给定输入的伪标签。根据预测的伪标签，该过程搜索包含 个子集，包括一个粗略的异常样本集，其中像素具有较高的属于异常的概率，以及一个粗略的背景样本集，其中像素具有较高的属于背景的概率。因此，显著类别搜索问题可以看作是一个初始异常 背景分离问题，该算法分为 个主要部分：显著类别提取、坐标索引和粗样本集构建。在没有任何背景与目标先验知识的情况下，本文首先应用 的非监督聚类方法获取类别概率图（即聚类结果图）。由于 算法能够发现具有不同大小和形状的簇，并且在噪声和异常值的情况下对指定簇数的聚类性能更具有鲁棒性，因此 在高光谱异常检测中具有显著优势。第 期张国建，等：基于弱监督鲁棒性自编码的高光谱异常检测在聚类过程中，利用 扫描每个像元在（即相邻点之间的最小距离）距离内的邻域，若中心像素的邻居数超过（最小点数），就形成一个簇，其中距离判定方法采用欧氏距离。给定一个输入高光谱影像 ，其中，为波段数，与 分别为行列数。在（，）的条件下，得到类别概率图 。针对不同高光谱影像的聚类类别数量差异很大问题，结合背景样本出现在异常检测中的概率，本文构建一种基于概率的类别阈值方法，其目的是获得粗略的标签划分，而不是精细分类。首先通过设定阈值 ，大于阈值 属于背景的样本的类别标签为，而其他样本可以粗略地分类为类别标签为 的异常，表达式为：（）（），（）式中：（，），表示类别显著图，作为 的伪类别标签集；（，）为第 个像素点在二维图像空间中的位置坐标，即 （）。根据类别显著图 的坐标索引，搜索粗异常样本集 和粗背景样本集 为：（，），（）（，），（）式中：粗异常样本集 ；粗背景样本集 ；与 分别表示样本集 与 的样本数，且 。对于粗略异常样本或背景样本集，可以容忍一些类别的判别错误，即 中预测的粗略标签并不总是真实的。因此，将粗背景样本集送入网络模型训练，即以弱监督方式训练，从而提升异常检测的性能。网络 网络是一种非监督学习的网络模型，其由编码器与解码器 部分组成，前者用来将输入数据转换为潜在特征，后者是将潜在特征生成为与原始输入数据相似的重构数据。在 中，编码器的目标是将输入层 经过权重矩阵 和偏置 转换为隐藏层 ，公式为：（），（）式中 为激活函数。解码器利用权重矩阵 和偏置 将隐藏层 映射到重构层?：?（），（）以神经网络作为函数逼近器，那么数据 的重构误差损失函数为：?。（）由于 网络在每个待测像素中都采用 范数的平方，因此噪声或异常像素往往会获得更大的重建误差，这将破坏 网络的重构性能，因此无法判别一些异常像素。通常异常目标受到混合像元的影响，上述显著类别样本无法完整地将所有异常样本准确提取，保留了少部分异常样本位于粗略背景样本集中。，范数在算法中更加有效应对噪声和异常值，并已广泛应用于许多领域。受此启发，本文首先引入，范数作为目标函数，构建了一个新颖的 网络，同时以弱监督的方式来学习 网络，挖掘和增强异常与背景之间的判别特征。目标函数定义如下：?，?（?）（?），（）式中；为一个对角矩阵 （?）；为一个很小的常数项。由于 在反向传播之前，范数对每个样本的重建误差进行了归一化，因此网络能够学习更多关于背景的信息并抑制异常对网络微调的影响。所以，范数约束的 网络可以更好地处理训练过程中的少部分异常样本。此外，为了更好地区别异常和背景之间的特征，本文构建异常 背景光谱距离（，）约束，其通过以最大化粗异常样本与粗背景样本之间的距离。的值越大，个光谱向量的区分度越高。因此，集合 和 之间的光谱距离 目标函数定义如下：，（）式中：（），为 的正交子空间。此外，将粗异常样本集 压缩为异常样本向量，公式为：，（）式中 为粗异常样本的平均值。通过将公式（）和（）的 个目标函数与正的权衡参数 集成在一起，网络的目标函数如下：?，（）自 然 资 源 遥 感 年式中：第一部分表示重构误差的，范数，促使 网络学习更多的背景信息，并对噪声和异常目标更具鲁棒性；第二部分表示异常和背景之间的区别特征的 光谱距离，以增强背景与异常的可分性。算法利用粗背景样本集对 网络训练完成后，利用得到训练完成的模型参数（）进行异常目标检测。将输入高光谱影像 ，输入至 网络，使用式（）的 网络的模型参数（）获得重构的高光谱影像?，公式为：?（）。（）通过上述重建过程，模型（）在从背景中识别异常时，使重建的?比原始 更具判别性。因此，最终的异常检测结果使用式（）计算，即重构误差，公式为：?。（）因此，算法以弱监督的方式进行背景习，其不仅可以生成分布均匀的背景，同时结合构建的，范数损失与 光谱距离损失，以增强异常与背景的分离。本文所提的 算法的探测过程如下：输入：高光谱影像 ，阈值，权衡参数。输出：高光谱异常检测图。）显著类别搜索。利用 算法，根据式（），进行显著类别提取；利用 （），进行坐标索引；根据式（）（），构建粗背景样本集 与粗异常样本集 ；）模型训练。初始化，网络模型参数；输入粗样本集 ，异常样本向量 ；迭代训练，根据式（）更新网络参数；）异常检测。根据式（）（），计算重构误差。实验结果与分析 实验数据在本文中，使用 个高光谱影像数据集来验证所提出算法的有效性，伪彩色图像和异常目标地物真值图，如图 所示。如图（）（）所示，数据集采用 传感器获取，空间分辨率为，影像尺寸为 像素 像素，具有 个光谱波段。如图（）（）所示，数据集据采用 传感器获取，空间分辨率为 ，影像尺寸为 像素 像素。在 的波长范围内去除水汽波段与噪声波段后，具有 个波段。该数据集共有 个异常像素，异常地物为飞机。如图（）（）所示，数据集采用 传感器获取，空间分辨率为 ，影像尺寸为 像素 像素，具有 个光谱波段。架飞机被视为异常。如图（）（）所示，数据集采用 传感器获取，空间分辨率 ，影像尺寸为 像素 像素。（）影像 （）目标分布 （）影像（）目标分布（）影像 （）目标分布 （）影像（）目标分布图 个高光谱数据集的伪彩色图像和对应的地物真值图 第 期张国建，等：基于弱监督鲁棒性自编码的高光谱异常检测去除与吸水区域相对应的不良波段后，包含 个波段。由 个像素组成的 架飞机被视为异常。模型结构对比与分析为验证本文提出的 算法的先进性，进行以下消融研究：采用 范数约束的 网络，即（）；采用，范数约束的 网络，即（，）；采用 范数与 光谱距离共同约束的 网络，即（）；采用，范数与 光谱距离共同约束的 网络，即本文提出的 网