基于GAN的遥感图像协同数据增强方法.pdf

第 卷 第期 年月遥 感 信 息 ，收稿日期：修订日期：基金项目：国家自然科学基金项目（）；内蒙古科技计划项目（）；内蒙古自治区高等学校青年科技英才支持计划项目（）；内蒙古自然基金项目（）；内蒙古自治区直属高校基本科研业务费项目（）。作者简介：邵利军（），男，硕士研究生，主要研究方向为遥感图像数据增强。犈 犿 犪 犻 犾：通信作者：任彦（），女，教授，主要研究方向为遥感图像处理。犈 犿 犪 犻 犾：基于犌 犃 犖的遥感图像协同数据增强方法邵利军，任彦，高晓文，戚忠涛（内蒙古科技大学 信息工程学院，内蒙古 包头 ）摘要：针对基于深度学习的分类模型在少样本训练时所遭受的梯度消失、过拟合问题，结合 和 特性，提出一种抑制过拟合、提升图像生成质量的 协同数据增强算法。通过改进 生成新的图像，使用改进 对其进行超分辨率重构，二者协同得到新的超分辨率图像。首先，提出一种软标签函数，代替 原始固定标签；其次，引入空洞卷积残差块作为 判别器主结构，同时加入 注意力机制实现权重的再分配；最后，在 判别器中引入自适应平均池化，降低网络参数量。实验结果表明，使用标准数据集 和 ，经 分类网络进行测验，数据增强方法相较于常规增强和 增强方法有明显提高。在 数据集上，准确率分别提升 、。在 数据集上，准确率分别提升 、。关键词：深度学习；生成对抗网络；数据增强；图像分类犱 狅 犻：中图分类号：文献标志码：文章编号：（）犆 狅 犾 犾 犪 犫 狅 狉 犪 狋 犻 狏 犲犇 犪 狋 犪犈 狀 犺 犪 狀 犮 犲 犿 犲 狀 狋犕 犲 狋 犺 狅 犱狅 犳犚 犲 犿 狅 狋 犲 犛 犲 狀 狊 犻 狀 犵 犐 犿 犪 犵 犲 狊犅 犪 狊 犲 犱狅 狀犌 犃 犖 ，（犛 犮 犺 狅 狅 犾 狅 犳犐 狀 犳 狅 狉 犿 犪 狋 犻 狅 狀犈 狀 犵 犻 狀 犲 犲 狉 犻 狀 犵，犐 狀 狀 犲 狉犕 狅 狀 犵 狅 犾 犻 犪犝 狀 犻 狏 犲 狉 狊 犻 狋 狔狅 犳犛 犮 犻 犲 狀 犮 犲犪 狀 犱犜 犲 犮 犺 狀 狅 犾 狅 犵 狔，犅 犪 狅 狋 狅 狌，犐 狀 狀 犲 狉犕 狅 狀 犵 狅 犾 犻 犪 ，犆 犺 犻 狀 犪）犃 犫 狊 狋 狉 犪 犮 狋：，：，犓 犲 狔 狑 狅 狉 犱 狊：；引言遥感图像在灾害监测、地质调查等领域得到了广泛应用。目前从卫星和无人机获得的图像无法满足应用需求，需要对图像进行进一步筛选与处理，此外，技术的发展也增长了对高分辨率图像的需求。在许多实际应用场景中，因所监测目标较小、图像模糊导致某些样本不能高效利用，且因某些不常书书书引用格式：邵利军，任彦，高晓文，等基于的遥感图像协同数据增强方法遥感信息，（）：见目标导致样本缺乏，以上问题都会使遥感图像处理效果降低。深度神经网络在遥感图像数据处理任务中的优越性得益于海量的数据。在遥感图像数据处理中，由于样本数不足或质量不佳导致神经网络的性能严重下降的情况称为少样本问题。为改善少样本条件下的模型性能，需要对少样本数据进行处理。目前已有诸多基于深度学习的少样本处理算法，如 等提出基于匹配网络的度量学习；等提出一种基于元学习的双层优化网络来解决少样本增量学习问题；等提出的一种新的合成样本标签的数据增强方法。当样本数过于少时，度量学习往往会发生过拟合现象，具有一定局限性。元学习复杂的训练过程和过于简单的网络结构使其无法达到更高的精度。数据增强技术既可监督学习也可无监督学习，已被证明有利于深层体系结构中深度学习的培训，得到广泛应用。数据增强方法有很多，常规数据增强方法主要在现有的数据基础上进行变换，如裁剪、缩放等，数据质量提升有限。随着生成对抗网络（，）的提出和不断发展，这种由数据合成数据的方法逐渐应用于数据增强的研究。算法是利用一组噪声来生成图像，其生成的图像接近原始数据集图像，这就使扩充后的数据具备新的“血液”，增加原数据的多样性。为深度网络提供了一种对抗训练的方式，有助于解决一些普通训练方式不容易解决的问题。等 提出的深度卷积生成对抗网络 （）将 与 相结合并做了一系列改进，在图像生成质量上有一定提升。于希明等 提出样本空间与特征空间联合数据增强方法，以实现船舶目标补充；王军军等 采用 网络作为生成器，提出一种基于 的遥感图像去云算法；等 提出超分辨率生成对抗网络 （）对单图像进行超分辨重构，目前仍在大范围使用；等 提出基于注意力机制的生成对抗网络红外图像超分辨率重建算法，利用递归注意力模块提取高频信息；景海钊等 使用密集残差网络构建 判别器，实现了空间目标图像清晰化重建。上述文献表明了 与 在图像数据增强问题中应用的广泛性与有效性。但原始 在训练中仍展现出不稳定性与生成质量欠佳问题，虽然可以重构出较高质量图像，但其基于原有数据样本进行重构，因而会使数据增强多样性不足。基于以上情况，本文提出了 协同数据增强算法的设计框架，该方法结合了 和 的优点，并对其不足做了有效改进。最终，通过两模型协同作用使模型生成图像质量提升、分类精度提高，达到较好数据增强效果。理论基础 生成对抗网络 是一个动态的“博弈过程”，其基本原理结构如图所示，包含生成模型犌（）和判别模型犇（）。图犌 犃 犖基本原理结构 是继之后比较好的改进算法。基本结构与 相似，只是在生成器和判别器中与 相结合。生成模型的任务是生成看起来自然真实和原始数据相似的实例。判别模型的任务是判断输入是自然真实的还是生成器伪造的。犛 犚 犌 犃 犖原理 基 本 原 理 结 构 如 图所 示，加 入 了 网络。将低分辨率图像作为生成网络的输入，输出重构图像，判别器接收真实样本与重构样本，并判断输入样本的真实性，当判别器无法区分输入样本的真假，就完成了重构任务。图犛 犚 犌 犃 犖基本原理结构犇 犛 犌 犃 犖协同数据增强算法 算法整体框架大量研究显示，能够很好地用于遥感图像数据增强。针对遥感数据的少样本问题，本文提出一种包含 和 优点的 协同数据增强算法（以下简称 ）。遥 感 信 息 年期算法 框 架 如 图所 示，其 中，犛为 步 长（）、为转置卷积、为空洞卷积、为低分辨率图像、为超分辨率图像、为高分辨率图像。包括 与 两部分。负责生成新样本，负责将 生成的新样本进行超分辨率重构，二者协同获得新的超分辨率图像样本，完成数据增强任务。算法将噪声经过（）中 生成新样本，随后和（）相互对抗以训练 模型，（）生成的 的 作为 生成器的输入。经（）进行两次上采样输出；将 和 送入改进（）中进行真假判别，直到对抗训练完成。在图中（），使用由空洞卷积组成的残差模块作为主架构，引入 和自适应池化进行特征提取。其中扩张率（）为。用训练好的 模型生成的 去扩充原始数据，达到数据增强效果。图犇 犛 犌 犃 犖算法框架 抑制梯度消失）问题分析。相较于有较好的图像生成质量，但 模型仍不稳定。其使用交叉熵函数作为损失计算，且使用的固定标签值（真为、假为）容易使模型产生过度自信。实验发现，在 训练过程中判别器损失过小，生成器损失过大且不稳定，易造成梯度消失问题。根据交叉熵函数损失公式 和给定固定标签值进行推导判别器损失犔犇和生成器损失犔犌，其中犔犇由真样本损失和假样本损失两项组成，得出式（）、式（）。犔犇 狇 （狇 ）狇 （狇 ）（）犔犌 狇 （狇 ）（）式中：狇 真标签值预测为真概率；狇 为预测假标签值为假概率。分析式（）和式（）发现，在固定标签值下，犔犇和犔犌中有为零项。在训练前期生成器性能较弱，判别器容易判别真假，致使犔犇较小、犔犌较大，判别器很难引导生成器。）改进策略。通过分析交叉熵函数损失计算，提出一种软标签函数进行参数改进，抑制梯度消失。将原始 固定标签设计为指数软标签，如式（）所示为软标签函数，其中为加权系数。真标签（狆）的值与当前训练次数（）和总的训练次数（）呈指数函数关系。设定真标签的值狆 不再是一个固定值，而是随训练次数进行微调。软标签设计可以更好地校准网络，从而更好地去泛化网络，方便模型训练。如图所示为本文对 改进后的结构图。通过改进软标签，调节判别器与生成器损失值，稳定模型训练。狆（犲 狆 狅 犮 犺狀 狌 犿犲 狆 狅 犮 犺）（）图改进的犇 犆 犌 犃 犖结构引用格式：邵利军，任彦，高晓文，等基于的遥感图像协同数据增强方法遥感信息，（）：抑制梯度弱化，增强特征提取）问题分析。在前期实验发现，重构图像与原图像依然存在差距。原始 判别器使用 网络，网络层数加深会引发梯度消失梯度爆炸，导致网络信息不能得到很好的更新。其次，生成的图像在细节方面存在一定扭曲，图像目标在纹理细节方面应得到更多的关注，才能使图像生成更加逼真、更加贴合真实的高分辨率图像。）改进策略。残差结构具有跳跃结构，可以在较深网络中解决网络退化问题。空洞卷积可以增加感受野且不会降低分辨率，是一种简单有效的前馈卷积神经网络注意力模块。改进残差块结构如图所示。将 替换为空洞 卷 积 并 组 成 残 差 结 构；其 次，将 残 差 块 中 激活函数替换为 激 活 函 数。相较于 ，斜率在不同通道有不同变化，收敛更快，误差更低。加入 ，利用通道注意力（）和空间注意力（）分别在通道轴和空间轴上关注有用信息，使重要信息能得到较高权重分配，增强模型特征提取能力。图残差结构图 中，判别器整体结构如图所示，使用上述改进残差结构作为主网络结构，结合其他激活函数、池化等操作对结果进行判别。图犛 犚 犌 犃 犖判别器结构图 降低参数量）问题分析。参数量和计算量是衡量深度学习算法的重要指标，参数量大小会影响到模型空间复杂度。网络模型中 和 都是带有参数，随着网络层数加深，模型参数量也会增加，参数量过大易过拟合。本文对 进行测试时发现，随着训练批次的增加，其会出现过拟合现象。）改进策略。池化可以有效缩小参数矩阵的尺寸，降低模型参数数量。自适应平均池化可以对空间维度进行压缩，同时取出对应维度的均值，在一定程度上可以抑制一些没用的特征。针对 判别器参数量过多导致训练易出现过拟合现象，本文提出在全连接层之前引入自适应平均池化，以降低数据维度减少过拟合。实验及分析 实验环境及实验数据）实验环境。软件层面，本文使用 工具为 平 台，采 用 深 度 学 习 框 架，通 过 编译实现。硬件层面，实验测试计算机 为 ，内 存 ，为 。）实 验 数 据 集。本 文 使 用 标 准 遥 感 数 据 集 数据集、数据集和 数据集进行训练，均由武汉大学发布。数据集 包含 类场景图像共 张，图像大小为 像素 像素。数据集 包含 个类别的场景图像共计 张，图像大小为 像素 像素。数据集 包含飞机、操场、立交桥和油桶类目标。所使用数据集 和 相对实验所需图像像素为高分辨率图像，裁剪会破坏原图像中目标物体完整性，在数据预处理上采用缩放的方法达到所需样本像素大小。）评价指标。本文将数据增强后的图像使用 网络对 算法进行分类验证，评价指标为召回率（）和准确率（）。此外，对于改进 ，使用峰值信噪比（）和结构相似度（）作为图像质量评价指标。最后，针对 节问题，使用参数量（）对比改进前后模型参数变化。实验步骤对于本实验参数，中，优化器学习率为 ，；优化器学习率为 ，。算法由改进 新样本生成和改进 样本超分辨率重构组成。因而，本文对改进后两部分都进行了实验。针对实验步骤分析各 部 分 实 验 结 果，表为 实 验 分 析步骤。遥 感 信 息 年期表犇 犛 犌 犃 犖实验分析步骤对象分析改进 模型损失函数分析生成图像质量分析增强后图像分类结果分析改进 重构图像质量分析 算法增强后图像分类结果分析 实验分析）改进 结果分析。模型训练损失分析。图和图表示改进 算法前后损失函数图，图中蓝色线为犌损失，黄色线为犇损失。从图得出，在训练时犌损失高、不稳定且有发散现象，二者很难达到平衡。图中，改进 的犌损失得到收敛且稳定，犌和犇产生对抗最终趋于一定平衡。图像质量分析。图所示为原图、和改进 在 、和 数据集上生成图像对比，可看出改进 在图像质量上更高。图犇 犆 犌 犃 犖损失图改进犇 犆 犌 犃 犖损失图图像生成对比图分类结果分析。所采用的数据集包含多类数据，因此所用指标数据为平均结果。表所示为种数据集（表示未进行数据增强）在 上分类结果对比。可以提升分类效果，但改进 更有优势，效果更显著。表犇 犆 犌 犃 犖在犕 狅 犫 犻 犾 犲 犖 犲 狋 犞 上的评价指标对比数据集算法 准确率召回率 分数 改进 改进 改进 注：粗体表示最优者。）改进 实验分析。在 改进实验中使用 像素 像素图像进行模型训练。而 数据集图像大小为 像素 像素，因而在改进 实验中仅使用 和 两种数据集。图 所示为原图、和改进 在 和 数据集上图像重构对比，改进后算法相较 改 进 前 在 和 上 都 有 提 高，在引用格式：邵利军，任彦，高晓文，等基于的遥感图像协同数据增强方法遥感信息，（）：上提升了，上提升了 。重构图像也更柔和，同时在参数量上得到大幅降低。）实 验分 析。综合 前两 部 分 实 验，中 和 都有较好的效果。为了表现 的效果，本节将其与常规增强、和 增强方法进行分类对比，将不同增强方法生成的图像扩充到原始数据集中得到新的数据集，从而在 上进行分类实验。实验结果如 表所示（表 示未 进 行数 据 增强），算法在分类效果上较其他方法表现最好。常规增强只是在原有数据集基础上进行裁剪等变换，裁剪后的图像会缺乏原有图像完整性和图像信息冗余，从而对图像分类识别有一定影响，因而效果提升有限。的准确率相较常规增强有一定改善，可以生成新的样本，但生成的新样本图像在纹理以及清晰度上有一定瑕疵。在生成纹理复杂的遥感图像会产生扭曲现象，图像中较为相似的事物会混淆。相比之下，使用改进 生成新的样本图像并提升图像生成质量，同时利用 残差注意力块以丰富图片纹理细节，提升生成图像分辨率，使图像更加清晰。因此，由其生成的扩充数据集在图像分类网络中具有较好效果。图 图像重构对比表不同增强算法在犕 狅 犫 犻 犾 犲 犖 犲 狋 犞 分类结果对比数据集算法 准确率召回率 分数 常规增强 常规增强 注：粗体表示最优者。实验总结经过验证，所改进部分在图像生成质量和分类结果均优于改进前的模型效果。对经 数据增强后的数据与其他增强算法进行分类分析，分类结果显示，经 增强后的数据相较未进行数据增强、常规数据增强、和 方法进行数据增强数据，分类效果得到大幅提升。结束语本文针对遥感图像少样本问题进行数据增强方法研究，提出 和 模型协同算法 。经实验分析，所提出的 算法在遥 感 信 息 年期遥感图像数据增强中有很大改善，不仅使模型训练更稳定，而且生成高分辨率图像质量更佳。然而，该算法受制于 和 本身缺陷，在图像多样性与纹理清晰度上仍存在不足，接下来的工作将进一步优化算法，使图像生成多样性及质量得到进一步提升，进而使遥感图像数据增强效果更好。参考文献，（）：赵浩光，曲涵石，王鑫，等高速微扫描图像超分辨重建光学精密工程，（）：张永军，张祖勋，龚健雅天空地多源遥感数据的广义摄影测量学测绘学报，（）：，：，（）：，：，：，：，：，：，：，：，（）：，（）：，（）：于希明，洪硕，于金祥，等可见光遥感图像船舶目标数据增强方法研究仪器仪表学报，（）：王军军，孙岳，李颖一种生成对抗网络的遥感图像去云方法西安电子科技大学学报，（）：，：，：，（）：景海钊，史江林，邱梦哲，等基于密集残差块生成对抗网络的空间目标图像超分辨率重建光学精密工程，（）：，（）：，：，：，：颜铭靖，苏喜友基于三维空洞卷积残差神经网络的高光谱影像分类方法光学学报，（）：，：（），：，：林丽，刘新，朱俊臻，等基于 的金属疲劳裂纹超声红外热像检测与识别方法研究红外与激光工程，（）：，：，（）：，（）：，（）：