基于孪生Transform...的遥感目标多元变化检测方法_郭健.pdf

收稿日期：2022-03-05修回日期：2022-05-16基金项目：双重重点学科 XX 理论创新基金资助项目作者简介：郭健（1987），男，山西晋中人，博士研究生。研究方向：作战规划与运筹。通信作者：王得成（1994），男，甘肃白银人，博士，助理研究员。研究方向：航天信息处理与应用。*摘要：多元变化检测是目前遥感领域重要的研究主题之一，在军事侦察方面有着广泛应用。考虑到目前常用的卷积神经网络中感受野对于提取变化特征的局限性，提出了一种基于孪生 Transformers 的多元变化检测模型。设计了基于多级 Transformers 融合结构的编码器进行远距离上下文建模，引入了残差连接的轴向注意力机制对变化特征信息进行解码，从而生成准确完整的多元变化图。并在针对飞机和舰船军事目标变化检测的遥感数据集上进行了训练与测试以及消融实验。结果表明：该方法的平均 IoU 和 F1 分数分别达到 68.69%和 80.43%，其性能优于其他流行的变化检测方法。关键词：变化检测；孪生 Transformers；注意力机制；多级特征融合中图分类号：TP391.4文献标识码：ADOI：10.3969/j.issn.1002-0640.2023.05.019引用格式：郭健，王得成，张宏钢，等.基于孪生 Transformers 的遥感目标多元变化检测方法 J.火力与指挥控制，2023，48（5）：130-137.基于孪生 Transformers 的遥感目标多元变化检测方法*郭健，王得成*，张宏钢，许庆（航天工程大学，北京101416）Multivariate Change Detection Method of for Remote Sensing ObjectsBased on Twin TransformersGUO Jian，WANG Decheng*，ZHANG Honggang，XU Qing（Space Engineering University，Beijing 101416，China）Abstract：Multivariate change detection is one of the important research topics in the field ofremote sensing，and it is widely used in military reconnaissance.Considering the limitations of thereceptive field in the commonly used convolutional neural network for extracting change features，amultivariate change detection model based on twin Transformers is proposed.An encoder based on amulti-level Transformers fusion structure is designed to model long-distance context，and an axialattention mechanism of residual connections is introduced to decode the changing feature information，thereby an accurate and complete multivariate change diagram is generated.The training，testing andablation experiments are carried out on the remote sensing datasets for the aircrafts and ship militaryobject change detection.The results show that the average IoU and F1 scores of the proposed methodreach 68.69%and 80.43%，respectively，its performance is more superior to that of other popularchange detection methods.Key words：change detection；twin Transformers；attention mechanism；multi-level feature fusionCitationformat：GUOJ，WANGDC，ZHANGHG，etal.Multivariatechangedetectionmethod of for re-motesensingobjectsbasedontwinTransformers J.FireControl&CommandControl，2023，48（5）：130-137.0引言变化检测是目前遥感领域重要的研究主题之一，其目的是在同一区域的双时相遥感影像中检测出感兴趣的变化目标。自动变化检测技术可以减少大量的劳动力成本和时间消耗，从而广泛应用于城文章编号：1002-0640（2023）05-0130-08火 力 与 指 挥 控 制Fire Control&Command Control第 48 卷第 5 期2023 年 5 月Vol.48，No.5May，2023*130（总第 48-）市规划1-2、军事侦察以及自然灾害评估3-5。根据变化图中变化像素的表现形式，变化检测可分为二分类和多分类两种。二分类变化检测是指在生成的变化图中用二进制标签（变化和未变化）表示每个对应像素的变化情况6-7；多分类（又称多元）变化检测生成的变化图中用多元标签表示不同地物的变化情况，提供详细的“从-到”或“消-长”变化信息8-9。随着高分辨率卫星和航空遥感数据的爆炸式增长以及深度学习技术的快速发展，遥感领域的相关问题也得到了有效解决，如建筑物检测、土地分类、地物分割等。但在变化检测中，高分辨率增加了遥感影像的复杂性，模型难以区分场景中的真实变化和无关变化。目前常用的变化检测方法是基于卷积神经网络（CNNs）的深度学习模型，该方法利用卷积层强大的特征提取能力，学习双时相影像的变化特征，并通过上采样恢复到原来的图像尺寸，输出像素级预测结果。例如，DAUDT 等 提出了两个孪生全卷积网络用于变化检测，训练过程中分别融合了图像的差分和图像的级联特征，表现出比传统方法更好的性能10。最近的研究结果表明，在 CNNs 的特征融合阶段加入注意力机制，能够有效改善变化检测结果。例如，ZHANG 等 在差异判别网络中将空间注意力和通道注意力模块串联，用来增强对双时相融合特征的变化检测7；CHEN 等设计了一种金字塔时空注意力模块，建立不同尺度的时空依赖关系，得到较好的变化检测效果11。然而，由于卷积运算中感受野的局限性，使得 CNNs 无法对双时相影像的远程上下文关系很好地建模，并且深层卷积引起的高计算复杂度导致模型的计算效率降低。因此，基于高分辨率遥感图像的变化检测任务仍然具有挑战性。近年来，随着 Transforemrs 模型在计算机视觉领域的广泛应用，为遥感变化检测提供了新的思路。CHEN 等提出了 BIT 检测器将 Transformers 和CNNs 网络相融合，利用 Transformers 对 CNN 提取的变化特征进行建模，虽然改善了检测效果，但在编码阶段仍然没有脱离 CNN 的卷积操作，编码效率依然不高12。BANDARA 等提出了 ChangeFormer 检测器，采用了 Transformers 编码器与多层感知机（MLP）解码器相结合的方式，提升了多尺度远程变化检测的效率，但简单的 MLP 解码器结构难以适应具有不同类别的复杂多元变化检测任务13。目前大多数方法还是针对二分类变化检测，对于不同类别目标的“消失”“新增”等变化情况鲜有研究。本文针对飞机和舰船两类常见军事目标的变化情况，提出了一种基于孪生 Transformers 的多元变化检测方法，对于双时相变化检测任务而言，孪生网络不仅有利于同时提取前后时相的图像特征，还通过权值共享策略减少了模型参数量，以此更加高效地获取变化信息。提出方法的主要贡献为：1）在特征编码阶段利用 Transformers 代替了 CNNs，更好地对双时相图像的远程语义信息进行建模，提高了模型计算效率；2）设计了融合 Transformers 模块，整合了不同深度 Transformers 的特征信息，进一步挖掘了 Transformers 在遥感变化检测任务中的潜力；3）构建了军事目标变化检测的小型数据集，并且通过对多元目标变化的快速检测，尝试为战场提供稳定可靠的军事侦察情报。1视觉 Transformers 模型Transformers 是 VASWANI 等在 2017 年提出的基于自注意力的深度学习模型，最初在自然语言处理领域用于解决序列到序列任务14。Transformers对远距离依赖关系建模的有效性引起了广大学者对其在计算机视觉领域的应用。自首个基于 Trans-formers 的图像分类模型 Vision Transformers（ViT）15被提出后，用于遥感任务的 Transformers 变体层出不穷，如遥感目标检测16、语义分割17以及遥感图像分类18等。图 1Transformers 和 MSA 模块的基本结构图Fig.1Basic block diagram of Transformers and MSA modulesTransformer 模型的成功很大程度上得益于自我注意机制，该机制旨在捕捉序列元素之间的远距离关系，能够在不依赖任何卷积网络的情况下并行处理顺序数据。ViT 利用 Transformer 的编码器模块，通过将图像块序列映射到语义标签来执行分类，与通常使用具有局部感受野的过滤器的传统 CNN 架构不同，ViT 中的注意力机制使其能够关注图像的不郭健等：基于孪生 Transformers 的遥感目标多元变化检测方法1310893（总第 48-）火 力 与 指 挥 控 制2023 年第 5 期同区域并整合全部图像的信息。图 1 为 Transformers的基本结构以及其中多头注意力模块（multi-headself-attention，MSA）的原理图。Transformers 由 M-HSA、多层感知机（multi-layer perceptron，MLP）和两个归一化层（norm）组成，并采用残差连接增强信息交互。Transformers 的核心模块是自注意力（self-attention，SA），自注意力的输入是根据语义 tokens计算得到的三元组（query：q，key：k，value：v），其表达式如下：（1）（2）其中，是 3 个线性投影层的可学习参数，d 是三元组（query，key，value）的维度，通过式（2）可计算出经过自注意力模块后的结果。Traw是Transformers 的输入向量，其代表原始图像经过 em-bedding 操作后得到的语义 tokens。所谓多头注意力就是指在 Transformers 中并行执行多个单独的自注意力模块，在不同的位置联合处理来自不同表示子空间的信息，并将输出连接在一起线性投射出最终的值。其过程如式（3），h 为注意力头的个数；表示 MSA 的线性投影矩阵。（3）视觉 Transformers 编码器的输入一般为带有位置信息的图像块向量，它们经过上述 Transformers的特征建模后，得到了具有长距离上下文信息的新向量（Tokens），用于提高计算机视觉领域分类、检测和分割等任务的效率。2孪生 Transformers 的变化检测方法本文提出的孪生 Transformers 变化检测模型主要由