基于感知延伸与锚框最适匹配的遥感图像目标检测算法.pdf

年 月第 卷第 期西 北 工 业 大 学 学 报 ：收稿日期：基金项目：国家自然科学基金（）、陕西省科技厅重点研发计划（）、国家重点研发计划（）与 年度陕西高校青年创新团队项目资助作者简介：洪伟（），西安工业大学硕士研究生，主要从事深度学习与遥感图像目标检测研究。通信作者：王鹏（），西安工业大学教授，主要从事图像处理与智能检测研究。：基于感知延伸与锚框最适匹配的遥感图像目标检测算法洪伟，赵祥模，王鹏，李晓艳，邸若海，吕志刚，王储西安工业大学 兵器科学与技术学院，陕西 西安；西安工业大学 电子信息工程学院，陕西 西安；西安工业大学 发展规划处，陕西 西安 摘 要：针对遥感图像目标成像小、背景复杂、分布拥挤的问题，将旋转目标检测方法 作为基线网络，提出一种基于感知延伸与锚框最适匹配的遥感图像目标检测算法（）。构建协同注意力模块（），捕获特征像素间关系的同时扩展模型感知区域，实现目标与全局的关系建模；针对遥感图像背景复杂问题，改进特征金字塔（）特征融合过程，在特征融合下采样过程中将感知延伸卷积模块与常规卷积交替堆叠形成感知延伸特征金字塔模块（），保证低层细节位置信息的同时，延伸感知范围以增强模型信息捕捉能力；为解决遥感目标图像分布拥挤的问题，利用高质量锚框匹配方法（），通过常数因子控制锚框真值分配，在保证召回率的同时，防止低质量锚框匹配产生。实验结果表明，在 数据集下，与 算法相比，平均精度（）提高，召回率（）均值提高，而参数量仅增加，所提算法有效增强了遥感图像目标检测能力。关 键 词：遥感图像；特征融合；锚框匹配；旋转检测中图分类号：文献标志码：文章编号：（）遥感（），指一切非接触的超视距探测，一般指运用传感器对物体辐射及反射特性的探测。伴随着遥感技术不断更新迭代，遥感图像分辨率不断提升，遥感数据中常见的桥梁、飞机等目标也可在图像中清晰可见。由此可见遥感图像可以从宏观的角度反馈信息。因此准确地对遥感图像进行图像分析在军事、民生保障、气象测绘等领域十分重要。在深度卷积网络的框架下，遥感图像检测中大部分现有方法依赖于复杂的 框架，如、，该框架由两部分组成：区域建议网络（）及 检测头。用于从水平锚框生成高质量的感兴趣区域（），并利用 池化算子从 中提取准确的特征，最后利用 进行目标分类以及边界框回归。但水平 通常会导致定向边界框和目标之间严重错位，遥感图像中目标分布较为密集，水平 通常会包含多个实例。因此，需要具有不同角度、长宽比的符合需求的锚框，但生成锚框的同时会导致计算开销大幅增加。近期，转换器的提出，利用水平 替换旋转 的方法，解决了锚框重复生成的问题，但仍需复杂的 操作。与基于 的检测器相比，单阶段检测器，如、，通过回归边界框，并使用规则且密集的采样锚点直接对目标进行分类。这种体系结构具有较高的计算效率，但在精度第 期洪伟，等：基于感知延伸与锚框最适匹配的遥感图像目标检测算法上往往低于双阶段检测器。现阶段，遥感图像目标检测算法大多由传统双阶段目标检测算法针对遥感图像特点改进得到。传统算法虽能在常规场景的数据集上表现出良好的检测性能，但是由于遥感场景中存在目标成像小、变化方向任意、变化尺度大、分布密集、背景复杂等问题，改进后的传统算法仍难以有效提取遥感场景中目标的细节位置特征及充足的语义信息，导致检测效果无法达到预期。为提升遥感场景下目标识别能力，考虑到遥感图像目标变化方向的不确定性，本文针对遥感图像目标成像小、背景复杂、分布拥挤的问题提出基于感知延伸与锚框最适匹配的遥感图像目标检测算法，主要工作如下：在特征融合前利用协同注意力模块（），捕获特征像素间关系的同时扩展模型感知区域，实现目标与全局的关系建模；通过分块裁剪输入图像以扩大目标在图像中所占比例，利用感知延伸特征金字塔（）完成特征融合，下采样过程中将感知增强卷积模块与常规卷积交替构建感知延伸下采样模块（），减少下采样过程中低层细节位置特征的丢失，解决传统特征融合金字塔模块在特征融合时信息丢失的问题；在为真实边界框分配锚框时，采用高质量锚框匹配算法（），在保证召回率的同时，减少低质量锚框匹配的产生。目标检测算法 模型的总体框架如图 所示。该模型使用 模块从输入图像提取特征，并使用包含特征对齐模块和定向检测模块组成的目标检测头网络生成旋转预测边界框及类别置信度，最后使用非极大值抑制（）筛选结果。模块由锚优化网络（）及对齐卷积层（）组成。是一个轻型网络，由锚分类分支及锚框回归分支组成。锚分类分支将锚细分为不同类别，锚回归分支将水平锚细化为高质量旋转锚框。为了加快模型推图 结构图理速度，推理阶段不执行锚分类分支，转而通过锚框回归调整对齐卷积（）中采样位置。首先通过规则网络 （，）对输入特征图 采样，然后将加权的采样值相加。例如 （，），（，），（，），（，）表示核大小为 ，膨胀为，对于输出特征图 上的每个 ，采样加权计算公式为（）（）（）（）相对于普通卷积，对齐卷积增加偏置项。（）（）（）（）对于位置，偏置项 的计算为基于锚的采样位置及常规采样位置（），位置 处的边界框表示为（）。对于 ，基于锚框的采样位置 可表示为(（，）（）)（）式中：表示为卷积核大小；表示采样步长，其中（）（，；，）为旋转矩阵；位置的偏置项 可表示为 （）通过该方式可以将给定位置 的轴对齐卷积特征（）转换为基于对应锚框的任意方向卷积特征。图）为普通 卷积基于锚框生成的采样点，图）为经过 生成的旋转锚框，箭头表示采样点偏移。图 普通卷积与对齐卷积采样点 将 生成的旋转锚解码为绝对锚框（，）后与计算所得偏移量及图像提取特征输入对齐卷积中，以提取对齐特征。模块利用主动旋转滤波器（）缓解分类置信度和位置回归精度的不一致性，使得目标检测更加精准。是一个 大小的滤波器，利用 旋转在卷积操作中生成的特征图具有 个方向，以实现对方向信息的编码。将 用于卷积层，可以获得方向敏西 北 工 业 大 学 学 报第 卷感特征。通过选择响应最强的方向通道汇集方向敏感特征，达到提取方向不变特征的目的。最后将方向敏感特征和方向不变特征分成 个子网络，分别进行边界框回归及目标分类。与 组成的目标检测头，可以对齐具有不同方向的对象特征，从而提升目标分类的鲁棒性。目标检测算法为解决遥感场景中目标成像小、背景复杂、分布拥挤的问题，本文提出一种改进的 遥感图像目标检测算法，使用感知延伸特征融合模块对骨干网络提取特征进行融合；为锚框匹配真实标注框时采用 算法，在保证召回率的同时，抑制低质量匹配的发生，以增强模型检测能力。图 结构图 感知延伸特征融合模块 协同注意力模块（）自注意力机制（）作为注意力机制的重要组成部分，依赖特征个体相关性，通过接受的输入生成像素间关联性权重，避免外部信息对其的影响。通道注意力 在不增加网络计算量的同时使网络增强有用信息去除冗余特征。为缓解自注意力获取通道间关系能力较弱以及 缺乏特征局部特征关系的问题，将自注意力对上下文信息的捕捉能力以及 能够加强通道间依赖关系的效果进行结合。输入特征经过 卷积后得到 个维度的向量（），（），（）。将 与 向量的转置矩阵相乘，经过 后得到权重系数。当矩阵 与矩阵 相乘后得到经过自注意力处理的输入向量权重 后，利用 对其进行通道间关系处理。此时得到的矩阵较通过原始输入特征得到的矩阵，加强通道间依赖关系的同时避免了传统通道注意力因降维跨通道交互所带来的影响，由此提出了协同注意力模块。如图 所示，利用协同注意力模块处理主干网络输出特征，以增强特征间相关性。图 协同注意力结构图第 期洪伟，等：基于感知延伸与锚框最适匹配的遥感图像目标检测算法 （）将权重系数 乘以 向量，得到加权后的输入特征评分。（）将 向量为三维特征向量后，经过强化通道间关系，与输入特征向量通过 操作得到 模块的输出特征。（）（）感知延伸特征金字塔模块（）为缩短信息路径，利用低层存在的精确位置定位信息增强特征金字塔融合效果，构建自底向上路径。随着特征传递层数的增加，特征信息丢失逐渐增多、局部化响应能力不足。因此，在自底向上的路径中建立从低层到高层的捷径分支，以弥补信息丢失，同时通过传播低层细节的强响应，进一步增强整个特征层次的局部化响应能力。给定主干网络上的特征图，则自底向上特征图 可表示为（）（）（）（）（）（）（）（）式中：表示通道为，核为 的卷积操作；（）表示下采样操作；表示感知延伸下采样模块。传统特征融合模块中，低层特征图细节定位信息较为丰富，高层特征图语义信息较为丰富，语义信息经过自上而下路径传递，中间经过卷积操作及信息交互过程较少，对语义信息影响较小；浅层特征需沿骨干网络传递，细节特征传递至顶层需要经过骨干网络中多次卷积、池化等操作，导致特征细节定位信息丢失较为严重，不利于浅层特征中小目标的定位。因此在原有特征融合模块基础上构建自下而上路径，避免底层特征经过骨干网络，使底层细节位置特征传递至深层时保留充足的有效信息。图 中红色连接线为传统特征金字塔低层特征传递路径，蓝色连接线为 传递路径，构建捷径分支路径后，低层特征传递所经过的网络层结构大幅减少，有效地保留了低层特征中的细节位置信息，提升了小目标识别能力。图 低层特征传递示意图遥感图像存在一定随机性，部分目标类别排列稀疏，数据量小。该类遥感图像包含的实际信息十分有限，图像中目标区域较为局限，其余区域多为无关背景，大尺寸卷积操作虽能较好地提取目标语义特征，但是对于遥感图像，扩大卷积核不仅会增加算法计算开销，也会影响算法对密集分布目标的识别能力。空洞卷积在普通卷积操作的基础上通过膨胀系数 控制卷积核稀疏采样尺度，并将卷积核稀疏采样间隔区域填充。，（，）（）（）式中：，为空洞卷积核尺寸；，为原卷积核尺寸。故在 自底向上的下采样过程中使用空洞卷积，在不增加有效卷积单元数量的同时延伸感知范围。图 为标准卷积与空洞卷积操作示意图，空洞卷积根据空洞率将特征间隔部分填充，导致特征图出现网格隔影，一定程度弱化了特征，影响下采样后特征的显著性。为解决该问题，本文构建 模块，将空洞卷积与均值池化组合使用。对于低层特征，一部分采用空洞率为 的 空洞卷积与输入特征卷积后的特征组成，另一部分则由 大小的全局均值池化作用于输入特征图后得到的特征组成，两部分特征进行相加后，作为下采样最终的输出结果 ，（）（），（）（）式中：为输入特征图；（）表示核大小为，步长为，空洞系数为，填充为的空洞卷积；表示全局平均池化操作。在自下而上特征传递路径中，自最底层开始，对特征图采取下采样操作，逐层传递特征信息，与对应自上而下路径上的特征图相加融合。此外将 的特征图经过 倍池化后，与自下而上传递路径中最顶层特征图融合，使最顶层输出特征图既包含自身西 北 工 业 大 学 学 报第 卷丰富的高阶语义信息，又融合原始低层特征图池化得到的细节信息，达到增强特征图信息表征的能力。最终将，作为预测特征图，输出特征图既延伸了感知范围，又包含了低层丰富的细节定位信息及高层充足的语义信息。图 标准与空洞卷积操作示意图 锚框最适匹配方法（）经过感知增强后的特征图传递到检测头中，及 会得到生成的高质量旋转锚框与真实标注框的交并比（），根据设定好的正样本及负样本阈值为所有锚框分配属性。在原网络中，将 值低于负样本阈值的锚框判定为负样本，不参与真实标注框的匹配。由于航空遥感图像目标尺度小、分布拥挤，网络训练前期产生较多的低质量匹配均被忽略，导致召回率过低，不利于网络的损失计算，进而导致精度过低。改进后的 实现过程中，令低质量锚框也参与真实标注框的匹配，虽保证了召回率，但一定程度上导致低质量匹配的发生。（）（），（），（）（），（）（），（），（）（），（）为生成锚框（）个数，为真实标注框个数。矩阵 记录网络生成锚框与对应真实标注框的值，记录真实标注框与的最大值，记录对应的索引。记录与真实标注框的最大 值，记录对应真实标注框的索引。网络生成锚框与真实标注框对比时会对 中的值做筛选，若小于负样本阈值，则被划分为背景，判定该标注框无符合要求锚框。该操作会使部分真实标注框未被分配锚框，导致召回率过低。为解决这一问题，设定正样本阈值下限，若 小于负样本阈值但是大于正样本阈值下限，则不将其划分为背景，并将该锚框与对应真实标注框做匹配。由于遥感图像部分目标分布密集，单个锚框会与多个真实目标标注框发生重叠，且由于一个锚框只允许与一个真实标注框完成匹配，高质量匹配可能会被低质量锚框覆盖。若当前锚框已与最大 值对应的真实标注框完成匹配。，为真实标注框索引，为 索引。（）（）此时若另一真实标注框的最大 也为与该锚框交并得到的 （）（）此时 （）匹配 大于该样本阈值，导致与该锚框 最大的真实标注框 被重写为，该锚框被分配了 值较低的真实标注框，甚至可能为负样本，导致锚框匹配质量过低，影响边界框回归以及分类损失，进而影响模型精度。针对以上问题，本文提出 高质量锚框匹配方法。表 为 算法伪代码，在为真实标注框分配其 最大锚框时通过常数因子控制，若该 值为当前锚框与真实标注框交并最大值，则允许匹配。若不为最大值，则与最大值做差值，当差值小于常数因子时，允许匹配发生，当大于常数因子时则拒绝匹配。通过常数因子限定匹配的发生，在保证召回率的同时，防止低质量匹配发生，避免高质量锚框被重写。第 期洪伟，等：基于感知延伸与锚框最适匹配的遥感图像目标检测算法表 算法伪代码 算法输入：真实标注框索引 真实标注框与锚框的 对应锚框索引 锚框与真实标注框的 真实标注框索引 真实标注框个数输出：锚框与真实标注框匹配结果：与该锚框最大 值作比较：（）相同允许匹配：差值小于常数因子允许匹配：（）：实验结果与分析 数据集与评价指标为验 证 改 进 算 法 的 有 效 性，设 计 实 验 在 数据集上进行验证。数据集来源包含不同传感器和平台，包括 、卫星拍摄，以及中国资源卫星数据和应用中心的 卫星拍摄。数据集共计 幅航拍图，每张图像的像素尺寸在 到 的范围内，包含不同尺度、方向和形状的物体。类别包括：，。由于 测试集未公开相应类别标签文件，本次实验采用官方给定训练集进行训练，不设置验证集，划分官方验证集作为测试集，验证集与测试集无相同图片。采用 作为评价指标。实验环境及参数设置实验环境为，版本为，服务器硬件配置为 （显存）显卡，处理器。本文采用的 数据集中图像分辨率集中在 到 的范围内，若直接将大分辨率图像输入网络或导致参数量过大，图形计算单元无法负荷。经过实验，将输入分辨率改为 后，网络无法在当前硬件环境下运行。若分辨率过小，将导致可学习特征减少，网络无法获取足够的空间定位信息及语义信息，进而导致网络检测性能下降。故本文对数据集中图片进行裁剪操作，将大分辨图片裁剪为若干尺寸为 的子图。实验时输入图像尺寸为 ，由于硬件环境制约，设置 为，初始学习率设为，动量设为，使用随机梯度下降（）优化器。考虑到数据集规模及模型复杂度，为防止模型出现过拟合现象，将训练 设为，训练过程中，第一个 使用 算法进行预热；输出预测结果后，使用 算法进行处理。结果分析图 展示了 与 在 遥感目标验证集的部分检测结果图，图中上半部分为原始图片，下半部分为框选区域局部放大图。图中可看出目标排列密集、尺寸小，变化范围大、变化方向任意的特点。会出现漏检或者误检的问题。对图）左侧尺寸较小的卡车不够敏感，在图）中会忽略右侧汽车目标且出现了误检及重复检测的问题，而 避免了上述问题的发生。为验证所提算法的性能，在划分测试集上进行实验，并对比了文中模型以及其他先进模型。结果如表 所示。类别分别为：，：，：，：，：，：，：，：，：，：，：，：，：，：，：。西 北 工 业 大 学 学 报第 卷图 数据集上部分检测结果表 与其他先进模型在 数据集上的性能比较模型 （本文）在 数据集上，的 为，与原算法 精度相比提高，与 算法相比提高。精度为。精度为，该算法虽能较好地检测，这类分布较为稀疏且目标大小适中的目标，但对于密集目标，如，其精度较低。改进算法对，这类分布密集小目标的 明显较高，表明其具备解决遥感图像检测难点的能力，能从复杂背景中提取特征信息较少且语义信息较弱的目标。图 为 与 特征融合后的热力图结果，图）为 输出结果，图）图 与 特征可视化第 期洪伟，等：基于感知延伸与锚框最适匹配的遥感图像目标检测算法）为 输出结果。图），）为 与 最底层特征图特征可视化，包含丰富细节定位信息。图）中经过 加权后的特征对小目标给予更高关注度，与图）相比，关注区域更广、对目标关注程度更高。图）为图）经过 下采样模块细化特征后的热力图。较图）经过传统下采样处理，图）扩大感受野的同时捕获邻近目标间关系，目标边缘特征更加明确。消融实验将，、协同注意力模块依次嵌入到 模型，为验证模块有效性，结果如表 所示。表 数据集上的消融实验研究算法 嵌入各个模块后，均能获得比原始网络更高的精度。其中嵌入 模块后，由于特征图经过增强，通过大感受野的方式融合了低层细节位置信息以及高层语义信息，提升。再进一步优化锚框匹配策略，为抑制锚框低质量匹配的发生，嵌入 模块后，提升，证明该模块在保证召回率的同时提升了网络识别精度。为捕获特征中的上下文信息并获取通道间依赖关系，将 模块加入网络。特征图经过注意力加权后，更加注重有效信息的提取，提升，证明网络完成局部间信息交互的同时捕获了通道间信息依赖，能够显著提升目标检测精度。注意力模块对比实验该实验在 数据集上对 种注意力融合的先后顺序进行了测试，第一种方式为利用通道注意力对自注意力中，向量进行加权后计算关联度矩阵，第二种方式为利用通道注意力对自注意力机制得到的向量评分矩阵进行加权处理后与向量 相加。由于目标种类过多，表中只取尺寸较小及分布较为密集的 类目标，如表 所示。若过早地使用通道注意力对自注意力机制中，矩阵进行加权，由于通道间权重经过 处理，值域为 之间，原始矩阵在与其相乘后，一定程度上弱化了特征。自注意力机制在后续处理过程中，多次运用到，进行计算，导致特征的弱化影响被不同程度放大了。故使用 构造协同注意力结构，对网络的预测精度影响较小。表 不同注意力融合方式的 性能比较方式（）（）下采样方式对比实验表 对比了在 数据集上 种下采样方式，方式 在低层使用空洞系数为 的空洞卷积，高层使用普通卷积；方式 下采样全过程使用空洞系数为 的空洞卷积；方式 在低层使用空洞系数为 的空洞卷积及均值池化对特征进行提取后将 种特征图相加传入下一层，高层则使用普通卷积。表 不同下采样方式的 性能比较方式（）（）根据结果分析，下采样方式 与方式 均因空洞卷积的使用，导致了网格隔影的产生，在一定程度上弱化了特征，这对以小目标为主的遥感图像检测影响较大。方式 利用均值池化与空洞卷积相加的方式，在获得大感受野的同时弥补了空洞卷积对特征的弱化，从而提升了网络性能。锚框阈值对比实验表 为 在控制变量的基础上，在 数据集中对比不同阈值下锚框匹配的检测效果。实验采用的模型为，将阈值设定为，进行实验。从实验结果可以看出，当阈值为 时，部分高质量匹配仍会被负样本匹配重写，由于未能有效抑制锚框低质量匹配发生，导致召回率虽优于阈值为 的对照组，但模型精度仍不理想。阈值为 时，部分正样本锚框被忽略，导致召回率过低影响网络精度。根据结果判断，最优阈值处于 区间，故设定阈值为，进一西 北 工 业 大 学 学 报第 卷步实验判断。阈值设定为，时，模型精度高于，且低于，故判断最优阈值为。基于模型精度的考虑，设定阈值为。表 不同锚框阈值的 性能比较阈值召回率（）召回率（）图 锚框阈值与 及部分类别召回率关系 算法复杂度分析表 表明，基于 与改进的 算法相比，浮点型运算量仅增加，参数量增加，识别精度更高，较 提升。与当前遥 感 图 像 目 标 检 测 领 域 主 流 算 法 及 相比，虽参数量有所提升，但精度提升明显。由此证明：本文所提改进算法 在计算开销增加较少的前提下，大幅提升了算法识别能力。表 模型算法复杂度与 统计算法 （本文）结 语遥感图像的目标检测在多个领域具有重要研究意义，为解决遥感图像目标成像小、分布拥挤、背景复杂的问题，提出一种基于感知延伸与锚框最适匹配的遥感图像目标检测算法。在特征融合下采样过程中将感知延伸卷积模块与常规卷积交替堆叠构建 模块，减少下采样过程中低层细节位置信息的丢失以增强网络对小目标的识别能力；为解决遥感目标图像分布拥挤的问题，在为真实边界框分配锚框时，提出高质量锚框匹配算法，在保证召回率的同时，减少低质量锚框匹配的产生；同时设计了协同注意力模块，以较低的计算开销增强了模型对目标与全局特征的建模能力，进而提升模型识别能力。通过在 数据集上的实验，以及与先进模型的对比表明，所提算法可以提升在遥感图像中的目标检测能力，验证了所提模型的有效性。锚框匹配算法中，限定阈值对不同数据可适应性不足，下一步考虑网络通过学习得到最适阈值，在不影响精度的情况下提升方法的鲁棒性。参考文献：胡凡 遥感图像中密集小目标检测算法设计与实现 南京：东南大学，：，（），：，：，：，（）：，：，：，：第 期洪伟，等：基于感知延伸与锚框最适匹配的遥感图像目标检测算法 ，：，：，：，：，（）：，：，：，：，：，：，：，：，：，（）：，：，：，：，：，：，：，：，：西 北 工 业 大 学 学 报第 卷 ，；，；，：，（），（），（）（），（），（），（），：；引用格式：洪伟，赵祥模，王鹏，等 基于感知延伸与锚框最适匹配的遥感图像目标检测算法 西北工业大学学报，（）：，（）：（）（：），