融合SPP与FPN的光学遥感图像飞机目标检测_兰旭婷.pdf

引用格式：兰旭婷，郭中华，石甜甜，等融合 与 的光学遥感图像飞机目标检测 电光与控制，（）：（）：融合 与 的光学遥感图像飞机目标检测兰旭婷，郭中华，石甜甜，陈天蕴，孙亚萍，高 翔（宁夏大学，物理与电子电气工程学院；沙漠信息智能感知重点实验室，银川）摘 要：针对光学遥感图像飞机目标背景复杂、检测精度与检测速度不平衡、易漏检等问题，提出一种融合不同网络模块的 模型。首先，采用 替换 算法中的特征提取网络，并加入可操控的空洞卷积模块，扩大特征感受野获取更多有利检测目标的特征信息；其次，加入 和 网络，得到浅层特征信息，并将感受野二次放大后的特征与深层特征信息进行融合；然后，送入 网络中获取更加完整且更具有判断力的特征信息；最后，采用 数据集 张高分辨率飞机遥感图像输入至 模型中迭代训练，最终改进算法模型 值达到，较改进前的算法模型提升了 个百分点，检测速度达到 帧。实验结果表明，该方法可以有效兼顾飞机目标的检测精度与检测速度，一定程度上降低了目标漏检率。关键词：遥感图像；目标检测；注意力机制；特征融合中图分类号：文献标志码：（；）：；引言目标检测是计算机视觉领域的核心，它在无人驾收稿日期：修回日期：基金项目：宁夏自然科学基金（）；宁夏大学研究生创新研究项目（，）作者简介：兰旭婷（），女，宁夏银川人，硕士生。通讯作者：郭中华（），男，山东临朐人，博士，教授。驶、智能安全、军事等领域都有广泛的应用。近年来，随着深度学习的发展，卷积神经网络（）应用在自然图像领域已经取得了很好的成果，将其应用于遥感图像领域，尤其是高分辨率光学遥感图像的飞机目标检测成为当前的研究热点。图像受天气（雾天、沙尘），噪声，光照强度（曝光），污染等因素干扰，会对图像内部结构和纹理信息产生影响，从而影响目标检测的准确率 第 卷 第 期 年 月 电 光 与 控 制 兰旭婷等：融合 与 的光学遥感图像飞机目标检测和效率，给图像的目标检测带来了很大的难度。在背景复杂、目标密度大、机型不同的图像检测当中，检测精度低且容易产生漏检和误检；由于存在模型参数广泛、计算量大的缺点，在采用训练好的模型来解决实际问题时，很难满足实时检测的要求。因此，研究者们希望对遥感图像进行目标检测时，其精度和速度都能得到进一步的提升。目前主流的目标检测方法有单阶段和两阶段两种。在，与 为代表的两阶段方法中，输入图像经过特征提取阶段和候选区域阶段，再进行目标位置的预测和分类。两阶段的方法在精度性能上有一定优势，但针对方向多变的飞机目标来说，该方法无法实现方向性的检测，并且检测速度过慢，不能满足实时检测的需求。等提出了一种 的算法模型，该方法同 有相似的原理，区别在于目标检测器是通过强化学习训练得到。虽然得到较高的检测精度，但仍然被独立的目标候选耗费过长时间，导致检测效率低。在 系列为代表的单阶段方法中，跳过了候选区域阶段，直接使用定位框进行目标位置的回归，即该方法可以进行端到端的模型训练。与两阶段方法相比，虽然跳过了区域选择阶段，速度有了更大的提升，并且能实现实时检测的要求，然而，由于缺乏建议区域选择阶段，以及 将图像分为 的网格，导致小目标检测精度下降。基于（）的单阶段目标检测算法中，结合了前两者目标检测算法的回归和 两大优势，较好地实现了精度和速度之间的平衡，优于其他模型。但针对背景复杂、飞机位置不固定的遥感图像，该方法依旧存在目标的检测精度低的问题。目前已有很多文献对 算法改进应用于遥感目标检测，尤其在飞机检测中，算法利用“上 下”结构将不同尺度的特征信息融合，其检测精度相比 模型提升，但随着网络的变深参数量也随之增加，导致检测效率降低；算法相比前者的改进不仅在精度上还有速度上都有所提升，但相比，速度还是有所下降，面对大范围的遥感图像时，会有严重的漏检情况，依然不能解决遥感图像目标检测精度与效率兼顾的问题。综合考量后，选择 算法为本次改进的基础算法，提出 目标检测算法，实现光学遥感图像飞机小目标的高精度、高效率检测。第一个关键点是采用特征提取网络 的核心框架，并在骨干网络中采用空洞卷积替换 中的卷积，获得不同感受野下的特征信息；将浅层特征 网络嵌入至 网络中，增强小目标多尺度特征提取的能力外，再加入空间金字塔池化（，）模块进一步扩大感受野及实现多重特征信息的融合；最后加入（）注意力机制，得到更加完整的语义信息进行有效的飞机目标检测。改进的 检测算法 目标检测算法 是一种目标检测算法，网络是由 网络改变而来。将 中的 和 层换为卷积层，并新增，层，用于目标的检测。目标检测算法 网络结构中，每个检测分支使用不同的尺度特征来独立定位和预测对象。然而，这些特征之间在不同尺度上缺乏相互作用，而低层次的特征图也不够强，这使得 算法对检测一些小对象缺乏鲁棒性。因此，提高检测分支的性能将提高多尺度特征检测模型的整体检测性能。首先，骨干网络采用的是，对于语义信息丰富、背景复杂以及小目标物体繁多的光学遥感图像来说，不能较好地提取出更多的特征信息，对小目标检测效果较差。因此，将 替换为 作为 网络的骨干网络，并在 最后两层分别加入膨胀系数为 和 的空洞卷积，如图 所示。在不增加计算量的情况下，扩大了卷积核视野，使得同一特征图中包含不同感受野下提取的特征信息。其次，针对特征的完整性和更多细节提取上存在一定的局限性问题，经过第 次 网络模块扩大特征图的感受野，加入特征金字塔网络进行浅层信息的融合，然后，再经过第 次 网络模块，达到多重信息融合的效果。最后，采用 网络模块获取有益于飞机目标检测的特征图，并输入到检测层，进行最终的回归与预测。图 膨胀系数为 和 的空洞卷积 浅层特征信息融合在 网络结构中，将 个检测层直接输出，此时得到的特征图的特征信息局部化较重，丢失小目标信息较多，不能很好地检测小目标物体。因此，为了 第 期得到更加完整的特征信息，采用特征金字塔网络（，），如图 所示。图 网络融合模块 可以将高级和低级特征融合来增强浅层特征的高级特征信息，得到比融合前更多具有判别小目标特征的有用信息，有效地提升物体的检测精度。将，层进行特征融合。融合前后的特征可视化图如图 所示，很明显融合后的特征表达能力更强，携带的细节信息更多，有利于飞机目标准确检测。图 融合前后的特征图 扩大感受野与深层特征信息融合在 网络结构中，没有重用低层高分辨的特征图，即没有充分利用到对小物体检测十分重要的低层特征空间信息。因此，通过采用两次 网络模块，卷积核大小分别为，的池化操作。第 次在网络的 层，不仅用来增大感受野提取更多细节上的特征信息，还可以实现多尺度的局部与全局特征信息间的融合，更加丰富了特征图的表达能力，有利于背景复杂、目标差异大的多目标遥感图像检测；第 次在网络的 层，将 融合后的特征信息输入到 网络模块中，实现多重信息的融合，此时获取到的特征图具有完整的信息。如图 所示，从左向右依次为原始特征、二次放大后的特征、深层特征以及融合后的特征，由此可见，除了原始特征图外，经过感受野的放大以及特征融合的特征，目标的语义信息表达更加明显，目标的局部与全局特征也更为突出。图 不同阶段的特征对比图 注意力机制现阶段的目标检测网络，获取到的特征信息重要程度是一样的，无法抑制无效信息并关注有效信息，对目标高精度的检测有一定的限制。为此，使模型在学习过程中学到每张图像需要关注的区域。利用，一种采用不降维的局部跨信道交互策略，通过数据学习自动获取到每个通道不同程度的特征信息，并判断出各通道的特征重要性的网络。相比前者减弱较高的模型复杂度和较大的计算负担。以此将不重要的特征减弱提升有用信息，对检测效果有一定的优势。模块如图 所示，其中：为卷积核的大小；为激活函数；为全局平均池化；输入特征图 的宽和高分别为 和；通道数为。图 模块结构 经过 模块与 模块之后的预测特征层上，分别加入 模块，使得网络学习到预测特征层不同通道间的重要性，提高特征指向性。最终遥感图像飞机目标检测 网络具体结构如图 所示。图 网络结构 第 卷电 光 与 控 制兰旭婷等：融合 与 的光学遥感图像飞机目标检测 实验与结果分析 数据集及实验环境采用来自某大学 高分辨遥感图像数据集共 张图像，分辨率在 ，图像尺寸分别为 像素 像素、像素 像素，包括小目标多、环境污染影响、噪声严重、高曝光、雾天等不同背景的数据集。按照 数据集格式在 软件上手动标注，并生成图像中含有飞机目标坐标和类别信息的 格式文件。按照 比例划分数据集，其中，张为训练集，张为测试集。实验平台采用的操作系统为，为 ，深度学习框架为 。实验流程及训练参数在以 为 基础特征提取的网络结构上，搭建融合、网络模块和 注意力模块的网络结构，并在标签完成的数据集上进行训练。训练参数如下：批尺寸为，动量系数为 ，权重衰减系数为 ，学习率为 。对比实验的训练参数与数据集在训练过程与之相同。实验流程及训练参数为了评价 的有效性，实验采用平均精度均值（）或平均精度（）和 性能评价指标。其中，为召回率（）和精度（）作用曲线下包围的面积，则，分别为 （）（）（）（）（）（）其中：为真正例；为假正例；为假反例；为总类别的数目。损失函数的选择目标检测回归损失函数依旧沿用 算法中的损失函数，可以防止梯度变化过大或者过小情况发生，函数如下所示（）其他（）（，）（，）（，）（）式中：为置信度；为位置参数；为真实框预测值；为候选框样本数；为置信度损失，为位置损失；超参数 一般默认为。损失函数的计算为（，），（）（）（，）（）（）（）其中：为第 个候选框与类别为 的第 个真实框的匹配值；表示预测框（）；表示真实框（）；为背景置信度分数；为第 个候选框的置信度分数；，分别表示正、负样本。实验结果分析 与 对比实验通过融入不同网络模块进行对比实验，如表 所示。数据集采用的是公开的 高分辨遥感图像数据集，共 张图像进行训练，以此验证在复杂环境下的遥感图像目标检测中精度的变化。表 改进实验结果对比 网络骨干网络（，）从表 可看出，以 为骨干网络的 经过 后，平均精度均值高于原模型 个百分点；单独加入 模块后得到的模型 为，高于原模型 个百分点，并且也高于单独加入特征融合的 算法模型 个百分点；单独加入 模块，相比原模型 提升 个百分点，但相比单独加入 和 的 稍有降低；另进行 组实验：将 与 融合，与 融合，与 融合，以此验证加入这 种网络模块的必要性。通过实验数据对比发现，上述 种模型不仅较原模型 分别提升了 ，和 个百分点，较单独融合实验时也有明显的精度提升，可见经过多重信息的融合得到的上下文语义信息更多，对飞机目标有效检测更友好。因此，将 种网络模块融合后，全局信息更加完整，继而带来更高的精度提升。结果也表明，将，网络模块全部融合进行训练后 达到 ，相比原始模型 的 提升了 个百分点。满足了对遥感图像高精度的检测，优于改进前的模型。第 期 与其他模型对比结果分析将 与其他 种（，）目标检测模型进行对比实验分析。其中：骨干网络为，骨干网络为。分别在本次实验的 张遥感图像数据集上进行训练，并用同一测试集进行检测。图 所示为不同模型的 和 对比图。图 不同模型的 与 对比 图 所示为经过 轮次后的网络模型精度曲线对比图，气泡大小代表不同的精度取值。实验结果也表明，模型对不同背景下的光学遥感图像飞机目标的检测，不论精度还是速度均明显优于其他算法。图 种目标检测算法模型精度对比 将，以及 模型，采用 的数据集进行测试。选择不同背景下的（含有小目标密集、沙尘、曝光、噪声、污染、雾天）张图像作为模型检测图片，如图 所示。图 不同模型在复杂环境下的检测结果对比 张不同背景的遥感图像在不同模型下的检测结果显示如下几点（漏检情况图中以圆圈标注）。）在小目标密集的图像当中，除了 模型全部以高精度检测出小目标飞机外，其他 种模型都出现了漏检情况。其中，模型以高精度检测出部分目标，但丢失目标较为严重；模型漏检情况最为严重，并且检测精度低于 模型。）对于沙尘天气下的遥感图像，种模型都检测出飞机目标，但除了 模型，其余模型均存在检测速度低的问题。）对于曝光的遥感图像，仅 模