基于多分支融合网络的遥感飞机检测算法_张顺.pdf

引用格式:张顺，赵倩，赵琰 基于多分支融合网络的遥感飞机检测算法J 电光与控制，2023，30(3):107-111 ZHANG S,ZHAO Q,ZHAO Y Aremote sensing aircraft detection algorithm based on multi-branch fusion networkJ Electronics Optics Control,2023,30(3):107-111基于多分支融合网络的遥感飞机检测算法张顺，赵倩，赵琰(上海电力大学电子与信息工程学院，上海201000)摘要:针对目前遥感图像检测精度低、召回率低、实时性差等问题，提出基于 GhostNet 和 CoT 多分支残差网络(MBRNet)的遥感飞机检测算法。借鉴 YOLOv4 网络模型，采用 MBRNet 作为新的主干网络，从而减少梯度消失问题并弥补了 CNN 欠缺的全局特征计算能力;为了减少小目标丢失问题，同时在主干与 PANet 中引入多方位的特征提取与融合思路，实现在高、低特征层之间和同尺度特征层之间的信息充分互补。提出的算法在具有背景复杂、过度曝光、目标密集等场景的 RSOD 和 LEVIR 数据集上准确率达到了 97 64%，召回率达到了 89 11%。关键词:遥感图像;遥感飞机;多分支残差网络;YOLOv4;GhostNet中图分类号:TP753文献标志码:Adoi:10 3969/j issn 1671 637X 2023 03 019A Remote Sensing Aircraft Detection AlgorithmBased on Multi-Branch Fusion NetworkZHANG Shun,ZHAO Qian,ZHAO Yan(College of Electronic and Information Engineering,Shanghai Electric Power University,Shanghai 201000,China)Abstract:Aiming at the problems of low detection accuracy,low recall rate,and poor real-time performanceof remote sensing images,a remote sensing aircraft detection algorithm based on GhostNet and CoT(Contextual Transformer)Multi-Branch Residual Network(MBRNet)is proposed Learning from theYOLOv4 network model,MBRNet is adopted as new backbone network to reduce the problem of gradientdisappearance and makes up for the lack of global feature calculation capabilities of CNN In order toreduce the problem of small target loss,multi-directional feature extraction and fusion are introduced into thebackbone and PANet The idea is to realize full complementation of information between high and lowfeature layers and between feature layers of the same scale The proposed algorithm has an accuracy of97 64%and a recall rate of 89 11%on RSOD and LEVIR data sets in the circumstance of complexbackground,overexposure and dense targetsKey words:remote sensing image;remote sensing aircraft;Multi Branch-Residual Network(MBRNet);YOLOv4;GhostNet0引言随着遥感技术的发展，遥感目标检测也成为了热门研究课题，其中，遥感飞机检测无论是在军事还是民用方面都具有重要意义1。目前，遥感飞机检测技术由于受到复杂的外界因素干扰以及本身存在尺寸小、分布密集等特点的限制，漏检、错检等问题难以完全解决2 3。近年来，随着 CARION 等 4 提出基于 Transformer 的端到端目标检测算法取得了显著效果，在机器视觉领域收稿日期:2022-01-17修回日期:2022-03-04基金项目:国家自然科学基金(61802250)作者简介:张顺(1996)，男，安徽六安人，硕士生。中应用 Transformer 也成为了新的研究课题。在此之前，目标检测算法主要分为两种:二阶段(Two-Stage)和一阶段(One-Stage)。基于锚框的二阶段目标检测算法需先由区域生成候选框，再通过网络对样本进行分类，其准确度较高但速度较慢，常见的二阶段网络模型有 FastR-CNN 系列5 等;基于锚框的一阶段目标检测方法通过骨干网络直接提取对象类别和位置信息，具有速度快、模型参数小等特点但精度相对较低，常见的一阶段网络模型有 YOLO 系列 6 7 等。针对遥感图像检测带来的挑战，国内外已经进行大量的研究:公明等8 通过引入空间金字塔池化结构，结合密集连接和 Inception 结构等方法对 YOLOv39 网络进行改进，实现遥感舰船检测指标第 30 卷第 3 期2023 年 3 月电光与控制Electronics Optics ControlVol 30No 3Mar 2023提升;侯涛等10 提出通过改进 YOLOv4 的主干网络输出的特征图分辨率和减少特征融合的卷积层，达到减少语义信息丢失的目的，有效解决了遥感领域小目标的检测问题;XU 等 11 提出的基于改进 YOLOv3 的遥感图像目标检测模型，使用 DenseNet12 改进主干特征提取网络和ResNet 残差模块代替了5 次卷积层模块，避免了梯度消失问题。以上算法依然存在召回率较低、实时性低等问题，尤其对过度曝光、光照不足、建筑物干扰及目标密集分布的遥感图像更为明显。本文借鉴经典 YOLOv413 的网络架构，以MBRNet 为主干网络，多方位地对特征进行提取;在 PANet 14 中使用多分支连接策略进行多次特征融合以及在卷积过程中使用残差连接网络优化卷积模块，加强了特征提取的显著性和深度融合性，从而优化了特征金字塔。在 RSOD 和 LEVIR 数据集上的实验表明，本文算法的精确度达到 97 64%，召回率达到 8911%，mAP 值达到9449%，较原算法分别提升了146%，698%和660%。1多分支融合网络的 YOLOv4 改进算法本文借鉴了 YOLOv4 的网络结构，在此基础之上提出多分支融合网络加以改进。改进的算法舍弃了原复杂的主干网络和参数量较大的空间金字塔池化结构，将多方位的特征提取思想融入整体网络。如图 1所示，改进的算法主要包括 3 个部分:多分支残差网络(Multi Branch Residual Network，MBRNet)、SE 注意力机制模块以及具有多分支的 PANet 网络(MB-PANet)。以 MBRNet 作为主干网络，其主要由3 个模块组成:Fo-cus 模块，具有多分支的并行残差块(Parallel ResidualBlock，PaRB)和深度可分离卷积块(Depthwise separa-ble convolution，DW)。首先采用 Focus 模块将输入图片(416 416 3)处理变为 208 208 32 的特征图，接着经过堆叠的并行残差块与深度可分离卷积块输出C3，C4 和 C5 3 组特征图，其维度分别为 52 52 128，26 26 256 和 13 13 512。在特征融合阶段采用MB-PANet 加强信息交流，为了保证信息的多样性和传递性，这部分设计了两组模块:具有残差结构的 G_Co-TR 模块和并行空洞卷积模块(Parallel Dilated Convolu-tions Network，PaDCNet)。此外，在主干网络与特征融合网络之间引入轻量级 SE 注意力机制15 模块加强信息的传递。改进算法带来的优势使得同尺度特征层获得的感受野更大，同时在深度卷积和下采样过程中保证了信息多样化。广泛使用的轻量级卷积模块不仅实现了整体网络参数量的减少，而且模型检测速度也得到提升。图 1改进算法网络结构Fig 1Network structure of the improved algorithm1 1MBRNet 主干融合网络设计图 1 中的 MBRNet 为算法设计的主干网络，该网络主要通过 PaRB 和 DW 交替组合来实现特征图的尺寸减半和通道数加倍。主干结构的优势不仅弥补了YOLOv4 主干网络欠缺的全局特征计算能力，而且使用的轻量卷积核能够在加深网络的同时尽量减少参数量。主干结构的创新设计便是具有多分支并行的残差块 PaRB，其结构如图 2 所示。图 2并行残差结构块Fig 2Parallel residual block图2 中，Ghost 模块和 CoT(Contextual Transformer)模块为主要组成部分。Ghost 模块是 HAN 等 16 在 GhostNet轻量级卷积神经网络中所提出的，它的特点是通过分组卷积方式消除通道间的联系，保证各个通道的独立性，这样一方面模拟冗余特征的生成方式，另一方面有效地降低模型参数量;CoT 模块为 LI 等17 设计的新型801第 30 卷电光与控制张顺等:基于多分支融合网络的遥感飞机检测算法Transformer 模块，相比大多数基于 Transformer 设计的网络，该模块弥补键(Keys)之间缺失的上下文信息，加强了信息的交流。结合上述的 Ghost 模块和 CoT 模块，图2 中的 PaRB网络设计思路可分为两部分:主干路通过采用 Ghost 模块搭建出 GBL 模块，并与 CoT 模块结合构建残差网络对图像通道压缩与融合;分支则分别通过卷积核为 1 3，3 1 的轻量卷积层与卷积核3 3，空洞率为2 的空洞卷积层串联对图像进行特征提取，最终主、分路进行特征相加，保证特征多样性。图2 中输入 a a n 代表特征图尺寸，3 3 代表卷积核的大小，S 代表步长，D 代表空洞率，n 为卷积后的通道数。反复进行虚线框内的操作可以加深网络、扩充感受野。与 PaRB 组合的 DW模块通过分组卷积操作，相比常规卷积其运算成本和参数量都有所降低。1 2MB-PANet 网络设计图 1 中的 MB-PANet 为本文算法提出的特征融合网络，从结构上来看，在上、下采样阶段分别引入了跳跃连接以及 G_CoTR，PaDCNet 模块用来强化特征融合网络。新的融合网络主要针对 YOLOv4 中 5 次连续卷积模块导致目标特征逐渐抽象问题以及新网络去除空间金字塔池化结构带来的信息单一性问题，采用了以下改进思路。1 2 1结构改进MB-PANet 中的 G_CoTR 模块是使用 GBL 模块与CoT 模块堆叠成的残差结构，如图 3(a)所示，替代原 5次连续卷积。相比传统连续卷积结构，G_CoTR 模块不仅保证了输入的信息能够传递至网络的深处，而且内部的 CoT 模块具有注意力机制使得网络更加专注目标信息。图 3G_CoTR 和 PaDCNet 网络结构Fig 3G_CoTR and PaDCNe