基于感受野和特征增强的遥感图像实时检测_张廓.pdf

第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展0228001-1研究论文基于感受野和特征增强的遥感图像实时检测张廓1，陈章进1，2*，乔栋1，张岩11上海大学微电子研究与开发中心，上海 200444；2上海大学现代教育技术中心，上海 200444摘要 遥感图像检测在计算机视觉领域中是一项具有挑战性的任务，目前的遥感图像检测方法在提升精度的基础上忽略了速度，而在资源勘测和海上救援等需要实时检测的场景中，提高检测速度也是必不可少的。基于此，提出了一种轻量化的目标检测网络，以实现检测精度和速度的权衡。基于 YOLOv4 进行设计，将原主干网络替换为剪枝后的MobileNetV2，将特征提取部分的普通卷积计算替换为深度可分离卷积以大幅度减小模型计算量，同时嵌入感受野增强模块和注意力机制模块以提升模型检测精度。在遥感图像数据集上的实验结果表明：所提网络的平均准确率达到了89.80%，检测速度达到 33.4 frame/s；与 YOLOv4 相比，平均准确率仅下降了 1.48 个百分点，但检测速度提升了近1.5倍；与 YOLOv4-Tiny相比，平均准确率提升了 9.05个百分点。所提模型实现了速度和精度的权衡，权重仅为 44 MB，易于部署，且能满足实时检测场景需要。关键词 遥感；目标检测；遥感图像；轻量化网络；感受野增强；注意力机制中图分类号 TP753 文献标志码 A DOI：10.3788/LOP212698Real-Time Image Detection via Remote Sensing Based on Receptive Field and Feature EnhancementZhang Kuo1,Chen Zhangjin1,2*,Qiao Dong1,Zhang Yan11Microelectronics Research and Development Center,Shanghai University,Shanghai 200444,China;2Modern Educational Technology Center,Shanghai University,Shanghai 200444,ChinaAbstract Object detection in remote sensing images is a challenging task in the field of computer vision.Existing remote sensing image detection methods ignore the speed with the aim of improving the accuracy;however,it is also essential to increase the detection speed in real-time detection scenes,such as in resource surveys and maritime rescue.This paper proposes a lightweight target detection network to realize a trade-off between detection accuracy and speed.The design replaces the original backbone network of YOLOv4 with the pruned MobileNetV2.In addition,the ordinary convolution calculation of the feature extraction method is replaced by deep separable convolution to considerably reduce the computational complexity of the model.Finally,the receptive field enhancement module and attention mechanism module are embedded to improve the detection accuracy of the model.The experimental results on the images in the dataset containing the remote sensing images show that the accuracy,as measured by the mean average precision,is 89.80%;further,the model detection speed is 33.4 frame/s.Compared with YOLOv4,the accuracy only decreases by 1.48 percentage points,but the detection speed increases by nearly 1.5 times.Compared with the YOLOv4-Tiny algorithm,the average accuracy is 9.05 percentage points higher.The proposed model successfully meets the trade-off requirements of speed and accuracy.The weight of the model is only 44 MB,which makes it easy to deploy and indicates that it meets the requirements of real-time detection scenarios.Key words remote sensing;target detection;remote sensing image;lightweight network;receptive field enhancement;attention mechanism收稿日期：2021-10-11；修回日期：2021-11-03；录用日期：2021-11-08；网络首发日期：2021-11-18通信作者：*0228001-2研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展1引言遥感技术的快速发展极大地提高了遥感图像的数量和质量，现有的目标检测算法可以用来检测各种地面目标，如飞机、操场、船舶、建筑物等1。遥感卫星技术的发展使得遥感图像成像技术更加发达，如何提取出高分辨率遥感图像的深度语义的特征信息已经成为了当前学者研究的学术焦点。遥感图像检测在农业、地质勘查、安防、城市规划等领域应用广泛。然而，对于农作物灾害检测、地理资源勘测、海上救援、道路交通分析等一些需要满足实时遥感图像监测的 场 景，检 测 速 度 和 精 度 的 权 衡 仍 是 一 个 巨 大 的挑战。传统的遥感图像检测算法基于手工特征2或纹理特征3等分类器进行检测，这种检测模型在检测速度及精度上都很难满足目前时代发展的需求。随着深度学习的不断发展，已经有许多成熟的基于卷积神经网络（CNN）的 目 标 检 测 方 法，如 以 Faster-RCNN4、Mask R-CNN5为 代 表 的 两 阶 段 算 法 和 以 SSD6、YOLOv37、YOLOv48为代表的单阶段算法等。两阶段 RCNN 系列目标检测算法凭借高定位精度在目标检测领域中具有很大的优势，但其检测速度较慢；单阶段 SSD 算法的检测速度略高于 YOLOv3 和 YOLOv4目标检测算法，但检测精度较低，在高分辨率的遥感图像检测场景中很难检测出复杂目标及小目标。综合考虑，选用 YOLO 系列的目标检测算法为宜，YOLOv4作为 YOLOv3的改进版，模型的检测速度和精度都得到了提升，故本文以 YOLOv4作为参考展开进一步的研究。但 YOLOv4 算法的卷积特征提取器主要为普通 33卷积，使用普通卷积提取图像特征时存在以下问题：1）在浅层的特征图上检测目标时，由于浅层特征图感受野较小，语义特征较弱，对于一些小目标的检测，仅使用浅层特征图检测会增加物体检测的难度；2）在普通卷积计算过程中，同时考虑图像的区域和通道信息，造成过多的冗余计算，在复杂的网络模型中难以保证实时性，模型部署也有一定的困难；3）轻量化的 YOLOv4-Tiny模型的检测实时性高，权重较小且易于部署，但在高分辨率的遥感图像检测场景中的精确度较低。针对以上问题，国内外的科研工作者们进行了一些相关的工作：Chen等9在遥感图像船舶识别任务中，利用多层恒等映射的空洞卷积和注意力机制（DAM）融合的方法改进 YOLOv3网络，提高了特征提取的感受野，在精度上有所提高，但 DAM 结构中会产生过多的模型参数，不利于设备部署；谢俊章等10为了提高密集小目标的特征信息提取能力，减少了特征提取网络的卷积层数，速度上比原 YOLOv4 模型有一些提高，但仍未达到实时检测的目的；张欣等11在遥感飞机单目标检测任务中，将 YOLOv4-Tiny的激活函数替换为Mish，以更好传递梯度流，并添加空间金字塔池化结构增强感受野，在速度上超越了 YOLOv4，其网络结构简单，对于单目标检测具有一定的优势，但在多目标检测任务中仍存在准确率和召回率低等问题；此外，也有一些提高感受野和增进速度的算法12-13，但从整体框架而言，计算量过于冗余，对于一些算力较小的设备来说难以满足实时性要求。结合上述研究的优势与不足，本文提出了一种基于感受野和特征增强的轻量网络模型。所提模型以YOLOv4为基础，将其主干网络替代为MobileNetV214，在网络的有效特征层中引入感受野增强模块和空间与通道注意力机制模块，在扩大感受野的同时增强提取复杂语义特征信息的能力；为进一步减少特征提取网络的计算冗余，改进 PANet结构，将 33 普通卷积和下采样结构替换为深度可分离卷积以减少模型参数，并提高模型的实时性。2所提方法2.1YOLO 目标检测原理YOLOv4 的网络结构如图 1 所示：YOLOv4 以宽高 为 416416 的 图 片 作 为 输 入 层；主 干 网 络 为CSPDarkNet-53，以 Mish 为激活函数加强梯度流的传输；分支结构使用空间池化结构15和路径聚合网络16，空间池化结构用于加强深层特征图的感受野，路径聚合网络通过多次上采样及下采样操作对不同特征信息进行反复聚合再分别提取，提取出的 3 个有效特征层为 1919、3838、7676，分别用来检测小目标、中目标及大目标；最后，Head 结构对提取的 3 个特征图进行解码，预测计算 3 个边界框，寻找目标的位置、尺寸、不同类别的概率张量，并对每个边界框进行分类预测，每个边界框对应 5+classes个值，其中 classes表示分类总数，5表示预测边界框的信息：中心坐标（x，y）、宽（w）、高（h）及置信度（confidence）。计算预测框与真实框的交并比（IOU），使用非极大值抑制（NMS）抑制冗余的预测框，并选出得分最优的预测框，给出相应的置信度。为进一步提高预测的准确性，更好实施目标定位，采用了基于 K-means的聚类算法，对训练集的真 实 框（ground-truth）进 行 聚 类，以 找 到 合 适 的 先验框。与 传 统 的 两 阶 段 RCNN 模 型17结 构 相 比，YOLOv4 采用回归的思想，使用单阶段网络实现了分类预测与位置定位的任务。此外，与基于候选框预测的方式不同，YOLOv4 利用整张图片训练模型，可更好地实现多目标定位和识别。0228001-3研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展2.2网络结构设计YOLOv4 虽然在一些多