改进RetinaNet模型的小目标检测_吴正平.pdf

基金项目:国家自然科学基金项目(61871258);水电工程智能视觉监测湖北省重点实验室建设(2019ZYYD007);2018 年度水电工程视觉监测湖北省重点(三峡大学)实验室开放基金(2018SDSJ05);2020 年产学合作协同育人项目(202002286038)收稿日期:20211110修回日期:20211126第 40 卷第 2 期计算机仿真2023 年 2 月文章编号:10069348(2023)02018109改进 etinaNet 模型的小目标检测吴正平1，2，张程鹏1，雷帮军1，2*，赵俊臣1(1 三峡大学计算机与信息学院，湖北 宜昌 443002;2 三峡大学水电工程视觉监测湖北省重点实验室，湖北 宜昌 443002)摘要:小目标检测是目标检测任务中的难点问题之一，低分辨率的小目标存在可视化信息少、小目标占比小、在图像中分布不均匀等问题。为了应对这些挑战，提出了一种基于注意力机制改进的 etinaNet 算法。首先对原始 etinaNet 算法的特征提取模块 esNetFPN 进行改进，使网络能够更全面地提取目标特征信息;其次在 FPN 模块的 P3 层和 P4 层添加注意力机制，设计了精度更高的目标检测器 esNetFPN*AttentionetinaNet。实验结果表明，相比于原始的 etinaNet 网络，提出的 esNetFPN*AttentionetinaNet 网络在 VOC2007 测试集上的平均精度提升了 0.55%;在制作的交通目标数据集上平均精度提升了2.3%，针对小目标的 AP 提高了4.52%。实验证明了所提出的 esNetFPN*AttentionetinaNet 网络比 et-inaNet 更加准确，更加适用于小目标检测任务。关键词:深度学习;目标检测;注意力机制;小目标检测中图分类号:TP18文献标识码:BSmall Object Detection Based on Improved etinaNet ModelWU Zhengping1，2，ZHANG Chengpeng1，LEI Bangjun1，2*，ZHAO Junchen1(1 College of Computer and Information Technology，China Three Gorges University，Yichang Hube i443002，China;2 Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering，China Three Gorges University，Yichang Hubei 443002，China)ABSTACT:Small object detection is widely used in national defense，intelligent transportation and other fieldsHowever，small objects with low resolution have some problems such as less visual information，low proportion of smallobjects and uneven distribution in the image In order to cope with these challenges，an improved etinaNetalgorithmbased on attention mechanism is proposed in this paper Firstly，the feature extraction module esNetFPN network ofthe original etinaNet algorithm was improved，esNet module was introduced into dense connection idea，and FPNmodule replaced feature fusion with feature splicting so that the network can extract target feature information morecomprehensively Secondly，attention mechanism was added to layer P3 and layer P4 of FPN module，and a higherprecision target detector esNetFPN*AttentionetinaNet was designedThe experimental results show that com-pared with the original etinaNet network，the proposed esNetFPN*AttentionetinaNet network has an averageaccuracy improvement of 0.55%on the VOC2007 test set and 2.3%on the traffic target data set we created，AP forsmall targets increased by 4.52%Therefore，the experiment proves that the proposed esNetFPN*Attentioneti-naNet network is more accurate than etinaNet and more suitable for small object detection taskKEYWODS:Deep learning;Object detection;Attention mechanism;Small object detection1811引言随着深度学习技术的不断发展，目标检测技术已经广泛应用到了智能交通、智慧医疗等领域。小目标检测作为目标检测领域中的一个难点，已经成为了研究的热点方向。计算机视觉领域通常使用两种方式来定义小目标:根据相对尺寸进行定义和根据绝对尺寸进行定义。根据相对尺寸进行定义时将小目标定义为在 256256 的图像中目标面积小于 80像素的目标，即目标面积小于图像面积的 0.12%。根据绝对尺寸进行定义时，以 COCO 数据集为例，尺寸小于 3232 像素的目标即为小目标。当前，小目标检测面临的挑战1 主要有:1)可利用特征少，低分辨率的小目标可视化信息少，难以提取到重要特征;2)定位精度要求高，小目标由于尺寸小，在预测过程中，预测框偏移一个像素点，与目标框的 IOU(Inter-section over union)就会出现大的变化;3)数据集中小目标占比少，小目标在图像中分布不均匀;由于这些问题的存在，小目标检测仍然是一个具有挑战的课题。近年来基于深度学习的目标检测方法在复杂基准数据集(例如 PASCAL VOC 和 COCO)上的对象识别准确率取得了巨大的进步。基于深度学习的目标检测算法2 主要分为两种不同的解决方式:1)两阶段目标检测算法;2)单阶段目标检测算法。两阶段目标检测算法将目标检测分为检测与识别两个阶段，第一阶段基于目标候选框检测目标，第二阶段通过神经网络进行识别。而基于回归的端到端实现目标检测任务的一体化卷积网络就称为单阶段目标检测算法。两阶段目标检测算法，以区域建议网络 CNN3 算法为代表，逐步衍生出了 Fast CNN4、Faster CNN5 算法，检测精度得到大幅度提升，但因网络参数量较大，导致检测速度较慢。单阶段目标检测算法，以 YOLO6、YOLO V27、YOLO V38、YOLO V49、SSD10 系列算法为代表，相比于两阶段目标检测算法，单阶段目标检测算法在检测精度上虽然有所降低，但在检测速度上得到了一定幅度的提升，使得实时检测成为了可能。针对小目标检测中目标体积小，背景杂乱等挑战，Li 等人11 提出使用生成对抗网络(Perceptual GAN)来减少小目标和大目标在特征表示上的差距，其中生成器生成小目标的超分表达，判别器能从生成的超分图形中的检测获益量来计算损失值，然后交替地执行生成器和判别器网络对抗分枝的训练过程，利用大小目标的结构相关性来增强小目标的表达，使其与对应大目标的表达相似，从而提高小目标检测性能。为了进一步改进小目标的特征表示，Lee 等人12 提出特征级超分辨率方法，在基本检测模型的基础上，引入了四个附加组件:S 特征发生器和鉴别器、S 目标提取器和小预测器。S 特征发生器作为一种基于 GAN13 的模型，利用S 目标提取器的特征作为目标，在 S 特征鉴别器的引导下产生高分辨率的特征。本文模型针对小目标检测难点所做的工作可总结为三点:一是在 esNetFPN 特征提取模块中使用密集连接思想改进 esNet14，在 FPN15 中使用特征拼接替换特征融合，同时，在数据输入时采用 Overlapping Patches 方式，缓解了小目标特征丢失的问题;二是在特征提取模块的输出中引入通道注意力和像素注意力模块，缓解了难以提取重要特征，定位不准的问题;三是在数据预处理时使用 Copypaste16 数据增强方式缓解了数据集小目标占比少，小目标在图像中分布不均匀的问题。通过在 etinaNet17 算法的基础上进行以上三点改进，有效改善了原始 etinaNet 算法中存在的不足。2etinaNet 目标检测算法原理etinaNet 目标检测算法是 2017 由 He 提出的一种 onestage 深度学习目标检测算法。标准的 etinaNet 目标检测算法体系结构由 4 个主要部分组成:a)骨干网络基于 esNet网络模型，用于从输入图像中提取特征;b)特征金字塔网络(FPN)，以金字塔形式构建的卷积神经网络，用于结合网络上下两层特征图的优点;c)分类子网，它从 FPN 中提取有关对象类别信息，从而解决分类问题;d)回归子网，它从 FPN中提取有关图像中对象坐标的信息，从而解决回归问题。标准的 etinaNet 目标检测算法总体架构如图 1，架构细节如图 2。图 1标准的 etinaNet 目标检测算法总体架构281图 2标准的 etinaNet 目标检测算法架构细节3注意力机制改进 etinaNet3.1总体网络结构本 文 在 etinaNet 目 标 检 测 模 型 基 础 上，结 合DenseNet18 网络模型密集连接的思想和特征拼接思想改进了 esNetFPN 特征提取模块，同时为了保证检测精度，引入通道注意力和像素注意力机制模块，提出了新的 FAeti-naNet(esNetFPN*AttentionetinaNet)模型用于交通目标检测，可以有效的检测出图像中的小目标。本文模型总体网络结构如图 3 所示，架构细节如图 4 所示。图 3FAetinaNet 模型总体网络结构图 4FAetinaNet 模型架构细节3813.2数据预处理在网络的特征提取阶段，采用 esnet50 网络。然而，在本文收集的交通数据集中摩托车的尺寸极小(图像尺寸的0.02%0.07%)，通过利用整张图像去获得良好的辨别特征非常困难。标准的 esnet50 网络输入图像大小固定(473473)。因此，将图像从高分辨率图像调整到低分辨率图像(10801920 到 473473)，会进一步的将小目标的空间分辨率压缩。随着网络的加深，提取到的特征图中失去小目标的特征信息，导致小目标的漏检。为了解决这个问题，本文创新地采用了两种预处理方法:1)对小目标使用随机粘贴方式进行数据增广;2)为了避免调整图像大小，将每张图像分成四个相互重叠的区域。图 5随机粘贴数据增广图 6将一张图像分割成四张相互重叠图像3.