基于改进单步多框目标检测的道路小目标检测算法_吴晨曦.pdf

投稿网址:www stae com cn2023 年 第23 卷 第5 期2023，23(5):02051-08科学技术与工程Science Technology and EngineeringISSN 16711815CN 114688/T收稿日期:2022-05-26;修订日期:2022-11-14基金项目:湖北省重点研发计划(2021BAA180)第一作者:吴晨曦(1997)，男，汉族，湖北武汉人，硕士研究生。研究方向:图像处理。E-mail:wuchenxi wust edu cn。*通信作者:许小伟(1983)，男，汉族，湖北武汉人，博士，副教授。研究方向:智能网联汽车技术。E-mail:xuxiaowei wust edu cn。引用格式:吴晨曦，应保胜，许小伟，等 基于改进单步多框目标检测的道路小目标检测算法J 科学技术与工程，2023，23(5):2051-2058Wu Chenxi，Ying Baosheng，Xu Xiaowei，et al oad small target detection algorithm based on improved single shot multibox detectorJ Science Technology and Engineering，2023，23(5):2051-2058基于改进单步多框目标检测的道路小目标检测算法吴晨曦1，应保胜1，许小伟1*，刘光华2，程书瑾1(1 武汉科技大学汽车与交通工程学院，武汉 430065;2 智新科技股份有限公司，武汉 430058)摘要针对单步多框目标检测(single shot multibox detector，SSD)算法运用于自动驾驶领域时，在检测道路上小目标容易发生漏检错检的情况，提出一种改进的 SSD 目标检测算法。该算法首先在 SSD 模型的主干网络中嵌入感受野增强模块，扩大特征层的感受野，以获取更多小目标的特征信息;其次，在主干网络后加入4 次 U 形特征提取结构，构建4 个不同层级的特征金字塔;最后，合并成一个多层级特征金字塔用于检测。结果表明，该改进 SSD 模型在 KITTI 数据集上的检测精度较原始 SSD 模型提升了6%，检测速度达到27.9 帧/s。在兼顾检测效率的同时，有效提高了对道路上小目标的检测精度，更适用于自动驾驶领域。关键词感受野;目标检测;多层级特征融合;SSD中图法分类号TP391.4;文献标志码Aoad Small Target Detection Algorithm Based on ImprovedSingle Shot Multibox DetectorWU Chen-xi1，YING Bao-sheng1，XU Xiao-wei1*，LIU Guang-hua2，CHENG Shu-jin1(1 College of Automobile and Traffic Engineering，Wuhan University of Science and Technology，Wuhan 430065，China;2 Intelligent Power System Co，Ltd，Wuhan 430058，China)Abstract Aiming at the situation that the single shot multibox detector(SSD)target detection algorithm is prone to miss detection andwrong detection when detecting small targets on the road when applied to the field of autonomous driving，an improved SSD target detectionalgorithm was proposed Firstly，the receptive field enhancement module was embedded in the backbone network of the SSD model to expandthe receptive field of the feature layer to obtain more feature information of small targets Secondly，four U-shaped feature extraction struc-tures were added after the backbone network to construct four feature pyramids of different levels Finally，a multi-level feature pyramid wasmerged for detection The results show that the improved SSD model improves the detection accuracy by 6%on the KITTI dataset comparedwith the original SSD model，and the detection speed reaches 27.9 frame/s While taking into account the detection efficiency，it effectivelyimproves the detection accuracy of small targets on the road and is more applicable to the field of autonomous driving Keywords receptive field;target detection;multi-level feature fusion;SSD基于深度学习的目标检测算法现已广泛应用于自动驾驶领域。其中，汽车在行驶过程中车速快，为了预留充足的反应时间和制动距离，要求使用的目标检测算法对于远处的小目标也有良好的检测效果，同时具有较快的检测速度。但如果行人、骑行者以及远处的汽车这类小目标的尺度小，在图像上占据的像素很小，所对应的区域所包含的信息较少，在检测过程中易出现误检漏检，因此对于道路上小目标的检测成为自动驾驶领域中的难点。目前对于小目标的界定方式主要有两种1。第一种为绝对尺度，即所占像素小于 32 32 的目标可视作小目标;第二种为相对尺度，即目标的长宽为原始图像的 1/10，可视作小目标。考虑到汽车在行驶过程中遇到的障碍物种类多，且障碍物大小跨度大，因此现综合两种方式界定小目标。基于深度学习的目标检测算法可分为双阶段(two-stage)和单阶段(one-stage)。区域卷积神经网络(region convolutional neural networks，-CNN)2、快速区域卷积神经网络(faster region convolutionalneural networks，Faster-CNN)3、Mask-CNN 4 等均属于双阶段检测模型。双阶段检测模型耗时多，检测速度慢。YOLO 5-8 系列和单步多框目标检测(sin-gle shot multibox detector，SSD)9 均属于单阶段检测投稿网址:www stae com cn模型，在检测速度上优于双阶段检测模型。YOLO 系列从 YOLOv3 开始加入了特征金字塔结构，增强了对小目标的检测效果。但是 SSD 目标检测模型中特征层尺度较小，且各特征层之间没有联系，对于小目标检测效果较差。为了提升 SSD 模型在小目标上的检测效果，学者们进行了大量研究。Fu 等 10 在 SSD 模型的特征提取网络后添加反卷积模块，增加特征层的感受野，再将相同尺度的卷积层融合，提高了小目标检测效果，但是由于特征提取网络过深，导致检测速度过慢，难以应用到车辆上;Zhang 等 11 提出的DDSSD 模型，在 SSD 模型的特征提取网络中添加反卷积模块和空洞卷积，增加特征层的感受野，再将相同尺度的卷积层融合，提高了小目标检测效果，但是由于沿用SSD 模型的特征融合方式，对于小目标的检测效果并不好;Li 等 12 提出 FSSD 模型，将 SSD 模型中的 FC7、Conv7_2 两个特征层进行双线性插值，使其与 Conv4_3 尺度相同，再将这个三特征层合并，使用得到的新特征层构造特征融合金字塔，实验结果表明FSSD 模型的小目标检测效果优于 SSD 模型，但是FSSD 的特征融合金字塔中各特征层独立，相互没有联系，融合并不彻底;Wang 等 13 提出的 MFSSD 模型在FSDD 模型的基础上将Conv7_2 替换为Conv5_3 进行特征融合，同时使用剪枝压缩模型，但仍然具有FSSD 的问题;Jeong 等 14 针对 SSD 模型各特征层相互独立、易出现同一个物体在不同大小的先验框检测出和小目标检测效果差两个问题，提出了一种新特征融合结构，具体操作是同时采用池化和反卷积两种融合方式进行特征融合，充分利用不同尺度特征层的信息，提高了小目标检测效果;Zhang 等 15 提出 efine-Det 模型，该模型结合双阶段和单阶段模型，一方面引入类似双阶段模型中的区域候选网络(region proposalnetwork，PN)用来生成先验框和除去负样本，另一方面在 SSD 模型上添加特征金字塔加强对小目标的检测效果;Pourya 等 16 将图像金字塔与 SSD 模型的特征层进行融合，获取更强的语义特征，但产生不同大小的图像会大幅增加计算量，对训练和运行的设备性能要求较高。结合上面的分析，SSD 模型在小目标检测上的优化主要集中在特征融合方式的改进。以上的改进方法均采用特征融合的方式来提高小目标的检测效果，在一定程度上弥补了 SSD 模型在小目标检测上的不足。但是以上的特征融合方式都将重点放在了不同尺度的特征层之间的融合上。然而由于不同物体的外观复杂程度不同，相同尺度的物体需要的语义信息不一定相同，深层的特征适合表征外观复杂的物体，浅层的特征适合表征外观简单的物体。因此合适的特征融合方式需要兼顾尺度与层级两个方面。在 SSD 模型基础上，现提出一种感受野增强和特征融合的小目标检测模型。在主干网络中添加使用膨胀卷积的感受野增强模块，增大卷积层的感受野，以获得更多小尺度目标的信息。同时引入多层级特征融合结构金字塔替换 SSD 模型的特征融合结构，将不同尺度、不同层级的特征层进行特征融合，形成新的特征金字塔用于预测，从而有效提高小目标的检测效果。最后通过消融实验和性能对比实验，在保证检测速度的情况下，验证改进的目标检测模型降低对道路上小目标的漏检率。1感受野增强和特征融合的目标检测模型1.1感受野增强与特征融合模型总体结构概述所提出的感受野增强与特征融合模型的结构如图 1 所示。其中，感受野增强型的 SSD 模型指在SSD 的主干网络中嵌入感受野增强模块(FB_s)，得到的新主干网络模型，目的是获取更多的小目标信息。而后将主干网络输出的特征层送入多层级特征金字塔(图中蓝色虚线框部分)进行多次特征融合，绿色虚线框内是 4 次 U 形特征提取，目的是提取出不同层级的语义信息，橙色虚线框内是 4 个不同层级的特征金字塔，最后将 4 个特征金字塔合并为一个具有 6 个尺度的多层级特征金字塔，每个尺度包含 4 个层级的语义信息，这样可以充分结合不同尺度，不同层级的特征层，提高小目标的检测效果。由于在 SSD 模型上添加了多层级特征融合结构和感受野增强模块，网络深度有所增加，时间复杂度会增大;同时 4 个不同层级的特征金字塔会输出 24 个不同尺度的特征层，空间复杂度会增加。1.2感受野增强的 SSD 模型传统 SSD 网络结构如图 2 所示，有 6 个用于预测的有效特征层，分别为 Conv6、Conv