基于改进YOLOv4的小目标行人检测算法_王程.pdf

第 49卷 第 2期2023年 2月Computer Engineering 计算机工程基于改进 YOLOv4的小目标行人检测算法王程1，2，刘元盛1，2，刘圣杰1，2（1.北京联合大学 北京市信息服务工程重点实验室，北京 100101；2.北京联合大学 机器人学院，北京 100101）摘要：行人检测在无人驾驶环境感知领域具有重要应用。现有行人检测算法多数只关注普通大小的行人目标，忽略了小目标行人特征信息过少的问题，从而造成检测精度低、应用于嵌入式设备中实时性不高等情况。针对该问题，提出一种小目标行人检测算法 YOLOv4-DBF。引用深度可分离卷积代替 YOLOv4算法中的传统卷积，以降低模型的参数量和计算量，提升检测速度和算法实时性。在 YOLOv4 骨干网络中的特征融合部分引入 scSE 注意力模块，对输入行人特征图的重要通道和空间特征进行增强，促使网络学习更有意义的特征信息。对 YOLOv4颈部中特征金字塔网络的特征融合部分进行改进，在增加少量计算量的情况下增强对图像中行人目标的多尺度特征学习，从而提高检测精度。在 VOC07+12+COCO 数据集上进行训练和验证，结果表明，相比原 YOLOv4 算法，YOLOv4-DBF算法的 AP值提高 4.16个百分点，速度提升 27%，将该算法加速部署在无人车中的 TX2设备上进行实时测试，其检测速度达到 23FPS，能够有效提高小目标行人检测的精度及实时性。关键词：无人驾驶；小目标行人；深度可分离卷积；scSE注意力模块；特征金字塔网络开放科学（资源服务）标志码（OSID）：中文引用格式：王程，刘元盛，刘圣杰.基于改进YOLOv4的小目标行人检测算法 J.计算机工程，2023，49（2）：296-302，313.英文引用格式：WANG C，LIU Y S，LIU S J.Small-target pedestrian-detection algorithm based on omproved YOLOv4 J.Computer Engineering，2023，49（2）：296-302，313.Small-Target Pedestrian-Detection Algorithm Based on Improved YOLOv4WANG Cheng1，2，LIU Yuansheng1，2，LIU Shengjie1，2（1.Beijing Key Laboratory of Information Service Engineering，Beijing Union University，Beijing 100101，China；2.College of Robotics，Beijing Union University，Beijing 100101，China）【Abstract】Pedestrian detection is vital to applications in unmanned environment perception.Most existing pedestrian-detection algorithms focus only on ordinary pedestrian targets and do not consider the low accuracy caused by the insufficient pedestrian feature information of small targets；furthermore，they do not offer favorable real-time performance when applied to embedded devices.Hence，a small-target pedestrian-detection algorithm，YOLOv4-DBF，is proposed herein.The conventional convolution is replaced with deeply separable convolution in the YOLOv4 algorithm，which reduces the number of parameters and the computation time of the model，as well as improves the detection speed and real-time performance of the algorithm.Additionally，the concurrent spatial and channel Squeeze&Excitation（scSE）attention module is introduced into the feature fusion component of the YOLOv4 backbone network to enhance the important channels and spatial features of the input pedestrian feature map as well as to enable the network to learn more meaningful feature information.The feature fusion component of the Feature Pyramid Network（FPN）in the YOLOv4 neck is improved to enhance the multiscale feature learning of the pedestrian target in the image，which improves the detection accuracy but increases the amount of computation.After training and verification based on the VOC07+12+COCO dataset，the results show that compared with the original YOLOv4 algorithm，YOLOv4-DBF increases the Average Precision（AP）by 4.16 percentage points and the speed by 27%.Finally，YOLOv4-DBF is accelerate deployed on the TX2 equipment of an unmanned vehicle for real-time testing，where the maximum speed reaches 23FPS.The algorithm proposed herein can effectively improve the accuracy and real-time performance of small-target pedestrian detection.【Key words】driverless vehicle；small-target pedestrian；deeply separable convolution；scSE attention module；Feature Pyramid Network（FPN）DOI：10.19678/j.issn.1000-3428.0063623基金项目：国家自然科学基金“无人车多视视频信息获取与定位关键技术”（61871038）；国家自然科学基金“基于视觉计算的智能驾驶实时城市道路场景理解”（61871039）；北京联合大学研究生科研创新项目（YZ2020K001）；北京联合大学人才强校优选-拔尖计划“无人驾驶车复杂场景中可靠性定位技术研究”（BPHR2020BZ01）。作者简介：王 程（1999），女，硕士研究生，主研方向为无人驾驶技术、计算机视觉、数字图像处理；刘元盛（通信作者），教授、博士生导师；刘圣杰，硕士研究生。收稿日期：2021-12-27 修回日期：2022-01-28 Email：开发研究与工程应用文章编号：1000-3428（2023）02-0296-07 文献标志码：A 中图分类号：TP391第 49卷 第 2期王程，刘元盛，刘圣杰：基于改进 YOLOv4的小目标行人检测算法0概述 行人检测的目的是确定视频或图像中行人的位置，其对无人驾驶感知具有重要意义1。近年来，行人检测被广泛应用于无人车的行人跟踪、碰撞预防、行人路径规划等任务。由于硬件设备的不断优化以及各种先进算法的涌现，利用深度学习进行行人检测时准确率和速度提升明显，且具有很强的自适应性和鲁棒性2。当前，主要有 Two-stage 行人检测算法3和 One-stage行人检测算法4这两种主流的深度学习行人检测方法，两种算法各有优势，但是仍然面临光照干扰、目标遮挡、小目标行人检测精度低等诸多挑战。Two-stage行人检测算法首先生成一系列行人候选框作为样本，通过卷积网络进行样本分类，其典型代表有 Faster-RCNN5、Mask-RCNN6等算法。2021年，SHAO等7在Faster-RCNN算法的基础上进行改进，采用基于级联的多层特征融合策略，提升网络对语义信息的特征提取能力，从而提高对小目标行人的检测准确率。2021年，LAI等8提出 MSRCR-IF算法，通过调整RPN和删除实例掩码分支提高了弱光下行人的检测精度。2021年，音松等9在 Mask R-CNN算法中增加CFPN模块，融合不同特征层的输入信息生成行人掩膜，其降低了遮挡对于行人检测精度的影响。Two-stage行人检测算法在候选区域的提取过程中计算量大、过程复杂、检测速度慢，虽然拥有较高的准确度，但是无法满足实时性需求。One-stage 行人检测算法主要利用端到端的思想，采用整张图像来回归预测出目标物体的类别和位置，其典型代表有基于回归的 SSD 系列10、YOLO系列11等。2021 年，DONG 等12提出 SSD 算法，该算法采用跨层特征自适应融合的方式，在增加感受野的同时增强重要特征并削弱次要特征，从而优化了小目标行人检测效果。2021年，BOYUAN 等13将SPP网络、K-means聚类算法与YOLOv4模型相结合，在模型颈部采用 Mish激活函数，有效缓解了遮挡对于目标检测的影响。2021年，CAO 等14为降低光照对行人检测的影响，在 YOLOv4算法的基础上，设计一种新的多光谱通道特征融合（MCFF）模块，用于集成不同照明条件下的颜色和热流信息，提高了行人检测精度。2021年，黄凤琪等15 提出dcn-YOLO算法，其使用 k-means+算法重构目标锚框，构建残差可变形模块，提高了小目标行人的检测精度。One-stage行人检测算法对整张图像进行特征提取，具有较高的准确率和检测速度。但是，该类算法应用于无人车在小目标行人检测领域仍然面临挑战。小目标行人是指输入视频或图像数据中占比相对较小的行人，COCO 数据集将小于32 32像素的目标定义为小目标。考虑到行人具有特殊比例，本文将高度小于 32像素的行人目标视为小目标行人。小目标行人具有分辨率低、携带信息少等问题，导致其特征表达能力较差，在特征提取过程中，仅能提取到少量特征，不利于后续检测。基于 YOLOv4 的算法特点，本文主要从通道和空间信息增强、多尺度学习两方面进行改进，提出一种小目标行人检测算法，从而提取更多针对小目标行人的特征信息。此外，无人车普遍采用低计算力的嵌入式设备，给实时检测带来了很大挑战，针对该问题，本文采用深度可分离卷积提高算法实时性。在行人检测过程中，随着行人行走距离变远，行人目标尺度逐渐变小，造成小目 标 行 人 特 征 过 少，检 测 精 度 低，本 文 引 入 scSE（concurre