基于特征增强模块的小尺度行人检测_陈勇.pdf

基于特征增强模块的小尺度行人检测陈 勇*金曼莉 刘焕淋 汪 波 黄美永(重庆邮电大学工业物联网与网络化控制教育部重点实验室 重庆 400065)(重庆邮电大学通信与信息工程学院 重庆 400065)摘 要：行人检测中，小尺度行人时常被漏检、误检。为了提升小尺度行人的检测准确率并且降低其漏检率，该文提出一个特征增强模块。首先，考虑到小尺度行人随着网络加深特征逐渐减少的问题，特征融合策略突破特征金字塔层级结构的约束，融合深层、浅层特征图，保留了大量小尺度行人特征。然后，考虑到小尺度行人特征容易与背景信息发生混淆的问题，通过自注意力模块联合通道注意力模块建模特征图空间、通道关联性，利用小尺度行人上下文信息和通道信息，增强了小尺度行人特征并且抑制了背景信息。最后，基于特征增强模块构建了一个小尺度行人检测器。所提方法在CrowdHuman数据集中小尺度行人的检测准确率为19.8%，检测速度为22帧/s，在CityPersons数据集中小尺度行人的误检率为13.1%。结果表明该方法对于小尺度行人的检测效果优于其他对比算法且实现了较快的检测速度。关键词：行人检测；小尺度行人；特征增强模块中图分类号：TN911.73;TP391.41文献标识码：A文章编号：1009-5896(2023)04-1445-09DOI:10.11999/JEIT220122Small-scale Pedestrian Detection Based on FeatureEnhancement StrategyCHEN Yong JIN Manli LIU Huanlin WANG Bo HUANG Meiyong(Key Laboratory of Industrial Internet of Things&Network Control,Ministry of Education,Chongqing University of Posts and Telecommunications,Chongqing 400065,China)(School of Communication and Information Engineering,Chongqing University of Postsand Telecommunications,Chongqing 400065,China)Abstract:In pedestrian detection,small-scale pedestrians are often missed and mistakenly detected.In order toimprove detection precision and reduce miss detection rate of small-scale pedestrians,a feature enhancementmodule is proposed.First,considering the problem that small-scale pedestrians feature gradually decreases asnetwork goes deeper,feature fusion strategy breaks through the constraints of feature pyramid structure andfuses deep and shallow feature maps to retain lots of small-scale pedestrian features.Then,considering theproblem that small-scale pedestrian features are easily confused with background information,self-attentionmodule combined with channel attention module models the spatial and channel correlation of feature maps,using small-scale pedestrian contextual information and channel information to enhance small-scale pedestrianfeatures and suppress background information.Finally,a small-scale pedestrian detector is constructed based onthe feature enhancement module.For small-scale pedestrians,the proposed algorithm has 19.8%detectionaccuracy,22 frames per second speed on CrowdHuman dataset and 13.1%miss rate on CityPersons dataset.The results show that the proposed algorithm performs better than other compared algorithms for small-scalepedestrian detection and achieves faster detection speed.Key words:Pedestrian detection;Small-scale pedestrian;Feature enhancement module 收稿日期：2022-04-29；改回日期：2022-05-28；网络出版：2022-06-22*通信作者：陈勇基金项目：国家自然科学基金(51977021)，重庆市技术创新与应用发展专项(cstc2019jscx-mbdX0004)，重庆市教委科学技术研究项目(KJQN201900614)Foundation Items:The National Natural Science Foundation of China(51977021),Chongqing Key Technology Innovation Project(cstc2019jscx-mbdX0004),The Science and Technology Research Program of Chongqing Municipal Education Commission(KJQN201900614)第45卷第4期电 子 与 信 息 学 报Vol.45No.42023年4月Journal of Electronics&Information TechnologyApr.2023 1 引言近年来，随着计算机硬件性能的急速提升，计算机视觉受到研究人员的关注。行人检测中作为计算机视觉一个热点方向，被研究人员广泛应用于各种现实场景，比如：车辆驾驶辅助系统1、智能监控2等。然而，现实场景中背景环境复杂，小尺度行人包含像素少，容易被背景噪声干扰，导致检测中时常出现漏检、误检的情况。针对小尺度行人的检测问题，目前的研究主要分为图像金字塔方法、特征金字塔方法和其他方法。首先，图像金字塔方法最常见的有两种分别是高斯金字塔和拉普拉斯金字塔。其次，特征金字塔方法利用多层卷积层产生的不同分辨率特征图用于检测。Liu等人3提出单发多框检测器(Single Shotmultibox Detector,SSD)，利用浅层高分辨率特征图检测小物体，深层低分辨率特征图检测大物体。Lin等人4提出特征金字塔网络(Feature PyramidNetworks,FPN)，对每一层的特征图采用自上向下的方法将深层特征图上采样后与下一个特征图融合，保证了每一层都有合适的分辨率以及语义信息。最后，除了图像和特征金字塔方法，研究人员还提出了一些新检测的解决思路5,6。Li等人7提出了一种新的感知生成对抗网络，该模型通过缩小小目标和大目标之间的表示差距，实现了小目标的特性更接近大目标特性，最终使得小目标的检测更具有识别性。Cai等人8提出了多阶段的结构，可不断提高交并比(Intersection over Union,IoU)的阈值，使得在保证样本数量的同时也能使得样本的质量不下降，最后训练出高质量的检测器。Hu等人9通过设计的注意力机制权重，利用图像中目标之间的相互关系，使小物体有更多的周边信息来帮助识别，从而提高检测准确率。Krishna等人10将模糊的小目标通过超分辨率清晰化后再进行分类和回归，提升小目标的特征质量，这样更有利于小目标的检测。针对小尺度行人的检测问题，本文认为应该关注小尺度行人在卷积神经网络中的特点，增强小尺度行人的特征。对此，通过自注意力模块联合通道注意力模块建模特征图空间、通道关联性，利用小尺度行人上下文信息和通道信息，增强了小尺度行人特征并且抑制了背景信息，基于特征增强模块构建了一个小尺度行人检测器。2 算法原理设计图1为本文所提模型。该模型由4个关键部分组成，对于输入图像，特征提取模块首先提取行人特征，获得由浅至深不同分辨率的多层特征图；其次采用特征金字塔对浅层、深层特征图进行融合，实现高层和浅层特征信息的流动；然后，特征增强模块增强小尺度行人特征，引导网络关注小尺度行人；最后，检测模块完成对特征点的分类、回归、位置信息的预测，得到预测边界框。2.1 特征提取模块本文将CSPDarknet网络11作为主干网络对输入图像特征进行提取。首先，Focus模块对输入图片进行切片和卷积操作，得到没有信息丢失情况下的2倍下采样特征图。其次，Dark2,Dark3,Dark4模块对特征图依次卷积，其中Dark3,Dark4模块的输出C2,C3作为下一模块特征金字塔的输入。图 1 模型总体结构1446电 子 与 信 息 学 报第 45 卷1 13个Dark模块结构相似，主要由CSPResNet构建，其模块结构如图2(b)所示。该模块中主干部分进行残差模块的堆叠，残差部分则经过卷积后，直接与主干部分连接并且再次卷积。最后，从Dark4模块出来的特征图，进入Dark5模块输出C4作为特征金字塔的输入。与前3个Dark模块不一样的地方在于，Dark5模块加入了空间金字塔池化(Spa-tial Pyramid Pooling，SPP)12，如图2(c)所示。因为随着网络的深入，特征图分辨率逐步下降，深层特征图容易丢失特征信息。SPP结构通过并联3个膨胀率分别为5,9,13的最大池化，扩大了网络的感受野。2.2 特征金字塔模块本文使用双向特征金字塔实现C2,C3,C4特征图的信息流动。其中，浅层特征图C2的分辨率大能够提供较准确的位置信息以及边缘形状等特征，而深层特征图C4的分辨率较小却拥有更强的语义信息。双向特征金字塔将深层特征上采样增大分辨率与浅层特征图进行融合后，再将浅层特征图下采样减小分辨率与深层特征图进行融合。这样的特征金字塔有效地保留了浅层特征图的行人信息，并且弥补了自上而下特征融合过程中信息流单向传递的缺陷，为下一步的小尺度行人特征增强奠定了良好的基础。2.3 特征增强模块基于卷积神经网络的小尺度行人特征有两个特点。第一，特征少并且多数聚集在浅层特征图。通过特征提取网络得到的C2,C3,C4特征图中，只有C2,C3包含部分小尺度行人特征。虽然双向特征金字塔通过自顶向下、自底向上的方式促进了深层与浅层特征图的信息流动，但是金字塔结构的层级结构对于小尺度行人特征仍有着极大的抑制。第二，特征不明显容易被淹没在背景噪声信息中。C2,C3特征图中虽然包含小尺度行人信息，但不可避免的是很多背景环境信息也被包含其中。如何使检测网络更加关注小尺度行人信息，并且抑制背景噪声，对小尺度行人检测也至关重要。为了提升检测器对小尺度行人的检测能力，本文设计了一个特征增强模块嵌入到特征