摩托车驾驶员和行人检测算法综述_陈俊豪.pdf

2023年 第2期陈俊豪苏山杰（重庆交通大学机电与车辆工程学院，重庆 400074）【摘要】行人与摩托车驾驶员的违规操作是造成事故发生的重要原因，加大摩托车驾驶员头盔佩戴与行人违规的监督力度对摩托车驾驶安全至关重要。论述了驾驶员头盔与行人检测的主要任务与特点，梳理了当前基于深度学习的检测算法优点、缺点，对近年来安全头盔与行人检测研究进展进行总结，结合检测难点对该领域进行分析与展望。主题词：深度学习目标检测行人检测头盔检测摩托车检测中图分类号：TP183文献标识码：ADOI:10.19822/ki.1671-6329.20220096A Review on Detection Algorithms for Motorcycle Driver and PedestrianChen Junhao,Su Shanjie（School of Mechatronics and Vehicle Engineering,Chongqing Jiaotong University,Chongqing 400074）【Abstract】Illegal operations by pedestrians and motorcycle drivers are the primary cause of accidents.Increasingsupervision of helmet wear and pedestrian violations by motorcycle drivers is critical to motorcycle driving safety.Thispaper discusses the main tasks and characteristics of driver helmet and pedestrian detection,introduces the principle andadvantages and disadvantages of the current deep learning-based detection algorithms,summarizes the research status ofsafety helmets and pedestrians in recent years,and analyzes and prospects in this field in combination with detectiondifficulties.Key words:Deep learning,Target detection,Pedestrian detection,Helmet detection detection,Motorcycle detection摩托车驾驶员和行人检测算法综述【欢迎引用】陈俊豪,苏山杰.摩托车驾驶员和行人检测算法综述J.汽车文摘,2023(2):34-43.【Cite this paper】CHEN J H,SU S J.A Review on Detection Algorithms for Motorcycle Driver and Pedestrian J.Automotive Digest(Chinese),2023(2):34-43.缩略语SIFTScale-Invariant Feature TransformHOGHistogram of oriented gradientNMSNon-Maximum SuppressionFPNFeature Pyramid NetworkYOLOYou Only Look OnceIOUIntersection Over UnionGIOUGeneralized Intersection Over UnionCIOUComplete Intersection Over UnionSSDSingle Shot Multibox DetectorROIRegion Of InterestCACoordinate AttentionmAPmean Average PrecisionSESqueeze-and-ExcitationSKSelective KernelSSSelective SearchCBAMConvolutional Block Attention ModuleMLPMultilayer PerceptronSVMSupport Vector MachineRCNNRegion-CNNRPNRegion Proposal NetworkCNNConvolutional Neural NetworkNLPNatural Language ProcessingFCFully ConnectedCVComputer VisionQKVQuery-Key-ValueTPUTensor Processing UnitLBPLocal Binary PatternsDIOUDistance Intersection Over UnionFPGAField Programmable Gate ArrayHLSHTTP Live Streaming汽车文摘34汽 车 文 摘R-CNN10候选框特征提取SVM分类Crop/WarpBBox回归Fast R-CNN11候选框特征提取ROI池化Softmax+边框回归Faster R-CNN12特征提取ROI池化Softmax+边框回归表1R-CNN、Fast R-CNN、Faster R-CNN网络组成RGBRed-Green-BlueBCNNBinary Complex Neural NetworkFLOPsFloating Point Operations Per secondAPAverage PrecisionKLKullback-Leibler DivergenceLBPLocal Binary Pattern1引言2018年，世界卫生组织发布了 2018年全球道路安全状况 报告1，报告显示每年全球约有135万人死于道路交通事故，其中28%的交通事故由摩托车引发。特别是在一些不发达地区，由于城市基础设施结构和经济条件的限制，摩托车已经成为主要的交通工具，这些地区的道路交通死亡率大约是发达地区的3倍。比如印度、越南、印度尼西亚等国家，摩托车交通事故死亡人数分别占所有交通事故死亡人数的43%和36%。世界卫生组织指出，事故发生的主要原因是驾驶员以及行人违反交通规则。摩托车手的头部受伤是死亡的主要原因2，行人闯红灯也会增加事故发生率。因此，非常有必要对驾驶员及行人的违规行为进行管控，但要人为督促驾驶员与行人遵守交规，需要投入极大的警力和财力。通过监控抓拍违规车辆与行人，可以对事故多发地段进行精准管控，从而有效地降低成本和风险。行人与摩托车是重要的交通参与者，国内外少有文献对摩托车、行人检测进行概述。本文通过综述国内外文献，总结常用的摩托车、行人检测方法与难点，前沿的改进措施，以及可行的改进方向。2检测特点与难点由于摩托车头盔与行人检测不同于交通路况中的车辆检测，需要从摩托车头盔与行人的检测特点与任务出发才能更好的应对复杂环境。2.1检测特点监控视频中的头盔类目标与行人目标尺度变化大，容易出现小目标。在小目标检测过程中，随着检测网络层数的增加与图片进行池化操作容易造成信息丢失。摩托车头盔与行人这类目标容易发生聚集现象，导致目标之间互相遮蔽，增大检测难度。复杂的背景，如光线、天气、噪音等不确定因素，可能将自行车、电瓶车检测为摩托车，从而出现误检。驾驶员头盔的颜色与行人的姿态多种多样，使得检测样本不均衡。2.2检测任务精准捕捉到监控视频或图片信息中的驾驶员与行人的信息，并判断驾驶员和乘员是否佩戴头盔，检测任务主要分目标定位与分类：（1）目标定位：边界框（Bounding box）在目标检测中用来找到检测物体并分类。用边界框框选出驾驶员头部与行人范围，并标记其中心位置。（2）目标分类：定位到头部位置与行人后，需要判断出头部是否佩戴头盔，以及行人是否出现违反交通规则的行为。3目标检测算法传统的机器学习算法需要手工提取特征，对操作人员的实际操作经验和理论知识都有较高要求，而且有泛化能力差的劣势。随着近年来软件、硬件和大数据的发展，深度学习算法得到了飞跃发展，深度学习算法精度、速度、泛化能力都明显优于传统的机器学习算法。因此，利用深度学习网络检测成为了目标检测发展新方向3。3.1二阶段算法过去十几年中，目标识别算法主要是以尺度不变特 征 变 换 方 法（Scale-Invariant Feature Transform,SIFT）4和方向梯度直方图方法（Histogram of OrientedGradient,HOG）5为主流的传统机器学习算法。2012年Krizhevsky等提出的AlexNet6在ILSVRC目标识别大赛中获得第1名，Top5错误率达到15%。之后涌现出VGG7、GoogleNet8、ResNet9等网络，随后R-CNN将AlexNet在ImageNet 目标识别的能力泛化到PASCALVOC 目标检 测 上 来。表 1 为 R-CNN10、Fast R-CNN11、Faster R-CNN12的网络组成。3.1.1R-CNN10R-CNN的流程图如图1所示，具体流程如下：（1）图片使用选择性搜索（Selective Search，SS）生成1 0002 000个候选区域；（2）依次将候选区域送入深度网络提取特征；（3）将特征送入支持向量机（Support Vector Machine，SVM）分类器，判断类别；Automotive Digest352023年 第2期（4）使用回归器精修候选区域位置。3.1.2Fast R-CNN11Fast R-CNN 的流程图如图 2 所示，具体流程如下：（1）图片通过SS生成1 0002 000个候选区域；（2）将图片输入深度网络获取相应的特征图，将第一步生成的候选框投影到特征图上获得特征矩阵；（3）将每个特征矩阵通过兴趣池（ROI Pooling）缩放到统一大小的特征图（如77）；（4）展平特征矩阵，通过一系列全连接层得到预测结果。3.1.3Faster R-CNN12Faster R-CNN的流程图如图3所示，具体流程如下：（1）图片通过深度网络生成特征图；（2）特征图使用区域生成网络（Region ProposalNetwork,RPN）生成候选框，再将候选框投影到特征图上获得特征矩阵；（3）特征矩阵通过ROI Pooling缩放到统一大小的特征图（如77）；（4）展平特征图并通过一系列全连接层获得预测结果。R-CNN先将SS网络中生成候选区域依次输入网络中，所以消耗的时间较长。R-CNN虽然将检测率从35.1%提升到53.7%，但训练速度慢。在Fast R-CNN中，图片分别通过RPN网络与特征提取网络，随后将RPN网络生成的候选区域一起映射到特征图中，速度得到了改善，但是候选区域的生成还是依靠SS，所以耗时仍然较长，每张图片耗时3 s。Faster R-CNN将原本的SS算法替代为RPN网络，速度得到了较大的提升，速度达到了10 ms但仍然达不到实时检测的要求。3.2一阶段算法二阶段算法需要先通过CNN网络得到候选框，再进行分类与回归，所以检测速度较慢，Faster RCNN检测速度最快，但只能达到17帧/s，达不到实时检测的要求。一阶段算法直接对物体进行分类与预测，主要是单次多边框检测（Single Shot Multibox Detector，SSD）算法与YOLO系列算法，速度上能够达到实时检测的要求。3.2.1SSD算法13SSD算法与YOLO算法都属于一阶段算法，SSD算法在算法推出时，其速度和精度都优于 YOLO 算法，相对于Faster R-CNN而言，SSD算法不需要先获取候选框再进行分类与回归，这是SSD算法在速度上优于二阶段算法的原因。SSD算法与YOLO算法主要分为3个方面：（