改进YOLOv7与DeepSORT的佩戴口罩行人跟踪_赵元龙.pdf

2023，59（6）改进YOLOv7与DeepSORT的佩戴口罩行人跟踪赵元龙1，单玉刚2，袁杰11.新疆大学 电气工程学院，乌鲁木齐 8300172.湖北文理学院 教育学院，湖北 襄阳 441053摘要：针对视频序列中因脸部遮挡、漏检而造成的无法正确判断行人是否佩戴口罩的问题，提出一种基于改进YOLOv7与DeepSORT的佩戴口罩行人跟踪算法。该算法将口罩检测、行人检测与跟踪相结合，通过在YOLOv7的主干网络中添加注意力机制，增加浅层特征图，加强网络对小目标的感知能力，提高口罩检测与行人检测精度；帧内关系模块利用匈牙利算法进行帧内目标关联，对行人进行口罩佩戴标记；将方向差因素加入到DeepSORT算法的关联代价中，消除跟踪轨迹的历史预测方向和新检测速度方向不一致问题；使用改进的DeepSORT算法对行人进行跟踪，并对每条轨迹进行口罩佩戴标记更新，实现对佩戴口罩与未佩戴口罩行人的跟踪。实验结果表明，改进的YOLOv7网络平均检测精度mAP50相比原始算法提升了3.83个百分点；在MOT16数据集上，该算法的跟踪准确性MOTA相较DeepSORT算法提高了17.1个百分点，跟踪精度MOTP提高了2.6个百分点。与检测算法相比，提出的算法能够跟踪到更多的行人是否佩戴了口罩，具有更好的效果。关键词：行人跟踪；口罩检测；注意力机制文献标志码：A中图分类号：TP391.4doi：10.3778/j.issn.1002-8331.2210-0479Wearing Mask Pedestrian Tracking Based on Improved YOLOv7 and DeepSORTZHAO Yuanlong1,SHAN Yugang2,YUAN Jie11.School of Electrical Engineering,Xinjiang University,Urumqi 830017,China2.School of Education,Hubei University of Arts and Science,Xiangyang,Hubei 441053,ChinaAbstract：A pedestrian tracking algorithm based on improved YOLOv7 and DeepSORT is proposed to solve the problemthat whether pedestrians wear masks cannot be correctly judged due to face occlusion and missed detection in videosequences.The algorithm combines mask detection,pedestrian detection and tracking.Firstly,by adding attention mecha-nism to the backbone network of YOLOv7,shallow feature maps are added to enhance the network s ability to perceivesmall targets and improve the accuracy of mask detection and pedestrian detection.Secondly,the intra-frame relationshipmodule uses the Hungarian algorithm to correlate the intra-frame targets and mark the mask wearing of pedestrians.Then,the direction difference factor is added to the association cost of the DeepSORT algorithm to eliminate the inconsistencybetween the historical detection direction and the new detection speed direction of the tracking trajectory.Finally,theimproved DeepSORT algorithm is used to track pedestrians and update the mask wearing mark for each track,achievetracking of pedestrians wearing masks and those not wearing masks.The experimental results show that the average detec-tion accuracy mAP50 of the improved YOLOv7 network is 3.83 percentage points higher than that of the original algo-rithm.On the MOT16 dataset,the tracking accuracy MOTA of this algorithm is 17.1 percentage points higher than that ofDeepSORT algorithm,and the tracking precision MOTP is increased by 2.6%percentage points.Compared with the detec-tion algorithm,this algorithm can track more pedestrians whether wearing masks,and has better results.Key words：pedestrians tracking;mask detection;attention mechanism基金项目：国家自然科学基金（61863033，62263031）；新疆维吾尔自治区自然科学基金（2022D01C53）；教育部产学合作协同育人项目（202102602033）；湖北省教育科学规划重点课题（2021GA048）；襄阳市重点研发项目（高新领域）（2020ABH001799）；湖北文理学院2022科研能力培育基金项目（2022KPGPZK09）。作者简介：赵元龙（1994），男，硕士研究生，研究方向为计算机视觉；单玉刚（1971），通信作者，男，博士，副教授，硕士生导师，研究方向为模式识别，E-mail：；袁杰（1975），男，博士，教授，博士生导师，研究方向为机器人控制。收稿日期：2022-10-31修回日期：2022-12-21文章编号：1002-8331（2023）06-0221-10Computer Engineering and Applications计算机工程与应用221Computer Engineering and Applications计算机工程与应用2023，59（6）世界卫生组织（world health organization，WHO）研究发现，新型冠状病毒感染是一种通过空气传播的疾病，可通过人们交谈或呼吸后悬浮在空气中的微小颗粒传播，特别是在拥挤、封闭或通风不良的环境中1-2。佩戴口罩可以防止患者喷射飞沫，降低喷射速度，减少飞沫量，也能够阻挡携带病毒的飞沫核被佩戴者吸入体内，因此在特定区域对佩戴口罩与未佩戴口罩的行人进行跟踪对疫情防控具有重要的实际意义。基于深度学习的目标检测算法从流程上可以分为单阶段（one stage）算法和两阶段（two stage）算法两大类。单阶段算法将目标检测问题视为回归分析问题，通过一个神经网络直接输出目标的位置和类别信息，代表算法有YOLO系列3-4、SDD5等。两阶段算法首先通过神经网络产生候选区域，再对候选区域的目标进行分类，代表算法有Fast R-CNN6、Faster R-CNN7等。在多目标跟踪领域，可分为two-step算法和one-shot算法。two-step多目标跟踪算法，首先通过目标检测算法得到检测集，然后经过Re-ID模型进行匹配并根据特征上定义的特定度量将其链接到现有的跟踪集，代表算法有RAN8、DeepSORT9等。one-shot多目标跟踪算法，检测模型和Re-ID重识别模型同时进行，代表算法有FairMOT10等。在使用目标检测算法处理对活动人员的口罩佩戴检测任务中，张修宝等11在卷积神经网络中融入特征金字塔和注意力机制，先进行人脸检测，再对检测结果佩戴口罩与否进行分类，实现了人脸口罩佩戴检测。牛作东等12在RetinaFace人脸识别的基础上添加人脸口罩配戴检测任务，并引入自注意力机制，优化损失函数，在自然场景下取得了较好的检测精度。陈昭俊等13通过改进 YOLOv4 模型中 Mosaic 数据增强算法进行数据扩充，并利用动态加权平衡损失改善类别的不平衡，提高了检测精度。毛晓波等14将SSD的骨干网络轻量化，并通过深度可分离卷积和注意力机制等优化策略提高检测精度。在视频序列上，对佩戴口罩与未佩戴口罩的行人进行跟踪的研究还不多，且目前的口罩检测算法都是对单帧图片进行检测，不能做到上下帧之间检测信息共享。在口罩检测中，脸部被遮挡、漏检将无法正确判断行人是否佩戴口罩，为实现对佩戴口罩与未佩戴口罩行人的持续跟踪，本文提出一种基于改进 YOLOv7与DeepSORT的佩戴口罩行人跟踪算法。该算法将每一帧的口罩检测信息与行人相匹配，进而将口罩佩戴信息关联到行人轨迹中。对于同一轨迹，某一帧检测出该行人佩戴了口罩，后续帧中，无论该行人脸部被遮挡还是脸部口罩发生漏检，均能确认该行人佩戴了口罩。该算法的检测部分通过在YOLOv7主干网络中添加改进的注意力机制CSAM提升对小目标的检测能力，跟踪部分通过将方向差因素加入到DeepSORT的关联代价中提升跟踪性能，在检测与跟踪之间嵌入帧内关系模块，以便口罩检测信息传递到跟踪轨迹中，实现上下帧之间行人口罩佩戴信息共享。1相关原理1.1YOLOv7算法概述YOLOv7网络由输入（Input）、主干网络（Backbone）、头部网络（Head）三个模块构成。输入模块的作用是将输入图像缩放至固定的尺寸，以便满足Backbone的输入尺寸要求。主干网络由CBS卷积层、E-ELAN卷积层和MPConv卷积层构成。E-ELAN为高效层聚合网络，能在不破坏原始梯度路径的情况下，提升网络的学习能力，还能通过引导不同特征组的计算块学习更多样化的特征。MPConv卷积层在CBS层的基础上增加了Maxpool层，构成上下两个分支，最后使用Concat操作对上下分支提取到的特征进行融合，提高了网络的特征提取能力。头部网络首先使用SPP金字塔结构，使得头部网络适用于多尺寸输入；然后采用聚合特征金字塔网络结构，将底层信息沿着自底向上的路径传递到高层，实现不同层次特征的融合；最后通过REPcon结构对不同尺度的特征进行通道数调整。YOLOv7的损失函数分为定位损失、置信度损失和分类损失三部分。其中置信度损失和分类损失采用BCELoss二值交叉熵损失，定位损失采用CIoU损失。1.2DeepSORT算法概述SORT15算法使用卡尔曼滤波器（Kalman filetr）来预测目标的运动状态，然后将预测的目标边界框与检测网络输出的目标边界框的IOU值作为关联代价，借助匈牙利算法完成数据关联（IOU Match），实现目标跟踪。DeepSORT算法在SORT算法的基础上加以改进，依然是基于检测的跟踪。该算法引入深度学习网络提取目标特征信息作为匹配标准，并使用级联匹配（matchingcascade）解决目标之间发生重叠或遮挡时 ID 切换问题。使用预测框与检测框之间的马氏