基于YOLOv4与改进De...pSORT算法的车流量检测_王继超.pdf

年月第 卷 第期河北水利电力学院学报 文章编号：（）基于 与改进 算法的车流量检测王继超，张丽娟，张春茜，回振桥，申耀辉（河北水利电力学院 电气自动化系，河北省沧州市黄河西路 号 ；河北省高校水利自动化与信息化应用技术研发中心，河北省沧州市黄河西路 号 ）摘要：为了提高不同时段车流量的检测率，本文在优良的目标检测模型 基础上，将传统的 算法进行改进，将原有的 变为 ，保留追踪信息的同时，提供了更丰富匹配策略，使得目标追踪更加稳定，在一定程度上解决了光线较暗容易丢失目标的问题。最后在车流量检测阶段将本文改进算法与 算法、算法进行对比试验。试验结果表明，在白天情况下，本文算法相较于 算法提高 ，较 算法提高；在夜晚情况下，本文算法相较于 算法提高 ，较 算法提高。本文改进算法在夜晚车流量检测精准，从而为环境昏暗的条件下物体目标检测与追踪提供了理论参考与方法依据。关键词：车流量检测；目标追踪中图分类号：；文献标识码：随着我国经济的快速发展和城市化进程的加快，机动车数量急剧增加，给城市交通带来了巨大的压力。车流量检测技术成为目前重要的研究课题之一。传统车流量检测技术主要采用车辆检测与跟踪或计数相结合的方法，包括利用背景差分法、帧差分法、光流法等传统运动目标检测方法对车辆进行检测，利用虚拟线圈法等方法利用像素差值实现计数。然而，传统的目标检测方法受到天气、光线等外部因素影响较大，车辆目标区域容易粘连导致检测与跟踪误差较大，同时对车流量计数造成影响。为克服传统车辆检测方法的缺陷，目前大多数采用的是基于深度学习的目标检测方法和目标轨迹追踪算法相结合的方法来实现车流量检测。基于深度学习的目标检测算法主要分为两类。第一类为通过分类区域建议来检测目标算法，如区域卷积神经网络、快速区域卷积神经网络、更快速区域卷积神经网络。第二类为基于回归方法的一步式的深度 学 习 目 标 检 测 算 法，比 较 典 型 的 代 表 是 ，其中 对车辆目标检测相较于其他目标检测算法具有显著优势。而在车辆跟踪方面，为目前的主流跟踪算法，其核心思想是用卡尔曼滤波器和匈牙利算法对获得的车辆信息与预测信息相关联从而实现车辆的位置跟踪，但是其在面对车辆遮挡条件下跟踪效果较差。为了解决此类问题 等提出了 跟踪算法。此算法有效解决了多目标有遮挡类的跟踪问题，但在车流量检测和计数中，面对不同场景、不同光线的条件下跟踪效果仍不如人意。针对此问题，文中提出了一种基于 的改进 算法，将 算法中的匈牙利算法中关联跟踪框与检测框环节进行优化改进，将检测框与跟踪框之间的距离大小、区域重叠率、二者尺度以及惩罚项都考虑进去，使得目标框回归变得更加稳定，使算法能够更加准确的追踪目标，解决了其在光线较暗的场景下容易丢失目标的问题。算法 算法是 系列算法的集大成作品，兼顾检测速度和检测准确性，是当下最好的目标检测算法之一。考虑到训练成本的问题，在网络的设计上使用大量适合训练的技巧和增加网络推理速度的方案。算法将目标检测任务分成三部分，分收稿日期：修回日期：基金项目：河北省教育厅科学技术研究项目（）；河北省大学生创新创业训练计划（）；沧州市重点研发计划指导项目（）；沧州市重点研发计划指导项目（）；河北省教育厅科学技术研究项目（）第一作者简介：王继超（），男，河北沧州人，硕士，主要研究方向为深度学习、智能优化。：别是用于提取特征的 部分、用于特征融合的 部分和用于预测的 部分。在 上，将 改进为 ，增强网络提取特征的能力。骨干网络的输出部分使用空间金字塔池化（），用来解决多尺度输入问题。在特征融合部分使用了（）特征融合方法，用来更好的融合图像高层语义信息和底层细粒度信息。部分延续了 三尺度回归方案。算法模型结构 的网络结构如图和图所示：下面将对 检测 ，三部分设计进行详解：图 网络结构 图网络中使用的算法模块 算法的 的 使用 结构，是一种跨阶段局部网络设计，其功能是丰富梯度分流，均衡计算权重。通过整合网络开始阶段和结束阶段的特征图来体现梯度可变性，增强了网络 的学习能力，消除部分计算瓶颈，减少内存成本。在一些大型数据集上，如 ，等，在提高准确性、收敛速度、运算速度和硬件利用率上都有突出表现。的激活函数由 函数替换成 激活函数。在 的输出使用 模块，使得网络可以获得任意维度的输出。如图所示，模块由三路不同尺寸的最大池化和一路恒等映射组成，实现同一图片不同尺寸的输入效果，将路结果进行维度上的拼接可以得到同样长度的池化特征，的结构是独立的，把其放在网络中替代池化层，对网络结构没有负面影响，并且可以实现适应多尺寸的网络结构。这些改变不仅使网络在准确性上得到了提升，还显著减少了网络的推理计算量。算法的 在 的 部分使用 特征融合方法，这种方法启发于 。是将网络的高层语义信息与相对底层的细粒度信息进行信息融合，再将结果与下一层的信息进行融合，最终得到涵盖丰富信息的特征图。而 在 的基础上进行改进，将 提取的信息再次反向进行特征融合，既底层信息与相对较高的信息进行融合，将得到的结果继续向上进行融合，以此提高网络精度。算法的 的 部分首次使用 损失函数，其他部分沿用了 的 部分，利用个 进行目标框的选取和回归，个 的生成使用了 算法聚类生成。改进的 算法 算法是经典目标跟踪算法 的升级和改进，主要加入了目标的外观信息，借用了 领域模型来提取外观特征，减少了目标选择的次数，同时匹配机制也从 成本矩阵的匹配变成了级联匹配加 的匹配，此算法已经成为多目标跟踪最常用的一种算法。但是其对于环境、光线、拍摄跟踪目标的设备要求较高，在昏暗、模糊的场景下容易丢失跟踪目标。文中针对此类问题，受 算法 部分启发，将匹配不成功的轨迹和检测结果进行 关联匹配，代替原有的 。从而避免了 在训练过程中发散而导致丢失目标的问题，改进后的 算法流程如图所示。第期王继超等：基于 与改进 算法的车流量检测图改进的 算法流程图 卡尔曼滤波和匈牙利算法在改进的 算法中包含两部分内容：卡尔曼滤波和匈牙利算法。卡尔曼滤波主要的流程为目标位置的预测和更新。在目标经过移动后，它的定位和路径服从高斯分布，其预测的位置会相对分散，偏差度较大。此时，更新是将其预测的结果进行修正，主要操作为使用预设的目标检测器，进行视频帧 目标检测处理，将其尺度大小、中心坐标、方向角、置信度等信息综合考量后，更新得到更加符合当前系统实际状态的预测值，此阶段会重复进行直至偏差小于设定值。在卡尔曼滤波之后使用匈牙利算法匹配目标检测结果和预测的轨迹，在目标的轨迹跟踪中，视频前后帧的检测框可以看为二分图中的两组数据，前一帧的检测框经过非极大值抑制后，得到的数据通常与后一帧检测框的数据会形成代价矩阵，匈牙利算法就是求解此代价矩阵，从而解决其匹配问题。最后，将级联匹配引入到改进的 当中，因为长时间遮挡中，卡尔曼滤波的预测会发散，不确定性增加，而这样不确定性强的轨迹的马氏距离反而更容易竞争到预测的匹配。所以，需要按照遮挡时间从小到大给轨迹分配匹配的优先级。及其损失函数在级联匹配之后，对于未成功的预测框和检测框使用匈牙利算法，文中算法使用的是 损失函数，将目标与检测框之间的距离、重叠率、尺度以及惩罚项都考虑进去，使得目标框回归变得更加稳定，不会像 和 一样出现训练过程中发散等问题，示意图如图所示。图 示意图 损失函数在 的基础上改善了检测框尺寸损失，增加长和宽的损失，使预测框的尺寸符合真实框。计算公式如式（）。（，）（）其中（，）分别代表了预测框和真实框的中心点的欧式距离，也就是图中的。代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。和的公式如式（）和式（）。（）（）（）由包含和 重叠区域面积的 损失、和 中心点之间归一化后的距离损失、和 的宽高的纵横比损失三部分组成。边界框损失函数通过迭代可以将预测框不断向真实框逼近，保证和 的宽高纵横比更为接近，显著提高预测框的回归收敛速度。对于匹配失败的预测和检测框，文中改进的 算法会再次计算 进行二次匹配，通过二次匹配将计算失误等干扰因素导致的失败匹配重新匹配一次，尽可能的减少遗留的检测和跟踪结果。针对二次匹配失败的检测，则是对其建立一个新的轨迹，并将其标记为不真实轨迹，然后加入到轨迹集合中；如果连续三次可以匹配成功则标记为真实轨迹，并加入到轨迹集合中。对于再次匹配失败的跟踪框，判断其是否为真实轨迹，如果其为不真实则删除其轨迹，如真实则为其设置生存寿命，在生存寿命之内仍匹配失败则永久移除该轨迹。试验结果与分析本研 究 试 验 环 境 如 下：，内 存，版本为 ，版本为 ，版本为 ，版本为河北水利电力学院学报 ，试验操作系统为 ，使用 作为程序设计语言。试验数据集及训练模型文中采用 数据集进行训练。其中包含 张汽车样本图样，本研究将样本图像按比例划分为训练集、验证集和测试集。在训练阶段，设置初始学习率为 ，批量尺寸为，试验中迭代次数为 次。图为数据集部分图像示例。图为数据集的检测效果。图数据集图像示例 图数据集检测效果 由图的部分数据集车辆检测效果可以看出 算法在数据集车辆检测方面表现优秀，在没有遮挡情况下车辆平均检测率达；在有遮挡情况下车辆平均检测率达 。车辆检测车辆检测视频素材取自河北省沧州市运河区黄河西路与御景街路口。截取路口场景第 到 帧的车辆检测效果如图所示。图车辆检测效果 由图可以看出，文中改进的算法能检测出场景中，号行驶的车辆且在镜头前景部分被行人遮挡的情况下仍可以检测远处行驶的车辆。车辆轨迹追踪车辆轨迹追踪视频素材同样取自河北省沧州市运河 区 黄 河 西 路 与 御 景 街 路 口。分 别 将 算法和本文改进算法在白天和夜晚同一场景下进行测试，白天追踪效果对比选取视频中的 ，帧；晚上的追踪效果选取视频中的 ，帧。测试效果如图和图所示。（）改进算法的追踪效果（）（）算法的追踪效果（）图白天追踪效果对比 由图可以看出改进后的算法可以跟踪到标号为，五辆车，而 算法在追踪车辆时发生了目标丢失，丢失了标号为 和 两个车辆。第期王继超等：基于 与改进 算法的车流量检测（）改进算法的追踪效果（）（）算法的追踪效果（）图夜晚追踪效果对比 由图可以看出在夜晚情况下，改进后的算法可以追踪到标号为，两辆车且没有丢失目标；而 算法在追踪车辆时丢失了标号 的车辆。此外，两种算法都没有检测追踪到标号 后面的车辆，分析其原因是车辆灯光和阴暗的环境对算法产生一定的干扰。车流量检测对录制的路口视频流进行车流量人工计数并进行对比实验，三种算法都使用 作为检测器，在视频同一位置设置计数点，分别在同一路口白天和晚上不同时间段统计检测数目，结果如表所示。表车流量检测结果 算法白天夜晚实际数检测数检测率实际数检测数检测率 本文改进算法 由表可以看出，无论在白天还是晚上情况下，算法和本文改进算法相较于 算法都有明显优势。白天的车流量检测率分别达到 和 ，而 算法仅有 。夜晚的车流量检测率三种算法分别 为 算法 ，算 法 ，本 文 改 进 算 法 。由 此 可 以 看 出 本 文 改 进 算 法 与 算法相比，白天情况下差距不大，提升；夜晚情况下车流量检测率有明显提升，有。车流量算法总结与展望文中 提 出 了 一 种 基 于 改 进 算法用于车流量检测。首先将 算法用于车辆的目标检测，取得了不错的效果；其次在车辆追踪阶段，将匹配不成功的轨迹和检测结果进行 关联匹配，代替原有 算法中的 ；最后通过试验验证对比算法的车流量检测性能。总结和展望如下：算法作为 算法的集大成者在目标检测方面效果明显；文中改进算法在目标追踪阶段可以在保留原有信息量的基础上，进一步丰富追踪特征图信息量，降低模型漏检率，同时在昏暗、模糊的场景下更容易追踪目标。由于夜晚车辆大灯影响，使得本研究车流检测率受到一定影响，下一步将结合轮廓检测的方法进行深入研究，同时将本文改进算法部署到嵌入式边缘设备上也是一项重要待研究课题。参考文献储泽楠，韩毅，宋倍倍基于嵌入式 的车流量检测系统河南科技，（）：王继超，张丽娟，尤田，等人脸识别的智能防疫系统设计河北水利电力学院学报，（）：陈佳倩，金晅宏，王文远，等基于 和