基于视频图像和深度学习的车辆轨迹检测与跟踪_李志坚.pdf

第 卷 第 期 年 月公 路 交 通 科 技 .收稿日期：基金项目：国家自然科学基金项目（）；河北省交通运输厅科技项目（）作者简介：李志坚（），男，河北唐山人.（.）：.基于视频图像和深度学习的车辆轨迹检测与跟踪李志坚，郭玉彬，赵建东（.中交建冀交高速公路投资发展有限公司，河北 石家庄；.北京交通大学 交通运输学院，北京）摘要：为保障高速公路车辆安全通行，及时有效地获取车辆运行信息，结合高速公路监控视频，利用优化后的 目标检测算法和 多目标追踪算法进行车辆轨迹检测与跟踪，实时监测车辆运行状态，识别异常驾驶行为。首先，基于高速公路监控视频，构建车辆检测数据库，由于自建数据库中各类别车型数量相差较大，影响检测精度，因此在模型的输入段提出 数据增强方法，提高模型对于各种车型的检测能力。其次，针对原始 模型中，网络结构设计冗余的问题，设计一种高效的 瓶颈层结构替换原有的 结构，在不影响精度的情况下，提高网络运行效率。为提高特征提取能力同时具有较高的检测效率，轻量的 （）注意力模块添加到模型中，让模型关注更重要的区域；然后，针对 追踪算法在车辆遮挡情况下精度较差的情况，采用 作为其车辆外观特征提取网络，损失函数替换为三元损失函数，提高追踪算法精度。最后，利用高速公路监控视频对所提出的算法进行评估。经过试验得出：优化后的算法得出的车辆检测精度由.提高到了.，精度提高了.，能够有效缓解类别不均衡给网络训练带来的不利影响，并且检测速度达到 ，达到车辆实时监测的要求，在车辆追踪过程中，能够有效的克服车辆遮挡问题。关键词：智能交通；车辆检测跟踪；图像处理；优化；优化中图分类号：文献标识码：文章编号：（），（.，.，；.，）：，.，.，.，.，公路交通科技第 卷（）.，.，.，.，：；引言对车辆进行实时的异常行为检测，有利于提高道路交通管理的效率和车辆出行安全。利用计算机视觉方法对视频图像进行车辆检测成本低、实施方便，受到了越来越多的关注。通过目标检测算法可以将图片中车辆的位置和类别信息检测出来，高精度的目标检测算法是进行车辆跟踪的重要基础。年，首个单阶段目标检测模型 算法由 提出，该算法直接利用回归方法使用提取后的特征预测分类和边界框，具有快速检测的能力。随后该作者又提出速度更快精度更高的、算法。通过整合图像处理领域的各种提高精度的方法，提出了 算法，相较于前一代精度提高。同年 发布算法，该模型在保持高精度检测的同时，速度更快。针对单阶段目标检测中前景与背景类别不均衡导致识别准确率较低的情况，等人提出 模型和 损失函数，使模型能够对所有类别进行充分的训练。但是当前针对类别不均衡问题并未得到完全的解决，仍然值得近一步研究。在跟踪算法的研究中，等人提出 算法，该算法具有检测精度高，在检测速度方面比其他算法快 倍，但是该算法存在 切换问题。随后提出的 算法，增加了级联匹配机制，并提取车辆外观特征，该算法有效地解决了 切换和遮挡问题。等提出 跟踪算法，与 类算法不同的是，该算法是端到端的模型，以前一帧和后一帧图像以及前一帧图像检测结果渲染的热力图作为输入，直接完成追踪任务。如何解决遮挡问题是跟踪任务中的关键难点，虽然 算法通过提取外观特征找回因遮挡而丢失的目标，但该模型性能较差，仍有改进空间。综上，实时的车辆检测和跟踪算法研究主要存在以下难点：（）如何在保证检测精度的同时，保持较高的检测速度；（）在车辆轨迹追踪过程中如何解决遮挡问题，避免出现轨迹中断和 跳变情况。本研究针对上述难点，建立高速公路车辆检测图像库，利用优化后的 和 算法进行车辆检测跟踪，得到精确的车辆轨迹。道路监控视频图像库的建立车辆检测作为监督学习，需要对每张图片标注车辆类型以及在图像中的位置信息。由于研究场景为高位相机拍摄下的道路监控视频，视频中的车辆难以区分详细的类别信息，因此本研究将高速公路上的车辆分为小型车、公交客运车、货车 类，并用矩形框将车辆的位置标注出来。从道路监控视频中抽取 张图片用于构建数据集，各类型车辆数量如表 所示。在数据集构建的过程中，发现数据集中各类型车辆数量存在严重的不均衡现象，如小型车的数量比公交客运车多 个，另外道路监控视频下的车辆过于模糊，给检测造成一定的困难。在研究中，将数据集按 的比例进行划分。表 数据集中各型车数量.车型小型车货车公交客运车数量 基于 的车辆检测研究.算法（）网络结构 网络结构如图 所示，输入的图片首先 第 期李志坚，等：基于视频图像和深度学习的车辆轨迹检测与跟踪经过 结构进行下采样，接着通过由 结构和 结构组成的主干特征提取网络。结构由卷积层、批归一化层、激活函数构成。经过主干特征网络后，使用空间池化金字塔层，融合不同尺度的特征图信息，提高检测精度。最后，使用 （）结构，针对 个不同尺度的特征图进行预测车辆目标信息。图 网络结构.（）损失函数 中使用的是损失函数如式（）所示：（）（），（）式中，为检测层的个数；中为 层；为边界框损失；为目标物体损失；为分类损失；，分别为上述 种损失对应的权重。损失计算如式（）：（，）|，（）式中，分别为预测框和标签框；，为标签框的宽高；，为预测框的宽高；为两个矩形框中心的距离；为权重系数。和 计算方式如式（）：（）（）（）（）（）|。（）.基准网络训练结果通过对 基准模型试验后发现，不同类别车型的检测精度和车型数量成正比，如数据集中小型车数量最多，模型可以学习到该类车型丰富的特征信息，因此检测精度最高。而数据集中公交客运车数量最少，模型没有得到很多的训练，因此检测精度最低。.算法优化（）网络结构优化在基准 网络中，模块中的公路交通科技第 卷 层作为一种过渡层，不承担主要的特征提取任务，但增加了模型计算量，因此将该层去掉，减少参数；另一方面考虑引入 替换原始的右侧分支中 卷积层，减少参数量。综合上述改进，提出 瓶颈层结构，其结构如图 所示。其次，在 结构中的 层中，引入参数相对较少的轻量注意力机制 （），旨在提高网络模型的性能。图 瓶颈层.（）数据输入端优化在基准网络试验中，发现不均衡的类别差异会给最后的检测结果带来较大的影响，因此从数据输入端进行优化。本研究以 数据增强方法作为基础结合本数据集特点，提出 （）数据增强方法。具体步骤如下：统计数据集中各车型的数量总数，取倒数，作为每一类车型的权重；求每张图片的权重，每类车型的权重乘图片中各车型的数量；将图片依据权重大小进行排序；首先随机抽取第 张图片，第，张图片从前 张图片中选取，按照权重由大到小顺序选择，第 张在剩余的部分中选择；随机将区域分为 部分，将上一步选择的 张图片放入；对于合成后的图片采用常用的数据增强手段。（）网络结构改进试验结果对比为了验证上述改进效果，在相同的试验条件（模型的超参数、训练数据集等）下，进行对比试验，验证集测试结果如表 所示。通过表 可以看出，在基准网络中使用 瓶颈层，检测指标 和 分别提高了.和.。在数据输入端使用 数据增强相较于 方法，样本量较少的公交客运车检测精度 和 分别提升.和.。通过试验结果表明，优化后的 模型可以快速准确地检测车辆目标。表 试验比对结果.模型 公交客运车 基准网络.基于 的多目标车跟踪改进算法.多目标跟踪算法原理如图 所示，本研究使用了 多目标跟踪算法，完成车辆追踪任务，该算法通过提取车辆的外观特征，完成多帧图像车辆的匹配跟踪，使得车辆即使是在被遮挡的情况下仍能被再次匹配找回，增加了跟踪的稳定性。.算法优化（）外观提取特征优化原 网络中，特征提取能力较差，并且高速公路高位相机拍摄的车辆尺度变化较大，同时容易受到环境因素影响，图像质量难以保证，加剧了 的不稳定性。因此，本研究提出将残差网络作为原模型的特征提取网络，在保证检测速度的同时，提取更有分辨性的特征。另外，引入三元组损失，替换原有的损失函数。三元组损失公式化表现如下：（，）（，），（）第 期李志坚，等：基于视频图像和深度学习的车辆轨迹检测与跟踪图 多目标跟踪算法流程图.式中（，）计算公式如式（），表示两个向量之间的余弦距离。（，）。（）使用公开的 车辆重识别数据集进行训练，验证改进效果，结果对比如表 所示。表 重识别模型训练结果对比.模型 .通过表 可以发现原始的网络模型由于特征提取能力较弱，所以表现较差；使用 残差网络之后，模型可以有效学习到相应的特征，检测精度相较于原始网络模型得到提升；损失函数改为三元组损失之后，模型检测精度得到近一步提升，对于车辆的区分能力更强。.改进跟踪算法结果对比选取高速公路监控视频对所提出的优化算法进行验证，所选择视频存在大量遮挡情况，具有一定的挑战性，能够有效的检验出优化后算法的稳定性。另外，选择主流的多目标追踪算法 和做对比试验。评价指标选用常用的（多目标跟踪准确率）、（多目标跟踪精确率）、（被跟踪到的轨迹占比）、（真实轨迹被打断的次数）。试验结果如表 所示，可以发现改进后的模型跟踪效果更加稳定，轨迹被打断和 跳变现象得到了有效缓解，在检测速度方面，优化后的模型可以达到 ，能够实时完成跟踪高速公路监控场下的车辆检测跟踪任务。表 跟踪结果对比.模型 .改进后.结论本研究主要利用高速公路监控视频，研究车辆的检测和跟踪算法。制作了车辆检测数据集，从网络结构和数据增强方面优化了 车辆检测模型，从外观特征提取模型和跟踪关联参数优化了多车跟踪模型，具体结论如下：（）提出 数据增强方法，应用在 目标检测模型的数据输入端，有效缓解少数量样本带来的问题；为了提高 目标检测模型的检测效率和精度，设计 瓶颈层结构，提高车辆检测精度。（）使用 残差网络作 追踪模公路交通科技第 卷型的特征提取网络，并且将损失函数换成三元组损失函数，使得 能够在车辆遮挡的情况下保持较高的检测稳定性。（）试验结果表明，优化后的 车辆检测模型，精确度由.提高到了.；多车跟踪优化模型有效降低了 跳变和跟踪轨迹中断的次数，并且优化算法检测跟踪车辆可以达到 的速度。参考文献：，：，：，：，：，：，：，：，：，（）：，（）：，（）：，：，（）：，：，：，：，：，：，（）：郭玉彬 基于视频图像的车辆检测跟踪及行为识别研究 北京：北京交通大学，：，：，：，：，：，：，：，：，：，：，：，：，：，（）：，：，：