基于改进YOLOv5和DeepSort的车道线检测方法.pdf

2023 年第 7 期217智能技术信息技术与信息化19SIMONYAN K,ZISSERMAN A.Very deep convolutional networks for large-scale image recognitionC/3rd International Conference on Learning Representations.San Diego:ICLR,2015:7-9.20 张高明,仝明磊.基于埃尔米特插值的任意形状文字检测技术 J.科技与创新,2022(07):136-138.21SHANG M,GAO J,SUN J,et al.Character region awareness network for scene Ttext recognition C/2020 IEEE International Conference on Multimedia and Expo.London:IEEE,2019:9365-9374.22 李益红,陈袁宇.深度学习场景文本检测方法综述 J.计算机工程与应用,2021,57(06):42-48.(收稿日期：2023-01-03 修回日期：2023-02-23)1.江苏师范大学科文学院人工智能与软件学院 江苏徐州 2211322.中国石油天然气股份有限公司庆阳石化分公司 甘肃庆阳 745000 基金项目 江苏省大学生创新创业训练计划项目(202213988009Y)基于改进 YOLOv5 和 DeepSort 的车道线检测方法赵麒博1 王梦梅1 潘海英1 李晨欢1 吴祥龙1 郭晨阳2ZHAO Qibo WANG Mengmei PAN Haiying LI Chenhuan WU Xianglong GUO Chenyang 摘要 车道线的识别和判断一直是汽车自动驾驶领域的研究热点问题。为更准确和快速的识别汽车行驶区域并区分车道，提出了一种结合改进 DeepSort 多目标跟踪算法和改进 YOLOv5 算法的目标检测跟踪模型进行车道线检测的方法。由于汽车在行驶过程中需要快速且准确的判断车道线区域，因此在 YOLOV5 原本快速目标检测的特性下进行了设置速度阈值的 DeepSort 算法对车道线预估跟踪，并在 YOLOv5 模型中添加数据增强策略利用全卷积神经网络（fully convolutional networks,FCN）进行车道线和可行使道路的语义分割方法，实现了快速准确完整的车道线的检测和跟踪功能，从而提升了汽车行驶过程中对车道线的识别率，大幅降低了在行驶过程中对车道线目标丢失的概率。关键词 yolov5；deepsort；FCN；车道线检测；语义分割doi：10.3969/j.issn.1672-9528.2023.07.0540 引言随着人工智能技术的快速发展，汽车自动驾驶领域的发展与研究已经进入正轨。在汽车自动驾驶相关技术的研究中，如何利用有效方式帮助汽车对周围环境进行感知和判断，并使汽车做出正确的操作，成为亟待解决的热点问题之一。目前汽车在行驶过程中对可行驶区域、车道线划分，以及准确判断车辆行驶车道是否正确等问题的解决方法主要通过摄像头采集视频图像数据，将图像数据进行不同方式的处理，进而获得检测目标在图像中的位置信息。韩逸等1将YOLOv5s 算法模型进行改进，增加二值化通道与原图像一起更新数据集，加入 anchor-free 改进锚框问题，损失函数改进为 EIOU，实现了与 YOLOv5s 相比 map 增加约 11%；张凯详、朱明2研究的以 YOLOv5 作为主干网络，结合实时语义分割网络 ENet 进行车道线检测和行驶区域分割，最终实现传感器多任务检测功能，同时采用-IOU 损失函数提高回归精度，对噪声产生更好的鲁棒性；Wu 等人3提出的全景驾驶感知网络(you only look once for panoptic driving perception,YOLOP)算法对可行驶区域和车道进行检测分割，它引用一个用于特征提取的编码器和三个解码器组成了多任务处理的神经网络结构，验证了多任务学习模型的有效性，并且基于Faster-RCNN 的区域候选网络（region proposal networkm,RPN）提出一种全卷积神经网络来替换全连接层增加检测速度，最终实现高效的多任务全景驾驶感知功能；宫保国等人4 在 YOLOv5 中引入了语义分割解码器、Rep VGG block 以及位置注意力机制，以实现同时完成交通目标检测、车道线检测和可行驶区域检测的多任务感知，在实验中获得了较好2023 年第 7 期218智能技术信息技术与信息化的精度和速度表现；为了提升目标追踪能力，黄凯文等人5人提出一种基于改进 YOLOv4-Tiny 和 DeepSort 的实时多目标跟踪算法，跟踪部分使用 DeepSort 算法结合均匀加速卡尔曼滤波优化行人运动模式，利用浅层分类网络重构外观模型，实现能满足低算力设备对跟踪任务精度和速度要求；刘兆波6面对复杂道路环境提出一种基于 YOLOv5 及DeepSort 的道路环境目标追踪优化算法，使用 MobileNet V3 网络中的基本结构对 DeepSort 算法中的重识别网络和YOLOv5 的主干网络进行交替，以起到压缩模型，加快检测速度的效果。然而，实际车辆行驶场景复杂多变，为了提高算法的适应性和准确率，本文首先改进了 yolov5 模型的损失函数从而提高模型对目标检测的准确率；其次运用编码器将任务分为三个模块修改神经网络结构实现多任务全景感知功能；最后采用了均匀加速卡尔曼滤波7对 DeepSort 算法进行改进，提高算法追踪目标的复杂度，从而实现 YOLOv5和 DeepSort 的网络结构进行交替压缩模型、提高算法的鲁棒性8。1 相关技术1.1 YOLOv5 框架基于深度学习的目标检测方法主要分为单阶段目标检测和多阶段目标检测，YOLOv5 作为单阶段目标检测的方法之一，具有快速高效的检测识别目标的能力9。其框架主要以Backbone 和 Head 两个部分组成，Backbone 的主要操作包括Focus、BottleneckCSP 和 SPP 结构，Head 中包含了 Neck 和原本 YOLOv3 的 Heda 部分 Detect(YOLOv3/v4 Head)，其中Neck 部分又包含了 CSP2 和 PANet。1.2 DeepSort 算法模型DeepSort 多目标追踪算法的应用主要是为了防止汽车行驶中将车道线识别失误和识别跟踪附近出现的车辆；实时跟踪车辆位置信息为车辆行驶提供更完整有效的信息。DeepSort 算法是通过卡尔曼滤波算法将视频间隔的若干帧（一般为 3 帧）之间的视频对检测目标框所在场景下的八个维度特征变化进行预测，其中存在一个维度参数为速度值，可以根据速度值的高低，将检测帧数进行调整，设置速度阈值，根据速度阈值设置为 3、5、8 长度的检测帧，从而降低检测频率，用来降低时间损耗。在使用级联匹配时，Tracks 失配的条件降低为 20 次，将最终获取的确认态 Tracks 框和 Detection 进行级联匹配，将默认保存的前 100 帧缩减为 80 帧，再用不确定态的 Tracks和适配的 Tracks 一起和 Unmatched Detection 进行 IOU 匹配；最后用匹配结果来计算代价矩阵。2 算法设计与实现本节主要从 YOLOv5 算法框架结构改进和 DeepSort 算法的改进方案和两个算法的损失函数优化来进行详细介绍。2.1 框架设计本文的主要框架还是以 YOLOv5s 模型框架的 Input、Backbone、Head（Neck、Head）三部分为主，在输入端加入摄像头视角拟合函数获得俯视下的图像数据；再进行特征提取，最后通过全卷积神经网络，将图像特征进行训练融合，输出最终结果。（1）图像输入和转换在输入前采用逆透视变换方法10，将摄像头获取图像转换成俯视图，转换公式如式（1）：CWCWCWXXYHYTZZ=+(1)式(1)中：H 为旋转矩阵，T 表示偏移向量，即坐标的平移。即 P(XC,YC,ZC)为相机坐标系中的点，P(XW,YW,ZW)为现实世界坐标系中的点通过相机坐标与平面坐标的转换公式：（2）0000001CCCCxkXZykYzZ =（3）将转换后图像数据进行 Input 输入操作。在该操作时，将保留 20%原始数据进行对比操作，检测是否具有良好的匹配性和适用性，最终整合为一个新的数据集进行训练。（2）数据增强方法在 Backbone 主 干 网 络 中 BottleneckSPC 操 作 结 合 了YOLOv5的Mosaic、Copy-paste、HSV、Filp四种数据增强策略。进行以上的数据增强效果可为模型对数据的训练和识别能力都有进一步的提高。2.2 DeepSort 算法的融合由于 DeepSort 算法更多应用于大量目标识别算法，在本文应用环境中并不完全适用，因此需要将 DeepSort 算法进行改进，以提高目标跟踪效率，节省算力，提高识别跟踪速度来保障车辆行驶过程中的实时检测能力。（1）DeepSort 改进该模型在目标跟踪中需估计 track 以下两个状态11。均值：表示目标的位置信息，由 box 的中心坐标(cx,2023 年第 7 期219智能技术信息技术与信息化cy)，宽高比 r，高 h，以及各自的速度变化值组成，由 8 维向量表示为：,xyxyrhxc c r h v v v v=（4）各个速度值初始化为 0。协方差11（Covariance）：表示目标位置信息的不确定性，由 88 的对角矩阵表示，矩阵中数字越大则表明不确定性越大，可以以任意值初始化。这里引入平均速度阈值参数vmin来规定Track失配条件。平均速度公式如式（5）：4()xyrha vb vc vd vvabcd+=+（5）其中a、b、c、d分别为各个速度量的权值（a+b+c+d=1）。根据该公式计算的平均速度值若小于 vmin则将 Track 失配条件的检测次数设置为 20 次；若大于该阈值则使用默认参数进行检测。在整体的检测过程中 Tracks 框和 Detection 进行级联匹配的保存帧数减少为前 80 帧；进而完成对 DeepSort 算法的轻量化处理。（2）DeepSort 的使用在完成 YOLOv5 的目标识别检测后，将识别完成输出的带有目标检测框的图像作为 DeepSort 算法的输入样本，进行检测框的目标追踪。将最终 DeepSort 预测跟踪后的输出图像反馈给计算机做出响应。DeepSort 算法的使用是为了在 YOLOv5s 识别率不高的情况下，提高识别跟踪的效果，通过结合该算法对目标检测框的跟踪和预测，进一步提高对目标的识别跟踪效果且尽量避免识别速率的损失，在完成 YOLOv5 模型的检测任务后，将进行轻量化处理后的 DeepSort 算法引入，进行实例分割模型的追踪。3 实验数据3.1 数据集3.1.1 CULane 数据集为了更好、更完整的实现车道线的检测效果，本文采用了大规模具有挑战性的 CULane 数据集，该数据集收集了超过 55 小时的视频，并提取了 133 235 帧图像作为训练图片。数据示例如图 1 所示。图 1 CULane 数据集3.1.2 数据预处理本文首先对数据集进行了预处理工作，将数据集按照原本数据集的框架划分为训练集、验证集和测试集；然后将数据进行筛选，提高数据集与实验的匹配性，最后采用 cv2 的透视变换方法将图像视角投影为俯瞰图视角如图 2 所示，进行识别目标的数据标注如图 3 和图 4 所示。图 2 俯瞰图视角 图 3 俯瞰图标注图 4 原图像标注3.2 识别结果利用 YOLOv5-seg 实例分割模型进行训练获得训练权重文件，通过权重文件实现对图像或视频的检测识别，训练结果如图 5 所示，预测结果如图 6 所示，检测结果中对于车道线检测及分类准确，且目标框和实例区域能够准去覆盖并选中，对于车辆旁不明显的车道也能进行检测，对于车辆行驶道路的预测能力大大提升。图 5 YOLOv5-seg 训练结果2023 年第 7 期220智能技术信息技术与信息化3.3 实验分析本文通过修改 YOLOv5 算法的数据增强策略，来进一步提升模型对车道线检测的效果，并针对提出的四种增强策略进行了实验对比，最终通过实验结果发现，其中 Mosaic、Copy-past、HSV 增强策略均对于车道线的检测有较好的优化效果如表 1，mAP、Pecision 都有了显著的提升，同时使用三个增强策略，mAP 提升了 13.2%，pecision 提升了 11.5%，但是 Filp 数据增强策略的使用使训练效果大幅下降，通过分析由于图像的反转导致标注的车道线类别受到影响和混淆，导致实验结果出现异常状况，因此最终本文放弃使用 Filp 数据增强策略进行目标检测的强化，最终获得了较为成功的实验结果，并依托 YOLOv5的快速检测，大大提升了汽车行驶过程中对车道线的检测及分类的效率。表 1 消融实验数据MosaicCopy-pasteHSVFilpmAP%Recal%Pecision%70.27984.976.88186.186.18692.150.97587.24 结论与展望针对自动驾驶车辆行驶路上的车道线检测和附近车辆的识别跟踪问题，本文提出了一种改进 YOLOv5 和 DeepSort车道线检测方法，大大提升了跟踪目标的识别精度和跟踪效率，能够为自动驾驶车辆提供更加快速且精确的可行驶区域。然而自动驾驶车道线检测改进未来的研究方向亦可内嵌一个大数据框架如 Spark 将过程中产生的数据进行处理，会更加降低算法中产生的算力及内存负担。参考文献：1 韩逸,舒小华,杨明俊.一种基于改进 YOLOv5s 的车道线检测方法 J.湖南工业大学学报,2022,36(03):51-58.2 张凯祥,朱明.基于 YOLOv5 的多任务自动驾驶环境感知算法 J.计算机系统应用,2022,31(09):226-233 DONG WU,MAN-WEN LIAO,WEI-TIAN ZHANG,et al.YOLOP:You only look once for panoptic driving perceptionJ.Machine intelligence research,2022,19(6):550-562.4 宫保国,陶兆胜,赵瑞等.基于改进 YOLOv5s 的道路场景多任务感知算法 J.齐齐哈尔大学学报(自然科学版),2023,39(03):19-29.5 黄 凯 文,凌 六 一,王 成 军,等.基 于 改 进 YOLO 和DeepSORT 的 实 时 多 目 标 跟 踪 算 法 J.电 子 测 量 技术,2022,45(06):7-13.6 刘兆波.基于 YOLOv5 及 DeepSort 的道路目标追踪改进算法 J.汽车实用技术,2022,47(22):40-44.7 贾志,李茂军,李婉婷.基于改进 YOLOv5+DeepSort 算法模型的交叉路口车辆实时检测 J.计算机工程与科学,2023,45(04):674-682.8 赵士杰.基于 YOLOv5+Deep-SORT 的运煤车辆目标检测与跟踪 J.山西电子技术,2023(01):1-3.9 茆 震,任 玉 蒙,陈 晓 艳,任 克 营,赵 昱 炜.一 种 改进 YOLOv5s 的多尺度目标检测算法 J.传感技术学报,2023,36(02):267-274.10 邓天民,蒲龙忠,万桥.改进 FCN 的车道线实例分割检测方法 J.计算机工程与设计,2022,43(10):2935-2943.11 程敏.基于视频的人群多目标跟踪关键技术研究 D.重庆：重庆理工大学,2022.【作者简介】赵麒博（2001)，男，甘肃庆阳人，本科在读，主要研究方向：计算机视觉、图像处理与模式识别、机器学习。王梦梅（1990），女，江苏徐州人，硕士研究生，讲师，主要研究方向：群智感知、机器学习。李晨欢（2002），女，江西萍乡人，本科在读，主要研究方向：机器学习、数据挖掘。潘海英（2000)，女，江西赣州人，本科在读，主要研究方向：大数据技术、计算机网络,机器学习。吴祥龙（2002），男，江苏宿迁人，本科在读，主要研究方向：机器学习。（收稿日期：2023-02-21 修回日期：2023-04-25）图 6 YOLOv5-seg 预测结果图