基于改进的DeeplabV3+模型的车道线检测方法_李景昂.pdf

SOFTWARE软 件2022第 43 卷 第 12 期2022 年Vol.43,No.12基金项目：浙江省大学生科技创新活动计划暨新苗人才计划项目（2021R406035）；浙江省自然科学基金项目（LY17F0200）；浙江省一流课程建设项目（2020sylxx016）；浙江理工大学教学改革项目（kg201809）；浙江理工大学课程思政示范课程建设项目（sfkc202211）作者简介：李景昂（2002）,男,本科,研究方向：深度学习。通讯作者：韩永华（1976）,女,讲师,研究方向：图像处理、三维运动估计。基于改进的 DeeplabV3+模型的车道线检测方法李景昂 马晨旭 韩永华 丁一凡 孙子昂 崔雨欣 余见楚（浙江理工大学信息科学与工程学院，浙江杭州 310018）摘要：为兼顾车道线检测的准确性与实时性,本文提出一种基于改进的 DeeplabV3+模型的车道线检测方法。首先通过水平翻转、改变图像的亮度、饱和度等方法对车道线图像进行数据增广,加强模型对于眩光、车道线破损情况下长直型、大曲率车道线的泛化能力。其次将模型的主干网络更换为轻量级的 MobilenetV2 网络,提高模型训练速度,并依据车道线图像特点改进 ASPP 结构,合理设计组合多采样率空洞卷积,提高模型对边缘车道线及远处车道线的预测效果,利用深度可分离卷积,减少模型参数量。最后本文依据车道线图像特点提出了双注意力机制 DAMM 结构,通过合理分配注意力资源,提高模型分割能力。实验表明,改进的 DeeplabV3+模型像素精度为 99.35%,平均交并比为 86.08%,单图预测时间为 22.62ms,说明改进 DeeplabV3+模型兼顾准确性和实时性。关键词：车道线检测；DeeplabV3+；ASPP；注意力机制；数据增广中图分类号：TP391.41文献标识码：ADOI：10.3969/j.issn.1003-6970.2022.12.020本文著录格式：李景昂,马晨旭,韩永华,等.基于改进的DeeplabV3+模型的车道线检测方法J.软件,2022,43(12):076-084Lane Line Detection Method Based on Improved DeeplabV3+ModelLI Jingang,MA Chenxu,HAN Yonghua,DING Yifan,SUN Ziang,CUI Yuxin,YU Jianchu(School of Information Science and Engineering,Zhejiang Sci-Tech University,Hangzhou Zhejiang 310018)【Abstract】：Inordertobalancetherecognitionaccuracyandreal-timeperformanceoflanedetection,thispaperproposesalanedetectionmethodbasedontheimprovedDeeplabV3+model.Firstly,thelanelineimagesareexpandedbyhorizontalflipandthebrightnessandsaturationoftheimagesarechangedtoenhancethegeneralizationabilityofthemodelforbothlongstraightandlargecurvaturelanelinesunderglareandlanelinebreakage.Secondly,thebackbonenetworkofthemodelisreplacedwithalightweightMobilenetV2networktoimprovethetrainingspeedofthemodel,andtheASPPstructureisimprovedaccordingtothecharacteristicsofthelanelineimages,andthemulti-samplingratenullconvolutionisreasonablydesignedtoimprovethepredictioneffectofthemodelontheedgelanelinesandthedistantlanelines.Finally,thedual-attentionmechanismDAMMisfusedaccordingtothecharacteristicsoflanelineimages,andtheattentionresourcesarereasonablyallocatedtoimprovethemodelsegmentationcapability.ExperimentsshowthattheaccuracyoftheimprovedDeeplabV3+modelis99.35%,themIoUis86.08%,andthesingle-imagepredictiontimeis22.62ms,whichindicatesthattheimprovedDeeplabV3+modeltakesintoaccountbothaccuracyandreal-timeperformance.【Key words】：lanedetection;DeeplabV3+;ASPP;attentionalmechanisms;dataaugmentation基金项目论文0 引言2015 年以来,我国陆续印发了中国制造 2025、中国智能网联汽车技术发展路线图等文件以鼓励自动驾驶行业有序发展。车道线检测作为自动驾驶中环境感知技术的核心部分,对无人驾驶安全、高效地参与交通起到至关重要的作用。在深度学习被大规模运用之前,人们主要通过提取直观特征为主的传统方法让计算机理解“车道线”的存77李景昂马晨旭韩永华等：基于改进的 DeeplabV3+模型的车道线检测方法在。传统方法主要包括基于特征的方法和基于模型的方法。基于特征的算法通过提取车道线的纹理、颜色和形状等高阶特征,从而对图中的像素点进行分类1；基于模型的算法通过特征提取,匹配预先设定好的数学模型,然后确定模型的参数,从而拟合车道线2。传统方法面临诸多难题：（1）因光照、天气易改变同一场景成像后的像素值,使得基于像素值操作的这些传统方法性能易受光照、天气干扰3。（2）在基于模型的方法中,选取不合适的模型会导致求解模型的速度缓慢,且可能由于车道线形状与假设的模型不相符而导致检测效果较差4。基于深度学习的车道线检测方法,通过设计并训练神经网络,可以使网络自主学习到更为准确的车道线特征,较传统方法更鲁棒、更优越。目前大多数主流的图像分割模型均是基于 Long 等提出的全卷积神经网络模型,该模型采用编解码结构,可以接收任意尺寸的输入图像5。首先使用卷积操作提取目标物体的特征,然后使用转置卷积对最后一个卷积层输出的特征图进行上采样,使其逐步恢复至原图大小,最后采用跳层连接结构,实现了较高精度的语义分割。随后,基于编解码结构,Segnet 模 型6、PSPnet 模 型7和 DeeplabV3+模型8应运而生。后人陆续对这些网络模型进行改进,应用于车道线检测中。SalmaMoujtahid 等提出 Spatial-UNet 模型,在 U-Net 模型的基础上结合车道线的位置先验信息,有效检测了由鱼眼相机拍摄的车道线图像9。ZequnQin 等基于 Resnet-18 模型,提出了一种推理速度高达 300+FPS 的车道线检测算法,且分割性能接近SOTA 水平10。Fan 等提出了基于改进的 U-SegNet 模型的多通道检测方法,设计了多对多的算法结构,有效地解决了单帧算法下阴影遮挡和褪色的问题11。Wang等基于 CNN 模型,设计出用于车道线检测的 LaneNet模型,并将车道线检测任务分为两类,分别使用了车道边缘检测网络进行像素级车道边缘分类,以及车道线定位网络根据车道边缘建议检测车道线,在实际交通场景发挥了出色的性能12。上述模型取得了较好的检测效果,但准确性与实时性的兼顾性弱,欠缺对复杂车道线检测的全面考量。本文提出一种基于改进的 DeeplabV3+模型,该模型以轻量级的 MobilenetV2 作为主干网络,均衡准确性与实时性的前提下,充分考虑车道线的实际特征并提取。本文选用百度无人车大赛数据集作为研究对象,在训练之前,通过水平翻转增广车道线数据集中的大曲率车道线图像,在训练过程中随机改变扩充后数据集的亮度、饱和度,增强模型鲁棒性。改进 ASPP 结构中的卷积结构,组合不同采样率的并行空洞卷积层,提高模型对边缘和远处车道线的识别能力,又利用深度可分离卷积,减少模型参数量。在 ASPP 结构的空洞卷积层后添加 DAMM 双注意力机制,调整通道、空间两方面的注意力资源,使图像通道、空间上表征能力强的特征信息被充分利用。为解决车道线数据集正负样本失衡问题,损失函数采用二分类交叉熵损失与 Dice loss的加和,提高模型的分割精度。实验结果表明,本文提出的改进DeeplabV3+模型能够兼顾准确性和实时性,对车道线的检测效果良好。1 数据集选取与预处理1.1 百度无人车数据集概述本文采用的数据集选取自百度提供的无人车车道线挑战赛“Road02”路段的数据集。每张图像大小均为33841710 像素,共 10972 张图像。除天气良好的平直路面外,此路段还包含了眩光、车道线破损情况下的长直型车道线和大曲率车道线数据图片,部分图像如图 1 所示。图 1 车道线数据集的部分图像Fig.1 Selected images of the lane detection dataset其中（a）为大曲率车道线；（b）为车道线破损；（c）为长直型车道线；（d）为大曲率眩光路段。1.2 图像预处理为防止无关物体干扰检测,裁剪并保留原图像下半部分约 2/3 区域作为感兴趣区域,大小为 33841020像素,再等比例缩放至 1128340 像素,防止训练时显存溢出。为防止模型过拟合,在训练前,使用水平翻转对数据集中数量少的大曲率车道线进行增广,均衡样本种类；在训练过程中,首先对数据集中每一批次（Batch）内的图像进行随机裁剪、随机增加亮度、对比度和饱和度,保持训练速度的同时模拟行驶过程中光线亮度变化的情况。增广后的数据集共包含 11608 张图像,统计不同环境下的车道线,得到的结果如图 2 所示。去除数据集标签中车头、斑马线等无关标注所代表的“交通规则信息”,降低模型学习难度,以提高检测的准确率,故将这些类别的像素值全部赋 0,即视为背78软 件第 43 卷 第 12 期SOFTWARE景。处理前后的标签对比图如图 3 所示。其中,图3（a）为处理前的标签,包含蓝、红、绿等多种类别的标签,只保留车道线部分,即红蓝两色标签,并赋值为 255,其余标签均赋值为 0。图 3（b）为处理后的标签,只包含值为 0 的背景和值为 255 的车道线。2 研究方法DeeplabV3+模型拥有较为复杂的编解码结构和较好的网络分割能力,网络结构如图 4 所示。编码层分别输出图像的浅层和深层特征信息,即 2 倍下采样和 4 倍下采样的结果。ASPP 结构汇聚不同感受野下的特征,然后与浅层特征融合,最后通过 33 卷积进一步整合,输出预测结果图。DeeplabV3+模型相较于其他模型而言,拥有更为优异的分割性能,但仍有一定的缺陷。首先,它缺少注意力资源的分配,ASPP 结构和深浅层特征的融合过程将各通道的特征重要性归为一致,导致特征信息没有被最大化利用；其次,DeeplabV3+中的 Xception 主干网络训练困难且参数量庞大,推理时间较长,难以满足车道线检测中兼顾准确性和实时性的要求。为兼顾 DeeplabV3+模型在车道线检测上的准确性和实时性,本文对其进行改进,如图 5 所示。首先,本文使用轻量化的 Mobilenet