复杂场景中的快速车道线检测方法_杜黎.pdf

Computer Engineering and Applications计算机工程与应用2023，59（13）随着传统汽车工业与人工智能技术的联系不断加深，交通行业正朝着智能化方向快速发展。车道线是体现道路交通规则的重要标志，在维护交通安全与稳定中扮演着至关重要的角色。车道检测是实现无人驾驶和辅助驾驶的基础任务之一，对于车辆后续实现的车道偏移预警和轨迹规划决策至关重要，因而设计快速准确且图形图像处理复杂场景中的快速车道线检测方法杜黎1，吕毅斌1，武德安2，罗雨欣11.昆明理工大学 理学院，昆明 6505002.电子科技大学 数学科学学院，成都 611731摘要：车道线检测是实现无人驾驶系统的一项重要任务。针对当前基于分割的检测方法实时性能不足的问题，提出了一种快速车道线检测方法FracLane。设计一种高效的特征提取模块，通过分形的思想构造基于聚合不同大小感受野的分形残差结构，更准确地提取车道特征。结合龙格-库塔法，使用可训练参数对分形残差结构的输出进行加权融合，构造能进一步提升网络性能的分形残差模块（FracRes）。在特征解码阶段引入一种基于行锚检测方法的车道位置预测模块（LPP），极大提高网络的检测速度。在包含多种交通场景的车道检测数据集TuSimple和CULane上进行的大量实验，结果表明，该方法在两个数据集上最高可获得97.26%的准确率和78.1的F1评分，在800288的分辨率下，最高可获得206 FPS的推理速度。与现有检测方法相比，该方法在检测精度与速度方面都有明显提高，达到实时检测任务的需求。关键词：车道线检测；行锚；分形残差；龙格-库塔；卷积神经网络文献标志码：A中图分类号：TP391.4doi：10.3778/j.issn.1002-8331.2212-0283Fast Lane Detection Method in Complex ScenariosDU Li1,LYU Yibin1,WU Dean2,LUO Yuxin11.Faculty of Science,Kunming University of Science and Technology,Kunming 650600,China2.School of Mathematical Sciences,University of Electronic Science and Technology of China,Chengdu 611731,ChinaAbstract：Lane detection is an essential task of unmanned systems.This paper proposes a fast lane detection methodFracLane to deal with the problem of the existing segmentation-based lane detection methods with insufficient real-timeperformance.Firstly,an efficient fractal residual structure based on receptive fields of different sizes is designed,whichimproves the lane feature extraction capability by introducing the idea of the Fractal.Then,combined with the Runge-Kuttamethod,the output of the fractal residual structure is weighted and fused using trainable parameters to construct a fractalresidual module（FracRes）that can better improve the performance of the network.Finally,a lane position predictionmodule（LPP）based on row anchor detection is introduced into the decoder to improve the inference speed.A largenumber of experiments are conducted on TuSimple and CULane that consist of multiple traffic scenarios.Results showthat the accuracy and F1-measure of the proposed method are 97.26%and 78.1,respectively,and the inference speed canreach 206 FPS.Compared with the existing methods,the proposed method shows significant improvement,which ade-quately meets real-time task requirements.Key words：lane detection;row anchor;fractal residual;Runge-Kutta;convolutional neural network基金项目：国家自然科学基金（11461037）。作者简介：杜黎（1998），男，硕士研究生，研究方向为计算机视觉、车道线检测；吕毅斌（1972），通信作者，男，博士，副教授，研究方向为图像处理、科学计算，E-mail：；武德安（1971），男，博士，副教授，研究方向为模式识别；罗雨欣（1998），女，硕士研究生，研究方向为医学图像分割。收稿日期：2022-12-22修回日期：2023-02-22文章编号：1002-8331（2023）13-0178-081782023，59（13）具有强鲁棒性的车道检测算法具有广泛的应用价值和重要的研究意义1。车道检测方法可分为基于图像处理的传统方法和基于深度学习的深度方法。如图1所示，车道在不良光照、障碍物遮挡和地面污损等因素影响下将不可见，导致车道检测任务非常具有挑战性。传统方法2-4依赖手工标注来提取车道特征，然后通过曲线拟合模型、车道标记分组等操作实现车道检测，但这类方法较弱的泛化能力仅能用于检测特定场景中的车道，难以用于复杂场景。随着深度学习技术的快速发展，具有良好表征和学习能力的深度方法逐渐替代了传统方法5。此外，为实时获取车道信息，检测速度也成为了除检测精度之外最重要的模型评估标准。当前的深度方法可分为三类：基于分割6-11、基于参数回归12-13和基于行锚检测14-15的方法。分割方法采用像素级预测方式来分割图像中的车道像素；参数回归方法通过神经网络回归预测一组参数，然后根据这些参数构建曲线拟合模型来检测车道曲线；行锚检测方法将图像预定义行锚上的像素划分为若干个位置网格，然后利用全连接层来回归预测各预定义行锚上车道位置所属的位置网格。在基于分割的方法中，LaneNet6将车道检测视为语义分割，然后通过聚类方法将分割的车道像素分类为不同实例，改善了传统方法泛化能力差的缺陷，但非端到端的方式使得语义分割方法不具有实时检测能力。实例分割方法7-11与语义分割不同，其直接在特征图上将车道像素分割为不同实例，具有了实时检测能力。如VPGNet7通过消失点预测，引导了一个多检测任务的车道实例分割网络；SCNN8在特征图上设计了空间信息传递机制，具有了更好的车道语义分析能力；SAD9在各个特征编码阶段之间设置自注意力蒸馏机制，实现网络轻量化；CurveLane10采用神经架构搜索技术，获得性能更好的特征提取骨干网络。实例分割解决了语义分割需要进行聚类的缺陷，但其在像素间的密集信息传递仍然需要很高的计算成本，导致这些方法不足以实时地检测车道。在基于参数的方法中，PolyLane12通过预测一组超参数来构建车道曲线模型，具有很快的检测速度；BezierLane13引入 Bezier 曲线，进一步提高了检测精度。然而，参数方法对预测参数比较敏感，难以实现很高的检测精度。在基于行锚的方法中，UFAST14设计了一种新颖的行锚检测方法，通过预测车道位置很大程度上减少了网络前向推理的计算成本，具有非常快的速度，并且额外设计了一种能够使神经网络学习车道形状信息的结构损失函数，但该方法所使用的骨干网络对于车道位置特征的提取能力不足，导致其检测精度较低；CondLane15通过条件卷积获取了性能更优的骨干网络，实现检测精度提高，但其极大地降低了模型的检测速度。针对上述问题，本文设计了一种高效的车道检测方法FracLane，通过改进残差网络实现检测精度和速度的提高。首先利用分形思想，在特征编码阶段设计一种聚合不同大小感受野的分形残差结构，通过增强网络结构多样性的方式实现骨干网络特征提取性能的提升。其次结合龙格-库塔法，使用可训练的参数对分形残差结构的输出进行加权融合，构建能更好提升骨干网络特征提取性能的分形残差模块（fractal residual，FracRes）。最后在特征解码器部分引入车道位置预测模块（laneposition prediction，LPP），在特征编码器的输出特征图上回归预测图像每个预定义行锚上的车道位置，极大地减少检测方法前向推理的计算成本。得益于端到端的训练方式，FracLane能满足实时检测任务需求，且能在CULane数据集采集的复杂交通场景（如拥挤、夜间和炫光）中获得很好的检测结果。1FracLane的基本原理1.1网络结构图本文方法FracLane的网络结构如图2所示，主要由三大部分组成：特征编码器、特征解码器和分割分支。FracLane的主体部分为由编码器和解码器结构组成的车道位置回归网络，其中，特征编码器为基于FracRes模块的分形残差骨干网络；特征解码器为基于行锚检测方式的车道位置预测模块LPP。LPP模块由两个全连接层构成，在编码器的输出特征图 X上回归预测车道位置。FracLane的分割分支为车道实例分割网络。需要注意的是，分割分支仅在网络训练阶段启用，不会在测试时带来额外的计算成本。1.2FracRes模块合理的网络结构设计方案是获得良好检测性能的关键16。残差网络 ResNet17采用残差学习机制将网络的输入添加到输出，构建残差模块来实现网络性能的提升。残差模块的前向传播过程可表示为：ym+1=ym+f()m,ym=ym+f()ym（1）其中，ym是ResNet中第m个残差模块的输出；m是残差网络中第m+1个残差模块的权重系数；f()是神经网络中网络层的前向传播运算。然而，车道像素的数量仅占据图像中的很小一部图1无视觉线索车道示例Fig.1Examples of no-visual-clue lane杜黎，等：复杂场景中的快速车道线检测方法179Computer Engineering and Applications计算机工程与应用2023，59（13）分，并均匀分布在图像底部到中上部的很大区域，使得仅通过增加网络深度实现网络性能提升的策略并不是最优的18。此外，网络中大量设置的激活函数也会使车道特征在网络的前向传播过程中出现许多不可逆的丢失19。随着网络深度的增加，神经网络往往面临着梯度爆炸和消失等问题20，导致网络性能下降。因此，针对车道这类细长结构的连续性目标，本文设计了一种融合不同大小感受野的新型残差结构，即通过聚合特征提取模块获取的目标浅层和深层特征，采用增强网络结构多样性的方式，更好地缓解网络在前向传播过程中出现的目标特征信息丢失问题，提出了一种具有高精度和高效率的分形残差结构来提取车道特征。分形残差结构的前向传播过程可表示为：ym+1=ym+i=1rfi(