基于改进双向长短时记忆网络的自动驾驶车辆驾驶意图识别.pdf

2023 年第 9 期汽车工程师 Automotive Engineer【摘要】针对高速混行多车交互环境下车辆驾驶意图识别模型大多忽视驾驶风格和车-车交互信息等问题，提出一种基于改进双向长短时记忆（Bi LSTM）网络的驾驶意图识别模型，以目标车辆轨迹序列、驾驶风格、周围车辆的交互特征作为模型的输入进行训练学习，实现对考虑驾驶风格的驾驶意图特征数据集的分类识别，同时使用鲸鱼优化算法对隐含层节点数和学习率等超参数进行寻优，以规避人工调参的负面影响。最后，使用NGSIM数据集对该模型的有效性进行验证，结果表明，模型的识别准确率达到97.5%，证明其在识别车辆驾驶意图方面具有较高的准确性。关键词：自动驾驶多车交互驾驶意图识别改进双向长短时记忆网络鲸鱼优化算法中图分类号：U461.91文献标志码：ADOI：10.20104/ki.1674-6546.20230315Vehicle Driving Intent Recognition Based on Enhanced BidirectionalLong Short-Term Memory NetworkHe Dong,Zhao Maojie,Wang Zinan(Chongqing Jiaotong University,Chongqing 400074)【Abstract】In the context of high-speed mixed traffic and intricate multi-vehicle interaction,existing driving intentionrecognition models for research vehicles mostly neglect driving styles and vehicle-vehicle information interaction,this paperintroduced a novel driving intention recognition model based on an enhanced Bidirectional Long Short-Term Memory(BiLSTM)network,with the driving trajectory sequence of the target vehicle,driving style,and interaction features of surroundingvehicles as inputs for effective training and learning,to facilitate the classification and recognition of the driving intentionfeature dataset,specifically considering diverse driving styles.Additionally,the Whale Optimization Algorithm(WOA)wasemployed to optimize hyperparameters,encompassing the number of hidden layer nodes and learning rate,effectivelymitigating the adverse impacts of manual parameter adjustment.The model s efficacy was validated using the NGSIM dataset,exhibiting an impressive recognition accuracy of 97.5%in precisely identifying vehicle driving intentions.Key words:Autonomous driving,Multi-vehicle interaction,Driving intention recognition,BidirectionalLong Short-Term Memory(BiLSTM)network,Whale Optimization Algorithm(WOA)【引用格式】何东,赵茂杰,王梓楠.基于改进双向长短时记忆网络的自动驾驶车辆驾驶意图识别J.汽车工程师,2023(9):9-14.HE D,ZHAO M J,WANG Z N.Vehicle Driving Intent Recognition Based on Enhanced Bidirectional Long Short-Term Memory NetworkJ.Automotive Engineer,2023(9):9-14.基于改进双向长短时记忆网络的自动驾驶车辆驾驶意图识别*何东赵茂杰王梓楠（重庆交通大学，重庆 400074）1前言高速混行环境下，自动驾驶车辆可以通过车联网技术实时共享彼此的驾驶意图，理解当前的行驶环境，但是人工驾驶汽车无法与车联网发生相关信息的交换，自动驾驶汽车只能通过人工驾驶汽车外*基金项目：国家自然科学基金项目（52072054）。重庆交通大学自动驾驶技术专题9汽 车 工 程 师何东，等：基于改进双向长短时记忆网络的自动驾驶车辆驾驶意图识别在的行为特征对驾驶员的意图（直行、左换道、右换道等）进行推断。目前，驾驶意图识别方法可以分为基于传统机器学习的驾驶意图识别方法和基于深度学习的驾驶意图识别方法。在基于深度学习的方法中，神经网络模型和长短时记忆（Long Short-Term Memory，LSTM）网络模型应用较为广泛1。Huang等2将深度学习神经网络（Deep-Learning Neural Network，DNN）应用于换道行为辨识，对复杂的换道行为特征进行有效拟合，但DNN对时序特征的捕捉能力较弱，因此近年来该模型关注度较低。LSTM网络因其具有强烈的时序捕捉能力，十分贴合驾驶意图识别的应用场景，是当前研究者关注的重点3。Phillips等4通过对采集的十字路口交通数据使用LSTM搭建意图识别模型，实现对左转、右转和直行意图的预测，验证了LSTM网络对真实采集时序数据特征的捕捉能力。黄玲等5提出了一种高速公路人机混行环境下基于LSTM神经网络的换道意图识别模型，该模型在人机混行环境下对车辆换道行为具有较高的识别精度，其改进在于引入均方根传播（Root Mean Squarepropagation，RMSpro）算法优化神经网络的超参数，以规避人工调参带来的影响。惠飞等6使用双向长短时记忆（Bidirectional Long Short-Term Memory，BiLSTM）网络模型识别驾驶行为中的异常状态，将BiLSTM 与全连接神经网络（Fully Connected NeuralNetwork，FCNN）相结合，充分发挥了二者的优势。从研究进程和相应的指标来看，深度学习模型总体表现优于传统机器学习模型。以LSTM模型为代表的深度学习模型以强大的拟合能力与对时间序列特征的捕捉能力使其在驾驶意图识别上的表现整体强于传统机器学习模型。然而，部分研究还存在周围车辆交互特征考虑不足、忽视驾驶风格、人工调参困难等问题。本文提出一种基于改进Bi LSTM网络的驾驶意图识别模型，以目标车辆轨迹序列、驾驶风格、周围车辆的交互特征作为模型的输入，并使用鲸鱼优化算法对模型的超参数进行寻优来规避人工调参。最后对NGSIM数据集的数据进行处理、验证，证明该模型在车辆驾驶意图识别方面具有较高的准确性。2改进双向长短时记忆网络2.1双向长短时记忆网络LSTM 神经网络是循环神经网络（RecurrentNeural Networks，RNN）的一类变种，相较于 RNN，它通过引入“门”结构和细胞概念控制信息的流动，从而克服了困扰 RNN 的梯度爆炸及梯度消失问题。该网络最基本的单元结构如图1所示，它与RNN 的 区 别 在 于，该 单 元 结 构 中 存 在 遗 忘 门（Forget Gate）、更新门（Input Gate）、输出门（OutputGate）3种特殊的“门”结构以及用于储存和传递之前时刻状态信息的细胞（Cell）结构，以实现信息的流通7。图1中，xt为当前时刻t的输入，ht、Ct分别为t时刻的输出信息和存储在细胞中的状态信息，Ct为输入门对输入 xt进行信息更新后产生的新的输入向量，为 sigmoid 激活函数，ft、it、Ot分别为遗忘门、输入门、输出门，wf、wi、wo分别为遗忘门、输入门、输出门的权重系数，wc为(t-1)时刻与t时刻的连接权重系数。Ct-1+CtftittanhOtwftanhwcwiwoOtht-1xthtCt图1LSTM基本单元结构LSTM虽然解决了RNN存在的问题，但它自身只能利用过去的特征信息，而忽略了未来的信息，故在此基础上诞生了Bi LSTM神经网络8。该模型包含2个独立的LSTM网络，模型所需的参数分别以正向和反向的形式输入到2个LSTM网络中，然后将2个网络提取出的特征向量进行拼接获得模型最终特征向量，经过正向和反向的特征提取，最终的拼接向量同时拥有过去和未来的信息，其结构流程如图2所示。h1到ht为正向运算过程，ht到h1为反向运算过程：ht=f(b+()xt,ht-1w)ht=f(b+()xt,ht+1w)（1）式中，f为激活函数；ht为t时刻正向LSTM网络的输出；b、w 分别为正向偏置和权重；ht为 t 时刻反向LSTM网络的输出；b、w 分别为反向偏置和权重。102023 年第 9 期何东，等：基于改进双向长短时记忆网络的自动驾驶车辆驾驶意图识别H1H2H3Hth1h1h2h3hth2h3htx1x1x3xt图2Bi LSTM结构流程将正向LSTM网络及反向LSTM网络的输出向量拼接在一起，即为Bi LSTM网络的输出：Ht=(ht,ht)（2）2.2驾驶意图识别模型本文基于 Bi LSTM 网络搭建驾驶意图识别模型，模型架构如图3所示。意图概率输出层意图概率输出层P1P2P3w(ht,ht)+bSoftmax驾驶意图识别层正向传播反向传播LSTM单元LSTM单元LSTM单元LSTM单元LSTM单元LSTM单元LSTM单元LSTM单元x1x2x3xt时间序列输入层图3Bi LSTM驾驶意图识别模型图3中，时间序列输入层将Xt=(x1,x2,x3,xt)分别输入正向和反向LSTM网络，序列中的每一个时刻t的输入xt在该模型中都会获得正向输出ht和反向输出ht，再进行拼接获得向量xt=(ht,ht)，将xt输入到全连接层中获得输出yt=wxt+b，其中w、b为全连接层的权重和偏置。将yt输入SoftMax层，通过激活函数获得t时刻输入的左换道、右换道、直行3种类别各自的概率，然后使用分类层将概率最大的类别输出，作为当前时刻的驾驶意图。2.3Bi LSTM超参数优化Bi LSTM 网络的超参数对模型的性能影响较大，隐含层节点数、学习率是其中重要的超参数指标。隐含层节点数越多，模型的性能越好，精度也会越高，但需要的计算资源会越大，也越耗时，且节点数超过一定阈值后反而会降低模型的性能，但节点数过小则可能不会收敛，准确率也会降低；学习率的选择决定模型能否收敛，学习率过大时模型难以收敛，学习率过小时模型训练耗时更长，且可能陷入“局部最优”陷阱。正确选择隐含层节点数和学习率既可以提高训练速度，也能提高模型精度。因此，为获取这2个超参数的最优解，本文使用鲸鱼优化算法（WhaleOptimization Algorithm，WOA）对 Bi LSTM 的损失函数进行寻优，算法迭代曲线收敛且损失函数结果最小时对应的超参数即为最优解。WOA Bi-LSTM的算法流程如图4所示。其中，p为行为选择概率，X(t)为t时刻鲸鱼所处的位置，X*(t)为最佳包围位置，Xrand(t)为当前随机鲸鱼个体的位置，D、D、D分别为当前鲸鱼个体与最佳个体、最佳包围位置、随机鲸鱼个体之间的距离，A、C分别为权重系数，b为常量系数，l为-1,1区间上的随机数。WOA部分初始化WOA参数，将Bi LSTM参数映射到鲸鱼个体将Bi LSTM网络的误差函数为适应度函数，计算个体适应度寻找最优位置更新C、A、D等算法参数p0.5是否否是更新位置更新位置更新位置|A 1X(t1)=X*(t)-ADX(t1)=Xrand(t)-ADX(t1)=X*(t)-AD,p0.5Deblcos(2l)+X*(t),p0.5记录最优目标值否是满足终止？Bi LSTM部分开始输入参数初始化网络参数Bi LSTM网络网络训练与学习对测试集分类输出分类结果结束图4WOA-Bi LSTM算法流程11汽 车 工 程 师何东，等：基于改进双向长短时记忆网络的自动驾驶车辆驾驶意图识别鲸鱼优化算法通过模拟鲸鱼族群的捕猎行为来更新优化参数，该算法包括包围猎物、攻击猎物和随机搜寻猎物3个环节9。每条鲸鱼的位置都代表一个可行解，对于N个待优化参数，可将鲸鱼的位置设定为X=(x1,x2,x3,xN)。使用WOA模型对Bi LSTM网络的损失函数进行寻优。优化算法的迭代次数均设置为50次，优化器均使用 Adam，损失函数设为交叉熵，WOA-BiLSTM模型中的鲸鱼种群数设为30个，迭代次数设为20次，Bi LSTM网络的输入为目标车辆的运动状态特征方程构造的驾驶意图数据集；根据WOA模型迭代收敛的输出结果，适应度曲线收敛时的适应度对应的鲸鱼位置向量即为最优解，对应的最优隐含层节点数为82个，最优学习率为0.001 6。3驾驶意图识别模型仿真分析3.1基于改进滑动窗口算法的数据预处理交互场景中通常存在多个交通参与者，自动驾驶汽车会受到周围车辆间交互的影响，交互特征的选择对于准确识别人工驾驶车辆的意图至关重要。考虑到横向距离对车辆行驶安全的重要性10，将横向距离作为交互特征之一引入驾驶意图识别任务，设li、di分别为第i辆目标车辆与自动驾驶汽车的横、纵向相对距离，周围车辆交互特征fsocial可表达为：fsocial=(x1,x2,x3,x4,x5,x6)xi=(li,di),i=1,2,3,4,5,6（3）式中，xi为第i辆目标车与自动驾驶汽车的横、纵向相对距离构成的向量。交互特征描述的是自动驾驶车辆与周围车辆的交互行为，识别驾驶意图还需选择目标车辆的运动状态特征ft=(v,a,x,y,vy,ay)，其中v、a分别为目标车辆的速度、加速度，x、y分别为目标车辆的纵、横坐标，vy、ay分别为目标车辆的横向速度、横向加速度。不同风格的驾驶员面临相同驾驶场景时产生的驾驶意图有所不同，因此，精准识别目标车辆的驾驶意图还需要引入其驾驶风格特征，其特征向量为：vstyle=(1,0,0),激进型(0,1,0),普通型(0,0,1),保守型（4）综上所述，驾驶意图识别模型的输入iv由交互特征、目标车辆运动状态特征、驾驶风格特征构成：iv=(fsocial,ft,vstyle)（5）完成特征参数选取后，需要对NGSIM数据集中的数据进行筛选并提取相应的特征数据，同时，分类模型是有监督学习模型，需要对驾驶意图数据进行车辆行为标注。Deo等11针对该问题提出了一种通过时间标定换道行为的方法，首先寻找车辆在换道点的时刻t，然后将车辆处于区间t-4 s,t+4 s的车辆行为标定为左、右换道，但 Wang 等12通过对NGSIM数据集的观察发现，许多车辆在t-4 s时刻并未产生换道意图，仍然处于车道保持状态，因此直接根据4 s的时间标定换道行为存在一定误差。而李文礼等13使用横向位移达到车道宽作为换道完成的标定参数，提高了换道行为标定的准确率。受以上研究的启发，本文提出一种结合横向位移的滑动窗口算法对相应数据进行提取并赋予标签，如图5所示。道路1道路2采样节点换道点 St换道起点 S1换道终点 S2x3.75 m直行序列换道序列图5改进滑动窗口数据提取算法由图5可知，改进的数据提取方法定义为：找寻车辆换道点St对应的时刻t，然后提取车辆轨迹序列中t-4 s和t+4 s时刻对应的采样点并计算二者横向位移的差值。若该差值大于车道宽3.75 m，则将该条轨迹标定为换道成功。若该差值小于3.75 m，则以换道点所在的时刻为中心，在两端取相互对称的2个采样点S1、S2并计算二者横向位移的差值，当该差值达到3.75 m时，则将S1对应的时刻t1定义为换道起始时刻，将S2对应的时刻t2定义为换道结束时刻，落入区间t1,t2的采样点均为换道过程点。用以上方法对NGSIM数据集中的数据进行换道行为标定，并采用前文驾驶意图识别模型进行数据处理，提取时长为4 s的轨迹序列作为试验时模型的输入数据，最终共获取样本数据23 800组，其中左换道标签数据 4 977 组、右换道标签数据 6 331组、直行标签数据12 492组，按7 1.5 1.5的比例将数据集划分成训练集、验证集和测试集。3.2仿真结果分析选择使用不同超参数的Bi LSTM网络作为试验122023 年第 9 期何东，等：基于改进双向长短时记忆网络的自动驾驶车辆驾驶意图识别对比，网络的迭代次数均设置为50次，损失函数均为交叉熵损失函数，各模型参数设置及在训练集上的训练耗时和最后一次迭代的准确率如表1所示。训练时各模型损失函数下降曲线及准确率上升曲线分别如图6、图7所示。表1不同超参数网络训练集表现模型WOA-Bi LSTMBi LSTM1Bi LSTM2Bi LSTM3Bi LSTM4节点数/个82411648282学习率0.001 60.001 60.001 60.000 10.010 0准确率/%96.695.296.190.795.1训练耗时/s74671047969WOA-Bi LSTMBi LSTM1Bi LSTM2Bi LSTM3Bi LSTM41.21.00.80.60.40.2损失函数值迭代次序05101520253035404550图6损失函数下降曲线WOA-Bi LSTMBi LSTM1Bi LSTM2Bi LSTM3Bi LSTM410095908580757065605550准确率/%迭代次序05101520253035404550图7准确率上升曲线从表1、图6、图7中可以看出，WOA-Bi LSTM在各模型中损失函数最低、收敛速度最快、性能最优。此外，从表1中可以看出，学习率及隐含层节点数对模型的准确率和训练耗时均有影响。在采用与 WOA-Bi LSTM 相同的学习率的条件下，选择Bi LSTM1和Bi LSTM2这2个不同隐含层节点数的网络进行训练时，隐含层节点数增加，模型的准确率提高，但是训练所需的时间和计算资源也会随之增加。此外，当隐含层节点数到达一定阈值后，增加隐含层节点数反而可能导致准确率下降，这在WOA-Bi LSTM 和 Bi LSTM2 中均有所体现。当选择与 WOA-Bi LSTM 节点数相同的网络 Bi LSTM3、Bi LSTM4进行训练时，相较于较小初始学习率的模型，较大初始学习率的模型训练所需的时间较短，但准确率相对较低。而学习率数值过小，会使网络陷入局部最优，同样降低模型的识别准确率，例如Bi LSTM3网络。虽然该网络在损失函数上的表现较为优异，但其识别准确率却是所有模型中最低的。综上所述，选择合理的隐含层节点数和初始学习率对模型的性能有较大影响。使用优化后的Bi LSTM对测试集数据进行识别，结果如图8所示。其中：前3行白色方格给出了模型辨识正确的样本数量和该类驾驶意图辨识正确的样本数占测试集总样本数的比例；深灰色方格给出了模型辨识错误的样本数量和该类驾驶意图辨识错误的样本数占测试集总样本数的比例；第4列浅灰色方格给出了模型对各类驾驶意图辨识正确的样本数占该类别驾驶意图总样本数的比例；第4行浅灰色方格给出了该类别驾驶意图辨识准确率；第4行白色方格给出了模型在测试集上的总体辨识准确率。直行右换道左换道实际值直行右换道左换道预测值2 08258.3%230.6%300.8%97.5%200.6%79522.3%00%97.5%150.4%00%60516.9%97.6%98.3%97.2%95.3%97.5%图8测试集混淆矩阵从图8中可以看出，模型在测试集上的识别准确率较高，达到97.5%，且模型对右换道数据识别准确率（97.2%）大于左换道数据识别准确率（95.3%），这是因为左换道训练数据相对于右换道较少，模型在训练时，对于右换道特征的理解学习强于左换道，但二者的识别准确率均较高，说明模型对于左、右换道识别能力较强。13汽 车 工 程 师何东，等：基于改进双向长短时记忆网络的自动驾驶车辆驾驶意图识别4结束语本文针对高速混行环境下周围车辆的驾驶意图识别问题，首先，提出一种结合横向位移的滑动窗口算法对NGSIM数据集的数据进行处理、提取并构造驾驶意图特征数据集，然后基于该数据集提出一种改进双向长短时记忆网络驾驶意图识别模型，并使用鲸鱼优化算法对该模型中的学习率和隐含层节点数进行超参数优化，以规避人工调参对模型性能的负面影响。通过对比发现，鲸鱼优化算法获得的最优超参数可有效提高模型的识别准确率。在NGSIM数据集测试集上，模型的识别准确率达到了 97.5%，左、右换道和直行的识别准确率分别为95.3%、97.2%、98.3%，识别耗时为1.35 s，表明该模型能够实时精确识别驾驶意图，为周围车辆的轨迹预测提供帮助。参考文献1 陈涛,范林坤,李旭川,等.基于深度学习的智能车辆视觉里程计技术发展综述J.汽车技术,2021(1):1-10.CHEN T,FAN L K,LI X C,et al.Review on theDevelopment of Deep Learning-Based Vision OdometerTechnologiesforIntelligentVehiclesJ.AutomobileTechnology,2021(1):1-10.2HUANG L,GUO H C,ZHANG R H,et al.CapturingDriversLane Changing Behaviors on Operational Level byData Driven MethodsJ.IEEE Access,2018,6:57497-57506.3 施冬梅,肖锋.基于改进长短时记忆网络的驾驶行为检测方法研究J.汽车工程,2021,43(8):1203-1209+1262.SHI D M,XIAO F.Study on Driving Behavior DetectionMethod Based on Improved Long and ShortTerm MemoryNetworkJ.Automotive Engineering,2021,43(8):1203-1209+1262.4PHILLIPS D J,WHEELER T A,KOCHENDER M J.Generalizable Intention Prediction of Human Drivers atIntersectionsC/2017IEEEIntelligentVehiclesSymposium(IV).Los Angeles,CA,USA:IEEE,2017:1665-1670.5 黄玲,郭亨聪,张荣辉,等.人机混驾环境下基于LSTM的无人驾驶车辆换道行为模型J.中国公路学报,2020,33(7):156-166.HUANG L,GUO H C,ZHANG R H,et al.LSTM-BasedLane-Changing Behavior Model for Unmanned VehicleUnder Environment of Heterogeneous Human-Driven andAutonomous VehiclesJ.China Journal of Highway andTransport,2020,33(7):156-166.6 惠飞,郭静,贾硕,等.基于双向长短记忆网络的异常驾驶行为检测J.计算机工程与应用,2020,56(24):116-122.HUI F,GUO J,JIA S,et al.Detection of Abnormal DrivingBehavior Based on BiLSTMJ.Computer Engineering andApplications,2020,56(24):116-122.7 KAADOUD I C,ROUGIER N P,ALEXANDRE F,et al.Knowledge Extraction from the Learning of Sequences in aLongShortTermMemory(LSTM)ArchitectureJ.Knowledge-Based Systems,2022,235.8AGRAWAL C,PANDEY A,GOYAL S,et al.Fake NewsDetection System Based on Modified Bi-Directional LongShort Term MemoryJ.Multimedia Tools and Applications,2022,81(17):24199-24223.9MIRJALILIS,LEWISA.TheWhaleOptimizationAlgorithmJ.Advances in Engineering Software,2016,95:51-67.10 程国柱,王婉琦,王连震,等.车辆换道行为风险评价方法研究进展J.哈尔滨工业大学学报,2023,55(3):139-150.CHENG G Z,WANG W Q,WANG L Z,et al.ResearchProgress on Risk Assessment of Vehicle Lane-ChangingBehaviorJ.Journal of Harbin Institute of Technology,2023,55(3):139-150.11 DEO N,TRIVEDI M M.Multi-Modal Trajectory Predictionof Surrounding Vehicles with Maneuver Based LSTMsC/2018IEEEIntelligentVehiclesSymposium(IV).Changshu,China:IEEE,2018:1179-1184.12 WANG W D,QIE T Q,YANG C,et al.An Intelligent Lane-ChangingBehaviorPredictionandDecision-MakingStrategy for an Autonomous VehicleJ.IEEE Transactionson Industrial Electronics,2021,69(3):2927-2937.13 李文礼,邱凡珂,廖达明,等.基于深度强化学习的高速公路换道跟踪控制模型J.汽车安全与节能学报,2022,13(4):750-759.LI W L,QIU F K,LIAO D M,et al.Highway Lane ChangeDecision Control Model Based on Deep ReinforcementLearningJ.Journal of Automotive Safety and Energy,2022,13(4):750-759.（责任编辑斛畔）修改稿收到日期为2023年8月7日。14