基于改进DenseNet的驾驶行为识别_周晓华.pdf

收稿日期:20210506修回日期:20210515第 40 卷第 2 期计算机仿真2023 年 2 月文章编号:10069348(2023)02019706基于改进 DenseNet 的驾驶行为识别周晓华，武文博(广西科技大学电气与信息工程学院，广西柳州 545616)摘要:为提高道路交通安全，解决司机分心驾驶问题，对基于卷积神经网络的驾驶员行为识别模型进行了改进。首先对基于DenseNet 的驾驶行为识别模型进行研究，在其基础上引入注意力机制对其进行改进;将注意力机制模块化后设计了三种改进模型;最后将实验结果进行对比分析，确定性能较优的改进模型为 SEPE 模型。实验结果显示，提出的改进模型在相关数据集上达到了 94.21%的准确率，上述模型能够准确且高效的识别驾驶行为，为后续的车辆智能化研究奠定了基础。关键词:分心驾驶;行为识别;卷积神经网络;通道注意力中图分类号:TP317.4文献标识码:BDriving Behavior ecognition Based on Improved DenseNetZHOU Xiaohua，WU Wenbo(School of Electrical and Information Engineering，Guangxi University of Science and Technology，Liuzhou Guangxi 545616，China)ABSTACT:In order to improve traffic safety and solve the problem of distracted driving，an improved driver behav-ior recognition model based on convolution neural network is proposed First，the driving behavior recognition modelbased on DenseNet wais studied，and the attention mechanism wais introduced to improve it;After modularizing theattention mechanism，three improved models wereare designed;Finally，the experimental results were compared andanalyzed，and the improved model with better performance is determined as SEPE modelby comparing and analy-zing the experimental results，the improved model with better performance is SEPE model The experimental re-sults show that the improved model achieves 9421%accuracy on the relevant data sets，and the model can achieveaccurate and efficient recognition of driving behavior，it which provides the basis for the followup research of vehicleintelligenceKEYWODS:Distracted driving;Behavior recognition;Convolution neural network;Channel attention1引言世界卫生组织发布的 2018 年道路安全全球状况报告显示，每年约有 135 万人死于道路交通事故，道路交通伤害成为 529 岁儿童和年轻人的主要死因，而驾车时使用手机比专心驾驶发生碰撞的风险高出约 4 倍1。文献显示，80%的撞击事故和 65%的追尾事故是分心驾驶所导致的2。文献 3 的调查报告中显示，频繁使用电话和进行其它次要任务会严重影响驾驶安全。巴西的一项自然主义驾驶研究证明了使用电话时的车速较低，司机受到电话干扰4。有效解决司机分心驾驶问题的一种方案是对司机驾驶行为进行实时监测，正确识别驾驶行为就是本文的研究重点。搭建一个可以实时识别驾驶行为的模型，通过检测司机的分心行为，对其做出警告或做出干预，可以大大减少交通事故的发生。此外，驾驶行为识别还可以用于分析司机驾驶意图，为全自动驾驶功能的实现做出铺垫。早期的学者们使用传感器来检测驾驶员的分心驾驶行为57，这种检测方法虽然足够准确，但传感器等设备对驾驶员造成的干扰本身已经影响了安全驾驶，所以这种依赖传感器的检测方法没有得到发展。随着图像处理领域的技术突破，学者们将目光转向机器学习和深度学习领域。文献 8 使用 Hough 算法，监测驾驶员头部姿态和车辆的偏航率，进而建立起二者的模糊隶属度关系，由此来判断司机当前驾驶状态。文献 9 提出了一种基于 FasterCNN 的驾驶行为监测模型，通过识别驾驶员手中是否存在手机来确定是否在安全驾驶状态。文献 10 使用图卷积网络，对驾驶员的姿态791图进行特征提取，同时融合关键物体对驾驶员分心行为进行识别，在 StateFarm 公开的驾驶行为数据集上取得了 90%的准确率。文献 11 对 VGG16 网络进行了改进，提出的模型可以识别出驾驶员为什么发生分心，取得了较高的识别精度。文献 12 设计了一种级联网络模型，以 VGG 网络为核心对特征进行提取，通过迁移学习重新训练分类器，达到了93.3%的识别准确率。目前，驾驶行为识别领域的研究虽然已经取得了一定的成果，但驾驶行为种类繁多而诸多研究主要关注在司机打电话、发短信等与手机有关的行为上，针对其它如喝水等行为的识别还没有较好的结果。为解决此问题，本文在 DenseNet的基础上进行改进，使用 StateFarm 公开的驾驶行为数据集进行训练，并取得了理想的识别效果。2原理介绍2.1DenseNet随着卷积神经网络(Convolutional Neural Networks，CNN)研究的进展，计算机视觉(Computer Vision，CV)领域也取得了新的突破，CNN 的性能较于传统的机器学习算法具有较大图 2denseblock 结构图的优势。2012 年 ImageNet 大赛冠军得主提出的 AlexNet13 模型将 CNN 模型推向了新的高度，作者使用了 5 个卷积层和 3 个池化层搭建的 CNN 模型标志着深度神经网络时代的开始。CNN 领域的另一重大突破是 esNet14 模型的出现，作者提出的“短路连结”使得训练中的梯度易于反向传播，进而可以训练出更深的网络。在这一思路的基础上，文献 15提出了 DenseNet 模型。与 esNet 模型不同的是，DenseNet模型的后层是与所有前层连结的。DenseNet 模型巧妙地将特征在通道上连接以实现特征复用，从而大大减少了需要计算的参数量和计算成本。DenseNet 模型网络结构如图 1 所示，主要由卷积层、dense block、transition layer、池化层和全连接层构成，通过使用不同个数的 dense block 和 transition layer进行级联，就可以组成不同层数的 DenseNet。其中，dense block 是 DenseNet 的核心模块，其结构如图2 所示。如图 2，对于一个 L 层的 denseblock，共包含L(L+1)2个连接，与 esNet 模型的残差连接相比，这是一种稠密连接，可以实现特征的复用。Denseblock 第 l 层的输出可表示为:图 1DenseNet 整体结构图xl=Hl(x0，x1，xl 1)(1)式中，Hl()代表非线性转化操作，它由 BN(Batch Normali-zation)层、eLU 函 数 和 3 3 的 卷 积 操 作 构 成。虽 然denseblock 的设计可以将特征更为完整的传递到每一层，但在通道维度上大量使用拼接操作会使特征图的通道数大量增加，严重拖慢模型运行效率，Hl()操作就是通过特征降维的方式将维度数量降低以减轻网络的负担。在图 1 中，denseblock 与 Transitionlayer 相连的目的是把复用的特征图大小降低，以此来进一步提升模型的性能。Transitionlayer 中有一个大小为 1 的卷积核和一个平均池化层，并且定义参数，表示将 denseblock 输出的特征图数量减少至原始值的 倍，通常将其取值为 0.5。本文以 DenseNet169 作为 baseline 模型，其配置信息如表 1 所示。891表 1baseline 模型配置信息表网络层输出维度Baseline 模型结构卷积层11211277 卷积核，步长 2池化层565633 最大池化，步长 2Dense 模块(1)565611 卷积核33 卷积核6Transition 层(1)565611 卷积核282822 平均池化，步长 2Dense 模块(2)282811 卷积核33 卷积核12Transition 层(2)282811 卷积核141422 平均池化，步长 2Dense 模块(3)141411 卷积核33 卷积核32Transition 层(3)141411 卷积核7722 平均池化，步长 2Dense 模块(4)7711 卷积核33 卷积核32分类层1177 全局平均池化10 分类，全连接，softmax2.2通道注意力文献 16 的作者将关注点放在不同通道的特征关系上进行了研究，文中构建了一个新的模块单元 SE(Squzee Excitation)block，通过建立不同通道之间的关系，自发地校准通道维度上的特征响应。其结构如图 3 所示。图 3SE 模块结构图图 3 中，给 SE block 一个通道数为 C 的输入 U，然后通过三个操作来对其特征进行重标定。首先，在空间维度上对特征进行压缩，将其变成一个实数，这个实数在某种程度上有着全局感受野，它代表了一个通道上特征响应的全局分布。此操作可由式(2)表示，z 表示 U 压缩至空间维数的统计量，zC，UHWC。zc=Fsq(uc)=1H WHi=1Wj=1uc(i，j)(2)然后，对压缩所得的 C 个实数进行激励操作，这个操作与 CNN 网络中的门机制类似，通过训练 w 参数来学习每个特征通道之间的相关性，为每个特征通道生成相应的权重。此操作可由式(3)表示，s 为经过 sigmoid 激活后的激励参数。s=Fex(z，W)=(g(z，W)=(W2(W1z)(3)最后，将激励后输出的权重视为每个通道特征的重要性，通过乘法运算将其加权至原先的特征上，实现对通道维度的特征重标定。此操作可由式(4)表示，?xc是重新标定后输出的特征。?xc=Fscale(uc，sc)=scuc(4)3基于改进 DenseNet 的驾驶行为识别3.1数据集及预处理本文所使用的数据来自 StateFarm 公司公开的驾驶行为数据集17，该数据集中包含了来自不同肤色不同性别驾驶员的 10 个类别的驾驶行为。数据集中每个类别约有 2000个样本，共计 23500 张图片，尺寸均为 640480。将其 80%划分为训练集，另外 20%平分为验证集和测试集。为方便模型处理，使用编号 c0c9 将 10 种驾驶行为标记，其类别描述如表 2 所示。表 2类别描述编号描述编号描述c0正常驾驶c5调节收音机c1右手发信息c6喝水c2右手打电话c7伸手向后排c3左手发信息c8整理妆容c4左手打电话c9与乘客交谈为扩充数据集和防止出现过拟合现象，使用图像增强技术对样本进行处理。将样本随机地进行水平翻转、旋转 15、亮度增强、对比度增强、缩放等操作来扩展数据集。部分处理