基于多特征融合的疲劳驾驶检测_王康.pdf

湖北汽车工业学院学报Journal of Hubei University of Automotive Technology第 37 卷第 1 期2023 年 3 月Vol.37 No.1Mar.2023doi：10.3969/j.issn.1008-5483.2023.01.008基于多特征融合的疲劳驾驶检测王康，樊继东（湖北汽车工业学院 汽车工程学院，湖北 十堰 442002）摘 要：针对疲劳驾驶检测的特征源单一、辨识率低和实时性差等问题，提出基于多特征融合的疲劳驾驶检测方法。通过SSD目标检测算法进行人脸检测，利用轻量级模型PFLD实现人脸关键点定位。以眼部纵横比、嘴部纵横比和头部姿态为疲劳特征源，提取相关特征，对不同驾驶员疲劳阈值进行标定，基于改进的PERCLOS算法实现疲劳驾驶判定。仿真结果表明：多特征融合疲劳检测系统对自建数据集和YAW数据集的疲劳特征辨识率分别达到了90.5%和94.12%，在实时视频流上的执行效率达到31.59 ms，实现疲劳预警。关键词：疲劳驾驶；人脸关键点检测；PERCLOS中图分类号：TP391；U471.15文献标识码：A文章编号：1008-5483（2023）01-0039-06Fatigue Driving Detection Based on Facial Multiple Feature FusionWang Kang,Fan Jidong（School of Automotive Engineering,Hubei University of Automotive Technology,Shiyan 442002,China）Abstract：Aiming at the problems of fatigue driving detection methods such as single fatigue characteristics,low fatigue recognition rate and poor real-time performance in fatigue driving detection,a fatiguedriving detection method based on multi-feature fusion was proposed.The SSD target detection algorithm was used for facial detection,and the lightweight model PFLD was used to realize the location offacial key points.The eye aspect ratio,mouth aspect ratio and head posture were used as fatigue featuresources,and fatigue-related features were extracted.Aiming at the differences in facial features,the fatigue threshold calibration of different drivers was carried out.Based on the improved PERCLOS algorithm,the fatigue driving judgment was realized.The simulation results show that,the fatigue featurerecognition rate of the multi-feature fusion fatigue testing system on the self-built data set and theYAW data set reaches 90.5%and 94.12%respectively.The execution efficiency on the real-time videostream reaches 31.59 ms.And the fatigue warning is successfully realized.Key words：fatiguedriving;facialkeypointdetection;PERCLOS收稿日期：2022-03-22；修回日期：2022-10-28第一作者：王康（1997-），男，硕士生，从事智能驾驶方面的研究。E-mail：通信作者：樊继东（1976-），男，副教授，从事汽车电子控制、电机控制等方面的研究。E-mail：目前疲劳驾驶检测方法主要包括基于驾驶员生理特征的疲劳驾驶检测、基于车辆数据的疲劳检测和基于面部特征的疲劳检测。基于驾驶员生理特征的检测主要通过电极片等专业医疗设备，采集并分析驾驶员脑电图、心电图等电信号的变化，判定驾驶员的疲劳状态1-3。此类方法的检测精度较高，但驾驶员佩戴检测装置会对驾驶行为产生负面干扰，并不具备实用性。基于车辆数据的疲劳检测2023年3月湖北汽车工业学院学报方法通过采集刹车和油门的行程变化、车道偏离、转向盘握力、转向盘转角等车辆数据，作为疲劳判定依据4-6。但实际的行车数据会受到道路环境和驾驶员习惯的影响，当车辆出现转弯、换挡、紧急制动等情况时，信息源可靠性下降，该方法的可靠性还缺乏实车工况下的有效验证。基于面部特征的检测方法主要通过计算机视觉技术采集面部疲劳特征（如眨眼、打哈欠和点头）进行疲劳判定。Attention公司推出DD8507疲劳驾驶检测系统，通过驾驶员眼部的特征，以PERCLOS8算法判定疲劳状态。Knapik M等人提出基于热成像技术的打哈欠检测疲劳识别方法9。Park等人提出了深度睡意检测网络的深度学习架构，用于在给定驾驶员的RGB 输入视频的情况下学习有效特征并检测睡意10。Mandal B等人基于眼部疲劳特征构建公交车驾驶员疲劳监测系统11。这类方法具有精度高、成本低、无干扰等优点，但通常仅以面部属性中的某种属性作为疲劳信息源，并忽略个体面部疲劳表征差异性，导致其应用实际环境中存在疲劳误判率高、鲁棒性较差等问题。综上所述，文中从疲劳驾驶检测的实用性和精确度的角度出发，提出非接触式实时基于多特征融合的疲劳驾驶检测方法。1基于多特征融合的疲劳检测原理文中提出的基于多特征融合的疲劳驾驶检测原理如图1所示，分为人脸检测及关键点定位模块、疲劳相关特征提取模块和多特征疲劳驾驶判定模块。摄像头捕获驾驶员实时视频流，输入人脸检测及关键点定位模块，通过单次多尺度目标检测算法（single shot multi box detector，SSD）12进行人脸检测，再利用人脸关键点检测（a practical faciallandmark detector，PFLD）13算法对人脸框进行关键点定位。疲劳特征提取模块根据人脸标注信息分别提取眼部纵横比、嘴部纵横比和头部姿态等相关疲劳特征。针对不同驾驶员的面部特征进行疲劳阈值标定后，基于改进PERCLOS算法输出疲劳信息，通过评估融合疲劳信息，完成驾驶员疲劳检测。2人脸检测及关键点定位1）人脸检测算法通过预训练的VGG16基础分类网络获取不同尺度的特征映射，对于不同尺度的特征层，SSD算法使用卷积神经网络直接进行检测、分类和计算置信度，最后利用NMS算法抑制从特征层中提取的冗余信息，生成检测结果。基于SSD的人脸检测算法在保证检测速度的同时，能有效地识别不同环境和姿态下的驾驶员人脸。2）人脸关键点检测算法PFLD轻量化模型部署在移动端具有精度高、速度快的优点，提高了疲劳相关特征提取的准确率和系统的执行效率，其网络结构如表114所示。基于目标变量的均方误差设计新的PFLD算法损失函数：l=1Mm=1Mn=1Nndmn（1）式中：为度量训练输出的预测值与实际值的误差或距离；N为人脸关键点的数量；M为每个过程中训练图像的数量；n为不同类型样本的权重值。表1 PFLD网络结构输入11223562645626428264142128142128（S1）14216（S2）7232（S3）12128S1,S2,S3操作卷积33深度可分离卷积33倒残差卷积倒残差卷积倒残差卷积倒残差卷积卷积33卷积77-全连接层拓展因子-2242-维度6464641281281632128128136次数1151611111步长21221221-实时视频流人脸检测存在人脸关键点检测Y头部姿态估计头部姿态PERCLOS算法眨眼频率哈欠频率嘴部疲劳特征MAR眼部疲劳特征MAR疲劳信息融合驾驶员疲劳Y疲劳预警NN图1 基于多特征融合的疲劳驾驶检测原理图 40第37卷 第1期3多疲劳特征提取及判定3.1 驾驶员眼部特征提取及判定眼部闭合是人类疲劳时的重要生理特征之一。利用人眼的几何特征构建眼部纵横比（eye aspect radio，EAR）表示眼部的闭合程度。以左眼为例，顺时针标定6个二维坐标，眼部纵横比具体示意如图2所示。眼部纵横比：EAR=p2-p6+p3-p52p1-p4（2）式中：pi为第i个眼部关键点的坐标。EAR在某个固定值上下波动，但当人眼闭合的瞬间，EAR快速下降并趋向于0。实际情况如图3所示，当EAR波动不大时，此时人眼处于睁开状态。当人眼接近闭合时，EAR会迅速下降到0附近，返回到之前的稳定范围内时，表示完成了1次眨眼动作。由此可见，EAR的变化规律与疲劳表征相关性强，可作为有效疲劳特征源。车辆驾驶员一般为23人，根据不同驾驶员眼部特征差异性，增加疲劳阈值标定模块，在驾驶员上车前进行眼部采样，获得驾驶员闭眼时EAR阈值、EARclose，以此计算单位时间内眼睛闭合一定比例所占的时间（percentage of eyelid closure over thepupil over time，PERCLOS）和眨眼频率。当 PERCLOS大于设定的标准时，认定驾驶员处于疲劳状态。基于实时视频流中帧数序列的连续性，PERCLOS计算公式为P=xeF 100%（3）式中：P为一定时间序列中的PERCLOS；xe为此时间序列中EAR高于EARclose的帧数；F为当前时间序列的帧数。根据双眼动作的同步性，疲劳驾驶检测系统选择采集驾驶员双眼的 EAR 均值，计算PERCLOS，当其大于0.2时判定驾驶员眼部疲劳。正常人每分钟眨眼20次左右，当疲劳时，眨眼的持续时间变长，眨眼频率下降。文中引入眨眼次数作为疲劳判定指标之一，设定眨眼驾驶员每分钟内眨眼次数的阈值设定为25，当nk不小于25时，眼部状态的眨眼频率判定驾驶员为清醒的状态，当nk小于25时，判定驾驶员存在眼部疲劳。3.2 驾驶员嘴部特征提取及判定打哈欠是人类疲劳时的另一明显的生理特征。结合 EAR，可利用嘴部纵横比（mouth aspectradio，MAR）表示驾驶员嘴部状态的变化，嘴部关键点分布如图4所示。MAR计算公式为MAR=y51-y59+y52-y58+y53-y573y55-y49（4）式中：yi为第i个嘴部关键点的坐标。嘴部变化和眼部变化较为相似，但是嘴部变化不同于眼部，文中把驾驶员嘴部变化分为闭合、说话和打哈欠共3个状态。根据图5中MAR在实时视频采集中的变化，可知嘴部闭合时MAR在0.40.5波动，开始讲话时MAR在0.60.7波动，开始打哈欠时MAR在1.0左右波动。由此可见，在正常驾驶过程中MAR变化的幅度不大，当驾驶员在打哈欠MAR变化幅度较大，MAR变化规律与疲劳表征相关性强，可以作为判定驾驶员疲劳的重要评判标准。基于PERCLOS的计算方法，一定时间序列内打哈欠的频率fm为fm=xmF 100%（5）式中：xm为一定时间序列中MAR高于阈值的帧数；F为当前时间序列的帧数。相关研究表明，疲劳时的打哈欠的频率并不固定。在通过大量实验后，设定每60 s为1个时间序列，当fm大于0.1时，判定驾时间/sEAR0.300.280.260.240.220.200.180