基于ZYNQ_MPSOC的驾驶员面部疲劳检测设计_雷小英.pdf

第 卷第 期学报.年 月 .，：基于 的驾驶员面部疲劳检测设计雷小英，肖顺文，王 涌，吴静瑜，王 睿（西华师范大学 物理与天文学院；电子信息工程学院，四川 南充）摘 要：针对驾驶员疲劳驾驶车辆易致重大交通事故，设计了基于驾驶员面部特征疲劳检测系统。在 平台下，利用 摄像头进行图像采集，在 端进行图像处理，在 端的 中显示图像。调用训练的人脸分类器进行人脸检测，通过分类器得到人脸图像，再由三庭五眼的特征分割出眼睛和嘴巴区域，后对分割后的图像进行图像阈值化处理和膨胀得到眼睛和嘴巴的大致轮廓。通过对分割后的眼睛和嘴巴的外接矩形的宽长比进行计算，结合 算法、眨眼及打哈欠频率快速侦察驾驶员是否出现疲劳。在实验室模拟驾驶环境进行测试，该系统能实时准确检测到驾驶员面部疲劳状态。关键词：疲劳检测；中图分类号：文献标志码：文章编号：（）收稿日期：基金项目：校科研创新团队基金项目（）；校英才科研基金项目（）作者简介：雷小英（），女，四川宜宾人，西华师范大学硕士研究生，研究方向：软件无线电、技术及 技术。通信作者：肖顺文（），男，四川金堂人，教授，硕士，主要从事软件无线电、技术研究。：引言据大数据统计，驾驶员疲劳驾驶导致的交通事故占 以上。为减少这类交通事故，研究及时判断驾驶员是否产生疲劳的检测系统就尤其重要。目前针对驾驶员是否疲劳的判别检测方式主要有三种：一是检测驾驶员生理参数，二是检测车辆行为特征，三是检测驾驶员面部特征。第一种是监测驾驶员的心、脑、呼吸等参数变化，从而判断驾驶员是否处于疲劳状态。虽数据较准确，但仪器繁琐会对驾驶员造成压力，反而影响安全行车。第二种是监测车辆的摇摆程度，手对方向盘的压力变化等来判断驾驶员的精神状态，但此法缺乏对道路环境的考虑和忽略了驾驶员的驾驶水平，所以检测效果不佳。与传统的纯 或纯 设计相比，平台不仅拥有强大的并行处理能力，且成本小，功耗低，可拓展性强。因此本文使用第三种检测方式是在 平台下，利用 摄像头采集图片，人脸分类器得到人脸图像，再由三庭五眼的特征分割出眼睛和嘴巴区域，后对分割后的图像进行图像阈值化处理和膨胀得到眼睛和嘴巴的大致轮廓。通过 得到眼睛和嘴巴的最小外接矩形，结合 算法 标准、眨眼和打哈欠频率，将其与设定值作比实现对驾驶员的状态判断。该检测方法与驾驶员没有接触，且功耗低、实时性高，具有较好鲁棒性。系统设计原理与结构在 平台采用软硬协同的方案设计了整个系 统，被 分 成 两 部 分，分 别 为（）和（）。接口能实现 和 之间的耦合以及数据的传输。系统整体设计框图如图。由 摄像头采集到的视频信息，进入 端至 接口，由于 配置的图像格式为，利用视频处理 核进行视频格式转换，随后利用视频帧缓冲 核将视频数据通过 互联，再通过高速传输 接口写入 端的 供 端进行处理。处理后的图像数据经过高速传输 接口由 从 端搬运到 端后，依次以 的形式传入图像处理模块，最后又由 将处理后的图像存入 端的内存块中供 端进行处理。最后图像信息由 视频接口传输至显示器。图 系统框图人脸及疲劳检测算法 人脸检测利用 调用人脸分类器进行人脸检测，因 算法计算量过于复杂，遂将 特征与 算法进行融。由此图像的人脸部分即可利用 特征判定，为了减轻计算量，又引出了积分图计算。此法使得人脸检测速率大大提高。弱分类器由 迭代训练持续调整权重，其经级联训练后构造出分类能力强的人脸检测强分类器。特征 是一种经典的特征提取算法，其特征值映射图像的灰度变化情况。如眼睛以及嘴巴周遭颜色会比其本身颜色浅，其特征可用矩形特征值来描述，采集到的图像任意部位均可用到，其大小改变也无固定规则，因此矩形类别、矩形位置以及矩形大小这几种因素的函数是矩形特征值。特征值计算公式如公式：（）。（）待测的数量由 代表，第 个特征模板权值大小由表示，（）是特征模板覆盖图像区域内像素总和。假设目标图像宽度可放大的最大倍数为，高度可放大的最大倍数为。目标图像的宽度是，高度是。是 特征矩形框原始的宽，而 是原始的高。令，。水平方向的特征类别数目可由公式得：（）（）。（）旋转 的特征类别数目可由公式得（）|（）|。（）积分图大量矩形特征产生于相对较小的检测窗口是因种类、方位和尺寸的改变均会使其变化。为了快速对其进行处理，积分图的构建就十分重要。其中任一区域像素和仅仅只用遍历一次图像即可得，效率得以加倍提升。图像中待检测任一点在积分图中的表示如公式所示：（，），（，）。（）式中（，）表示是点（，）的像素值。积分图原理是将目标图像遍历计算，将原点至各点形成的矩形区域像素值存于数组。计算任意特征值时，无需再次计算此区域的像素值，可直接调用数组中数据进行加减运算以节约时间。如图，区域 所有像素点之和记为是，、依此为、。则如：（）（），（）（）（）（）（）。（）积分图的计算大幅提升了 特征的计算速率，从而提升了整个系统的工作效率。图 积分图 分类器训练及级联可依据 算法训练能够判断是否人脸的强检测分类器。选择人脸图像（正样本）张，其中正样本有各种姿态及分辨率差别，且囊括彩色和灰度图像。选择非人脸图像（负样本）张，其中负样本背景，种类多样化。训练具体步骤依此概括为：）确定样本集，样本总量为，分为正、负样本，最大训循环次数为；）最优弱分类器由迭代训练 个样本推出；）将误判样本的权重提高；）令新样本与分错样本混合进行下一番训练；）重复 与 两个步骤，直至 轮后出现 个最优弱分类器；）迭代训练将所得的 个最优弱分类器构成强分类器。最后训练出大量的强分类器，将其进行级联，最终提升级联分类器的正确率。疲劳检测与算法 疲劳检测流程驾驶员产生疲劳的原因非常复杂，但疲劳的表现通常在面部表现为眼睛眨眼频率加快，眼帘下垂，打哈欠次数频繁，而身体上则会动作迟缓。大量研究表明面部特征数据更加能够精准检测驾驶员是否产生疲劳。疲劳检测流程如图。将图像进行滤波滤除大量噪声，后利用直方图均衡使图像数据更加清晰，再实施人脸检测，将检测到的人脸图像进行人眼和嘴巴的分割处理。分别对分割好的人眼和嘴巴图像进行阈值处理，为了使最后得到的图像清晰度高，再对图像进行膨胀与腐蚀处理，最后旋转获得图像的最小外接矩形，通过对眼睛和嘴巴的外接矩形的宽长比进行计算并结合 算法对驾驶员的状态进行判断。图 疲劳检测流程图 驾驶员疲劳判断如公式（）所示，其中（）表示的眼睛或嘴巴的宽长比，表示眼睛和嘴巴最小外接矩形的长度，表示的是眼睛和嘴巴最小外接矩形的宽度。当眼睛的外接矩形宽长比即 小于，判断为闭眼，当嘴巴的外接矩形的宽长比 大于，判断为打哈欠。（）。（）仅通过对外接矩形宽长比计算无法准确判断驾驶员是否疲劳，因为人会产生正常的眨眼以及说话行为影响监测数据，因此需将其与 算法结合。是指眼睛闭合时间占某一特定时间的百分比。值 的计算如公式（），其中 为固定特定时间内眼睛的闭合图像采样帧数，则为此期间内所有图像采样帧数。值的大小反应疲劳程度，若 固定，越大即 相对大，说明眼睛闭合时间较长，可判定驾驶员疲劳程度。当 小于 时，判定驾驶员不疲劳；当 在 区间时，判定驾驶员轻度疲劳；当 在 时，判定驾驶员疲劳，当 大于 时，判定驾驶员重度疲劳。（）人感觉疲劳，会伴随着眨眼频繁以及打哈欠频率增高。通过驾驶员眨眼以及打哈欠频率也可对其精神状态进行判定。通过实验统计设定阈值，当实验人员 分钟内眨眼次数少于 次或者多于 次，可判别其产生疲劳。同理，设定当实验人员一分钟内打哈欠次数多于 次，即处于疲劳。因为在本系统中，对于图像处理用时最长的阶段是在进行人脸识别的过程中，因为需要加载分类器和使用分类器进行识别，所以本设计采用隔 帧进行一次人脸定位的方法来缩短图像处理的时间。系统功能模块设计 图像采集模块设计硬件模块设计主要在 端，重点在于图像采集和图像处理。此系统的核心芯片是 公司的 系列的。由于图像处理算法硬件实现速度快于纯 处理器，所以在 平台以软硬协同的方案设计了整个系统。图像采集部分硬件图如图。其中，利用 软件对图像采集管道进行搭建及用 实现 核的设计，后期可直接调用，提升系统开发效率。图像传感器模块采用 公司生产的，采用 总线控制 摄像头进行正常工作，让图像数据进行正常传输。它的信息交互只需两根信号线来完成，分别是数据线（）以及时钟线（）。当 为高，突变为低，即是开始信号。当 摄像头负责采集视频信息，后将其传至 接口，又因 为 配置的图像格式，所以需要将数据传输至视频处理 模块，从而达到视频格式转换的目。随即数据进入视频帧缓冲 模块，后将数据通过互联 模块，再通过高速传输 接口写入 端的 供 端进行处理。图 图像采集部分硬件图 图像处理模块设计由于天气、环境以及各种噪声会在 进行图像采集、传输和存储过程中对其造成一定程度的影响。为了能精准识别到驾驶员的精神状态，需预处理图像。图像处理部分硬件图如图。利用 软件对图像滤波、图像阈值分割和膨胀处理、直方图均衡管道进行搭建，图像滤波模块中图像数据由 从 端搬运到 端，依次以 的格式传入中值滤波 和高斯滤波 模块。中值滤波在处理脉冲噪声以及椒盐噪声时效果非常好，能使图像的边缘信息受到保护，但它不能消除高斯噪声。所以设计又采取高斯滤波对图像进行平滑的同时能够更多的保留图像的总体灰度分布特征，且能对高斯白噪声进行高效滤除。图像数据经处理后，又由 将处理后的图像存入 端的内存块中供 端进行处理。又将滤波后的图像数据由 从 端搬运到 端后，依次以 的格式传入阈值分割 和图像膨胀 模块。由于设计中检测到的人眼图像数据包含许多结构，选择基于全局的最大类间方差法（）二值化处理后，能分割出眼睛的相异组织。此设计可令类间方差至最大值且此类间方差就是分割阈值。处理完后又由 将处理后的图像存入 端的内存块中供 端使用。随后图像数据由 从 端搬运到 端后，以 的格式传入图像直方图均衡 模块，直方图均衡化对于图像来说，增加其全局对比度，特别是当关于图像的关键数据信息对比度十分接近时。由此，不仅亮度能更完美地直方图上分布，而且只会提升所针对的部分的对比度，关于其整体的对比度不会受到影响。直方图均衡前后图片对比如图。最后又由 将处理后的图像存入 端的内存块中供 端进行处理。最终目标图像数据通过 视频接口在显示器中显示。图 图像处理部分硬件图图 直方图均衡化前后对比实验验证与分析在实验室的环境下，模拟驾驶环境对 名实验人员（戴眼镜与不戴眼镜）进行疲劳检测，如图，先进行人脸识别，人脸识别后将嘴巴和眼睛分割出来，再检测分割出来的人眼和嘴巴最小矩形大小。此时被测试实验人员的眼睛最小矩形宽长比小于，判断为闭眼；嘴巴的最小矩形宽长比 大 于 ，判 断 为 打 哈 欠。最 后 结 合 算法以及眨眼频率，打哈欠频率进行疲劳判断。实验测试结果如表 所示，数据表明本系统检测准确率高，且不戴眼镜的实验人员检测效果优于戴眼镜的实验人员。表 实验测试统计结果检测内容 号（戴眼镜）号（不戴眼镜）号（戴眼镜）号（不戴眼镜）号（戴眼镜）睁眼帧数 闭眼帧数 打哈欠次数眨眼次数是否疲劳轻度疲劳轻度疲劳疲劳否重度疲劳实际是否疲劳否轻度疲劳疲劳否重度疲劳图 模拟驾驶疲劳检测图结语在 的 平台下，采取软硬协同的方式设计了疲劳检测系统，将图像处理模块放在 端，缩短了图像处理的时间，提高了检测效率。疲劳判断是提取眼睛和嘴巴最小矩形的宽长比，结合 算法 标准、眨眼及打哈欠频率，不再是单一评判标准，增强了疲劳检测的可靠性。经实验验证，该系统可快速检测到面部疲劳状态，但不足的是此系统无法在面部有遮挡的情况下进行准确的疲劳检测。参考文献：辛春明 基于 的汽车驾驶员疲劳检测系统设计大连：大连海事大学，郭磊 基于深度学习的疲劳驾驶检测系统的设计与实现呼和浩特：内蒙古大学，徐军莉，王平，穆振东融合眼动和脑电特征的疲劳驾驶检测研究重庆交通大学学报（自然科学版），（）：王秀，周枫晓，刘保罗，等基于 库的驾驶员疲劳驾驶检测系统物联网技术，（）：王涌 基于 的疲劳检测系统设计与实现南充：西华师范大学，王程龙 基于人脸识别的疲劳驾驶软硬件协同检测方法研究青岛：青岛科技大学，李明，武腾飞，赵春播，等基于 的