基于轻量化网络与嵌入式的分心行为协同检测系统_李少凡.pdf

第 23 卷第 1 期2023 年 3 月南京师范大学学报(工程技术版)JOUNAL OF NANJING NOMAL UNIVESITY(ENGINEEING AND TECHNOLOGY EDITION)Vol.23 No.1Mar，2023收稿日期:20220915基金项目:国家重点研发计划项目(2018YFB1004904)、国家自然科学基金面上项目(62076107)、江苏省高校自然科学研究重大项目(18KJA520001)、江苏省产学研合作项目(BY2022334)、淮阴工学院研究生科技创新计划项目(HGYK202216)通讯作者:高尚兵，博士，教授，研究方向:机器学习、计算机视觉、模式识别和数据挖掘 E-mail:luxiaofen_2002 126comdoi:103969/jissn16721292202301004基于轻量化网络与嵌入式的分心行为协同检测系统李少凡1，2，高尚兵1，2，张莹莹1，2，黄想1，杨苏强1，郭筱宇1(1淮阴工学院计算机与软件工程学院，江苏 淮安 223001)(2淮阴工学院江苏省物联网移动互联技术工程实验室，江苏 淮安 223001)摘要 分心驾驶是交通事故发生的主要原因之一 针对目前分心驾驶检测手段单一、检测种类少、检测效率低的问题，提出一种基于轻量化网络与嵌入式的分心行为协同检测系统 首先，结合 Ghost 模块和通道注意力机制提出一种轻量化目标检测网络 YOLO-Ghost，采用 CSPGBottleck 构建 GhostDarknet 作为主干网络，同时构建一种具有多尺度注意力机制的多特征融合模块 SE-FPN 来进行特征融合，根据固有检测场景进行检测头优化，以CIOU(complete-IOU)作为损失函数 采用 YOLO-Ghost 识别和定位局部特征，提出 APJ(anchor position judge)对手动分心行为进行判定;协同检测方面，利用 MobileNetv3 与 YOLO-Ghost 协同进行人脸关键点回归和视线估计;最后利用检测出的多模态信息对驾驶员当前行驶状态进行联合判定 实验结果表明，YOLO-Ghost 的准确率和检测速度优于其他主流方法 将算法部署到嵌入式设备中，在 NVIDIA Jetson TX1 上实现了 20FPS 的实时检测性能，准确性和实时性均达到检测要求 关键词 协同检测，人物交互，轻量级网络，智能交通，深度学习 中图分类号 TP391 文献标志码 A 文章编号 16721292(2023)01002508Collaborative Detection System for Distraction Behavior Based onLightweight Network and Embedded PlatformLi Shaofan1，2，Gao Shangbing1，2，Zhang Yingying1，2，Huang Xiang1，Yang Suqiang1，Guo Xiaoyu1(1Faculty of Computer and Software Engineering，Huaiyin Institute of Technology，Huai an 223001，China)(2Laboratory for Internet of Things and Mobile Internet Technology of Jiangsu Province，Huaiyin Institute of Technology，Huai an 223001，China)Abstract:Distracted driving is the main cause of traffic accident In order to solve the problems of fewer kinds ofdistracted driving detection and poor detection efficiency，a collaborative detection system for distraction behavior basedon the lightweight network and embedded platform is proposed First of all，a lightweight object detection network YOLO-Ghost is proposed by combining Ghost module and channel attention mechanism，the CSPGBottleck is proposed to buildGhostDarknet as the backbone network，and a multi-feature fusion module SE-FPN with a multi-scale attentionmechanism is proposed for feature fusion A more comprehensive CIOU(complete-IOU)function is considered as the lossfunction YOLO-Ghost is used to identify and locate local features，and APJ(anchor position judge)is proposed to judgemanual distraction behavior Secondly，MobileNetv3 and YOLO-Ghost are used to perform face key point regression andgaze estimation Finally，the detected multimodal information is used to jointly determine the current driving state of thedriver The experimental results show that the YOLO-Ghost achieves the higher accuracy and speed than other mainstream methods At the same time，when the algorithm is deployed to the embedded device，it obtains 20FPS real-timedetection performance on the NVIDIA Jetson TX1 and the accuracy and real-time performance reach the detectionrequirementsKey words:collaborative detection，human object interaction，lightweight network，intelligent transportation，deep learning52南京师范大学学报(工程技术版)第 23 卷第 1 期(2023 年)分心驾驶是交通事故发生的主要原因之一 据交通管理局的数据显示，每年全国大约发生200 万起交通事故，其中超过 80%是由分心驾驶造成的 近年来，高级驾驶辅助系统(ADAS)被许多汽车厂商采用 ADAS 使用一系列传感器来收集车内外的数据，并对车内外的静态和动态目标进行检测和识别 其中，驾驶行为监控是 ADAS 的关键技术 驾驶员分心行为检测在计算机视觉和自动驾驶领域值得深入研究尽管驾驶员分心行为识别是人类动作识别的一个通用问题，但由于车内狭小复杂的环境和驾驶员分心时体态的细微差异，目前用于人体动作识别的方法13 并不适用于驾驶员分心识别现有的对驾驶员进行分心行为检测的方法主要包括基于传统的手工特征的方法和基于深度卷积神经网络的方法 Guo 等4 利用颜色和形状信息对驾驶行为进行检测;Yan 等5 联合运动历史图和金字塔式梯度方向直方图进行驾驶员的行为识别;Sharma 等6 在多个尺度上进行密集的灰度 SIFT 特征采样，模拟每个图片局域对于分类的贡献，然后采用 SVM 分类器对带有权重的热力图进行分类 Koesdwiady 等7 利用深度卷积神经网络(VGGNET)对驾驶员进行分心检测;Hu 等8 使用一个多流 CNN 来提取不同尺度的特征融合并进行分心行为检测;Ou 等9 对神经网络进行迁移学习来改善分心驾驶行为识别的效果;Baheti等10 提出了一种改进的 VGG16 结构用于驾驶员分心行为检测，利用多种正则化技术来改善检测效果，并研究了 Dropout、L2 正则化和归一化技术对检测结果的影响上述方法多采用整张图片单一视角的全局特征来进行分心行为检测，易受车内真实驾驶场景复杂多变的影响，无法捕捉到驾驶员发生分心行为时微小的体态变化 Le 等11 利用 Faster-CNN 对驾驶员的手、方向盘和手机进行检测，并判断手是否在方向盘上以及驾驶员是否在打电话，但由于其数据集分开标注，需重复进行检测，计算量大、检测种类少、视角单一，难以应用于实际场景本文提出一种基于轻量化网络与嵌入式的分心行为协同检测系统 首先，构建一个真实驾驶场景的数据集，并进行统一标注，针对场景中的局部特征利用 APJ 对手动分心行为进行识别，协同进行视线偏移检测和疲劳驾驶检测 其次，考虑到车载系统场景的硬件低功耗限制，设计了一种单步检测器，使用 CSPGBottleck 用于组构 GhostDarknet 作为主干网络进行特征提取，实现快速准确地检测 最后，以多尺度注意力金字塔作为特征融合层加强融合效果，以考虑长宽比的 CIOU 作为损失函数 系统结构如图 1 所示图 1系统结构图Fig.1System structure diagram1轻量化网络设计11YOLO 目标检测以-CNN 为代表的二阶段检测器精度高，但检测速度较慢 以 YOLO12、SSD 等为首的一阶段检测器速度较快，但精度略差 YOLOv1 对检测目标同时进行分类回归，大幅提升了检测速度，对目标检测的实际落地起到了巨大的促进作用 YOLOv5 可以根据使用场景的不同灵活地切换所需要的模型，其 CSPDarkNet主干特征提取网络采用 CSPDarkNet 网络，结构上借鉴 CSPNet，Neck 部分采用 FPN13(金字塔网络)加PANet14(路径聚合网络)的结构进行多特征融合，同时大量使用基于 CutMix15 的随机 Mosaic 进行数据增强，回归框损失函数采用 GIOU Loss16 12YOLO-Ghost 轻量级目标检测网络为实现目标检测器的轻量化，本文提出一个轻量级的单步检测器 采用 CSPGBottleck 构建 GhostDarknet62李少凡，等:基于轻量化网络与嵌入式的分心行为协同检测系统作为主干网络，以具有多尺度注意力机制的多特征融合模块 SE-FPN 作为特征融合层，根据本系统所要检测实际目标大小对原检测层进行裁剪，并通过 K-means 算法对 anchor 进行重新聚类，以获取适合检测场景的 anchor 最后以 CIOU 作为损失函数 整体结构如图 2 所示InputimageFocus(3,64,1,1)DW(64,128,3 2),CSPGBottleneck(128,128)DW(128,256,3 2),CSPGBottleneck(256,256)3DW(256,512,3 2),DW(512,1024,3 2),CSPGBottleneck(512,512)3CSPGBottleneck(1024,1024)1SPP(1024)BackboneGhostDarknetSE-FPNYOLOheadNeckHeadSE(1024,16)DW(1024,512,1