安全帽佩戴检测网络模型的轻量化设计_郭奕裕.pdf

第 49卷 第 4期2023年 4月Computer Engineering 计算机工程安全帽佩戴检测网络模型的轻量化设计郭奕裕，周箩鱼（长江大学 电子信息学院，湖北 荆州 434023）摘要：现有的安全帽佩戴检测网络模型存在准确率低、推理速度慢、部署到边缘计算设备时精度和实时性均达不到应用要求等问题。提出一种轻量化设计的 DT-YOLO 模型，对 YOLOv4-Tiny 目标检测模型进行改进，通过增加一个检测层提高模型在密集场景下对小目标的检测能力，并引入空间金字塔池化模块，提高模型对不同尺寸目标的检测能力。使用局部稀疏因子衰减算法进行稀疏化训练，从而使经过稀疏化训练后模型的平均精度均值（mAP）得到提高。根据缩放系数判断通道的重要性，并进行模型的通道剪枝，压缩模型的大小和计算量。使用 TensorRT推理加速引擎进行网络层水平和垂直融合，消除拼接层操作，并将参数压缩成 16位浮点型，提高模型的推理速度，最后在 Jeston Nano 边缘计算设备上实现模型部署。实验结果表明，与 YOLOv4-Tiny 模型相比，DT-YOLO 模型的mAP提高了 3.6个百分点，模型大小减少了 83.5%，帧率提高 137.7%，能够满足安全帽佩戴检测的要求。关键词：安全帽佩戴检测；YOLOv4-Tiny模型改进；局部稀疏因子衰减；模型压缩；TensorRT 推理加速引擎；Jeston Nano边缘计算设备开放科学（资源服务）标志码（OSID）：中文引用格式：郭奕裕，周箩鱼.安全帽佩戴检测网络模型的轻量化设计 J.计算机工程，2023，49（4）：312-320.英文引用格式：GUO Y Y，ZHOU L Y.Lightweight design of safety helmet wearing detection network model J.Computer Engineering，2023，49（4）：312-320.Lightweight Design of Safety Helmet Wearing Detection Network ModelGUO Yiyu，ZHOU Luoyu（School of Electronics and Information，Yangtze University，Jingzhou 434023，Hubei，China）【Abstract】The existing safety helmet wearing detection network model has such problems as low accuracy，slow reasoning speed，and the accuracy and real-time performance when deployed to edge computing devices can not meet the application requirements.Accordingly，a lightweight DT-YOLO model is proposed，the YOLOv4-Tiny target detection model features two significant improvements.Specifically，a detection layer is added to improve the detection of small targets in dense scenes，and a Spatial Pyramid Pooling（SPP）module is used to improve the detection of variable-sized targets.Secondly，the local sparsity factor attenuation algorithm is used during sparsity training to improve the models mean Average Precision（mAP）.Subsequently，the importance of the channel is judged according to the scaling factor，and channel pruning is carried out to compress the size and calculation burden of the model.Thirdly，the TensorRT reasoning acceleration engine is used to fuse the horizontal and vertical network layers，eliminate the splicing layer operation，and compress the parameters into 16 bit floating-point type，thereby accelerating the models reasoning.Finally，the model is deployed on the edge computing device Jeston Nano.Experimental results indicate that compared with that of the YOLOv4-Tiny model，the mAP of DT-YOLO is increased by 3.6 percentage points，the model volume is reduced by 83.5%，and the frame rate is increased by 137.7%，and the proposed model satisfies the requirements of helmet wearing detection.【Key words】safety helmet wearing detection；YOLOv4-Tiny model improvement；local sparsity factor attenuation；model compression；TensorRT reasoning acceleration engine；Jeston Nano edge computing deviceDOI：10.19678/j.issn.1000-3428.00642190概述 随着人工智能的不断发展，安全帽佩戴检测广泛应用在变电站、工地等领域，用于保护工作人员的生命安全1。然而在复杂多变的变电站、工地环境下，现有的安全帽佩戴检测模型出现了很多问题，如基金项目：国家自然科学基金（61901059，51978079）；湖北省高等学校优秀中青年科技创新团队计划项目（T2020007）。作者简介：郭奕裕（1997），男，硕士研究生，主研方向为深度学习、目标检测；周箩鱼（通信作者），副教授、博士。收稿日期：2022-03-18 修回日期：2022-05-24 Email：开发研究与工程应用文章编号：1000-3428（2023）04-0312-09 文献标志码：A 中图分类号：TP391.41第 49卷 第 4期郭奕裕，周箩鱼：安全帽佩戴检测网络模型的轻量化设计由于精度低而出现漏检误检，检测时间长导致不能实时反馈等。在实际应用中，往往要考虑经济效应和检测效果两个方面的问题，即如何在确保精度和检测速度的情况下，实现更便捷的部署以及成本最小化。安全帽佩戴检测是一种两分类的目标检测问题，即是否佩戴安全帽，以及在检测到工作人员未佩戴安全帽时能否及时提醒。近年来，国内外在安全帽佩戴检测领域有了一定的进展。如文献 2 提出将图像增强技术的 Faster RCNN 模型应用于安全帽佩戴检测上，这类双阶段目标检测算法虽然准确率高，但是占用显存大，后期难以进行部署。文献 3提出在 YOLOv3算法基础上改进网络结构和损失函数，文献 4 提出在 YOLOv4算法基础上增加深度可分离卷积，文献 5 使用轻量化的 YOLOv5s模型，并增加一个检测层以便能更好地学习密集目标的多级特征。这些算法均对 YOLO 的基础模型进行了改进，提高了检测精度，但是没有对检测速度做进一步的优化。文献6将 MobileNet 引入 SSD 模型，文献 7 引入基于深度可分离卷积和通道注意力模块，文献 8 引入 Ghost模块，这些创新都提升了模型的检测速度。目前，国内外关于安全帽佩戴检测的研究在兼顾模型检测精度和速度，实现模型的轻量化方面仍有很大的提升空间。本文提出一种可部署在边缘计算设备的轻量化DT-YOLO模型。以 YOLOv4-Tiny模型为基础，引入空 间 金 字 塔 池 化（Spatial Pyramid Pooling，SPP）模块9以增强模型对不同尺寸目标的检测能力，并新增一个检测层，从而更准确地检测小目标，增强模型在 复 杂 环 境 下 多 目 标 的 检 测 能 力。通 过 模 型 压缩10-12技术和 TensorRT13-15加速推理引擎，在保证精度 的 情 况 下，大 幅 提 高 模 型 的 检 测 速 度，最 后 在Jeston Nano16-17边缘计算设备上实现部署。1DT-YOLO目标检测模型 1.1YOLOv4-Tiny结构改进YOLOv4-Tiny 是 YOLOv418的精简版，参数量只有后者的 10%，广泛应用在农业19-21、工业22、建筑业23等目标检测场景中。本文以 YOLOv4-Tiny 模型为基础设计安全帽佩戴检测模型。YOLOv4-Tiny模 型 精 简，然 而 其 检 测 准 确 率 较 低，因 此 需 要 对YOLOv4-Tiny 模型进行优化，以提高模型检测的准确率。图 1 所示为改进的 YOLOv4-Tiny 模型，其中实线部分为原模型，虚线部分为改进的部分。YOLOv4-Tiny模型包含4个部分：输入、主干特征提取网络、加强特征提取网络、输出。输入部分提高了输入网络的分辨率，由416416像素调整为608608像素，由此输出特征图的分辨率为1919像素、3838像素、7676像素，能够包含更多的特征信息。主干特征提取网络采用CSPDarknet53-Tiny，由2个CBL（Conv_BN_Leaky Relu）模块以及 3个包含残差（Residual，RES）网络和最大值池化层的模块组成。CBL模块结合了卷积层、批 归 一 化（Batch Normalization，BN）层24-25、LeakyRelu激活函数。RES模块在原有的残差结构上增加了大跨度残差边，这样处理可以至少减少 10%的参数量，与此同时能保持模型准确率。加强特征提取网络采用特征金字塔（Feature Pyramid Network，FPN）结构。为提高模型的性能，本文从以下两个方面对YOLOv4-Tiny模型进行改进：1）在加强特征提取网络中增加 SPP 模块，对同一个特征图使用 3个不同大小的最大池化窗口和原始特征图提取目标的特征。3个最大池化窗口能在不同尺度下提取特征图的局部特征，而原始特征图保留了全局特征，通过将这 4个特征图拼接起来，融图 1改进的 YOLOv4-Tiny模型Fig.1Improved YOLOv4-Tiny model3132023年 4月 15日Computer Engineering 计算机工程合局部特征和全局特征，增强特征层对目标的表达能力，有利于检测存在尺寸差异的目标。SPP 模块首先通过 11的卷积层将通道压缩 2倍，然后将输入特征图与将其进行 55、99、1313 最大池化的 3 个特征图拼接到一起，得到长宽不变、通道数扩张 4倍的输出，最后传入到第 1个加强特征提取层。2）增加 1个检测层，通过加深网络深度提取更多特征信息，以增强模型在复杂场景下对小目标的检测能力。检测层由主干特征提取网络的第