深度学习在安全帽佩戴检测中的应用研究综述_高腾.pdf

2023，59（6）人民的生命安全永远是第一位的，特别是在建筑行业这样长期处于较高风险的工作环境当中，如何对工地环境中工人是否佩戴安全帽以及工地的危险区域内是否有人，这对于保持建筑行业安全持久发展是至关重要的。随着计算机视觉领域智能化的发展，智能工地安全领域的安全帽佩戴检测是目标检测在工业安防领域应用中一项重要的研究任务。安全帽佩戴检测的目的是对工地中工人的安全帽佩戴状态进行检测。近年来，随着经济的快速发展，工地建设项目急剧增加，进入工地必须佩戴安全帽是每个人的一项必要防护措施。但是随着人为管理难度的加大，检测不当很容易给不戴安全帽的工人造成安全伤害。随着对工地安全的重视程度越来越高，许多研究学者针对大型建筑工地的工业安防在基于深度学习领域已经开展了大量的研究工作。随着GPU算力的不断增强，深度学习技术得到了快速的发展。深度学习是构建一个足够深的网络层，使得该网络层自助学习样本数据的内在规律和表示层次。它能够处理人们并不完全懂得的问题，而且更擅长处理含噪声或不完全的数据，它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术，有着传统机器学习和传统计算机程序没有的优点。结合深度学习技术的目标检测方法逐渐成为在工深度学习在安全帽佩戴检测中的应用研究综述高腾，张先武，李柏新疆大学 信息科学与工程学院 信号检测与处理重点实验室，乌鲁木齐 830046摘要：在深度学习的推动下，目标检测方法在工业安防领域取得了很大的进展，安全帽佩戴检测任务逐渐成为智能图像识别领域的一项重要研究课题。为了综合分析深度学习技术在安全帽佩戴检测任务中的研究现状，方便后续科研人员开展研究性工作。对近年来国内外学者在深度学习环境下的安全帽佩戴检测算法总结归纳，对比分析这些方法的优点和局限性。分别从数据集的建立和用途、安全帽佩戴检测主要检测算法归纳、当前安全帽佩戴检测领域的难点这三个方面进行分析。对安全帽佩戴检测领域未来的研究方向进行展望，并提出该领域今后研究重点。关键词：深度学习；目标检测；安全帽佩戴检测；工业安防文献标志码：A中图分类号：TP391.41doi：10.3778/j.issn.1002-8331.2207-0434Review on Application of Deep Learning in Helmet Wearing DetectionGAO Teng,ZHANG Xianwu,LI BaiKey Laboratory of Signal Detection and Processing,School of Information Science and Engineering,Xinjiang University,Urumqi 830046,ChinaAbstract：Driven by deep learning,many approaches to object detection have made great progress in the field of industrialsecurity,and the study of helmet-wearing detection has gradually become a significant topic in intelligent image recogni-tion.In order to comprehensively analyze the research status of deep learning technology in helmet wearing detectiontask,and to facilitate follow-up scientific research personnel to carry out research work,this paper analyzes the state-of-the-art helmet-wearing detection algorithms under deep learning conditions proposed by domestic and foreign scholars inrecent years and compares their advantages and limitations.This paper is structured in three sections：the establishmentand usage of databases,the predominate algorithms for helmet-wearing detection,the current challenges in the field of helmet-wearing detection.The future research direction of helmet wearing detection field is prospected,and the future researchfocus in this field is put forward.Key words：deep learning;object detection;wearing safety helmet detection;industrial security基金项目：新疆维吾尔自治区自然科学基金面上项目（2022D01C61）；新疆维吾尔自治区“天池博士计划”项目（TCBS202046）。作者简介：高腾（1997），男，硕士研究生，研究方向为计算机视觉，E-mail：；张先武（1983），男，博士，副教授，研究方向为雷达系统设计和图像处理；李柏（1996），男，硕士研究生，研究方向为图像处理。收稿日期：2022-07-26修回日期：2022-10-13文章编号：1002-8331（2023）06-0013-17Computer Engineering and Applications计算机工程与应用13Computer Engineering and Applications计算机工程与应用2023，59（6）业安防领域的主流算法。目标检测算法的主要目的是提取图像中有价值的语义信息，开发高效的计算模型和技术，被广泛地应用于嵌入式设备等实际场景中，例如无人驾驶、安防摄像头、智能机器人等设备中。2019年，Zhou等1对目标检测的二十年发展历程进行综述，并对其面临的挑战和近年来的技术改进做了深入的分析。孙方伟等2、邬开俊等3、董文轩等4对基于深度学习的目标检测框架进行综述，但是这些综述均没有对应用在安全帽佩戴检测的目标检测框架进行展开。一些通用的目标检测方法在公共数据集上表现得很好，但是针对特殊工业安防环境下的性能可能有所下降，甚至失效。张立艺等5对深度学习安全帽佩戴检测算法应用研究进行了综述，李政谦等6对智慧工地的安全帽佩戴检测算法进行了综述等。然而针对基于深度学习下的安全帽佩戴检测方法综述十分得匮乏，不利于科研人员综合分析在前人的研究基础之上进行算法改进、模型优化和现有方法优化等，这也是本文撰写的必要之处。因此将针对在深度学习方法下的安全帽佩戴检测任务在本文中分成四个部分进行阐述。（1）数据集与评估指标，安全帽佩戴检测任务缺乏公共数据集，主要是通过研究人员根据自己的实际应用场景自行收集和标注。（2）基于候选区域的安全帽佩戴检测方法又称之为二阶段目标检测方法，分为提取物体区域和对区域进行CNN分类识别两部，本文将基于二阶段安全帽佩戴检测模型基础上的改进方法进行归纳分析。（3）基于回归的目标检测方法，基于回归的目标检测方法又称之为一阶段的目标检测方法，适用于对检测实时性要求较高的任务中，本文将在此阶段上的改进方法再举例对比。（4）将上述的改进方法按照解决运动模糊、遮挡、场景变化和模型压缩等问题进行提炼对比分析。最后对全文进行总结归纳，并对未来深度学习在安全帽佩戴检测方法的应用上进行展望。1数据集与评估指标1.1数据集当前目标检测任务中常用的公共数据集主要有PASCAL VOC7、MS-COCO8、ImageNet9，也正是因为这些公共数据集的出现使得深度学习技术在目标检测领域取得了极大的发展，但是目前在安全帽佩戴检测研究主要面临的问题是缺少公共数据集，大多数研究者都是根据具体的使用场景构建数据集，例如建筑施工现场、工厂车间、地下矿井、国家电网等安全帽佩戴的具体使用场景。这些数据集的采集大多数采用网上信息爬取、施工现场监控逐帧提取、摄像机施工现场拍摄等途径获取。最开始安全帽佩戴检测的数据集来源于开源项目Smart Construction，具体是用来训练智能工地安全领域中安全帽佩戴检测的落地应用。此开源的安全帽佩戴检测数据集（SHWD）提供了用于安全帽佩戴和人头检测的这两种类型的标签。它一共包括7 581张图像，其中带有9 044张人类安全头盔的佩戴物（正）和11 514张正常头部的物品（未佩戴或负）。数据集中将数据注释为 Pascal VOC 格式，其标签包含两个对象类的名称，“帽子”代表正对象，“人”代表负对象，正、负对象演示图像如图1所示。其后来研究人员对此开展了大量的研究实验，大多数采用对SHWD数据集进行针对性筛选和数据补充，满足针对特殊场景的检测需要。在表1中列举目前安全帽佩戴检测任务中部分开源数据集。Wen等10采用多尺度特征提取和优化非极大值抑制方法，在 HelmetDataSet数据集上获得平均检测精度达93.7%。Fu等11针对OIPW数据集在网络结构进行了改进，在原来的三个尺度上增加大尺寸特征图用于检测小目标；其次使用K-means对头盔数据集进行重新聚类，改进后算法的平均准确率较初始模型提高了2.9%，降低了原网络中小目标检测的漏检率和误检率。方明等12在原网络中加入了密集块，实现了多层特征的融合，提高了网络对于数据集Helmet DataSet10OIPW11Helmet Wearing12Helmet-wearing13Faclmage14类型Pascal VOCPascal VOCPascal VOCPascal VOCPascal VOC标签类别HelmetPerson with helmetPerson without helmetHelmetNo helmetHelmet wearerNot helmet wearerHelmetHelmet，alarm数量/张5 00018 5002 7214 5005 200应用场景建筑工地、工厂车间和高空作业电力施工现场建筑工地钢厂车间工厂企业表1部分开源数据集Table 1Some open source datasets图1正负对象演示图像Fig.1Positive and negative object presentation image142023，59（6）小目标检测的敏感性；在HelmetWearing数据集上检测准确率为87.42%，显著提升检测精度与速度。Zhang等13通过采用图像金字塔结构获取不同尺度的特征图，用于位置和类别预测，改进后的模型准确率高达92.13%，检测速率提高到62 FPS，其检测准确率与检测速率满足安全帽佩戴检测中检测任务要求。熊江益14利用深度可分离卷积替代传统卷积和优化先验框尺寸等方法使得改进后的模型在Faclmage数据集上的准确率高达84.3%。1.2评价指标为了对不同的算法模型进行比较，引入混淆矩阵概念，由此衍生了一系列的目标检测评价指标。如检测速度、交并比、准确率、召回率、平均正确率和平均正确率均值等。在表2中TP表示真实为正样本，预测也为正样本，又称（真阳性）。FN表示真实为正样本，预测为负样本，又称（假阴性）。FP表示真实为负样本，预测为正样本，又称（假阳性）。TN表示真实为负样本，预测为负样本，又称（真阴性）。（1）检测速度FPS（frames p