改进的YOLOv5烟雾检测模型_郑远攀.pdf

Computer Engineering and Applications计算机工程与应用2023，59（7）火灾的发生严重危害了人民的生命财产安全。据中国统计年鉴显示，2018年全国森林火灾次数2 478起，伤亡人数39人，经济损失20 444.7万元；2019年全国森林火灾发生次数 2 345 起，伤亡人数 76 人，经济损失16 219.9万元；2020年全国森林火灾次数1 153起，伤亡人数41人，经济损失10 077.7万元。因此，研究一种早期烟雾实时检测模型在预防火灾甚至是避免火灾发生具有重大意义的。目前，从烟雾目标检测的实现技术来分，可分为基于传统视觉技术与深度学习两大类方法1。基于传统视觉技术的方法主要依赖烟雾的可辨别特征，包括烟雾的静态特征（颜色、对比度、饱和度、纹理、形状等）以及动态特征（速度、光流、形态变化等）。Appana等人2使用帧间差分法结合颜色特征获取烟雾动态区域，再利用基于Gabor的统计特征结合动态区域的能量特征来检测烟雾。Yuan等人3利用 RGB模型提取疑似烟雾像素，改进的YOLOv5烟雾检测模型郑远攀，许博阳，王振宇郑州轻工业大学 计算机与通信工程学院，郑州 450000摘要：针对烟雾发生场景复杂，小目标烟雾检测困难的问题，提出一种改进的YOLOv5烟雾检测模型。为了增加模型对目标烟雾的检测精度，结合加权双向特征金字塔网络（BiFPN）结构对特征融合过程进行修改，并在通道和空间维度上加入混合注意力机制对融合特征图的权重进行重新赋值，在增强烟雾目标特征的同时抑制无关区域特征，使烟雾特征表达具有更高的鲁棒性；使用-CIOU替换G-IOU作为预测框回归损失，提升预测框的预测精度；剔除分类损失以降低模型的复杂度。实验结果表明，改进后的YOLOv5烟雾检测模型相比于YOLOv5模型检测精度更高，其准确率达到99.35%，召回率达到99.18%，并且检测速度可达46 frame/s，该算法能有效提取烟雾的整体特征，对于复杂场景下的烟雾以及小目标烟雾检测任务更为适用。关键词：烟雾检测；YOLOv5；BiFPN；注意力机制；-CIOU文献标志码：A中图分类号：TP391.41doi：10.3778/j.issn.1002-8331.2209-0421Improved YOLOv5 Smoke Detection ModelZHENG Yuanpan,XU Boyang,WANG ZhenyuCollege of Computer and Communication Engineering,Zhengzhou University of Light Industry,Zhengzhou 450000,ChinaAbstract：Aiming at the problems of complex smoke occurrence scene and difficult smoke detection of small targets,animproved YOLOv5 smoke detection model is proposed.Firstly,in order to increase the detection accuracy of the targetsmoke,the feature fusion process is modified by combining the weighted bidirectional feature Pyramid network（BiFPN）structure,and the mixed attention mechanism is added to the channel and spatial dimensions to reassign the weight of thefused feature map.In enhanced characteristics of the smoke target inhibition has nothing to do with regional characteris-tics at the same time,the smoke has higher robustness characteristics of expression.Secondly,-CIOU is used to replaceG-IOU as the prediction box regression loss to improve the prediction accuracy of the prediction box.The classificationloss is removed to reduce the complexity of the model.Experimental results show that the improved YOLOv5 smokedetection model has higher detection accuracy than the YOLOv5 model,with an accuracy of 99.35%and a recall rate of99.18%and a detection speed of 46 frame/s.The proposed algorithm can effectively extract the overall characteristics ofsmoke,which is more suitable for smoke detection tasks in complex scenes and small targets.Key words：smoke detection;YOLOv5;BiFPN;attention mechanism;-CIOU基金项目：河南省科技攻关项目（222102210021）；河南省高等学校重点科研项目（23A520004）。作者简介：郑远攀（1983），男，博士，副教授，CCF会员，研究方向为图像处理、人工智能、大数据，E-mail：；许博阳（1997），男，硕士，CCF会员，研究方向为图像处理、深度学习、人工智能；王振宇（1997），男，硕士，CCF会员，研究方向为图像处理、深度学习、人工智能。收稿日期：2022-09-26修回日期：2022-11-28文章编号：1002-8331（2023）07-0214-082142023，59（7）然后分析疑似烟雾区域R通道的亮度和饱和度判定是否为烟雾颗粒，最后利用动力学和无序性确定烟雾。Ye 等人4将烟雾视频图像作为独立的多维数据，融合Surfacelet变换和3D-隐马尔科夫树模型设计出一种新的烟雾动态特征描述子，这种新特征描述子更加接近烟雾图像动态纹理的特征，从而更加准确地检测出烟雾。然而传统的烟雾检测算法仅仅提取烟雾的浅层特征，这就导致算法的检测精度低、误检率较高，对于新的场景泛化能力较弱。近年来随着机器视觉和数字图像处理技术的不断发展，基于视频图像的火灾检测技术进入研究者的视野。这种新型的火灾检测技术不仅适用于复杂、广阔的室外环境，而且相比较为传统的火灾检测技术，基于视频图像的火灾检测方法具有高检测率的优势。目前基于深度学习的烟雾检测方法大致可以分为两类：一类是以R-CNN为代表的基于区域建议的多阶段目标检测模型；另一类是以YOLO为代表的基于回归的单阶段目标检测模型。Tao等人5使用AlexNet6训练出一个端到端的烟雾识别网络，其检测率在测试集上达到了99.4%的准确率，远超于传统方法的烟雾检测准确率。Yin等人7采用两个子网络融合成为一个烟雾检测网络，并采用串行的形式融合两个网络的输出，大大提高的网络的检测准确率。基于区域建议的多阶段目标检测模型虽然检测准确率高，但是检测速度较慢，而基于回归的单阶段目标检测模型检测速度快，但是准确率不高。YOLO模型从YOLOv1发展到现在的YOLOv5，其检测速度和精度已经获得较大提升，甚至接近多阶段的目标检测方法。因此，大多数学者使用YOLO模型进行烟雾检测研究。谢书翰等人8将SENet嵌入YOLOv4模型对烟雾进行检测，所提出的模型检测速度和精度有所提升，但其对小目标烟雾以及有干扰物条件下的烟雾识别准确率不高。Huo等人9在YOLOv4主干特征提取网络中加入一条卷积路径，以拓宽主干网络增强网络的特征提取能力，在特征融合层加入SPP模块，增强了网络对小目标的检测能力。但是其增加了模型的复杂度，检测速度较慢，且模型抗干扰能力较差。Cai等人10在YOLOv3的基础上设计并提出了YOLO-SMOKE模型。将高效通道注意力模块（efficient channel attention model，ECA）嵌入主干特整提取网络，以此提高模型的精度和鲁棒性。但该方法加深了网络的结构，使检测帧率降低。YOLOv5目标检测模型作为当前主流的单阶段目标检测模型，具有高性能、轻量化特点，满足烟雾检测的需求。因此，本文选择YOLOv5目标检测模型进行烟雾检测是可行的。但为了实现烟雾检测的实际需求，就需要对YOLOv5的网络结构进行改进。1YOLOv5烟雾检测模型在现有的目标检测算法中，YOLOv5 由于其检测速度快、准确率较高等特点，应用范围较广。本文选择YOLOv5 目标检测模型如图 1 所示。在输入端采用mosaic数据增强方式，对4张含有目标的图片进行拼接inputCSP1_1CBLCBLUp-sampleCSP2CBLCSP1_1CBLCSP1_2CBLCBLCSP1_3ConcatCBLUp-sampleConcatCSP2CBLConcatCSP2CBLConcatCSP2ConvConvConvSPPF767618383818191918图1YOLOv5网络结构Fig.1YOLOv5 network structure郑远攀，等：改进的YOLOv5烟雾检测模型215Computer Engineering and Applications计算机工程与应用2023，59（7）获得一张图片，新图片中包含了4种同背景，极大地丰富了被测物体的背景，增强了网络的鲁棒性，同时加快了图片的读取速度。特征提取部分新增了Focus结构，将原始6086083输入图像切片后生成30430412的特征图，在没有信息丢失的条件下获得了2倍下采样特征图。特征融合部分采用特征金字塔网络（feature pyramidnetworks，FPN）11和路径聚合网络（path aggregationnetwork，PAN）12相结合，FPN网络自顶向下与主干特征提取网络特征图融合传递深层次语义信息，PAN网络自底向上传递目标位置信息，通过该方式减少底层特征信息的丢失，有利于模型更好地学习目标特征，增强模型对小目标的敏感度。在输出端，YOLOv5有3个不同尺度的特征图，大小分别为（767618）、（383818）、（191918）。由于本文仅检测烟雾这一个目标，所以3个输出特征图的最后一个维度为18。1.1YOLOv5模型改进1.1.1特征融合改进YOLOv5采用FPN+PAN结构对从主干特征提取网络获取的特征图进行特征融合，但是该方法存在一定的缺陷。由于烟雾目标的尺度变化较大，原有的特征融合技术会破坏不同尺度烟雾的特征一致性。为解决这一问题，本文在特征融合部分采用BiFPN13结构对Neck部分进行改进。BiFPN结构如图2所示。如图2所示，改进后的特征融合模块通过简单的残差链接增强了特征的表达能力，并且改进后的BiFPN结构采用加权特征融合，调节了不同尺度特征图的贡献度。BiFPN带权特征融合公式如式（1）：O=iWie+jWj Ii（1）其中，O为输出值，I为输入值，e为极小值学习率，用于约束数值的震荡，Wi和Wj为权重。以P2层为例特征融合计算公式为：Ptd2=Conv|W1P2+W2Resize()Ptd1W1+W2+e（2）Pout2=Conv|