嵌入Dense_Net的Y...v4多尺度隧道火灾检测算法_马庆禄.pdf

基金项目:重庆市技术预见与制度创新(cstc-2019jsyj-yzysbA0058);国家重点研发计划(2018YFB1600200);重庆市教育委员会教委科学技术研究计划重点项目(KJZD-K202000704)收稿日期:2021-05-06 修回日期:2021-05-20 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0120-08嵌入 DenseNet 的 YOLOv4 多尺度隧道火灾检测算法马庆禄,唐小垚(重庆交通大学交通运输学院,重庆 400074)摘要:为解决现有火灾检测算法在公路隧道的应用较少以及算法检测的准确性和实时性不能满足要求,提出一种改进的YOLOv4 隧道火灾检测算法。由于公开的隧道火焰数据集较少,通过模拟火灾形成初期的火焰和网上搜集构建了一个包含3000 张隧道火焰图片的数据集,在数据集中添加了 500 张隧道车灯和 500 张隧道照明灯用于模型训练,提高泛化性。然后在 YOLOv4 的特征提取层的 CSP 结构中嵌入 DenseNet,融合多尺度的浅层特征信息,增强特征复用,降低梯度消失的问题和抑制过拟合。再在特征网络检测层中增加了104104 特征检测尺寸,增强隧道火灾形成初期小目标火焰的检测精度。实验结果表明:上述算法检测精度为 90.4%,在原 YOLOv4 网络上提高了 5.2%,其检测速度可达 0.16s,满足隧道实时检测的要求,并且对小尺寸火焰也有很好的检测效果,对实现隧道火灾初期预警具有重要意义。关键词:隧道火焰检测;深度学习;多尺度检测中图分类号:TP391.9 文献标识码:BYolov4 Multi-Scale Tunnel Fire Detection AlgorithmEmbedded In DenseNetMA Qing-lu,TANG Xiao-yao(School of Traffic and Transportation,Chongqing Jiaotong University,Chongqing 400074,China)ABSTRACT:In order to solve the problem that the existing fire detection algorithms are less used in highway tunnelsand the accuracy and real-time performance of the algorithm detection cannot meet the requirements,an improvedYOLOv4 tunnel fire detection algorithm is proposed.Due to the lack of public tunnel flame data sets,a data set con-taining 3000 tunnel flame pictures was constructed by simulating the flames at the initial stage of the fire formationand online collection,and 500 tunnel lights and 500 tunnel lights were added to the data set.For model training,im-prove generalization.Then the DenseNet network was embedded in the CSP structure of the feature extraction layer ofYOLOv4,and the multi-scale shallow feature information was integrated to enhance feature reuse,reduce the prob-lem of gradient disappearance and suppress over-fitting.Then,104104 feature detection size was added to the fea-ture network detection layer to enhance the detection accuracy of small target flames in the early stage of tunnel fireformation.The experimental results show that the detection accuracy of the algorithm is 90.4%,which is improved by5.2%on the original YOLOv4 network,and its detection speed can reach 0.16s,which meets the requirements ofreal-time detection of tunnels,and has a good detection effect for small flames.Early warning of tunnel fire is of greatsignificance.KEYWORDS:Tunnel flame detection;Deep learning;Multi-scale detection0211 引言我国的隧道数量和长度均占世界第一,隧道火灾事故的危害极大1,较早的发现火灾事故能够保障人民的生命安全,降低社会和个人的财产损失,因此研究实时、准确的感知火灾的发生并能及时发出警告具有重要的意义。传统的基于硬件的火灾检测器2具有很多的局限性,虽然一些学者在此基础上做出了改进,如 Ting3等提出了将传感器采集的多种物理信息进行融合的火灾检测算法,但是由于传感器自身的特性,受隧道里环境(气流、粉尘等)影响较大,且必须近距离接触火源待收集火灾到信息后,才能发送数据提出警示,不能很好的保证实时性以及精准的反馈火灾的严重程度。近年来,许多学者提出通过视频监控系统以实现实时监测火灾的研究算法越来越多,视频检测能够满足实时性的要求并且检测的区域的大,并能提供很直观的火灾画面。基于图像的火灾检测的关键环节在于特征提取以及模式识别。判断火焰是否存在提取的图像特征一种是关于静态的颜色和外形,另一种是动态的变化区域和闪烁频率等。Kim MG4提出了结合颜色信息理论的火焰检测分割技术,通过帧差法成功提取火焰的 HIS 特征,但由于颜色比较单一,所以准确率较低。Liqiangwang5通过分析火焰闪烁的时空特性和亮度变化特性建立了闪动特征模型,实验结果误报率较低。Foggia6在火灾检测中融合了火焰燃烧的形状、颜色和运动形态,从而在一个多专家框下实现了火灾的实时检测。王琳等7给出一种基于 RGB 和 Lab 的颜色统计模型,对隧道内疑似火灾区域边缘分割完整,有较好的鲁棒性。这些方法多是以颜色和形状来提取火焰特征,泛化能力不足,人为因素影响较大,无法广泛应用。目前,基于深度学习的视频目标检测发展迅速,Frizzi8采用卷积神经网络(CNN)对火灾进行检测,该方法虽然取代了手动提取特征,但无法准确获取火灾位置并且对初期火焰漏检率高。现在深度学习网络主要分为先产生候选区域再分类的两步法(Two Stage)和直接对图像进行卷积处理得检测结果的一步法(One Stage)。常见的两步法主要 R-CNN9、Fast R-CNN10、Faster R-CNN11,一步法主要包括SSD12、YOLO13、YOLOv214、YOLOv315、YOLOv416可以更快地实现目标检测。YOLOv3 是最流行的一步法,它广泛应用于交通运输领域的交通标志17、交通流18、路面坑洼19、视觉裂缝20等检测。Shen 等21运用 YOLOv1 模型进行火灾检测,虽然有很高的检测速度,但易受环境和其它因素干扰导致检测精度较低。Kim 等22采用 Faster R-CNN 进行火灾检测,检测的精度显著提高但实时性无法得到保证。Yu 等23在提出 Mask R-CNN 的特征层中从下至上将火焰特征进行融合,精度有所提高但实时性却无法保证。Jin等24采用了 Anchor-Free 网络结构进行火灾检测,降低了网络参数使其更容易部署在实际应用,但算法的检测效果正负样本极端不平衡且具有语义模糊性(两个目标中心点重叠);现有的算法无法满足隧道火灾检测对实时性和准确性的要求,因此本文提出嵌入 DenseNet 的 YOLOv4 多尺度公路隧道火灾检测算法。自建了一个含有 3000 张隧道火焰图片的数据集,在 CSP 特征提取层中加入 DenseNet 网络,加强特征复用,降低梯度消失的问题,抑制过拟合。为了增强小尺寸的隧道火焰,在特征检测层中加入 104104 特征检测层,加强特征融合,并用 K-means 聚类算法对数据集进行处理,获取隧道火灾检测先验框并分配给各特征检测尺度。建立了嵌入 DenseNet 的 YOLOv4 多尺度公路隧道火灾检测模型。实验表明该模型对隧道火灾检测具有较高的准确性和实时性,能够满足隧道火灾检测的要求,并且对隧道火灾初期的小尺寸火焰具有很好的检测效果,对隧道火灾预警的研究具有重要意义。2 YOLOv4 目标检测2.1 YOLOv4 框架YOLOv4 网络主要由输入端、BackBone 主干网络、Neck、Prediction 四个模块构成。在输入端采用 Mosaic 和 CutMix 的数据增强方式,增强图像特征信息,减少 GPU 的损耗。包含5 个 CSP 网络结构的 CSPDarknet53 作为主干的核心,能够降低计算瓶颈以及内存成本,增强学习能力。在颈部以路径聚合网络(PANet)和采用 11,55,99,1313 最大池化方式的空间金字塔(SPP)构成,增强特征融合。在训练过程中采用标签平滑和学习率余弦退火衰减等技巧进行优化。框架结构如图 1 所示。图 1 YOLOv4 框架结构图1212.2 YOLOv4 算法检测原理YOLOv4 目标检测网络流程如图 2 所示。在输入端将隧道火灾视频帧划分为 NN 格。采用具有火焰中心坐标的网格进行火焰检测,每个网格单元预测 B 个赋有 Tx、Ty、Tw、Th和置信度五预测值的边界框。用置信度来评价检测的精度和置信水平15。图 2 YOLOv4 网络火灾检测通过式(1)求得预测框的宽和高,分别用 Bw、Bh表示,以及预测框的中心坐标(Bx,By)。Bx=(Tx)+CxBy=(Ty)+CyBw=PweTwBh=PheTh|(1)式中(x)Logistic 函数;Cx、Cy 特征图中每个网格的左上角坐标;Pw、Ph 先验框相对于特征图的宽和高;Tx、Ty、Tw、Th 模型预测的中心坐标及宽高。图 1 表示换道车辆在时间段 t 内完成从初始车道到达目标车道的换道过程,图中 M 代表换道车辆,C 代表原始车道上行驶于换道车辆 M 前方的车辆,将预测框的位置参数与特征尺寸的比值与输入图片尺寸相乘,得到火焰原图中预测的边界框坐标值。每个网格需预测一个类别信息,记录为 C 类,因此输出为尺寸 NN(5B+C)的张量。同时,检测系统按式(2)计算交并比。IoU=DR GTDR GT(2)式中 IoU 交并比;DR 预测框;GT 实际框。用 IoU 来衡量预测框的精度,其理想值为 1。YOLOv4 网络训练时的损失函数由边界框回归损失 Lciou、置信损失 Lconf、分类损失 Lclass共同构成 YOLOv4 目标检测网络的的损失函数,表达式如式(3)。若边界框没有目标,就不计算 Lciou和 Lclass。Lciou=S2i=0Bj=0Iobji,j1-IoU+2(b,bgt)c2+164arctanwgth