基于改进的YOLOv3火灾检测算法研究_奚方园.pdf

作者简介：奚方园，在读硕士，合肥学院先进制造工程学院。研究方向：项目开发、深度学习。李燕，在读硕士，合肥学院先进制造工程学院。研究方向：过程控制与信息化。梅腱，博士，讲师，合肥学院先进制造工程学院。研究方向：精密测试技术及仪器、智能信息处理。胡国华，博士，教授，合肥学院先进制造工程学院。研究方向：无线通信、智能信息处理。基金项目：安徽高校自然科学研究项目“基于肺部 图像特征提取的多窗实值离散 变换快速算法研究”（项目编号：）；合肥学院人才科研基金项目（项目编号：）。文章编号：（）基于改进的 火灾检测算法研究奚方园，李燕，梅腱，胡国华（合肥学院 先进制造工程学院，安徽 合肥）摘 要：卷积神经网络的快速发展，在图像分类、目标检测、跟踪任务等领域得到广泛的应用。因此，将卷积神经网络算法应用到火灾检测上有助于提升其在复杂环境下目标识别和抗干扰能力。针对火灾发生时烟雾及火焰目标在复杂背景下检测困难的问题，通过引入 特征提取网络、聚焦（）和空间金字塔池化（，）等方法对 算法进行改进，以提高对火灾发生时烟雾及火焰的精确识别。实验结果表明：改进后的 算法的实时检测帧率达到，目标识别准确率 ，满足实时检测的要求。关键词：卷积神经网络；火焰检测；烟雾检测；改进 中图分类号：文献标识码：在日常生活中，火灾的发生会对人们带来巨大的危害。在火灾发生前，通常伴随着烟雾和火焰的不断产生，若能够在火灾发生早期，及时地对烟雾和火焰进行迅速并且准确地检测，就可以有效地把财产损失和危害降到最低。深度学习的发展，特别是基于深度学习的卷积神经网络的出现，为火灾发生时烟雾及火焰特征提取带来了全新的解决方法。陈俊周等人利用原始图像的光流序列提取动态烟雾纹理信息，将烟雾纹理的静态特征与动态特征相结合，提升了复杂环境烟雾的检测效果，降低了误检率，但是由于早期的烟雾特征不明显，无关的区域较大，直接将原始图像输入到，增大了模型的复杂度；蒋珍存等人基于 网络，将 层全连接层修改为 层，并利用 层来阻止模型的过拟合。虽然去掉一层全连接层可以减少部分计算量，但是由此导致模型的泛化能力较差；等人提出结合像素级和目标级融合的显著目标检测算法，有效地提取火灾目标的显著特征图，但是骨干网络采取的是轻量化 网络，检测性能相对较低；等人，使用 通道与 角点检测器对火焰进行预处理，再传入 提 取 特 征；谢 书 翰 等 人使 用 聚类得到适合烟雾的锚框。在 检测头中加入 模块，能够有效地抑制无关信息对检测结果的影响，提升检测精度，但是增加了部分参数，造成速度下降；在对图像预处理时，有效地提高了目标检测的准确率，但是预处理占用较多的时间。火灾发生时的环境一般比较复杂，在对烟雾和火焰进行检测时会导致对小目标检测的效果较差和检测精度低等问题。中 的网络结构的计算是一个非常耗时的网络，在实现检测模型的嵌入式移植时对硬件的要求较高，在资源有限的设备上就无法满足检测实时性需求。因此，本文通过替换原骨干网络、增加聚焦和第 卷 第 期 年 月黑 龙 江 工 业 学 院 学 报（综 合 版）（）DOI:10.16792/ki.1672-6758.2023.01.016空间金字塔池化等方法对 进行改进和优化。改进后的算法与传统的 算法相比，在实时性、准确率上有了显著的提高，可满足火灾发生时对烟雾和火焰目标检测任务，可帮助救援人员排查火灾隐患。原理概述 是一个端到端的回归网络模型，其基础网络在 的基础上引入了残差网络，并进一步加深了网络，改进后的网络由 个卷积层组成，称为（网络中含有 个卷积层）。其中残差网络由两级卷积网络叠加核主分支输出的同纬度张量得到。同时，采用快捷链接可以有效解决卷积层训练过程中网络模型梯度退化、网络误差不断累积等问题，保证 深度训练拟合度高。模型结构整个网络主要包括 组残差网络。如图 所示为引入的残差网络图。图 网络引入残差网络模块 卷积层包含如下几个部分：一个 的 维卷积 采用 和 卷积层组合而成一个 的 维卷积；一个批量归一化层通过反向传播对训练过程中的梯度参数进行更新，使训练最快得到最优解；一个具有激活函数的层帮助参数进行更新。通过 网络提取到图像的特征信息后，使用 聚类来确定边界框的先验，即在基础网络后通过 个尺度的特征层进行边界框的预测，从而提升小目标的检测效果。的网络结构如图 所示。图 网络总体框图 根据 的网络结构，由前面的分析可知，由 与 层构成，其中 主要以卷积层与残差层组成，用于提取图片的特征；而 层则主要用于不同层次的特征图交互。目标检测模型优化 引入 骨干网络网络具有低延迟、轻量高效的特点，可移植到目标检测嵌入式设备。在 网 络 模 型 设 计 中，不 仅 继 承 了 第 期黑 龙 江 工 业 学 院 学 报（综 合 版）年的深度卷积可分离结构，同时也继承了网络模型中的可以通过不断地学习达到更好的扩展效果和压缩效果，提高整体结构的平衡性。在此基础上，网络模型中还引入了 和 网络搜索架构，通过计算机来实现最优化的参数设定，通过比较不同参数的网络模型效果，从而实现最优参数的设置。与 网络结构相比，增加了（）注意力模块与 非线性激活函数。整体而言，相较于 和 网络模型，在 项目数据库中的分类任务上，精度和速度都有着一定的提升。为了能够使目标检测算法部署到边缘检测设备上，本文对 的骨干网络进行改进，将原骨干网络替换成具有轻量化的 网络，具体操作过程是采用深度可分离卷积替代原来的标准卷积结构。如图 所示是引入 骨干网络的 模型图。图 模型图 对 模型的骨干网络精简后，极大地降低了计算量。但同时由于分辨率低，小目标物体携带的信息量少，容易造成特征丢失，从而导致对小目标的检测效果差。引入聚焦模块（）模块的概念，最先应用于。如果图像在进入 骨干网络之前未进行预处理，则图像特征可能会丢失，因此引入了聚焦模块来预处理图像，解决在处理过程中可能会出现图像失真问题。具体操作是在图像中每隔一个像素获取一个值，获取四个独立的特征层，然后通过堆叠的方法将四个独立的特征层堆叠。堆叠后得到的数据经过卷积操作就可以获得新的图像数据。得到的特征数据不会丢失信息，并且可以有效降低计算量提高处理速度。聚焦模块的处理过程如图 所示。图 聚类模块 引入空间金字塔池化（）卷积神经网络中通常输入固定尺寸的图像。本文通过引入 结构，从而获得多尺度局部特征信息。其主要作用是当进行卷积运算时在池化层与全连接层之间建立连接，使外部输入的图像进入本文网络框架前生成固定尺寸的图像。结构总共有 层，分别为卷积层、池化层、全链接层。其中，池化层中池化核有三个，分别为 ，并选择最大池化。在 主干网络中加入 结构不仅提高了网络结构的鲁棒性，而且大大降低了过拟合，提高了模型的性能，极大地增强了最后一个特征层的感受野，在参数量与计算量无明显增加的同时，增强了检测的准确度。如图 所示为 结构图。图 结构 损失函数优化原始 训练使用的损失函数是多目标优化函数，分别是类别损失、置信度损失和坐标损失，但是在计算这三种损失会使用到交并比（，）作为损失函数。如果当检测框与真实框之间没有重合，那么这时的 值为，这时对损失函数进行优化，梯度就为，网络模第 期基于改进的 火灾检测算法研究 年型将无法进行训练。针对这个问题，本文的 模型在训练的过程采用的是广义交并比（，）作为损失函数。的计算如式（）所示。（）的计算如式（）所示。（）（）损失函数的计算如式（）所示。（，）（）（）其中：表示检测框面积，表示真实框面积，表示包含 和 的最小矩形面积。算法实现改进的 模型结构算法实现如下。第一部分，图像输入到 的算法流程：（）输入的图像通过聚焦模块来进行切片操作，然后再通过堆叠（）得到通道数为 的下采样特征图；（）经过 进行卷积操作；（）经过多次的深度可分离卷积得到下采样特征图。第二部分，利用加强特征网络，对初步的三个有效特征层进行特征融合，提取出更好的特征，获得三个更有效的特征层：（）经过卷积进一步加深网络层次提高特征提取能力，并通过 结构的最大池化作用来提升网络的感受野；（）将从骨干网络中得到的特征图像进行卷积调整，然后将深层特征进行上采样处理，处理后再与浅层特征进行加权融合，使采样后得到的信息更加丰富；（）中间层的特征信息通过深度可分离卷积操作提高特征提取深度，有效地避免了梯度融合。第三部分，得到的三个输出经过 机制 到达检测头，经过如下算法流程：（）在 中计算特征信息的权重提高对重点任务的关注度；（）在检测边界框采用 损失计算预测框与真实框的偏差，将得到结果与类别损失、置信度损坐标损失结合作为 总损失；（）整个网络根据损失度反向传播计算调整权值。改进的 模型如图 所示。图 模型图 模型的训练 实验环境的搭建本次实验环境的软硬件配置如表 所示。表 实验环境软硬件配置表名称相关配置操作系统显卡 处理器（）（）加速库、编程工具编程语言 网络模型训练目前没有统一公开的烟雾火焰数据集，本文通过网络爬虫爬取图片，同时也借用了中科大火灾实验室提供的烟雾数据集，整理后得到 张图像，并将得到的图像统一用 标注工具进行标注。自制的数据集中，张图片只含有火焰，张图片只含有烟雾，张图片既包含火焰又包含烟雾。并添加 张负样本背景图片（既不含有火焰又不含有烟雾）。收集得到的数据集按照：的比例随机划分训练集和测试集。图、图 和图 分别是不同检测模型对火焰、烟雾、火焰烟雾图像检测的结果。第 期黑 龙 江 工 业 学 院 学 报（综 合 版）年（）模型（）模型（）（）改进模型图 火焰识别效果图（）模型（）模型（）（）改进模型图 烟雾识别效果图第 期基于改进的 火灾检测算法研究 年（）模型（）模型（）（）改进模型图 火焰及烟雾识别效果图 实验结果分析 评估指标本文评价的指标有准确度（，）、召回率（，），平均准确率（，）和检测速度（，）。其中，为正确检测到的正样本数据；为把负样本检测为正样本的数量；为把正样本检测为负样本的数量。在平均准确率的公式中，表示样本数量，（）表示精确度与召回率的关系函数。准确度：模型预测的所有目标中预测正确的比例，如式（）所示。（）召回率：所有已标注目标中模型预测正确的比例，如式（）所示。（）平均精度：目标检测中准确度和召回率是一对矛盾变量的指标。若以 作为横坐标，作为纵坐标，那么平均精度 就为曲线所围成的面积，如式（）所示。（）（）平均精度均值：用来衡量识别精度，是所有类别 的均值，如式（）所示。（）（）检测速度：用来衡量模型的运算能力，指的是模型一秒钟可以处理图片的数量。性能评估在相同的实验环境下，将本文改进的 检 测 模 型 与、等其他检测模型进行比较，对比结果如表 所示。表 不同模型检测对比检测模型 （帧）改进后 从表 中可以看出，针对火灾发生时对火焰与第 期黑 龙 江 工 业 学 院 学 报（综 合 版）年烟雾目标检测，本文提出的 模 型 在 检 测 精 度 上 均 高 于、；在检测速度方面，由于采用了轻量化网络 作为骨干网络，所以在计算量上面会大大地降低，因此改进后的模型在检测速度上相较于原模型提升了 ，相较于 提升了，因加入了 模块，所以略低于 ，低于。和 为轻量化网络模型，然而轻量化网络模型的引入在检测速度方面也有显著的提升，但是模型的平均精度值略有下降，无法满足既提升模型的平均精度值又提升对目标检测的精度。本文针对火灾发生时火焰及烟雾目标在复杂背景下检测困难的问题，通过引入聚焦和空间金字塔池化等方法对目标算法进行优化，改进后的目标检测算法对小目标的检测精度有了很大的提升，结合 轻量化网络可以达到较好检测效果。结语本文引入 作为骨干网络，通过金字塔池化和聚类等方法对 算法进行改进。改进后的卷积神经网络 目标检测算法，通过大量的学习训练，最终实现对 烟 雾 和 火 灾 的 目 标 检 测 的 准 确 率 达 到，实 时 处 理 帧 率 达 到。相 较 于 算法，利用改进后的模型对目标进行检测，在准确率上有了显著的提高，并且满足火灾发生时烟雾和火焰的实时检测任务。参考文献肖方 年全国 起典型火灾爆炸事故 中国消防，（）：陈俊周，汪子杰，陈洪瀚，等