基于烟雾区域和轻量化模型的视频烟雾检测.pdf

Jun.2023JOURNALOFCHENGDUUNIVERSITY OFINFORMATIONTECHNOLOGY2023年6 月息Vol.38No.3程报大学学成都信第38 卷第3期文章编号：2 0 96-16 18(2 0 2 3)0 3-0 2 8 1-10基于烟雾区域和轻量化模型的视频烟雾检测蒲建飞，魏维，吴帝勇，程鹏，袁定胜（成都信息工程大学软件工程学院，四川成都6 10 2 2 5）摘要：烟雾是早期火灾发生的典型特征，针对烟雾的智能检测能有效降低森林火灾造成的破坏。为了对监控视频中烟雾的及早检测，提出一种基于烟雾区域及轻量化模型的烟雾检测算法。首先通过残差顿堆叠获取视频中的运动区域，然后再利用自适应暗通道掩码对运动区域进一步筛选获得疑似烟雾块。在此基础上，又设计了一个轻量化的神经网络模型用于烟雾识别，模型利用卷积局部感知的特性提取烟雾的浅层特征，而在网络深层则将卷积和self-attention相结合，通过比较全局相似度，在浅层特征图的基础上获取烟雾的全局信息。实验结果表明，算法具有较强的鲁棒性，无论是远距离烟雾还是近距离烟雾均有良好的检测效果。关键词：早期烟雾；暗通道；自注意力机制；卷积神经网络中图分类号：TP391.4文献标志码：Adoi:10.16836/ki.jcuit.2023.03.0060引言森林是一种重要的生态资源，为人类生产生活提供重要的原材料。森林火灾是一种极具破坏性的灾难，不仅使生态环境受到严重破坏，而且给人类造成巨大的经济损失，甚至危及生命安全。而发生森林火灾时灭火的难度远远比城市火灾大，因此对森林火灾进行有效的预警就显得尤为重要。传统的火灾探测系统一般采用温度或烟雾传感器，当火灾发生时，生成的烟、温度和光等物理量达到一定数值时，发出报警信号1。但这种探测系统仅适用于建筑物、隧道等的火灾预警中，在高大空间的火灾报警中，上述方法不能很好地适用。近年来随着机器视觉与图像处理技术的不断发展,基于视频图像的火灾检测技术引起了关注。这种新型火灾检测技术可以忽略地形地势的限制，其检测覆盖面大,不存在检测死角和空白,并且拥有高检测率和能够远程实时预警的特点，因此逐渐成为森林火灾预警的主要方案。其中，由于烟雾和火焰是火灾的两种主要表现形式，而烟雾产生于火焰之前，相比对火焰的检测,对烟雾的有效识别能更及时地预警和预防森林火灾的发生,因此对烟雾的研究越来越多。Russo AU等2 首先利用背景减法从输入顿中去除背景，然后采用基于形状的滤波方法获取感兴趣区域。根据感兴趣区域的像素点计算局部二值模式的值并构建直方图形成特征向量，最后利用支持向量机对形成的特征向量进行判别。Tang等3 则通过背景差法提取运动区域，并对每个运动区域进行处理以获得局部信息。利用局部二值化模型提取每个块的纹理特征。然后利用收稿日期：2 0 2 2-0 9-0 1基金项目：四川省科技厅重点科研资助项目（2 0 2 1YFG0299）支持向量机对提取的特征进行分类。Liu等4 使用小型烟雾图像块与视频中运动区域的图像特征匹配进行烟雾识别。首先利用Vibe算法提取视频帧中的运动区域，然后提取运动区域的局部向量化特征和中心对称的局部二值模式特征进行特征融合，将融合特征输人支持向量机进行烟雾识别。Gao等5 在帧处理阶段不提取火灾烟雾特征（如纹理、颜色、频率信息等），仅使用连续帧提取动态区域中的稳定点作为烟雾根候选点。在扩散模型模拟阶段，采用所有烟雾根候选点信息生成模拟烟雾。最后实现基于颜色、动态区域和模拟烟雾的匹配算法辨别烟雾。Wang等6 设计了一种识别圆锥几何特征的算法，用于区分烟雾圆锥区域和动态区域。然后，使用颜色滤波算法对这些圆锥形区域进行滤波处理。最后，通过纹理滤波算法将真实烟雾与候选烟雾区域区分。Zhou等7 采用最大稳定极值区域算法提取烟雾的局部极端区域。通过跟踪极端区域获取疑似烟雾区域，后利用提出的累积区域方法根据烟雾的运动特征来检测烟雾。Wang等8 则利用RGB和HSV颜色模型获取烟雾颜色特征，利用小波变换获取背景模糊特征,计算像素比获取烟雾轮廓特征，利用光流法获取主运动方向的特征。然后，将获取的各烟雾特征融合后输人支持向量机进行烟雾检测。上述方法均依靠人工设计的特征来进行烟雾检测。但人工设计的特征容易受到环境的影响，当环境复杂人工设计的特征在进行烟雾检测时往往出现高误报和高漏报的情况。随着深度学习技术的发展，2 0 15年，卷积神经网络(convolutional neural network,CNN）在 ImageNet 图像分类竞赛上超越了所有传统图像特征提取方法，首次超越受过训练的人类的识别率，证明卷积神经网络在提取图像特征上拥有很强的能力。越来越多的研究大282息报程都成第38 卷信学学者开始将基于卷积神经网络的深度学习技术应用在视频烟雾检测上。Zhang9提出了一种使用迁移学习来检测烟雾图像的双通道卷积神经网络（DC-CNN）：一个通道上使用带有迁移学习的AlexNet网络提取广义特征，一个通道使用纯卷积神经网络提取特定特征。Yuan等10 受到GoogleNet，In c e p t i o n 模块网络结构的启发，设计了更加适合烟雾识别的网络模块，提出DM-CNN网络结构。相比ZF-Net、VG G 16、In c e p t i o n-v 3等网络有着更好的识别效果。Yin等11 提出了一种基于视频的深度神经网络烟雾检测方法，该方法有两个独立的网络分别学习空间特征和运动特征。其中，空间网络从原始帧学习特征，运动网络学习相邻两帧的运动特征。之后,将其输入RNN网络进行特征融合借此识别烟雾。Xu等12 提出了一种基于SSD和多尺度深度卷积神经网络的烟雾检测器，并通过使用合成烟雾图像样本进行网络训练。对比基于ZFNet的SSD,基于VGGNet的SSD,该方法在烟雾检测性能上显著提升。利用卷积神经网络这类的深度学习方法，虽然可以自动提取烟雾特征并拥有较好的烟雾识别率，但该类方法需要巨大的训练数据且计算开销大，无法做到对野外火灾进行实时预警针对上述问题，本文提出一种基于疑似烟雾区域的神经网络早期森林烟雾识别方法。该方法拥有以下优势：（1)将残差应用在运动物体检测的同时，与提出的自适应暗通道掩码相结合用于确定疑似烟雾区域，这样可以减少后续处理的数据量，同时保证未丢失后面待识别的烟雾特征。（2）所提出的烟雾识别模型不厚重，参数量很小，能够做到对捕获到的疑似烟雾区域进行实时识别。（3)在所设计的轻量级模型中将自注意力和卷积相融合，使模型在提取烟雾局部特征的同时关注烟雾的全局信息。总的来说，通过该方法能够同时兼顾林火烟雾检测的准确性和实时性。方法流程如图1所示。输入视频烟雾非烟雾图片视频顿预处理疑似烟零检测图片翻转色彩抖动残差顿堆叠检测暗通道掩膜去除运动区域部分非烟雾区域图片插值缩放处理获取凝似烟雾区域轻量级模型搭建是否存在疑似烟雾N和训练Y模型部利用训练好的模型识别轻量级模型保存疑似烟雾区域图片是否存在疑似烟雾N轻量级模型训练Y标记预警图1早期森林火灾烟雾识别方法流程1疑似烟雾目标区域检测1.1残差帧堆叠检测运动区域常见的运动检测算法有光流法，背景差分法和帧差法等。光流法利用图像序列中像素在时间域上的变化以及相邻顿之间的相关性，找到上一帧跟当前顿之间存在的对应关系，计算相邻帧之间物体的运动信息，但大多数的光流计算方法计算量巨大，结构复杂，且易受光照、物体遮挡或图像噪声的影响，鲁棒性差，不能做到对运动目标进行实时检测。背景差分法是指将图像序列中的当前帧和已经确定好背景图像做减法，像素值差异超过一定阀值的区域为运动区域。其不足之处在于当场景变得复杂、不可预知时，如光照突然变化、运动物体进出场景时，选择性的更新背景成为背景差分法的一大难点。顿差法是利用相邻顿（或相邻三帧)之间求取两两帧之间图像灰度差的绝对值，当绝对值超过一定阈值时，可判断为运动目标。其优点是算法实现简单，程序设计复杂度低，能够适应各种动态环境，有着比较强的鲁棒性。缺点是对慢速运动的物体，特别是当物体在前后两帧中几乎完全重叠时,检测不到物体。由于烟雾形成初期运动缓慢，单纯地使用顿差法将很难检测到缓慢运动的烟雾。本文提出利用残差顿堆叠13 来获取视频中的运动物体。通常的残差帧通过对相邻两进行顿差法获取,但由于早期烟雾扩散缓慢,相邻两顿获取的残差顿不能很好地捕捉到疑似烟雾区域，因此本文提出的算法扩大顿间距离，利用相隔2 0 顿的两顿来获取残差顿。获取残差帧的公式如下：(1,IFrame;-Frame;-20 I TResFrame;=lo,else其中Frame,Framej-20分别代表第i顿图像和第i-20顿的背景参考顿图像,ResFrame代表获取的残差帧图像，在实验中发现T值为2 0 时效果较好。利用顿差法来获取残差顿虽然速度较快，但由于其固有的缺点不能提取出对象的完整区域，只能提取出边界。所以，本文提出利用残差顿堆叠来弥补该缺陷。受vibe算法的启发，首先将连续的多个残差帧进行保存得到残差顿集合M()：M(x)=ResFrame,ResFramei-1,.,ResFramei-后对集合M(x）中的残差帧堆叠得到当前视频的运动前景。其具体的实现方法如下：283蒲建飞，于烟雾区域和轻量化模型的视频烟雾检测第3期(1,2ResFrame;(x,y)2MoveFrame;(x,y)=0lo,else其中MoveFrame（x,y）表示当前视频帧的运动前景，t值为2 0 代表集合M（）中保存的残差个数。利用残差堆叠虽能实时获取视频顿中的运动物体，但当捕捉到运动的烟雾后，由于烟雾扩散缓慢和帧差法固有的缺陷，烟雾后期将很难检测到运动的烟雾，因此提出若有连续5顿检测到烟雾，则冻结前文提出的背景参考 Framei-20。尽管残差帧堆叠能有效去除视频顿噪声和镜头晃动对运动检测的干扰，但是户外环境往往是非常复杂的，如野外环境树叶晃动、飞鸟突人镜头、行人、汽车均会对视频顿的运动烟雾检测形成较严重的干扰。因此，本文在利用残差帧堆叠进行运动烟雾检测的基础上，引人自适应暗通道掩膜来进一步筛选出运动的烟雾。1.2自适应暗通道掩膜通常彩色图像包括3个通道，即RGB三通道，可以理解成一张图片由3层同样大小的RGB（光学三原色：红绿蓝）三色堆叠而成，而图片实质上是由一个个像素组成的，像素点上的每一种颜色由这三原色组合而成。暗通道先验14 指清晰无雾的彩色图片中除天空区域(因为天空区域或者白色区域和雾的特征较为接近)外的任一局部区域像素至少有一个通道值很低,几乎趋近于零。即在一个RCB图像中所有像素点取最低的颜色通道值所构成的新图像称之为暗通道。通过以上描述，一张图像的暗通道的计算公式如下：Jdark(X)=_min(.min,J(Y)YEW(x)CETg.b其中J表示图像三通道中的一个，（）表示以像素x为中心的区域，两次最小值滤波的滤波半径为WindowSize=2Radius+1做近似计算，其中WindowSize为最小值滤波窗口大小。在自然环境中,早期的烟雾通常为白色,表现在暗通道上则是存在烟雾的区域拥有很高的像素值。因此，暗通道像素值的强度能够在一定程度上作为检测烟雾是否存在的方法。获得暗通道后，可通过阈值判断得到暗通道掩膜来划分真实图像中的疑似烟雾区域。具体计算公式为(1,Jdak(X)T,DarkMask=lo,else其中DarkMask即为所求的暗通道掩膜，但一般阈值T，是固定的，得到的掩膜无法适应野外的复杂环境，做到去除烟雾检测的大部分干扰。因此，本文提出自适应掩膜来解决该难题，使掩膜的阈值随环境变化而变化。具体方案是，利用残差顿堆叠获取到的运动前景和暗通道来改变阈值T1。首先将运动前景与暗通道并操作获取在运动区域在暗通道上的映射，再对得到的映射图像求像素平均值，该像素平均值即可视为暗通道掩膜的阈值。其计算公式如下：MoveDark;=MoveFrame;(x,y)n Jdark(X)hZ,ZMoveDark(x,y)T,=x=0y=0Z,ZMoveFram