基于改进注意力W-Net的工业烟尘图像分割_詹光莉.pdf

第 卷第期计算机集成制造系统 年月 ：收稿日期：；修订日期：。；基金项目：国家自然科学基金资助项目（，）；云南省科技厅应用基础研究资助项目（）。：，（，），（）基于改进注意力 的工业烟尘图像分割詹光莉，刘辉，杨路（昆明理工大学 信息工程与自动化学院，云南昆明 ）摘要：针对小目标烟尘尺寸小、边缘稀薄和 在提取小目标烟尘特征效果不佳等原因导致的烟尘漏检、误检和分割精度低等问题，提出一种基于改进注意力 （）的烟尘图像分割网络。采用注意力机制将 扩展为 ，在 的基础上引入改进的注意力机制，增强了小目标烟尘的特征；针对小目标烟尘特点对焦点损失进行改进，增加了小目标烟尘的分割比重。实验结果表明，能够在不影响大目标烟尘分割的基础上更加关注小目标烟尘的分割效果，从而提升了烟尘图像的整体分割能力，相比现有语义分割网络具有更好的分割效果。关键词：工业烟尘；图像分割；注意力机制；焦点损失中图分类号：文献标识码：，（，）：，（），：；引言近年来，现代工业化进程导致工业烟尘排放增加，大气污染等一系列环境问题越来越严重，工业烟尘危害环境和人的身心健康，已经成为大气污染最主要的来源之一，对其进行污染等级监测成为节约能源、减少环境污染的有效手段。随着计算机图像处理技术的快速发展，相比采用高精度测量仪器分析烟尘成分导致的高成本维护和采用人工目测法导致的低准确率，利用计算机图像识别技术监测工业烟尘排放成为当前更经济有效的手段，其中基于林格曼烟气黑度图的工业烟尘污染等级监测方法使用最广，该方法中最重要的环节是分割图像中的烟尘与背景。第期詹光莉 等：基于改进注意力 的工业烟尘图像分割图像分割方法分为传统图像处理技术与深度学习两种。受计算机 限制，传统的图像分割方法只能通过提取图像的颜色、空间结构和纹理信息等低层特征来分割图像，如阈值分割法、帧间差分法和纹理分析法，而且消耗时间大、分割精确度不高。随着计算机技术的高速发展，深度学习被广泛应用于图像分类、目标检测、图像分割等计算机视觉领域，而且已有学者将其应用于工业烟尘图像分割领域，并取得了比传统图像处理方法更好的效果。邓林采用 神经网络有效检测出视频中的烟雾对象，但在干扰较多的场景中检测效果不佳；王文哲 在烟尘目标分场景的情况下使用全卷积网络（，）进行像素级分割，但分割精度有待提高；等 采用双路网络对烟雾进行精细分割，但是网络结构比较复杂，训练时间较长；刘辉等采用多尺度 对个场景下的烟尘图像进行分割，效果提升明显，但是没有结合小目标烟尘的具体问题进行针对性改进。本文以小目标烟尘为研究对象进行图像分割，针对 提取小目标烟尘特征效果不佳而导致的漏检、误检等问题，对 的网络结构进行改进，引入了注意力机制将 扩展为 ，并在 的基础上加入改进的注意力机制，使网络具备增强小目标烟尘特征的作用。另外，针对小目标烟尘由于尺寸小、边缘稀薄而导致的分割精度不高的问题，对损失函数进行改进，并结合小目标烟尘的特点改变焦点损失的权重项，以增加小目标烟尘在目标识别中的分割比重，从而实现对小目标烟尘的精细分割。实验结果表明本文所提方法具有良好的预测精度。针对小目 标烟尘数 据 集 的 网 络分析工业烟尘分割是将图像中的所有烟尘归为一个类别，从背景中将其分割出来，其中烟尘是正样本，背景是负样本。工作人员通过对多个场景下的多幅烟尘图像进行分析鉴定，将面积小于整幅图像的烟尘鉴定为小目标烟尘，与大目标烟尘相比，小目标烟尘尺寸小、边缘稀薄、更难识别。在小目标烟尘数据集中，每一张图像都存在小目标烟尘，甚至存在多个小目标烟尘。本文对小目标烟尘数据集进行图像分割，考虑该数据集规模较小，采用 进行烟尘分割。相比于其他语义分割网络 ，的优点在于能够针对小型数据集进行端到端快速、有效的训练。然而，在小目标烟尘数据集上的分割效果并不显著，存在小目标烟尘漏检、误检等问题，而且分割精度较低，原因如下：（）的网络结构提取小目标烟尘特征能力有限 由收缩路径和扩展路径两部分组成。收缩路径利用降采样操作捕捉图片中的上下文信息，逐层提取图像特征；扩展路径用来还原图像位置信息和分辨率。收缩路径和扩展路径之间使用复制、剪切操作进行跳跃连接，连接对象是编码器的卷积层和与之对应的解码器的反卷积层，虽然能够融合浅层位置信息与深层语义信息，但是信息的融合过程过于简单、粗糙，对小目标烟尘不具有选择性和针对性。（）小目标烟尘本身具有尺寸小、边缘稀薄等特点在小目标烟尘场景中，小目标烟尘与大目标烟尘相比面积更较小、边缘较更稀薄，当场景中大目标烟尘过大，或背景与烟尘过于相似时，小目标烟尘很容易被网络忽略，更难被识别。面向烟尘分割的改进注意力 改进的注意力机制针对 在训练时提取小目标烟尘特征效果不够明显，导致小目标漏检、误检的问题，本文对 的网络结构进行改进，提出一种基于改进注意力 （，）的工业烟尘图像分割网络，如图所示。网络结构的改进点如下：（）将第个 的分割结果和原始图像分别作为注意力机制的两个输入，经过注意力机制特征融合后，将新的特征图作为第个 的输入进行新一轮图像分割。在 网络的基础上引入注意力机制将其扩展为 网络，而不是简单地将两个 网络连接组成 网络，其目的是利用注意力机制更好地突出目标特征来增强小目标烟尘轮廓，体现了 网络结构的优势。（）在第个 的跳跃连接中加入改进的注意力机制，改进的注意力机制原理是利用第个计算机集成制造系统第 卷 中的注意力机制结果指导第个 中的注意力机制。跳跃连接操作能够结合不同深度的网络层进行浅层位置信息和深层全局语义信息融合，在跳跃连接中引入注意力机制，使信息融合变成选择性地筛选、提取、融合小目标烟尘的位置和轮廓信息的过程。如图所示，改进的注意力机制有向量、向量和向量个输入。向量是收缩路径卷积块的特征图，向量是扩展路径卷积块的特征图，向量是第个 的注意力机制结果，起微调第个 中注意力机制的作用。向量、向量和向量经过步长为的卷积层变换后进行逐个元素相加（操作），合成的向量经过 激活层、卷积层和 层后得到取值范围为，的注意力系数，系数越接近表示与目标特征越相关。将注意力系数与向量融合（操作）能够抑制不相关区域，增强目标区域。另外，改进的注意力机制再一次体现了 网络的结构优势 能够重复利用有效信息，最终达到更细致、准确的分割效果。改进的焦点损失函数在小目标烟尘场景中，由于尺寸较小、边缘较稀薄，小目标烟尘比大目标烟尘更难被精准识别，导致整体烟尘的分割精度较低。针对该问题，本文提出一种改进的焦点损失函数 。焦点损失函数 是在交叉熵 损失函数的基础 上 增 加 了 一 个 常 数 项和 一 个 指 数 项（），即（）（）（）（）（）（）（）（）（）。（）式中：为 样本数量平衡因子，用于调节正负样本的比重，越靠近，正样本对损失函数的贡献越大；为难易平衡因子，越大，难分样本对损失函数的贡献越大。因此，焦点损失函数可以同时解决正负、难易样本分割问题，参数和决定样本优先级，在应用中需要根据实际情况调整。在小目标烟尘场景中，小目标烟尘比大目标烟尘更难被识别，单纯使用参数调节正负样本比重不能满足小目标烟尘场景。因此，根据大目标烟尘和小目标烟尘分割的难、易程度，用（）代替常数项。如图所示，（）为曲线，为曲线，此处 。当对象为难分割的小目标烟尘时，预测值较低，例如 经过（）可以转换为 ，小目标烟尘在正样本中的比重被提高；当对象为易分割的大目标烟尘时，预测值较高，例如 经过（）可以转换为 ，大目标烟尘在正样本中的比重被减弱。在焦点损失函数中，函数项（）起降低易分割样本点、提高难分割样本点比重的作用。然而在含有小目标烟尘的场景中，小目标烟尘属于难分割样本，预测值普遍处于（，）之间，需要能更多提高（，）之间 难 分割样 本 比 重 的 函 数 项，（）比（）更适合小目标烟尘分割任第期詹光莉 等：基于改进注意力 的工业烟尘图像分割务。如图所示，（）为曲线，（）为曲线，此处。当 时，曲线的值为 ，曲线的值为 ；当 时，曲线的值为 ，曲线的值为 。可见，曲线比曲线放大（，）区间值的效果更明显。综上所述，针 对 小 目 标 烟 尘 的 特 点，综 合 考虑控制正负、难易样本比重之后的改进焦点损失函数为 （）（）（）（）（）（）（）（）（）。（）改进前后的焦点函数曲线对比如图 所示，改进后的焦点损失函数 为曲线，改进前的焦点损失 为曲线，此处 ，。实验与分析 实验数据和平台工业烟尘图像分割数据集中的所有图片来自实际钢厂提供的工业烟尘排放视频。从 段不同时间段、不同监测点的视频中提取 帧含有烟尘排放信息的图像，图像尺寸统一设置为 。采用 标图软件对图像中的烟尘目标进行标记，并对所有原始图片及其标签进行 ，旋转和上、下翻转操作，将数据集扩充倍达到 张，选取 张作为训练集，张作为验证集，张作为测试集，其中 张测试集图像为小目标烟尘场景的图像。实验电脑配置为：（）（）处理器，内存，显卡，语言和 深度学习平台。评价指标根据实验中的真实情况和预测结果之间的关系，将正、负样本分为真正例（）、真反例（）、假正例（）和假反例（）类。本次实验选择查全率 、查 准 率 、交 并 比 、每秒传输帧数和内存 个指标作为衡量实验结果的评价指标，其中每秒传输帧数和内存用于分析网络的计算复杂性。查全率为被正确分类的正样本数量 与真实正样本数量（）之比，即 。（）查准率为被正确分类的正样本数量 与被预测为正样本数量（）之比，即 。（）交并比为真实情况和真实结果的交集 与并集（）之比，本质上是衡量两个样本的重叠部分，即 。（）为综合考虑查全率和查准率的度量，即 （）。（）式中用于调整查全率和查准率在 中的权重。如果认为查全率重要，则增大；如果认为查准率重要，则减小；时认为二者同样重要。在烟尘图片分割任务中，查全率表示有多少烟尘正样计算机集成制造系统第 卷本被分割出来，查准率是分割出来的烟尘正样本中有多少是准确的。烟尘分割中更关注的是查全率，因此在 中设置。网络结构改进对比实验为了验证本文方法 在网络结构上的改进能更有效地提取小目标烟尘特征，本节对原始的 、利用注意力机制将两个 扩展成的 、跳跃连接中添加了注意力机制的 ，以及本文方法 添加了改进注意力机制的 进行对比。各个网络的训练设置中，迭代次数 ，优化器为 优化器，损失函数为交叉熵损失。个网络在测试集上的分割结果对比如图所示，评价指标对比如表所示。表网络结构评价指标对比网络结构 每秒传输帧数内存 图表明，的分割结果中存在烟尘漏检、误检等问题，如第行的第个图和第行的第个图所示。和 对该情况有一定改善，说明在网络中加入注意力机制对提取烟尘特征有效果，但仍存在烟尘边缘分割不够准确的问题，如第行的第个图所示。本文方法 对此又有进一步改善，其烟尘分割结果更完整，边缘也更准确，说明改进的注意力机制相对原始注意力机制对烟尘的分割效果更显著。如表的评价指标所示，和 的 ，指标比 高，的 ，指 标 比 高 ，提升效果更明显；随着网络结构的改进，每秒传输帧数逐渐减小，模型权重文件占用的计算机内存逐渐增大，改进后的网络相比改进前的网络计算复杂性略低。然而，工业烟尘图像分割任务对网络 的 时 间 复 杂 性 和 空 间 复 杂 性 要 求 较 低，以较小 的 分 割效 率 损 失 为 代 价 获 得 了更高的分割精度。损失函数改进对比实验为了验证本文所提改进焦点损失的有效性，将其与不 同 的 损 失函 数进行对 比。改 进 前 后 对第期詹光莉 等：基于改进注意力 的工业烟尘图像分割比的损失函数有交 叉熵 损失、焦 点 损失、和本文改进的焦点 损 失 ，其 他对比的 损 失 函 数 有 和 。其中，焦点损失根据参数和的不同组合情况又分为种损失，记作（，），（，），（，），（，）；函数根据公式（）中的不同指数情况，又分为种损失 .（），（），.（），记 作 （.），（），（.）。个损失函数在 上的分割结果对比如图所示，评价指标对比如表所示。表损失函数评价指标对比损失函数 每秒传输帧数内存 （，）（，）（，）（，）（）（）（）图表明，本文提出的损失函数 改进后的焦点损失能够针对小目标烟尘场景进行更有效地分