融合注意力机制和先验知识的刮板输送机异常煤块检测_王渊.pdf

第 卷 第 期 年 月西安科技大学学报 .王渊，郭卫，张传伟，等 融合注意力机制和先验知识的刮板输送机异常煤块检测 西安科技大学学报，（）：，（）：收稿日期：基金项目：国家重点研发计划子课题资助项目（）第一作者：王渊，男，陕西眉县人，博士研究生，工程师，：通信作者：郭卫，男，陕西黄陵人，教授，博士生导师，：融合注意力机制和先验知识的刮板输送机异常煤块检测王 渊，郭 卫，张传伟，贺海涛，赵栓峰，路正雄（西安科技大学 机械工程学院，陕西 西安；国家能源集团神东煤炭集团公司，陕西 神木）摘 要：刮板输送机作为综采工作面的主要运输设备，运行状态直接影响生产效率。在其工作过程中，由于采煤过程产生的较大煤块，易造成板刮输送机运输过程的拥堵。然而，煤矿工作环境的恶劣、煤的颜色属性等造成大块煤的检测异常困难，为此本文提出一种融合注意力机制和先验知识的煤矿刮板输送机异常煤块检测模型。为兼顾异常煤检测的准确性与实时性，采用 端到端检测模型同时检测出异常煤块的类别信息；考虑到刮板输送机中包含与异常煤块无关的信息，以神经科学和空间抑制思想为基础，构建一种以能量函数为载体的注意力机制检测刮板输送机中不同区域异常煤块，提高异常煤块的检测精度；针对基于深度神经网络的异常煤块检测过多依赖数据且泛化能力较低，受人们经验学习影响的问题，提出具备特征提取的先验知识来降低模型对数据的依赖和提高模型的检测效率；构建了煤矿实际生产场景中异常煤块检测数据集。结果表明：与其他模型相比，所提出模型在测试集上的检测精度可达 ，相比 和 分别提高了 和，明显优于其他模型；检测速度每秒可达 帧，满足实时检测的需求，同时验证了本文所提出注意力机制和先验知识模型的有效性。关键词：刮板输送机；煤块检测；目标检测；注意力机制；先验知识中图分类号：文献标志码：文章编号：（）：开放科学（资源服务）标识码（）：，（，；，）：，第 期王渊，等：融合注意力机制和先验知识的刮板输送机异常煤块检测 ，：；引 言煤矿智能化生产是煤炭工业高质量发展的核心技术支撑，综采工作面采煤机割煤与刮板输送机运煤协同作业将持续产生的煤运出综采工作面，是煤矿智能化的关键技术之一。综采生产过程中产生的煤块大小不一，刮板机上的煤流中往往掺杂部分体积较大的煤块。由于设备及煤矿井下空间光线有限，导致异常煤块不能被及时地发现并处理，易造成刮板输送机机头位置煤块拥堵，从而影响整个综采工作面割煤、装煤、输煤和卸煤生产过程，严重时会造成设备故障，影响煤矿企业生产安全。因此，对煤流中异常煤块进行实时监测，对煤矿企业保障生产效率以及生产安全具有重大意义。传统井下煤块检测以人工观察为主，要求工作人员注意力高度集中。然而井下环境恶劣，长时间观察易引发视觉疲劳，由于注意力不集中漏检造成煤流拥堵的情况时有发生，依靠人工检测已无法满足现代煤矿生产需求。随着煤矿生产自动化、智能化发展，实现煤流中异常煤块的实时检测已成为新的发展趋势。鲍勇豪以煤块颜色特征为研究对象，通过设置敏感检测区域检测二值图像中黑色像素包围白色像素是否超过限定从而判断异常煤块是否存在。许军等结合大块物在图像中的亮度特征与运动特征检测异常煤块。刘丽霞等针对异常煤块的边缘特征通过增加 边缘算子计算图像中异常煤块边缘的梯度信息，采用图像分割方法检测异常煤块。杜京义等对现有的方法进行改进，将 神经网络与 算子融合，从图像处理和边缘检测方面进行异常煤块检测。胡璟皓、杜京义、叶鸥、张旭辉等分别采用深度学习方法，利用目标检测算法的多尺度检测机制检测煤流中的异常煤块。上述研究表明，当前异常煤块检测以图像处理算法为主，但算法自身仍存在部分缺陷，检测精度和算法处理速度达不到实际生产需求。近年来部分目标检测算法也被应用于煤矿生产过程的目标检测中，算法的多尺度检测机制对较大目标也可进行检测识别，但其本质仍以煤流中的煤矸石、铁丝网等多目标异物检测任务为主，针对异常煤块检测的目标检测算法尚无更多研究。本文以刮板输送机运输过程中的异常煤块为研究对象，基于 系列算法端到端检测的思想，提出一种融合注意机制与先验知识的异常煤块检测方 法。在传统卷积网络的基础上加入注意力模块提取异常煤块特征，同时融入先验知识加速模型收敛，提高网络训练效率，增强模型的泛化能力及鲁棒性。在不增加额外参数的前提下，聚焦异常煤块的检测。实时监测刮板输送机运输煤流中异常煤块，保证综采工作面煤流的通畅。异常煤块检测模型构建异常煤块检测模型在 算法端到端检测机制的基础上增加注意机制以及先验知识模型，以达到提高模型检测精度与训练效率的目的。该模型直接将采集到的煤流图像作为模型的输入进行检测并输出检测结果。图 为异常煤块检测模型结构，包含图像预处理、特征提取、异常煤块检测。图像预处理 系列算法中，图像预处理部分多通过对原始图像做随机旋转、随机裁剪、随机组合等操作增强图像多样性，使得模型具有更强的泛化能力。异常煤块由于自身特征及所处场景的特殊性，随机旋转等图像增强操作对提升模型性能无显著效果。煤矿井下光线强度较弱，所得图像画面质量较差，极大影响模型检测效果。因此，在异常煤块检测模型图像预处理过程中，主要从图像亮度及对比度 个方面进行适当调节，增强图像质量，突出图像中的异常煤块目标，提高模型检测精度。处理前后图像分别如图（）和图（）所示。图 异常煤块检测模型结构 图 异常煤块图像预处理前后对比 特征提取特征提取过程可分为 步，第 步引入先验知识，利用已具有特征提取能力的训练模型初始化异常煤块检测模型，加快模型收敛速度。第 步使用加入了 注意力模块的 结构提取异常煤块特征信息，通过计算提取异常煤块特征的神经元，增强异常煤块特征，抑制背景煤流等干扰因素，使得模型聚焦于异常煤块检测。先验知识人类快速学习新知识的能力源于其积累的经验，该经验被称为先验知识，由此得知：先验知识可以提升学习的效率。借鉴人类学习的经验，考虑到异常煤块数据的有效性，提出基于先验知识去获取刮板输送机上异常煤检测的能力。使用先验知识初始化模型参数时，预训练模型参数在源域上已趋于稳定，且针对部分特征已具有很好的提取性能。因此使用先验知识训练异常煤块检测模型可以极大加快模型训练速度，同时在模型训练过程中可有效避免出现梯度消失、梯度爆炸等情况。由于刮板输送机上异常煤检测本质是一个目标检测问题，因此面向刮板输送机上异常煤检 西 安科技大学学报 年第 卷第 期王渊，等：融合注意力机制和先验知识的刮板输送机异常煤块检测测的先验知识指的是具备良好的目标检测能力。为获取较好的先验知识，将本文构建的刮板输送机上异常煤检测模型在数据充足的 数据集上进行训练以获取目标检测的先验知识。结构在先验知识训练模型中同样加入 注意力模块，可使获得的模型参数能够更好的应用于异常煤块检测中。异常煤块检测模型使用 结构提取异常煤块特征信息，同时在 结构中加入 注意力模块，融合注意力模块的 结构如图 所示，主要由注意力模块与 模块构成。图 模块结构 注意力机制以能量函数为载体计算异常煤块特征图中每个神经元的重要性，突出异常煤块特征，每个神经元下的能量函数表达式如下。（，）（）（）（）式中 ，分别为目标神经元 和其他神经元 的线性变换；为在当前输入煤流特征图的任一通道内神经元的索引；为当前通道内神经元的数量。和 分别为权重和偏置量，由于卷积神经网络权值共享的特性，每个通道空间的煤流特征图具有相同的权重和偏置量。对上式取最小值即可得目标神经元和其他神经元的线性相关性，和 分别为 个不同的数值，为方便计算分别取 ，并添加正则项可得能量函数的最终表达式（，）（）（）（）由上式得每个通道可得到 个能量函数，解得权重 和偏置量 如下。（）（）（）（）式中 ，（）。和 分别为当前通道除神经元 外的所有神经元的均值和方差。由上述计算方式可得当前输入的所有神经元均值及方差，故当前通道能量函数的最小值如下。（）（）（）式中 ，（）。为最低能量函数，因此神经元 对周围神经元的抑制最强，其活性最强，重要性最高。因此，可用为神经元的重要性。由于大脑中注意力调节通常表现为对神经元反应的增益（即缩放）效应，因此使用缩放算子细化目标特征，细化过程如下。?|（）式中 为所有通道空间内 的集合；函数用来限制 的值不至于过大；为缩放算子。模块包含卷积、归一化和激活函数等操作提取异常煤块特征，文中采用 作为激活函数，表达式见式（）。（）（）（）式中 为经过归一化操作的特征图。检测部分文中只有异常煤块一种较大检测目标，对应特征图中较大的感受野。相比 算法的多尺度检测机制，单一尺度即可满足文中检测任务需求。故文中去掉多尺度检测机制，仅保留多尺度检测 个锚框中的 个锚框用于异常煤块检测，极大地降低了模型计算量，加快模型推理速度。考虑只有异常煤块一种检测对象，因此构建模型损失函数时不考虑多目标检测任务中存在的分类损失和置信度损失，预测框的回归损失即为模型最终的损失。考虑回归问题中预测框与标注框的重叠面积、中心点距离及长宽比等因素，选用 作为异常煤块检测模型的损失函数进行训练更符合文中需求。计算方式见 式（）。（）（）式中 为使用 作为评估预测框与标注框匹配程度指标时模型的损失函数；为异常煤块预测框与标注框的交并比；为异常煤块预测框与标注框中心点的距离；为标注框最小外接矩形的对角线距离；为平衡参数，不参与梯度下降；为衡量预测框与标注框长宽比的一致性。与 的计算方式如下。（）（）（）（）式中，分别为标注框的宽和高；，分别为预测框的宽和高。的计算方式如下。（）式中 为煤块预测框的面积；为煤块标注框的面积。数据来源所用异常煤块图像数据来自中国神东煤炭集团下属大柳塔煤矿某综采工作面。大柳塔煤矿位于中国陕西省神木县境内，工作面宽 ，煤层厚度 。该区域煤层纵向节理比较发育，当工作面快来压时，容易引起工作面片帮，产生大块煤；同时由于开采任务重，采煤机牵引速度快。煤机割过之后，护帮板打开不及时，煤壁不能得到及时有效的支护，引起片帮产生异常煤块。异常煤块图像采集装置如图 所示，主要由电源、工控机和数据采集端等 部分构成。通过煤矿井下顺槽计算机远程访问工控机启动相机捕捉刮板输送机中的煤流视频画面，相机通过 接口将视频传回工控机并存储在系统中，顺槽计算机远程访问工控机获取采集的视频内容，筛选视频文件中包含异常煤块的视频帧作为训练数据训练异常煤块检测模型。表 为工控机参数，表 为采集端工业相机参数。图 异常煤块图像采集装置 表 工控机参数 参数类型模组显卡系统内存电源参数 （），表 相机参数 参数类型影像传感器图片分辨率图片格式相机镜头工作电流休眠电流工作温度参数 提取采集装置中存储一周的视频数据进行筛选，共得到异常煤块图像 张，图像尺寸。按照训练集 测试集 的比例划分数据集，可得用于模型训练的异常煤块图像 张，测试图像 张，部分异常煤块图像如图 所示。实验与分析 实验 网络参数设置实验在搭载 操作系统的硬件设图 异常煤块图像 备上完成，配备 和 内存，搭配显存为 的 加速模型 西 安科技大学学报 年第 卷第 期王渊，等：融合注意力机制和先验知识的刮板输送机异常煤块检测训练和推理。使用 深度学习框架、深度学习工具包和 共同搭建训练环境进行异常煤块检测模型训练。参与模型训练的超参数设置见表。模型共计迭代 个，将训练集分批次送入网络训练，每个 张，每训练 个批次为 个，所有训练集全部训练一次即为 个，故训练集所有数据全部训练 个 需要迭代 个。模型初始学习率设置为 ，采用 优化器更新模型参数，同时采用 机制控制训练进度，当模型在训练集上的损失达到收敛状态时，模型参数停止更新，模型将提前停止训练。表 异常煤块检测模型训练超参数设置 超参数迭代轮数批训练次数学习率优化器训练机制值 评价指标目标检测任务中，常用，及 和 等作为检测模型的评价指标。其表达式分别如下。（）（）（）式中 为所有正样本中被预测正确的样本数；为所有负样本中被预测正确的样本数；为所有负样本中被预测为正样本的样本数；为所有正样本中被预测为负样本的样本数。为模型检测出的目标中被正确分类的样本数占所有被预测为该类样本的样本总数的占比；为