基于红外图像的矿石传送带托辊异常检测_阮顺领.pdf

第31卷第1期2023 年 2 月Vol.31 No.1Feb.，2023Gold Science and Technology123基于红外图像的矿石传送带托辊异常检测阮顺领1，2，阮炎康1*，卢才武1，2，顾清华1，21.西安建筑科技大学资源工程学院，陕西 西安 710055；2.西安市智慧工业感知计算与决策重点实验室，陕西 西安 710055摘 要：为了解决传统的传送带托辊异常检测方法效率低、实时性差等问题，提出一种基于红外图像识别的托辊异常检测模型。通过现场采集并使用标签平滑和Mosaic数据增强处理对托辊红外图像数据集进行扩充，降低模型的训练成本。在特征提取模块提出使用GhostNet骨干特征提取网络，能够有效地降低特征提取所需成本。在特征融合模块，提出使用SPP-Net模块优化PaNet特征融合网络，增加模型的感受野。通过深度可分离卷积块简化模型结构，降低模型的计算量和参数量，并通过LeakyReLU激活函数提高模型的学习能力。试验结果表明：该检测模型能够有效识别托辊异常。在实际检测中，该方法在托辊检测中平均准确率达到94.9%，检测速度达到39.2 FPS，为矿山传送带托辊的准确高效巡检提供了保障。关键词：机器视觉；红外图像识别；深度学习网络；网络结构优化；托辊检测；异常检测中图分类号：X986 文献标志码：A 文章编号：1005-2518（2023）01-0123-10 DOI：10.11872/j.issn.1005-2518.2023.01.099引用格式：RUAN Shunling，RUAN Yankang，LU Caiwu，et al.Detection of Ore Conveyer Roller Based on Infrared Image J.Gold Science and Technology，2023，31（1）：123-132.阮顺领，阮炎康，卢才武，等.基于红外图像的矿石传送带托辊异常检测 J.黄金科学技术，2023，31（1）：123-132.近年来，随着矿山智能化建设的飞速发展，矿山生产设备巡检逐渐走向智能化和无人化。矿石传送带是矿山重要的生产设备之一，其传送带托辊的健康状态监测是安全巡检的重要内容之一。目前传送带托辊检测大多为人工巡检，主要依靠巡检者个人经验判断托辊工作状态，会导致托辊损坏发现不及时等问题，因此亟待研究一种更加客观、智能高效的托辊异常检测方法。目前已有学者对托辊异常检测方法进行了研究。孙维等（2016）通过光纤传感器感知托辊振动来检测异常托辊。Ravikumar et al.（2019）提出引用k-star算法对振动信号进行分析，实现对托辊轴承的状态检测。苏辉等（2018）基于温度提出了一种针对卡阻托辊的故障检测方法。郭清华（2018）提出了2种基于托辊温度的故障检测方法。宋天祥等（2019）利用2种算法对托辊音频进行分析，完成托辊故障检测。郝洪涛等（2019）构架了一种基于声音信号的托辊故障诊断系统。曹贯强（2020）提出了基于音频信号的托辊异常检测方法，该方法通过对托辊运转时产生的音频信号进行特征分析，从而对托辊的异态进行确认。刘芬（2020）利用大数据技术对托辊运作产生的音频进行分析，以达到托辊故障诊断的目的。伊鑫等（2020）利用K近邻算法和支持向量机对托辊音频进行分类，从而诊断托辊状态。Zhang et al.（2021）提出利用小波包变换的teager 能量谱峰度对输送机故障轴承声源进行定位。Yang et al.（2020）提出利用SVD算法从音频数据中提取故障特征。上述检测手段主要基于振动、收稿日期：2022-08-05；修订日期：2022-11-20基金项目：国家自然科学基金项目“地下金属矿山岩体破坏多源异质流数据智能融合与态势评估研究”（编号：51974223）和陕西省自然科学基金项目“多模态融合学习下尾矿坝安全态势感知与协同预警研究”（编号：2022JM-201）联合资助作者简介：阮顺领（1981-），男，河南西华人，副教授，博士，从事矿山智能科学与工程研究工作。*通信作者：阮炎康（1999-），男，湖北天门人，硕士研究生，从事矿山智能科学与工程研究工作。Vol.31 No.1 Feb.，2023采选技术与矿山管理124温度和音频等来评估托辊的健康状态，很难对托辊当前状态进行可视化展示，难以满足生产设备管理的要求。随着机器视觉的发展，谢苗等（2020）基于托辊红外图像，采用多种机器学习的方法识别卡阻托辊。该方法采用仿真试验数据，但机器学习方法的精准率和速度并不高。本文结合矿石传送带托辊异常检测问题的特点，基于深度学习理论，提出一种基于红外图像的传送带托辊异常自动检测模型。通过对 GhostNet（Han et al.，2020）网络激活函数和卷积块进行优化，完成对托辊特征的高效提取，并通过融合SPP-Net（He et al.，2015）的 PANet（Liu et al.，2018）结构进行特征融合，实现对传送带托辊异常的自动检测，为矿山企业托辊的安全管理提供新方法。1 矿石传送带托辊异常检测模型1.1 托辊异常检测模型构建针对矿山传送带托辊所处环境复杂，检测数据采集困难以及图像特征不够清晰等问题，本文通过对GhostNet网络模型进行优化，构建了一种基于红外图像识别的托辊异常检测优化模型，实现对托辊准确定位和异常状态快速检测。检测优化模型网络结构如图1所示。由图1可知，托辊异常检测模型由特征提取、特征融合和分类定位3个模块组成。在特征提取模块，通过主要由颈部结构（G-bneck）组成的GhostNet模块提取托辊，得到P3、P4和P5这3个有效特征层，其大小分别为 525240，2626112，1313160。在特征融合模块，3个特征层在PANet中通过特征金字塔结构和自下而上的特征融合层实现多维度的特征融合。在分类定位模块，3个尺度不同的检测头（Head）对相应的输入特征层进行解码，最后根据先验框包含托辊的情况，完成对托辊的准确分类和定位。1.2 损失函数设计在托辊异常检测优化模型中，损失函数由正样本边界框的回归损失、先验框是否包含物体的置信度损失和先验框包含正样本的种类损失 3个部分组成，损失函数计算方式为Loss=bboloss+ojbloss+clsloss（1）式中：Loss为损失函数；bboxloss为正样本边界框的图1托辊异常检测优化模型网络结构Fig.1Network structure of optimization model for abnormal detection of roller2023 年 2 月 第 31 卷 第 1 期125阮顺领等：基于红外图像的矿石传送带托辊异常检测回归损失；objloss为先验框是否包含物体的置信度损失；clsloss为先验框包含正样本的种类损失。为克服传统损失函数IOU只根据交并比来计算损失，当真实的检测框与预测的检测框之间没有交差时，无法更新 Loss 的问题，本文采用 CIOU（Zheng et al.，2021）作为正样本边界框的回归损失。除了 IOU，CIOU 也将先验框与目标框中心点之间的距离、重叠程度、大小以及预测框的宽高比拟合目标框宽高比的效果考虑进去，使得损失函数能够更加充分地表达预测框与目标框之间的比拟程度。CIOU的计算公式为CIOU=IOU-2(b，bgt)c2-V（2）式中：IOU为交并比，即真实框和预测框的交错部分与真实框和预测框的合并部分的比；（b，bgt）为真实框和预测框中心点的欧式距离；b为预测框中心点；bgt为真实框中心点；V表示预测框宽高比拟合目标框宽高比的效果。其中，IOU的计算公式为IOU=|A B|A B|（3）式中：A为真实框；B为预测框。因为托辊红外图像都是二维的，所以2（b，bgt）的计算公式为2(b，bgt)=(xb-xbgt)2+(yb-ybgt)2（4）式中：xb和yb分别为预测框中心点的X坐标和Y坐标；xbgt和ybgt分别为真实框中心点的X坐标和Y坐标；c表示能够同时围住真实框和预测框的最小圆直径。V的计算公式为V=42()arctanwgthgt-arctanwh2（5）式中：w和h分别为模型中真实框的宽和高；wgt和hgt分别为模型中预测框的宽和高。的计算公式为=|0，IOU 0.5V(1-IOU)+V，IOU 0.5（6）正样本边界框的回归损失计算方法为bboxloss=1-IOU+2(b，bgt)c2+V（7）置信度损失的计算公式为objloss=-pgtln(p)-(1-pgt)ln(1-p)-qgtln(q)-(1-qgt)ln(1-q)（8）式中：p、q分别为预测框的正样本和负样本概率；pgt、qgt分别为真实框的正样本和负样本概率。种类损失的计算公式为clsloss=-rgtln(r)-(1-rgt)ln(1-r)（9）式中：r 和 rgt分别为预测种类和真实种类的正确概率。2 托辊异常检测模型优化2.1 检测模型骨干网络优化在托辊异常检测模型的特征提取中，为了降低托辊图像的维度和提取有效特征层，并减少图像在特征提取过程中产生的参数和计算量，本文采用Ghost模块优化骨干特征提取网络。如图 2所示，Ghost模块的主要结构为2个部分：一部分是1个11卷积层，用于特征整合，生成输入特征层的特征浓缩；另一部分为逐层卷积层，用于生成特征浓缩的特征图。不同于传统卷积方式，Ghost模块通过先压缩特征，再通过简单的线性变化来获取有效特征层的方式，有效降低模型的计算量，提高模型检测速度。为了构建高效的特征提取模块，基于Ghost模块构建颈部结构。如图3所示，当步长为1时，颈部结构主要利用Ghost模块进行通道数的调整，采用标准化（Ioffe et al.，2015）和LeakyReLU激活函数将特征层归一化，最后将下采样结果与主干部分结果融合输出；当步长为2时，在主干部分的2个Ghost模块中使用深度可分离卷积块进行托辊有效特征层的宽高压缩，进一步优化模型，其余操作与步长为1时相同。使用2种步长进行特征提取，可以采集不同层面的图像特征，使所提取的特征种类更加丰富。相比传统的颈部结构，本文模型的颈部结构采用了CSPNet（Wang et al.，2020）结构。如图4所示，图2基于逐层卷积的Ghost模块Fig.2Ghost moudle based on depthwise convolutionVol.31 No.1 Feb.，2023采选技术与矿山管理126该结构将单独的模块拆分成左右2个部分，主干部分继续保持原来模块的结构，另一部分则经过下采样处理，最后将2个部分的结果相加作为最后的输出结果。该结构通过增加1条残差边的方式，有效提高卷积网络学习能力，降低计算瓶颈，减少内存流量，从而提高网络速度。2.2 检测模型激活函数优化传送带托辊检测目标划分为正常托辊和异常托辊2个类别，在进行单类样本训练过程中会产生大量负样本，模型原来的ReLU激活函数输入负样本时会出现输出始终为0的情况，从而导致模型无法继续更新训练损失。针对该问题，本文采用Leaky-ReLU对检测模型骨干特征提取网络的激活函数进行优化，其函数表达式为f(x)=x，x 0 x，x 0，(0，+)（10）式中：LeakyReLU激活函数在输入负样本时产生检测反馈值，有效避免函数饱和以及梯度消失或梯度爆炸的问题，从而提高托辊检测模型的训练速度和泛化能力。2.3 检测模型特征融合优化为了提高托辊图像特征融合效果，在有效特征层进行特征融合的过程中加入SPP-Net模块。如图 5所示，SPP-Net模块分别利用 4个不同尺度的最大池化对输入特征层进行处理，本文的最大池化的池化核大小分别为11、55、99和1313。SPP-Net 模块通过融合不同最大池化的特征层，能够极大程度地增加模型的感受野，分离出更加显著的上下特征层的不同特征，有利于提高模型的精度。2.4 检测模型卷积块优化在托辊异常检测模型中，为了充分融合特征，使用了大量的卷积，这会使模型