基于YOLOv3的煤矸识别系统_郑施航.pdf

0引言煤是一种较为重要的资源，但煤和矸石的大量存放势必会给环境带来一定的影响，所以煤和矸石的分选处理尤为重要。目前煤和矸石的分选方式主要有双能射线选矸、选择性破碎选矸、人工选矸等。人工选矸容易造成安全事故且分选效率较低、经济成本较高。双能射线选矸需要使用放射源以及高压电源，管理难度较大且对防护措施要求较高。因此急需一套智能选矸系统来提高煤和矸石的分选效率，提高分选的安全性。1煤矸识别系统针对实际应用的要求设计了一套煤矸识别系统如图1所示，主要包含IPC、视觉工控机、传送带、工业相机等。机械臂由I/O模块进行控制，相机与视觉工控机之间使用以太网进行连接。整个系统由视觉模块进行图像去噪、图像锐化等处理，提供煤矸的识别与位置信息，并将信息发送给机械手进行矸石的实时抓取操作，从而实现煤矸的分选目标。2图像预处理（1）图像滤波由于煤和矸石图像在采集过程中会存在一些干扰，如噪声等。这些干扰会导致图像失真，影响后续的煤矸识别精度。煤和矸石的整体灰度相近，背景输送带的灰度值也较低，所以直接进行图像处理、提取煤与矸石的难度较大。因此本文先对原始图像进行滤波处理，并通过比较最终选用了中值滤波。煤和矸石原始图像及均值滤波后图像、中值滤波后图像如图2所示。图1煤矸识别系统（a）原始图像（b）均值滤波后图像（c）中值滤波后图像图2图像滤波处理对比实验发现，均值滤波后煤和矸石图像模糊了细节和边缘信息，不利于后续的训练；中值滤波后图像边缘及细节特征较为清晰且有效去除了煤和矸石图像中的噪声。因此最终选用了中值滤波。煤矿机械Coal Mine MachineryVol.44 No.5May.2023第44卷第5期2023年5月doi:10.13436/j.mkjx.202305058基于 YOLOv3 的煤矸识别系统郑施航，陆金桂（南京工业大学 机械与动力工程学院，南京210000）摘要：对于传统图像处理算法在煤矸识别领域运用时存在的识别准确率低的问题，提出了一种基于YOLOv3的识别系统，该系统先对图像进行图像锐化等预处理操作，再将处理后的图像作为YOLOv3算法的输入，最终输出煤矸识别定位结果。实验表明，图像预处理结合YOLOv3的识别正确率达到了95.4%，相比于传统算法具有一定的优势。关键词：图像处理；YOLOv3；图像锐化；煤矸识别中图分类号：TD94文献标志码：A文章编号：1003 0794（2023）05 0187 03Coal Gangue Recognition System Based on YOLOv3Zheng Shihang，Lu Jingui(School of Mechanical and Power Engineering,Nanjing Tech University,Nanjing 210000,China)Abstract:To solve the problem of low recognition accuracy in the application of traditional imageprocessing algorithms in the field of coal gangue recognition,a recognition system based on YOLOv3 isproposed.The system first preprocesses the image,then uses the processed image as the input ofYOLOv3 algorithm,and finally outputs the coal gangue recognition and positioning results.Experimentsshow that the recognition accuracy of image preprocessing combined with YOLOv3 reaches 95.4%,which has certain advantages over traditional algorithms.Key words:image processing；YOLOv3；image sharpening；coal gangue identification视觉工控机数据交互IPC固定机器人夹具视觉设备187（2）图像增强考虑到煤和矸石的整体灰度以及背景的影响，本文选用直方图均衡化对煤矸石图像进行增强，直方图均衡化是改变图像直方图分布的一种方式，运用相关函数将直方图的分布转化为近似分布。原图直方图及经均衡化处理后效果如图3所示，直方图均衡化后采用二阶微分Robert进行图像锐化，最后再运用高斯滤波进行去噪处理。均衡化+二阶微分Robert+高斯滤波的最终处理结果如图4所示。（a）原图像直方图（b）直方图均衡化后图3直方图均衡化处理效果图4均衡化+Robert+高斯滤波最终处理结果3基于YOLOv3的煤矸识别方法YOLOv3算法与其他算法的不同之处在于提出了DarkNet-53网络，该网络模型如图5所示。图5DarkNet-53网络模型DarkNet-53网络由卷积层和和全连接层组成，其中DBL为卷积层中的一部分，Res表示残差，运用残差网络使得DarkNet-53具有更深的层次结构。Concat的作用是进行深浅层特征图的拼接，将默认大小为416416的图像输入到网络中进行卷积和残差操作，可以得到3个特征图像（网络后3个不同的分支feature map），特征图的尺寸为原图的1/8、1/16、1/32，这些特征用于后续的预测。YOLOv3中运用sigmoid函数将物体分数转化为相应的概率（即边界框包含物体的概率），YOLOv3利用K-means方法进行预测框的预测，依据预测框中心位置、左上角的相对偏移进行边界回归，进行实际框的计算mx=（tx）+nxmy=（ty）+nymw=pwetwmh=pheth|式中nx、ny卷积残差操作所得特征图单元格左上角坐标；pw、ph锚框的宽度和高度。YOLOv3的损失函数LLbox+Lobj+Lcls式中Lbox预测框位置损失函数；Lobj目标置信度损失函数；Lcls预测框目标分类函数。4实验实验采集了不同角度、不同光照条件、不同姿态的3 500张煤和矸石样本图像，选取其中的2 800张进行训练，剩余的700张用来验证。每张图片中煤和矸石的数目为15个，并且使用标注软件进行标注。采用C+语言结合Ubuntu系统进行程序编写，主要配置参数：网络尺寸（图像的宽和高）设置为416416，通道数设置为3，最优方法中动量因子设置为0.9，学习效率设置为0.001，更新的间隔（batch）为64，训练样本数（subdivisions）设置为16，权重衰减因子（decay）设置为0.000 5（该参数越大，对过拟合的抑制作用越强），迭代终止条件（max_batches）设置为20 200，学习 调 整 的 策 略（policy）设 置 为steps，学习效率衰减设置为0.1。另外还将传统煤矸识别方法与本文算法对比，具体为传统的CNN算法和高斯混合模型，将不同的实验结果进行对比以验证本文算法的优越性。煤和矸石的识别定位结果如图6所示。（a）本文算法（b）高斯混合模型图6算法识别结果对比由实验结果可知基于机器视觉的煤矸识别对煤和矸石的分选具有一定的适用性，但传统的高斯混合模型出现了错误识别的情况，将煤识别成了矸石，识别精度低于本文算法，煤矸分类的效果较差。算法性能对比如表1所示。第44卷第5期Vol.44 No.5基于YOLOv3的煤矸识别系统郑施航，等Input image4164163DBLRes1Res2Res8Res8DBL5Feature Map11313255ConcatDBLup-samplingRes4Feature Map22626255DBL5DBLConvDBLConvDBLup-samplingDBL5DBLConvConcatFeature Map35252255188第44卷第5期Vol.44 No.5基于YOLOv3的煤矸识别系统郑施航，等表1算法性能对比由表1可得，本文的图像预处理+YOLOv3算法的识别准确率要高于传统的图像预处理+CNN算法和图像预处理+高斯混合模型，分类效果较好，准确率相比于CNN提高了5.43%，相比于传统的高斯混合模型提高了4.29%；除此之外本文算法的实时性相比于2种传统算法也有一定的提升。所以本文算法具有良好的性能，同时也能够满足实时性的要求。5结语为了解决传统煤矸识别算法识别精度低的问题，设计了一套基于YOLOv3的煤矸识别系统。该系统利用图像增强、去噪等操作实现煤和矸石原始图像的预处理，再将预处理结果运用YOLOv3进行训练与测试。实验表明，本文算法在识别准确率和实时性方面相比于传统算法都有一定的提升，可以有效地区分煤和矸石。参考文献：1张永超，于智伟，丁丽林.基于机器视觉的煤矸石检测研究J.煤矿机械,2021,42(4):32-34.2张世杰，陈泽华.基于梯度下降算法的煤矸石分割识别方法J.煤矿机械,2014,35(8):128-130.3郭秀军.煤矸石分选技术研究与应用J.煤炭工程,2017,49(1):74-76.4王莉，于国防，沈慧宇，等.基于CNN卷积神经网络的煤矸石自动分选研究J.江苏建筑职业技术学院学报,2019,19(4):35-39.作者简介：郑施航(1998-)，江苏镇江人，硕士，研究方向：机器视觉,电子信箱：；通信作者：陆金桂，电子信箱:.责任编辑：刘宝胜收稿日期：20230226样本总数700700700识别正确数613621651识别准确率/%87.5788.7193.0识别时间/ms453621识别算法图像预处理+CNN图像预处理+高斯混合模型图像预处理+YOLOv3189