基于Mask_R-CNN结合边缘分割的颗粒物图像检测_李轩.pdf

文章编号：1002-2082(2023)01-0093-11基于 MaskR-CNN 结合边缘分割的颗粒物图像检测李轩，杨舟，陶新宇，王晓杰，莫绪涛，黄仙山（安徽工业大学数理科学与工程学院，安徽马鞍山243002）摘摘 要：要：对颗粒物的尺寸检测是生产中重要的环节，使用相机采集图像并处理是常用的非接触检测方法。围绕颗粒物的识别与尺寸检测需求，选用沙粒为检测对象，提出了一种改进颗粒物边界掩膜的 MaskR-CNN 模型。该模型结合经典的边缘检测技术，并利用深度学习模型预测掩膜，根据边缘分割的结果来得到更高精度的掩膜。使用 DenseNet 作为检测网络的主干网络，使得整体网络参数量更少，并利用通道注意力机制加强网络的特征提取能力。实验结果表明，改进的网络可以提高检测的精度，且结合图像处理的方式能够改善掩膜尺寸检测的准确度，为颗粒物的工业检测提供了一种有意义的方法。关键词：关键词：颗粒物检测；深度学习；图像分割；机器视觉；尺寸分布中图分类号：TN911.73；TP391.4文献标志码：ADOI：10.5768/JAO202344.0102005Particles image detection based on Mask R-CNN combined with edge segmentationLIXuan，YANGZhou，TAOXinyu，WANGXiaojie，MOXutao，HUANGXianshan（SchoolofMathematicsandPhysics,AnhuiUniversityofTechnology,Maanshan243002,China）Abstract：Particlessizedetectionisanimportantlinkinproduction,andtheuseofcamerastocaptureandprocessimagesisacommonly-usednon-contactdetectionmethod.Tomeettherequirementsofidentificationandsizedetectionofparticles,thesandparticleswereselectedasthedetectionobject,andaMaskR-CNNmodel with the improved boundary mask of particles was proposed.Combined with the classical edgedetection technology,the deep learning model was used to predict the mask,and the mask with higherprecisionwasobtainedaccordingtotheresultsofedgesegmentation.TheDenseNetwasusedasthebackbonenetworkofthenetworkdetectiontoreducethenumberofnetworkparameters,andthechannelattentionmechanismwasusedtostrengthenthefeatureextractionabilityofthenetwork.Theexperimentsshowthattheimprovednetworkcanimprovethedetectionaccuracy,andthecombinationofimageprocessingcanimprovetheaccuracyofmasksizedetection,whichprovidesameaningfulmethodforindustrialdetectionofparticles.Key words：particlesdetection；deeplearning；imagesegmentation；machinevision；sizedistribution引言随着国家对环保的重视，天然砂被限制开发，废弃矿石被应用在制砂中，机制砂被推广开来。在 GB/T14684-2011 中对机制砂有着尺寸的要求，在破碎矿石制砂过程中需要对砂石颗粒物的尺寸进行检测，根据检测结果对加工过程进行指导。同样地，由于颗粒物为生产环节中一个重要的材料形态，因此在各种加工过程中需要对其尺寸、形状等方面进行监测，且对颗粒物的整体分布有具体范围的限制。对于颗粒物粒度的检测，现在已有多种检测仪器。使用图像粒度分析仪/激光粒度分析仪可得到样本颗粒的各种尺寸信息，其中最常用的是尺寸分布，根据尺寸分布可得到整个样本的情况。粒收稿日期：2022-01-22；修回日期：2022-03-30基金项目：国家自然科学基金（11975023）；安徽省高校自然科学研究项目(KJ2020A0238，KJ2019A0049)作者简介：李轩（1997），男，硕士研究生，主要从事图像检测与深度学习方面的研究。E-mail：通信作者：黄仙山（1974），男，博士，教授，主要从事图像识别与检测方面的研究。E-mail：H第44卷第1期应用光学Vol.44No.12023年1月JournalofAppliedOpticsJan.2023度分析仪是使用相机对分散的颗粒物进行成像，对相互分散的颗粒能够较容易地判别其颗粒物的尺寸。这里常用图像处理的方法来检测目标物，通过边缘分割1、阈值分割2、图像分水岭3等方法进行处理；但传统图像处理方法对待检测物的形态、颜色等特征需要进行精确的设置才能达到较好的效果。随着计算机硬件与深度学习技术的发展，以分类与回归为基础的神经网络算法有着巨大的进步。语义分割（semanticsegmentation）网络与目标检测（objectdetection）网络也被应用到颗粒物的检测上，相对于传统的图像分割算法具有更强的鲁棒性。语义分割4-5网络是对图像所有像素点进行分类，进而把目标物像素分割出来，但语义分割网络不能分割出同一类别的单个目标。目标检测网络是预测物体的位置和类别，可以分为基于候选区域的两阶段算法6-7和基于回归的单阶段算法8-9。在语义分割和目标检测的基础上，实例分割10可以找到每个物体的位置并且分割出物体的像素11-12。使用深度学习方法对颗粒物粒度的检测可以分为对尺寸的定性判断和定量计算。定性判断是对颗粒进行分类13，而在对粒度的定量计算上，对颗粒物图像进行检测的深度学习算法可以分为两类：一类是利用语义分割网络，在颗粒物较为分散的情况下，使用语义分割14网络对图像进行预测，得到物体的预测掩膜；在颗粒物有部分接触堆叠的情况下，为了得到单个颗粒物的预测掩膜，需要对语义分割的结果进行后处理，对接触点的位置进行分离15，或者利用分水岭算法分割预测掩膜16。另一类是利用目标识别网络或者实例分割网络识别每个颗粒，利用网络的检测能力得到颗粒物的位置与类别信息17-18，然后对目标区域进行分割19。为了能够对沙粒等颗粒物图像进行准确的分割，本文提出改进掩膜的 MaskR-CNN 网络。在模型主体方面，使用 DenseNet20作为主干网络，并利用通道注意力机制对 DenseNet 输出的特征层进行增强。在输出的预测掩膜上，由于图像中物体的边缘信息更加符合物体的轮廓，所以使用边缘分割结合网络的预测掩膜生成符合颗粒物边界的掩膜，能够更准确地得到颗粒物尺寸，为深度学习方法结合图像处理应用于物体检测提供了新思路。1 检测模型1.1 Mask R-CNN 模型在实例分割网络中，MaskR-CNN12网络是最常用到的网络之一，被应用到多个领域，且检测效果较好。MaskR-CNN 是一种基于区域提议的两阶段算法，在 FasterR-CNN6的基础上发展而来。该算法第 1 个阶段是使用区域提议网络(regionproposednetwork,RPN)，根据特征层生成提议区域；第 2 个阶段是利用提议区域在特征层上选取感兴趣区域(regionofinterest,RoI)，根据 RoI 对应的特征层利用检测头进行分类与回归，得到物体最终的位置和分类信息；接着利用物体预测框对目标进行语义分割，最终得到物体掩膜，整体网络结构如图 1 所示。MaskR-CNN 网络的检测过程如下:首先将图像输入到主干（Backbone）网络，得到一组主干特征层。将不同的主干特征层进行上采样叠加，组成特征金字塔（featurepyramidnetwork，FPN）21放入 RPN 网络中；利用 RPN 进行初步物体的位置回归和分类，预测得到一系列提议区域；利用RoIAlign 将对应特征层中的提议区域提取一组特征向量，根据特征向量对 RoI 进行分类和边框回归；调整后利用置信度阈值和非最大抑制进行筛选，得到最终预测框和分类；根据最终预测框对特征层进行裁切，利用语义分割网络生成预测掩膜。网络整体使用多任务输入输出，模型的整体损失 Lloss为Lloss=Lclass(RPN)+Lreg(RPN)+Lclass(RoI)+Lreg(RoI)+Lmask(RoI)（1）模型整体损失由 2 个部分组成，一部分是RPN 网络的损失，包含 Lclass(RPN)和 Lreg(RPN)；另一部分是对候选区域进行具体分类、回归和掩膜预测的损失，包含 Lclass(RoI)、Lreg(RoI)和 Lmask(RoI)。损失具体计算如(2)式所示：Lclass=1Nclassilgqipi+(1qi)(1 pi)Lreg=1NregiqiSmoothL1(titi)SmoothL1(x)=0.5x2,|x|1|x|0.5,|x|1Lmask=1m2isilgsigmoid(xi)+(1si)lg1sigmoid(xi)（2）94应用光学第44卷第1期式中：Lclass为分类交叉熵损失；Nclass为分类归一化系数；Lclass（RPN）为二分类交叉熵损失；Lclass（RoI）为多分类交叉熵损失；pi表示框预测为正确目标的置信度；qi表示把对应区域分为前景与背景，取值为 1(前景)或 0(背景)；Lreg为回归损失函数；Nreg为回归归一化系数，Lreg（RPN）与 Lreg（ROI）形式一样；ti为预测的目标边界框的位置坐标；ti*为实际的目标边界框；Lmask为平均二值交叉熵损失函数；m 为 RoI 处理之后的长宽；xi为预测区域像素；si为像素对应分类的概率。1.2 主干网络的改进由于检测的沙粒一般具有形状不规则与尺寸小的特点，因此需要更多的低层特征进行判别。在 MaskR-CNN 中网络初始使用 ResNet(残差网络)作为主干网络，主要由两种模块组成，分别为调整网络尺寸维度的 Convbolck 与加深网络的Identityblock。对于使用残差结构的网络，若输入为特征层 M，则输出为 N=Add(M0,M1)，其中 M0可以是输入的特征层，也可以是经过浅层卷积的特征层；M1为经过多层卷积的特征层，用来增加网络深度。使用这种低层特征与高层特征相加的结构，可以在反向传播时使得参数调整更轻易地传播到低层网络中，以便更好地利用低层特征层。DenseNet15结构与 ResNet 结构类似，是卷积层之间的密集连接，网络特征传播效率更高，可以对每个特征层进行重复利用。DenseNet 由多个Denseblock 模块组成，网络中的 Denseblock 模块的输入为特征层 M，由 Mi层经过卷积得到 Mi+1层，则Denseblock 模块的输出为 N=Concatenate(M1,M2,Mi,Mn)，其中 Mi为模块中第 i 层的输入，也是第i1 层的输出，如图 2(a)所示，为 4 个卷积组成的Denseblock 模块，其中 BN(batchnormalization)表示BackboneMaxPoolingFPNConvUpsamplingConvConvUpsamplingConvConvUpsampling