基于改进Mask_R-CN...露天矿边坡裂隙智能检测算法_景莹.pdf

第 卷第期重 庆 大 学 学 报 年月 ：基于改进 的露天矿边坡裂隙智能检测算法景莹，阮顺领，卢才武，刘丹洋，顾清华，（西安建筑科技大学 管理学院；资源工程学院；西安市智慧工业感知计算与决策重点实验室，西安 ）收稿日期：网络出版日期：基金项目：国家自然科学基金面上项目（）；陕西省自然科学基础研究计划项目（）。（）（）作者简介：景莹（），女，博士研究生，主要从事图像相关数字矿山研究，（）。通信作者：阮顺领，男，副教授，博士，（）。摘要：为了预防因露天矿边坡表面恶化而产生节理、裂隙或断裂等破坏边坡完整性所引发的安全事故，同时解决传统图像处理算法以及经典的深度学习模型直接应用于露天矿边坡裂隙检测效果不甚理想的问题，提出了一种基于改进的 的露天矿边坡裂隙智能检测算法，运用了 在目标检测、语义分割以及目标定位方面的集成性特点，改进了其在掩膜分支的边缘不清晰以及误检等缺点，构建了一种针对露天矿边坡裂隙图像的检测分割框架。该方法在掩膜分割分支引入了空洞卷积神经网络以及分类分割迭代上采样操作，能够解决边坡裂隙分割边缘粗糙的问题，实验结果表明，与传统的裂隙分割算法相比，该算法具有更高的识别精度以及更好的分割效果。关键词：露天矿边坡；边坡裂隙；裂隙检测；中图分类号：文献标志码：文章编号：（），（；，）：，：；矿山高陡边坡滑坡经常威胁到人们的生命财产安全，造成环境和资源的破坏，是制约矿山安全生产的核心问题，滑坡灾害作为一种严重的地质灾害，其发生的原因往往是未及时进行科学的边坡病害检测。其中裂隙是最主要、最明显的边坡病害表征之一，对露天矿边坡稳定具有重要影响，因此，选择科学合理的方法对露天矿边坡裂隙进行准确、实时的检测，对边坡进行及时有效的管控，对于保证矿山安全生产，提高矿山经济效益，具有重要的理论意义和实际意义。随着图像处理、深度学习和机器视觉技术的发展，基于图像的无损检测技术已成为国内外裂隙检测的研究热点。近年来，为了从图像中准确、快速地提取裂隙，国内外学者对此进行了广泛而深入的研究，取得了一定的研究成果。刘晓瑞等提出了一种利用两种不同阈值分割方法对图像进行二值化处理的裂隙快速检测方法；等构造了最大化两个类别之间差异的目标函数，提出了一种基于邻域差异直方图的图像阈值分割裂隙算法，准确地提取出了裂隙。这类基于阈值分割的裂隙检测算法计算简单，便于应用，但是易受到噪声影响，适用于特征较明显的目标，对于复杂环境下的边坡裂隙图像很难取得稳定的识别效果。张娟等指出了传统基于灰度进行边缘提取的裂隙检测算法的不足，提出了采用相位编组法进行裂隙提取，有利于检测具有弱对比度的细小裂隙；王华等提出了利用分形维数分割裂隙的方法，与利用 算子的方法相比，得到的裂隙较为连续、清晰；这类基于边缘检测和形态学特征的裂隙识别算法能够很好地检测边缘，对于裂隙检测具有重要的借鉴价值。等提出了一种基于二维图像，同时考虑光度计特征和路面图像几何特征的裂隙检测算法；等提出了一种综合考虑图像亮度和连通性的裂隙检测方法，该方法不需要进行裂隙纹理学习，可以进行默认检测，简称为 （）算法；在裂隙检测方面，除了上述这些传统主流裂隙检测算法外，还有很多其他方法。虽然上述方法对于常见的特征明显的裂隙图像具有较好的识别效果，但是露天矿边坡裂隙图像具有较多复杂的特征，如背景纹理复杂，噪声多样，裂纹分布不规律，表面形态极不规则和接触方式具有复杂性等，所以传统的裂隙检测算法在露天矿边坡裂隙图像上检测效果不甚理想，不能很好地进行裂隙检测。随着机器学习和深度学习理论的不断发展，基于有监督学习的裂隙识别算法成为近年来研究的热点，在深度学习中，数据的特征是通过训练过程自动学习得到的，不需要通过预定义的特征提取阶段，只需要提供足够多的数据，就可以训练出更加通用健壮的检测模型。其中，卷积神经网络（）作为在图像识别，语音识别以及文字识别等领域都具有广泛应用的经典深度学习网络，在裂隙检测方面也具有突出的优势。通过对裂隙检测的相关文献进行收集整理发现，目前还未有针对复杂背景下的露天矿边坡裂隙进行检测的模型，但是针对桥梁、路面以及建筑混凝土等一般结构进行裂隙检测的方法主要有以下种：图像分析检测方法、机器学习检测方法以及深度学习检测方法。对这种方法进行对比分析的结果如表所示，从中可以发现，基于图像分析的方法较简单，具有最少的计算复杂度和内存需求，而基于深度学习的方法无论是在内存需求还是操作成本方面都是最昂贵的，计算复杂度也最高。尽管基于图像分析的方法的计算效率很高且成本较低，但是针对边坡裂隙这类具有背景纹理复杂，噪声多样，裂纹分布不规律，表面形态极不规则和接触方式复杂的图像，其检测效果非常不准确，如图（）（）所示。相对地，基于深度学习的方法却具有最好的识别准确性、算法鲁棒性以及泛化能力，这些特性都是计算严格的识别方法所期待的。虽然基于机器学习的方法同时具有较低的计算成本、较高的计算效率以及和深度学习方法相当的检测准确性和算法鲁棒性，但是，这些性能都需要在具体特征定义的前提下才能实现。这一点并不适合露天矿边坡裂隙图像，因为其通常不具有任何可以用来区分裂隙面元和背景面元的几何特征和纹理特征等信息。然而，深度学习中的卷积神经网络具有非常强大的特征提取能力和目标识别能力，如图（）（）所示。重 庆 大 学 学 报第 卷表裂隙检测主要方法优缺点对比结果 对比内容图像分析检测方法机器学习检测方法深度学习检测方法阈值分割形态分析边缘检测 人工神经网络 分类 分割成本低低低低中中高高内存低低低低中中高高精确度低低低高中中中高鲁棒性低低低中中中高高泛化能力低中低高高高高高图边坡裂隙检测效果对比 通过图所示的露天矿边坡裂隙检测对比图可以发现，选择将集目标识别与语义分割为一体的 深度学习框架作为露天矿边坡裂隙检测模型构建的基础时，具有较高的准确率和检测效率。但是，直接运用骨干网络为 的 模型对露天矿边坡裂隙进行检测时，仍存在误检以及裂隙边缘不清晰的情况。所以，笔者提出了一种基于改进 的露天矿边坡裂隙智能检测算法，用于检测边坡裂隙并进行裂隙分割、定位。该算法首先采用基于滑动窗口算法的图像预处理对采集的边坡图像进行数据增强，然后利用基于 构建的分类模型对边坡裂隙面元和边坡背景面元进行分类识别，最后针对露天矿边坡裂隙面元，提出了一种基于改进 的检测模型，实现对露天矿边坡裂隙的目标检测及裂隙分割。该模型可以在数据量有限的情况下完成对露天矿边坡裂隙图像的分类，目标识别以及裂隙第期景莹，等：基于改进 的露天矿边坡裂隙智能检测算法分割三大任务，如图所示。经过大量对比实验证明，与传统裂隙检测算法相比，该算法对于露天矿边坡裂隙具有更好的识别效果和更高的泛化能力，以及更加精准地分割边缘。图露天矿边坡裂隙 网络模型分析露天矿边坡裂隙图像中的裂隙和背景之间区分往往不明显，且背景纹理和裂隙表面形态复杂，而 能够自主学习得到可描述裂隙和背景之间差别的特征，实现像素级语义分割，可以有效地检测出图像中的裂隙对象，并同时为每个对象生成高质量的分割掩膜，的网络流程如图所示。图 网络流程图 的构建在概念上十分简单，在 针对每个对象所输出的类别标签以及边界框的基础上，增加第个输出分支，即对象掩码，是一种实现目标检测和语义分割集成为一体的深度神经网络框架，其骨干网络架构如图所示。为了清晰起见，可将其分为两部分：）用于对整个图像进行特征提取的卷积骨干结构；）用于边界框识别（分类和回归）的头网络和分别应用于每个 （）的掩码预测网络。到目前为止，许多国内外学者已经设计出了一些性能优异的 框架，例如，、和 等。在检测不同的目标时，这些 框架所具有的精确度和性能都有所不同，骨干结构网络的性能决定了后续网络在目标检测和实例分割任务方面的性能，常采用 作为其骨干网络框架，但是目前还没有实验证明其中最适合用于露天矿边坡裂隙检测的卷积骨干架构网络是哪个。是一个两阶段的实例分割网络模型，在第个阶段利用区域建议网络（，）来完成在图像上的滑动扫描，寻找出存在目标的 区域，然后在第个阶段并行地对 找到的每个 预测其分类和定位，并输出其对应的二进制掩码。在模型训练的过程中，骨干特征提取网络提取到的 、作为 网络的有效特征层，网络通过分类器预先检查哪个 重 庆 大 学 学 报第 卷图 骨干网络架构图 位置包含目标，然后通过回归器来相应地调整先验框的位置，最终为检测到的类别和区域生成相应的建议框。为每个取样得到的 定义了一个多任务的损失函数如式（）所示。，（）式中：为分类网络的损失值，为建议框网络的损失值，为掩码分支网络的平均二进制交叉熵损失值。然后，在 中引入了特征金字塔网络（，），即取出在主干特征提取网络中压缩了，次的特征层、来构造 ，实现了特征信息的多尺度融合，这使得网络不仅能够有效利用低特征层进行高分辨率特征的精确定位，还能够使掩码分支对高特征层的低分辨率特征进行分割。使用具有横向连接的自顶向下体系结构，从单尺度输入构建网络内特征金字塔。采用 的骨干结构网络进行特征提取能在检测精度和速度上都有所提高。露天矿边坡裂隙检测模型边坡裂隙检测网络优化模型通过对露天矿边坡裂隙特征的分析，结合 网络模型的特点提出一种边坡裂隙智能检测模型，如图所示。该模型包含以下个步骤：）基于滑动窗口算法对边坡图像进行数据增强等预处理操作，并利用基于 构建的边坡图像数据分类模型对数据集进行预分类；）基于 构建边坡裂隙多尺度特征提取网络；）基于空洞空间卷积池化金字塔构建边坡裂隙分割模型，以解决图中所提到的检测存在误检、漏检以及边缘粗糙、不精细的问题。第期景莹，等：基于改进 的露天矿边坡裂隙智能检测算法图用于检测露天矿边坡裂隙的改进的 网络结构 边坡裂隙多尺度特征提取针对裂隙检测优化模型在下采样的过程中会出现局部细节信息丢失问题，采用在掩码分支引入空洞空间卷积池化金字塔的方法对模型进行优化。在边坡裂隙检测模型的骨干卷积神经网络中，由于特征金字塔网络底层特征和高层特征的融合路径较长，在提取特征信息时，底层特征信息在前向传播的过程中损失严重，进而影响后续的分类、边界框回归以及掩膜生成，从而导致了部分边坡裂隙出现漏检以及分割精度不高的情况。为解决这一问题，在提取特征时保留特征金字塔的底层特征信息，在 中引入空洞空间卷积池化金字塔（，）模块，来增强特征信息的感受野。采用采样率分别为，的空洞卷积对顶部特征映射图进行并行空洞卷积操作，可以在不损失分辨率的情况下增大有效特征层特征中心的感受野。感受野是每个有效特征层输出特征图上的像素点在输入图像上的映射区域，其计算公式如式（）所示。，（），（）。（）式中：为第层特征图上相邻元素间的像素距离，为第层的步幅大小，为第层的卷积核大小，为第层的感受野边长，为第层特征图的感受野中心坐标。骨干卷积网络对输入图像进行了次下采样后，输入空洞卷积层的特征图变为 ，经过次卷积核为的空洞卷积操作后，特征图中心特征点的感受野依次为 ，。利用并行的空洞卷积组成特征金字塔能够将多尺度的边坡裂隙特征融合，使特征层中保留更多的边坡裂隙特征信息。重 庆 大 学 学 报第 卷边坡裂隙目标分割在 中得到分辨率 的掩码之后，会将其直接插值回原像素的尺寸，这种操作会直接导致回插的掩码边缘像素十分不准确。为了解决在 中边缘不够精细的问题，考虑到掩码边缘的像素点一般为预测不准确的像素点，结合 等 提出的 中先对这些不准确的点进行单独处理，再对其他部分的像素点采用直接插值的方法，对 的掩码预测分支进行了进一步的改进。在模型训练阶段和测试阶段设置了灵活地、自适应的选点策略，然后为每一个采样点重建特征向量，预测其分类，为掩码重新分割标签，优化了分割采样方法，实现了分类分割迭代上采样，通过一步步的循环迭代生成满足像素精度要求的分割掩码，避免了对像素点逐一计算所造成的算力过大的问题。在测试阶段的每次迭代中，先使用双线性插值对其先前预测的裂隙分割结果进行一次上采样操作，然后在这个更密集的网络上进行裂隙边缘点的确定，具体过程如图所示。图 模块 在训练阶段使用基于随机采样的非迭代策略，为裂隙掩码像素点逐点设定不确定性度量，选取多个最不确定的点作为一次采样点，这种