基于轻量型U-net的钢材金相图像晶界分割方法_王森.pdf

计算机测量与控制 （）设计与应用 收稿日期：；修回日期：。基金项目：西 安 市 科 学 技 术 局 重 点 产 业 链 核 心 技 术 攻 关 项 目（）；年 教 育 部 产 学 合 作 协 同 育 人 项 目 资 助（）。作者简介：王森（），男，陕西汉中人，在读硕士研究生，主要从事深度学习、迁移学习及图像处理。通讯作者：国蓉（），女，山东郓城人，博士，教授，硕士研究生导师，主要从事精密测控及测试计量技术方向的研究。引用格式：王森，国蓉，胡海军，等 基于轻量型 的钢材金相图像晶界分割方法 计算机测量与控制，（）：，文章编号：（）：中图分类号：文献标识码：基于轻量型 的钢材金相图像晶界分割方法王森，国蓉，胡海军，许勇，张钰，李秀峰（西安工业大学 光电工程学院，西安 ；西安交通大学 化学工程与技术学院，西安 ；长庆油气田开发事业部，西安 ；陕西师范大学 计算机科学学院，西安 ；中国特种设备检测研究院，北京 ）摘要：在金相组织的晶粒度自动化评估工作中，对晶粒边界识别的精准与否直接影响着金相组织晶粒度等级的评估准确度；针对钢材金相图像中晶粒边界密集程度高、边缘复杂且晶粒边界识别准确性低的问题，提出一种基于轻量型 卷积神经网络的金相图像晶界分割方法，该轻量型网络模型将浅层特征层用跳跃连接的方式拼接在上采样过程中，使网络学习到更多的有效特征信息；减少了网络层数并在特征提取过程中添加了一次卷积过程，减少了网络参数量并提高了对晶界的预测速度和准确率；实验结果表明，该方法在 张金相图像测试集上像素准确率达到 、特异度为 、灵敏度为 ；与传统 网络相比，像素准确率提高了 ，网络参数量相对减少了 ；本方法对金相晶界分割具有有效性和优越性。关键词：金相图像；晶界分割；浅层特征信息；轻量型；，（，；，；，；，；，）：，：；引言当机械设备长期在高温高压、腐蚀性介质等环境下服役时，材料会发生劣化，出现蠕变、疲劳、腐蚀、侵蚀等现象。金相检验是检测材料劣化情况，保障设备服役安全的重要手段。其中，准确的评价金相检验图片中材料的晶粒度等级是最关键的任务。当前对金相图片晶界的提取主要由人工进行，结果易受人员检验水平的影响、一致性差，且晶界和晶粒之间的颜色差别、明暗差别等也会干扰人工判断，影响检测的准确性。对材料显微组织的识别属于图像识别问题，同时也属于计算机视觉等技术在材料科学领域的应用。自动晶界提取如数字图像处理、机器学投稿网址：第期王森，等：基于轻量型 的钢材金相图像晶界分割方法 习、深度学习等方法可以克服人工晶界提取的弊端，受到学者们的广泛关注。晶界提取属于图像分割任务，常用的图像分割方法有基于像素的图像分割方法、基于轮廓的图像分割方法和基于深度学习的图像分割方法等。基于像素的图像分割方法主要包括聚类算法和阈值化方法。阈值法首先求取阈值，再根据图像阈值实现目标物体和背景的分割。然而，全局最优阈值难以求取导致其分割结果较为粗糙。聚类方法思想简单、便于操作，但是该方法依赖于阈值和树的构建，容易忽略图像的深层信息，对边缘以及噪声的处理效果较差。基于轮廓的图像分割算法依据图像中的轮廓信息，将图像的边缘轮廓转化成能量泛函的最小值求解过程。该方法对强噪声，低对比度的目标边界分割效果较好，但是需要人为预选相关目标的轮廓，计算复杂度高。近年来，随着计算机的算力和效率不断提高，机器学习和深度学习算法得以快速发展。相比于传统的分割方法，卷积神经网络分割方法是目前应用最广泛的图像分割方法，其在人脸识别、医学图像分割等方向已经比较成熟。卷 积 神 经 网 络（，）能够从数据集中自动学习相关特征，在计算机视觉领域有较为广泛的应用。年，由 等人 提出的全卷积神经网络 （，），开启了图像分割 的新纪元。但是，得到的是二维的分割结果，其精度低、细节不明显、没有充分考虑像素和像素之间的关系，不适用于金相图像的分割任务。对于金相图像的晶界分割，庚嵩 等提出了一种基于改进（）模型与局部拟合项相结合的金相图像分割算法，实现了金相图像的分割。谢建林 等人通过根据晶粒之间灰度值的相似性来提取出完整的晶粒，再找出晶粒之间的边界就是晶界。周雨蓉 使用盒维数来描述铝合金的金相组织特征，提取晶粒度的相关参数并利用 （）降维、（）聚类方法减少特征的维度，从而减少次要特征的干扰。张海军 等人采用双阈值法进行图像分割，其分割的阈值为图像的极大值区 域。朱 建 栋 等 人 提 出 了 参数自适应算法和基于结构化随机森林的钢材金相图像晶界提取算法。孙秋冬 采用自适应双门限法对金相图像分割。和 应用深度学习方法对钢材的显微组织识别进行了相关研究。然而，上述方法普遍应用于图像特征较为简单的金相图像，未对晶界与晶粒的像素级特征进行深入的研究，其应用于低对比度、复杂晶界的金相图像时对晶界的分割效果较差。针对该问题，本文提出了基于轻量型 的金相图像晶粒分割方法，主要内容有两方面。）网络设计：采用加入多层卷积以及在上采样过程中采用跳跃连接策略以融入更多浅层特征层，强化了网络的浅层特征提取能力；通过减少一层下采样层并在特征提取过程中增加了一次卷积过程，从而减少网络的参数量和计算量并使网络轻量化，同时提高了网络的预测准确率。）对比实验：将本文提出的轻量型 图像分割网络模型与现有的在少量数据集上常用的图像分割网络模型 、及 进行对比实验，验证了本文提出的卷积神经网络模型对金相晶界分割的有效性和优越性。模型设计和相关理论 系列图像分割网络 的全连接操作将图像的特征图变成一个向量，使得特征图丢失了图像的空间信息，将传统 的全连接层更换成了卷积层，使得网络的输出为热力图而并非类别，即其可以从抽象的特征中恢复出每个像素所属的类别，从而实现对输入图像延伸到像素级分割。同时，采用上采样的方法解决了卷积和池化使得图像尺寸变化的问题。的网络结构主要包含两个部分：即全卷积部分和反卷积部分，全卷积部分为一些经典的 网络，用于提取图像特征，其网络的输入可以为任意尺寸的彩色图像。反卷积部分主要为上采样过程，通过该过程可以得到与原输入图像尺寸相同的语义分割图像，最终的网络输出通道数为（目标类别数）（背景）。是在 的基础上进行改进得到的，设计的初衷是为了解决医学图像分割中的问题。其通过扩大网络解码器的容量改进了全卷积网络结构，并给编码和解码模块添加了收缩路径（），实现更精准的像素边界定位，同时采用与 不同的特征融合方式：拼接（），其将图像特征图按照通道维度进行拼接，从而形成更厚的特征图，该操作可以在上采样过程中融入更多有效特征层信息。其优点主要是：网络越深，感受野越大；网络更关注于全局特征；浅层网络更加关注纹理等局部特征；可以通过上采样和图像拼接来进行边缘信息的特征找回。该网络适用性好，近年来 被应用于多种场景的图像分割任务中。由于 中的 和 网络特征层采用长连接方法直接连接，该过程会产生语义鸿沟，使得对医学图像分割缺乏更高的精确性，为了减少语义差别，等人 依据 网络结构基础提出了 网络，在 直接连接的基础之上增加了类似于 结构的卷积层，并融合了下一阶段卷积的特征。采用大量的跳跃连接来保留各网络层的特征信息，将高分辨率的特征图从 网络逐渐地和 网络中相应的语义特征图进行叠加整合，由于不同深度的感受野对大小不同的目标敏感程度不一样，浅层的对小目标更敏感，深层对大目标更敏感，通过特征拼接将浅层信息和深层信息融合到一起，可以整合二者的优点。同时用小感受野的特征信息来补充下采样过程中的边缘信息丢失，使得位置信息更加的准确。等人在 年提出的 网络通过跳跃连接将抽象的深层特征和包含上下文信息的浅层特征融合，强化了网络的浅层特征提取能力，并在 的投稿网址：计算机测量与控制第 卷 基础上引入注意力机制重新调整了编码器的输出特征，用门控信号来控制不同位置处图像特征的重要性，提高了对医学图像分割的准确率。其与 最大的区别就是 中经过卷积后的特征层在进行通道拼接的特征融合之前都需要先经过注意力机制 模块而原始的 网络直接将同层的下采样产生的特征图采用通道拼接方法拼接到上采样层中，的结构如图所示。图 结构其中，为深层网络特征图（跳跃连接的输入，包含上下文信息），为浅层网络特征图（前一个 的输入），为与特定分割任务相关的注意力系数，可以抑制与本分割任务数据不相关的图像特征信息表达，将注意力系数与浅层特征图逐元素相乘即可得到输出特征图。加入 模块可以增强对前景像素的敏感性，等人的实验结果证明，其提出的 在总体的 系数的结果上比原始的 有较大的优势，同时在计算成本上的增加较少。晶界分割轻量型 网络设计金相图像的对比度较低、部分区域亮度低、晶粒边界复杂，经过图像预处理的方法虽然可以增强图像对比度，但是分割复杂的晶界仍然十分困难。为了提高对晶界的提取准确率，需要在原 网络的上采样解码过程中融入更多的有效特征层信息。本文结合 的设计思路，在图像的上采样过程中融入更多的跳跃连接特征图来改进 卷积神经网络模型，提高了该模型的浅层特征提取能力，图像特征层的拼接策略示意图如图所示。图图像特征层拼接策略示意图其中，为特征层的通道数，和分别为特征层的高度和宽度，朝右的黑色空心箭头为特征提取过程（采用卷积方法），朝下的空心虚线箭头为下采样过程（采用最大池化方法），朝上的黑色实心箭头为上采样过程（采用 方法），黑色虚线单箭头为特征层的跳跃连接过程。同时，为了减少网络的参数量，本文将原始 的四次下采样过程改为三次下采样，减少了一次下采样过程使得网络总体参数量大幅减少，网络更加轻量，计算速度更快。总体的网络结构图如图所示。图改进的 图像分割网络该网络模型分为左右两部分。黑色虚线左边为收缩路径（），该路径由个模块组成。每个模块都采用个卷积（图中朝右的空心虚线箭头）操作和个最大池化（图中朝下的空心箭头）操作。卷积的 策略采用 模式（即在卷积图外面一圈进行填充），从而保证经过卷积操作之后的特征图尺寸不变。卷积的激活函数采用神经网络中使用最多的 激活函数，该激活函数具有稀疏性，在输入大于的区域上不会出现梯度饱和及梯度消失等问题，稀疏后的网络模型能够更好的挖掘输入数据特征信息，拟合训练数据，计算复杂度较低。采用最大池化对输入的图像进行降采样操作，其输出的特征图尺寸是输入特征图的一半。经卷积和池化运算后，得到图像中的浅层特征信息。黑色虚线右侧为扩展路径（），也由个模块组成。每个模块前都采用个的反卷积操作（图中朝上的黑色实心箭头）和个的卷积操作。反卷积将特征图的尺寸乘，通道数减半。同时，在扩展路径中将下采样过程中生成对应的尺寸相同而通道数不同的特征图进行复制和拼接操作（图中黑色虚线箭头）。将个大小相同而通道数不同的特征图进行拼接合并后，再进行的卷积和反卷积上采样操作，提取深层特征信息。直至将特征图恢复到和原始输入图像尺寸大小相同后，对得到的特征图进行的卷积操作（图中朝右的黑色实线箭头），最终输出一个层的语义分割图像。实验验证及结果 数据集在进行模型训练之前，需要先建立相应的金相图像分割数据集。由于现阶段暂时没有公开的金相晶粒分割数据集，本文采用由中国特种设备检测研究院提供的金相图像投稿网址：第期王森，等：基于轻量型 的钢材金相图像晶界分割方法 数据来制作数据集。首先对由金相显微镜采集到的原始金相图像进行灰度化操作，灰度化的公式如下：（）再对灰度化后的金相图像依次进行自适应直方图均衡化（，）、双 边 滤 波（）操作。自适应直方图均衡化方法通过计算图像的局部直方图，重新分布图像亮度来改变图像对比度的方法，该算法更适用于改进图像的局部对比度来获得更多的图像细节。双边滤波算法是一种在高斯滤波的基础上进行改进的非线性滤波方法，其通过结合图像的空间邻近度和像素相似度进行折中处理，同时考虑图像的空域信息和灰度相似性，能够对图像起到保边去噪的作用，其通常具有简单、非迭代、局部的特点，双边滤波操作所包含的空域核函数的运算公式为：（，）（）（）（）（）相应的值域核函数计算公式为：（，）（，）（，）（）（）根据上述两式相乘所得的双边滤波权重函数为：（，）（）（）（，）（，）（）（）双边滤波的数据计算公式为：（，）（，）（，）（，）（）其中