多线激光光条图像缺陷分割模型研究_郭晓轩.pdf

第 1 期2023 年1 月电子学报ACTA ELECTRONICA SINICAVol.51 No.1Jan.2023多线激光光条图像缺陷分割模型研究郭晓轩1，冯其波1，3，冀振燕2，郑发家1，杨燕燕2（1.北京交通大学物理科学与工程学院，北京 100044；2.北京交通大学软件学院，北京 100044；3.东莞市诺丽科技股份有限公司，广东东莞 523050）摘要：受环境干扰以及反射光影响，室外采集的多线激光光条图像含有光斑和断裂缺陷.为了准确地分割图像缺陷，本文提出了一个轻量的UT（U-shape Target，U代表U型编解码网络结构，T代表靶形视野）分割模型，模型由33卷积和靶形卷积堆叠而成.靶形卷积是针对激光光条图像特点提出的多视野卷积模块，模块中四个卷积分支构成靶形卷积视野，能够提取激光光条图像几何结构特征、局部细节特征以及环绕纹理特征.实验表明，UT模型在多线激光光条图像上的缺陷分割精度高于主流分割模型，而且实现了分割精度和参数量的平衡.关键词：缺陷分割；激光图像；深度学习；轻量级分割模型；多视野卷积基金项目：国家自然科学基金重点项目（No.51935002）；国家自然科学基金面上项目（No.52175493）中图分类号：TP183 文献标识码：A 文章编号：0372-2112(2023)01-0172-08电子学报URL:http:/ DOI:10.12263/DZXB.20220644Research on Segmentation Model of Multi-Line Laser Strip Image s DefectsGUO Xiao-xuan1,FENG Qi-bo1,3,JI Zhen-yan2,ZHENG Fa-jia1,YANG Yan-yan2(1.School of Physical Science and Engineering,Beijing Jiaotong University,Beijing 100044,China;2.School of Software,Beijing Jiaotong University,Beijing 100044,China;3.Dongguan Nannar Technology Co.,Ltd.,Dongguan,Guangdong 523050,China)Abstract:Influenced by environmental interference and reflected light,multi-line laser strip images collected outdoors contain the defects of flares and fractures.In order to segment the defects accurately,this paper proposes light-weight UT(U-shape Target,U represents a U-shaped encoder-decoder network architecture,and T represents a target-shaped receptive field)segmentation model,which stacks 3 3 convolutions and target convolutions.Considering the characteristics of laser strip images,we propose the target convolution,a multiple-receptive-field convolution module.Four convolution branches in this module form a target-shaped convolution receptive field,which can extract the geometric structure features,the local detail features and the surrounding texture features from the laser strip images.Experiments show that the UT model has higher defect segmentation accuracy than mainstream segmentation models,and can achieve the balance between the segmentation accuracy and the number of parameters.Key words:defect segmentation;laser images;deep learning;light-weight segmentation model;multiple-receptive-field convolutionFoundation Item(s):National Natural Science Foundation of China(No.51935002,No.52175493)1引言结构光视觉技术具有高精度、非接触的优点，因此被广泛应用于工业检测领域，包括轨道交通轮对故障检测领域.轮对监测设备的面阵CCD相机和其对应的多线激光传感器阵列安装在轮对的左右两侧，轮对经过定位传感器时，左右两侧的CCD相机同时拍摄含有多条激光线条的图片.由于面阵CCD相机和其对应的多线激光传感器安装在室外环境，成像过程受到环境干扰和反射光的影响，导致图像含有光斑和断裂缺陷，如图 1所示.图 1中的光斑缺陷使多根光条粘连在一起，光条断裂使形貌数据缺失，这些成像缺陷严重影响了轮对的几何参数测量和形貌分析.只有高精度地分收稿日期：2022-06-02；修回日期：2022-08-10；责任编辑：朱梅玉第 1 期郭晓轩:多线激光光条图像缺陷分割模型研究割这些缺陷位置才能对这些缺陷进行自动定位修复，进而准确地提取光条中心线进行高精度的轮对三维重建，最终解耦轮对几何参数进行轮对磨损检测和生命周期预测.考虑到轮对检测的精度和嵌入式设备部署要求，需要研究针对激光光条图像缺陷的高精度且轻量的分割模型.图像分割目前在智慧交通1、医学图像分析2、视频理解3等领域得到广泛应用，其主要目的是根据灰度、颜色、纹理等特征将图像分成互不相交且具有各自特征的区域.近年来，基于深度学习的模型因具有自适应、鲁棒、精度高的优势获得广泛应用，其通过大量数据训练可自适应地定位目标区域的像素位置.部分模型通过构建自注意力机制4、设计多分辨率分支5、使用多视野卷积6，7等获得了高精度的结果.文献 4 设计的自注意力机制能够根据物体区域特征表示与像素特征表示之间的相似度将这些物体区域特征表示传播给像素，进而得到增强的像素表示.文献 5 设计了多个不同分辨率的特征提取分支，通过多次分支间信息融合确保同时提取高级语义信息和空间信息.文献 6模型首次证实网络宽度对精度有重要影响，通过设计多个卷积分支以提取丰富的多尺度特征.文献 7 设计了空洞空间卷积池化模块，模块由四个不同空洞率的卷积分支构成，可提取不同范围特征.上述模型虽然获得了精确的分割结果，但是模型体积较庞大，难以部署在工业检测嵌入式设备上.工业检测嵌入式设备部署要求模型不仅精度高，还需轻量化.目前有很多轻量化模型设计方法，如堆叠轻量级卷积模块8，9、解码器轻量设计10，11、双分支架构12、多尺度图像级联网络13、简易 U 型模型搭建14，15等.文献8 在编码阶段设计了具有通道拆分和通道混洗操作的SS-nbt模块，减少参数量的同时确保特征提取的有效性.文献 9 提出由两个不同分辨率分支构成的深度双分辨率网络，分支均采用轻量级残差Bottleneck模块减少参数量.文献 10 提出灵活的轻量级解码器（FLD），将语义特征图从高级别到低级别依次减少维度，降低了解码阶段的计算开销.文献 11 提出一种简易、轻量的解码器，采用11卷积提取特征，通过特征图相加融合不同阶段的解码特征，减少参数量且获得良好的解码性能.文献 12 设计了由语义分支和空间分支构成的网络以提取高级语义信息和细节信息.语义分支采用窄通道、深层网络获取大感受野并捕获语义特征；空间分支采用宽通道、浅层网络提取低层特征图的细节信息.文献 13 设计了包含多重分辨率分支的图像级联网络，将低分辨率图输入到较深的卷积神经网络处理，将中高分辨率图输入到轻量的卷积神经网络处理，然后由级联特征融合单元和级联标签引导语义特征和细节特征的高效融合.文献 14 构建了U型结构的编解码网络，并设计跳跃连接机制向解码器传递编码信息.文献 15 设计了全尺寸跳跃连接的U型网络结构提高解码特征的多样性，并降低解码阶段的特征图维度以缩减参数量.上述分割模型主要针对彩色图像设计，对于公共数据集具有良好的分割性能，但对于具有特殊几何结构的灰度多线激光光条图像的缺陷分割任务效果欠佳.为了满足工业缺陷检测领域高精度、低参数的需求，针对多线激光光条图像的特点，本文构建了一个轻量级的UT（U-shape Target）分割模型用于高精度地分割光条图像缺陷，UT模型的“U”代表模型的主体结构是U形，“T”代表模型的靶形卷积视野.2UT模型2.1UT模型结构UT模型是一个U型结构的编解码网络，其结构如图2所示，模型由五层编码器和四层解码器构成，模型的核心是针对激光光条图像特点所设计提出的由四个卷积分支构成的靶形卷积，如图2中的虚线框所示，靶形卷积包含了横向条纹卷积分支、纵向条纹卷积分支、常规33卷积分支以及33空洞卷积分支.横向和纵向卷积分支通过大范围的矩形感受野提取条纹的几何结构特征，如完整光条几何信息、断裂几何信息、黏连几何信息等.常规33卷积分支感受野最小，主要提取局部区域的细节特征，如条纹的边缘像素点信息等.33空洞卷积分支有着环形感受野，主要提取环绕局部区域的纹理特征，为局部区域细节特征补充上下文信息.由于靶形卷积可以同时提取光条图像的几何结构特征、局部细节特征以及环绕纹理特征，因此可更准确地分割光条图像缺陷.UT 模型的五层编码器的特征图维度分别为 16，32，64，128和 256；四层解码器的特征图维度均为 80.UT模型中，各层编码器先采用33卷积提高特征图维度，再通过所提出的靶形卷积提取丰富的多视野特征.每层解码器均采用文献 15 的全尺寸跳跃连接获取细节信息和语义信息，然后使用靶形卷积进一步提取丰富的特征.在全尺寸跳跃连接中，每层编码特征通过图1光斑和断裂缺陷示意图173电子学报2023 年33卷积操作传递到相同分辨率的解码层，通过下采样和33卷积操作传递到更低分辨率的解码层；每层解码特征通过上采样和33卷积操作传递到更高分辨率的解码层.因此，每层解码器通过全尺寸跳跃连接组合了相同分辨率编码层特征、更高分辨率的编码层特征以及更低分辨率的解码层特征.来自高分辨率层的细节信息和低分辨率层的高级语义信息在各解码层组合，提高了解码特征的多样性.得益于全尺寸跳跃连接和靶形卷积的使用，UT模型不仅可以高精度地分割激光光条图像的缺陷，而且实现了精度和参数量的平衡.2.2靶形卷积模块靶形卷积模块是UT模型的核心.传统的方形卷积视野不适合光条图像特征的提取，原因在于：为了提取丰富的光条几何结构特征需要大的卷积视野，而大视野的方形卷积会造成提取特征中冗余背景特征占比过大，影响分割效果.因此，本文针对多线激光光条图像的特点设计了靶形卷积视野，靶形卷积视野可更有效地提取更丰富的光条几何结构特征.得益于空洞卷积和一维卷积的使用，靶形卷积模块以较小的参数量获得了大的卷积视野.2.2.1靶形卷积感受野多线激光光条图像与日常场景彩色图像不同，其为灰度图且包含大量狭长光条.图3展示了多线激光光条图像，图中红绿蓝矩形构成的彩色图形代表了靶形卷积视野.从图3可以看出，由于光