MFC-DeepLabV3...联融合裂缝缺陷检测网络模型_李国燕.pdf

第 20 卷 第 4 期2023 年 4 月铁道科学与工程学报Journal of Railway Science and EngineeringVolume 20 Number 4April 2023MFC-DeepLabV3+：一种多特征级联融合裂缝缺陷检测网络模型李国燕，梁家栋，刘毅，潘玉恒，刘泽帅(天津城建大学 计算机与信息工程学院，天津 300384)摘要：道路裂缝对道路安全存在很大威胁，确保道路的安全性离不开对裂缝的准确检测。针对常规的人工检测方法和传统机器学习检测方法泛化性低且在复杂背景下裂缝分割检测准确率低等诸多问题，提出一种新型道路裂缝缺陷检测模型MFC-DeepLabV3+(MultiFeatureCascade-DeepLabV3+，多特征级联-DeepLabV3+)。首先，针对裂缝图像拓扑结构复杂，非均匀性强等问题，对主干特征提取网络进行改进，提出采用通道维度的分组卷积和分离注意力模块增强模型对裂缝图像特征提取能力，同时引入位置信息注意力机制提升对裂缝目标结构特征的精准定位，扩大网络各层特征信息的利用率。其次，加入多分支共享密集连接改进ASPP(AtrousSpatialPyramidPooling，空洞空间金字塔池化)模块，使其模仿人类视觉行为感知，在感受野保持均衡的同时生成密集覆盖裂缝尺度范围的特征语义信息。最后，在模型特征融合阶段增加多重边缘细化融合机制，使模型加大对高低阶特征信息的利用，提升模型对裂缝边缘精确分割的能力，防止裂缝轮廓边缘像素缺失。为验证MFC-DeepLabV3+模型的有效性，在公开路面裂缝数据集CRACK500与DeepCrack上进行实验，相较其他分割模型，在平均交并比上分别达到79.63%和76.99%，同时在主观视觉对比上预测出的裂缝分割图像边缘更加清晰，区域更加完整，表明该模型具有良好的工程应用价值。关键词：缺陷检测；裂缝识别；深度学习；语义分割；多特征融合中图分类号：U418.6 文献标志码：A 开放科学(资源服务)标识码(OSID)文章编号：1672-7029（2023）04-1370-12MFC-DeepLabV3+:a multi feature cascade fusion crack defect detection network modelLI Guoyan,LIANG Jiadong,LIU Yi,PAN Yuheng,LIU Zeshuai(School of Computer and Information Engineering,Tianjin Chengjian University,Tianjin 300384,China)Abstract:Road cracks pose a great threat to road safety,and ensuring road safety is inseparable from the accurate detection of cracks.For many problems such as low generalization of conventional manual detection methods and traditional machine learning detection methods and low accuracy of crack segmentation detection in complex backgrounds,a new road crack defect detection model MFC-DeepLabV3+(MultiFeatureCascade-DeepLabV3+,Multiple Cascade Feature-DeepLabV3+)was proposed.First,the backbone feature extraction network wasimproved for the problems of complex topology and strong non-uniformity of crack images.The enhancement 收稿日期：2022-04-14基金项目：国家自然科学基金资助项目(52178295)通信作者：李国燕(1984)，女，河北石家庄人，副教授，博士，从事人工智能、深度学习和缺陷检测研究；Email：DOI:10.19713/ki.43-1423/u.T20220736第 4 期李国燕，等：MFC-DeepLabV3+：一种多特征级联融合裂缝缺陷检测网络模型of the model for crack image feature extraction was proposed by using grouped convolution of channel dimensions and separated attention module;meanwhile,the attention mechanism of location information was introduced to ensure the accurate localization of structural features of crack targets and expand the utilization rate of feature information in each layer of the network.Second,the multi-branch shared dense connection improvement ASPP(AtrousSpatialPyramidPooling)module was added so that it mimics human visual behavior perception and generates feature semantic information that densely covers the scale range of cracks while maintaining a balanced perceptual field.Finally,in the model feature fusion stage,multiple edge refinement fusion mechanism was added to increase the use of high-order and low-order feature information,improve the ability of the model to accurately segment the crack edge,and prevent the loss of crack contour edge pixels.Experiments were carried out on CRACK500 and DeepCrack data sets of open pavement cracksto verify the effectiveness of the MFC-DeepLabV3+model.Compared with other segmentation models,the average intersection ratio reaches 79.63%and 76.99%,respectively.In addition,the model can make the predicted crack segmentation image edge in subjective visual contrast clearer and the region more complete,indicating that the model has good engineering application value.Key words:defect detection;crack recognition;deep learning;semantic segmentation;multi-feature fusion 裂缝是道路基础设施的主要问题之一，危及道路安全，从而产生巨大的隐患，因此，定期对裂缝进行检测是保障和维护道路安全必不可少的环节。早期裂缝检测通常采用人工检测，但其时间长，成本高，易受主观判断影响，难以推广应用，随着计算机视觉领域的发展，基于计算机视觉技术对裂缝进行高精度检测成为热点问题，主要可分为传统图像处理方法和深度神经网络学习方法。传统图像处理方法1主要通过分析裂缝的图像特征，通过人为设计分割和提取的依据，在特定的数据集上能够取得良好的检测效果，但易受部分环境因素影响，且基于人工设计的特征提取器，泛化性较低。近年来，深度神经网络被广泛应用至裂缝检测领域，可对裂缝语义特征进行自动化提取，实现更高的检测精准率。目前基于深度神经网络的裂缝检测方法主要有图像分类2、目标检测3以及图像分割，基于图像分割的小像素粒度、高 检 测 精 度 的 方 法 是 目 前 的 研 究 热 点。WANG等4提出一种路面裂缝检测的矩形卷积金字塔边缘增强网络RENet，其构建矩形卷积金字塔模型，将优化后的浅层背景信息和特征逐渐融合，对每个分支应用层次特征融合模块和边界细化模块，促进不同尺度特征的融合；王保宪等5在以往Unet+结构基础上差异性引入注意力机制和密集的特征融合层，利用空洞卷积改变模型下采样操作，降低裂缝漏检率，提高模型对裂缝特征信息的感知能力；TIAN等6利用端到端多尺度全卷积神经网络和反卷积网络框架实现像素级检测，通过学习沥青路面复杂细粒度背景下的裂缝特征，从而实现更丰富的多尺度裂缝特征信息的语义分割；DONG 等7结合 StyleGAN 数据增强算法提出RoadSegCapsNet模型，在其卷积层中使用填充卷积来保留更多图像边缘信息，并采用优化的动态路由算法减少模型参数提高训练效率，在不同环境条件下仍然保持良好的分割性能；LEE等8提出了一种双分支卷积神经网络的自动裂缝检测算法，由裂缝组件感知网络和裂缝区域感知网络2个子网络组成，对2个子网络进行端到端训练，共同优化参数，最终生成重要裂缝的局部化输出。CUI等9提出了一种基于 UNet的深度残差注意卷积模型，其中加入递归残差卷积块和注意机制，有效解决裂缝图像正负样本不平衡的问题，实现在不同条件下对原始裂缝图像进行高精度分割识别；FAN等10设计一种具有分层特征学习和扩展卷积的编解码体系结构U-HDN，通过带有多种膨胀率的卷积提取不同上下文特征信息，并集成到多个膨胀模块中，从高到低获得多层次特征信息来输出像素级裂缝检测图。但由于裂缝目标小且拓扑结构复杂等因素，导致以往研究存在样本外泛化性差，复杂背景下分割裂缝能力弱等缺点。为实现路面裂缝的高效检测，本文通过构建多重级联特征融合的 MFC-DeepLabV3+模型，利用分组多注意力1371铁 道 科 学 与 工 程 学 报2023 年 4月卷积设计主干特征提取增强网络捕获更精细的特征信息，同时构建视觉ASPP模块，在模仿人类视觉的同时保持感受野的增大，利用分支共享机制和残差连接提取上下文信息，最后引入带有边缘平滑机制的多特征金字塔融合机制改善单次融合导致的分割图像模糊，提高对裂缝边缘信息的提取能力。1 基础网络模型DeepLabV3+为谷歌公司推出的经典语义分割算法，通过增加对物体边界信息的关注从而改进分割结果，适用于对裂缝目标的检测分割。为有效聚合裂缝图像的多尺度特征信息，采用 DeepLabV3+网络模型11作为本文基础模型，模型的结构如图 1所示。其引入语义分割领域常见的编码器-解码器结构来校正分割结果，在模型中加入ASPP模块，用多种空洞系数和不同大小感受野进行卷积操作来对多尺度上下文信息进行编码，解决图像结构信息损失问题。DeepLabV3+模型主要分为