融合改进ResNet-14...t模型的混凝土桥梁裂缝识别_梁栋.pdf

文章编号：1673-0291（2023）03-0010-09DOI：10.11860/j.issn.1673-0291.20220076第 47 卷 第 3 期2023 年 6 月Vol.47 No.3Jun.2023北京交通大学学报JOURNAL OF BEIJING JIAOTONG UNIVERSITY融合改进 ResNet-14和 RS-Unet模型的混凝土桥梁裂缝识别梁栋，李英俊，张少杰（河北工业大学 土木与交通学院，天津 300401）摘要：针对噪声影响下的细小混凝土裂缝检测，提出了将改进的深度残差网络（ResNet-14）和基于 U 形框架的 Swin-Unet网络（Revised Swin-Unet，RS-Unet）相融合的混凝土桥梁裂缝检测识别方法.首先，利用改进的 ResNet-14网络对裂缝子块进行识别，去除划痕、剥落等噪声的干扰，并保留裂缝区域；然后，采用 RS-Unet网络模型对图像进行像素级分割，完成裂缝特征提取；最后，采用边缘线最短距离法进行宽度计算，并在实验室条件下设计了一套裂缝检测系统用以验证该方法.试验结果表明：在固定拍摄角度和距离的前提下，融合改进的 ResNet-14和 RS-Unet网络模型对噪声影响下细小混凝土裂缝的识别效果体现出了良好的抗干扰性和准确性，为其应用于实际工程中提供了重要参考作用.关键词：桥梁工程；深度学习；ResNet；裂缝识别；特征提取；宽度测量中图分类号：U446 文献标志码：AIdentification of cracks in concrete bridges through fusing improved ResNet-14 and RS-Unet modelsLIANG Dong,LI Yingjun,ZHANG Shaojie（School of Civil and Transportation Engineering,Hebei University of Technology,Tianjin 300401,China）Abstract:To address the detection of fine concrete cracks under the influence of noise,this paper proposes a fusion method that combines the improved deep residual network(ResNet-14)and the Swin-Unet network based on a U-shaped structure(Revised Swin-Unet,RS-Unet)for crack detection and recognition in concrete bridges.Firstly,the improved ResNet network is used to identify crack sub-block,eliminating the noise interference such as scratch and spalling,while preserving the fracture area.Then,the RS-Unet network model is utilized for pixel-level segmentation of the images to facilitate the crack feature extraction.Finally,the width of the cracks is calculated using the shortest distance method along the edge lines.To validate the proposed method,a set of crack detection system is designed and tested under laboratory conditions.The experimental results show that under the premise of fixed shooting angle and distance,the fusion of the improved ResNet-14 and RS-Unet network model exhibits 收稿日期：2022-06-05；修回日期：2022-11-03基金项目：国家自然科学基金（51978236）；天津市交通运输委员会科技发展项目计划（2023-50）Foundation items:National Natural Science Foundation of China（51978236）；Science and Technology Development Project of Tianjin Transportation Commission（2023-50）第一作者：梁栋（1976），男，河北南宫人，教授，博士，博士生导师.研究方向为桥梁结构智能检测.email：.引用格式：梁栋，李英俊，张少杰.融合改进 ResNet-14 和 RS-Unet 模型的混凝土桥梁裂缝识别 J.北京交通大学学报，2023，47（3）：10-18.LIANG Dong，LI Yingjun，ZHANG Shaojie.Identification of cracks in concrete bridges through fusing improved ResNet14 and RS-Unet models J.Journal of Beijing Jiaotong University，2023，47（3）：10-18.（in Chinese）梁栋等：融合改进 ResNet-14和 RS-Unet模型的混凝土桥梁裂缝识别第 3 期strong resistance to noise interference and achieves accurate identification of small concrete cracks under the influence of noise,providing valuable insights for its practical application in engineering projects.Keywords:bridge engineering；deep learning；ResNet；crack identification；feature extraction；width measurement桥梁结构由于受到车辆荷载作用产生应力、结构变形，再加上外界环境因素及施工材料、质量等影响可能会引起混凝土开裂形成裂缝.裂缝是桥梁病害产生的初期表现形式之一，不仅降低了结构的承载能力，而且空气和水分可以通过裂缝进入结构内部造成钢筋的腐蚀，进而形成恶性循环，严重影响桥梁的正常使用寿命.因此，应对桥梁中的裂缝进行定期检查，包括位置、宽度、发展趋势等1.裂缝是结构开裂后形成的细长缝隙，其颜色、灰度、形态与周边环境有明显的区别.然而，在实际的混凝土桥梁中，由于受到环境因素的影响，其裂缝的分布和噪声的干扰是复杂多样的，这些影响因素严重妨碍了裂缝的检测.目前，我国对于混凝土桥梁的裂缝检测仍以人工检测为主，此方法不仅耗时费力且难以保证裂缝检测的效率和精度，存在一定的安全隐患.国内外学者对裂缝的检测和识别进行了较为广泛的研究2，初秀民等3将裂缝图像二值化，基于二值化的图像将其划分为裂缝子块和非裂缝子块，进而达到裂缝识别的目的.Lu等4对峰值阈值选择方法进行了改进，采用二值图像分割迭代的方法对裂缝进行提取，并且在迭代阈值选择之前进行图像增强、平滑和去噪处理，从而可以实时、稳定地完成阈值的自动选择，达到裂缝识别检测的目的.Li等5基于 Frangi 滤波算法，在图像预处理环节加入Bilateral 高斯核函数，实现了在去除噪声的同时增强裂缝特征的功能.Quan 等6提出了一种改进的大津阈值裂缝检测方法，通过修改基于灰度直方图的概率加权因子，来提高裂缝的提取精度.Peng 等7-8对裂缝识别研究进行了系统综述，分析讨论了图像预处理、裂缝识别与提取、宽度参数计算等重要环节的常见算法应用，并对此做出了前景展望.近些年来，深度学习技术有了较快的发展，尤其是卷积神经网络的创新应用，极大提高了语义分割的能力和水平.由 Lecun等9-10开发的卷积神经网络采用了深度学习理论，是目前最主流的图像识别算法，最早被应用于手写数字的识别.He 等11提出了一种深层的残差卷积神经网络，其主要原理是通过捷径连接将远端的输出与近端的输出相连，成功解决了深度学习过程中卷积层输入和输出之间的恒等变换和反向传播时的梯度弥散问题.Jang 等12将机器视觉和红外线成像相结合，并引入到基于深度学习的混凝土裂缝检测中，通过良好训练的卷积神经网络迁移学习实现裂缝的自动识别.为了提高噪声干扰条件下的裂缝检测效率，雷斯达等13首先基于卷积神经网络对采集的裂缝图像进行分类，再利用改进的 K-means算法完成了复杂背景下的混凝土裂缝分割提取和宽度计算.Peng等14通过无人机机器视觉技术对裂缝图像进行采集，并通过 R-FCN 和Haar-AdaBoost实现了像素级别的裂缝分割.此外，还有很多其他性能优异的网络模型被不断应用到裂缝检测中去，如 U-net15、SegNet16-17、R-CNN18、AlexNet19等.2021 年，Cao 等20首次提出了可以更好地学习全局和远程语义信息交互的 Swin-Unet网络模型，为图像分割和特征提取提供了一种新的方法.上述文献虽然在裂缝识别计算的精度和效率方面不断提高，但基本集中于检测具有一定宽度的裂缝信息，对在噪声影响下的细小混凝土裂缝进行识别时，不能很好地满足精度要求.混凝土裂缝的干扰主要包括表面大面积剥落、蜂窝麻面、锈蚀、水渍等，此外还有划痕涂鸦、施工缝等类似于裂缝的细长噪声.在混凝土桥梁裂缝的检测识别过程中，可能包含上述一种或几种噪声和干扰的影响，再加上裂缝本身复杂多变、宽窄不一的特点，很容易干扰检测结果.尤其是检测分布杂乱、特征相对不明显的细小混凝土裂缝时，裂缝本身的像素占比小于周围噪声的像素占比，进一步加大了检测的难度.为了解决这些问题，本文提出了一种融合改进双网络模型的混凝土裂缝检测方法.首先利用改进的 ResNet-14对有效分割后的图像进行裂缝的子块分类识别，去除干扰噪声的影响，保留裂缝区域；然后运用基于 U 形框架的 Swin-Unet 网络模型（Revised Swin-Unet，RS-Unet）网络模型对裂缝区域进行特征提取，进而完成对裂缝宽度的计算；最后在实验室条件下通过研发的裂缝智能检测系统进行验证，系统性地完成混凝土细小裂缝的有效检测.1 基于 ResNet的裂缝识别卷积神经网络是当前主流的深度学习图像分类算法，可以将固定尺寸大小的图像直接输入，在二维11北京交通大学学报第 47 卷图像的处理过程中具有很大的优势.传统的卷积神经网络在训练过程中，可以通过增加网络层级来提高提取特征性能的优异性，但会伴随梯度消失和网络退化等问题.这些问题使得训练精度随着模型深度的增加而变得难以提升，甚至会大幅下降，而深度残差卷积神经网络（ResNet）的残差模块能够很好地 解 决 这 些 问 题.基 于 残 差 模 块，通 过 改 进 的ResNet网络模型对裂缝图像进行识别，具体识别流程如图 1所示.1.1 ResNet-14网络结构残差模块构造如图 2 所示，x 作为输入值，在卷积 映 射 变 换 之 后 经 过 批 归 一 化 BN 和 激 活 函 数ReLu 得到残差 F（x），在激活前将 F（x）和 x 用捷径连接起来.结合混凝土暗背景及裂缝形态特征的特点，本文在传统 ResNet-18的基础上，适当减少网