多层次特征融合和注意力机制的道路裂缝模型_宋榕榕.pdf

2023，59（13）公路作为国民基础设施的重要组成部分，已然成为现代社会发展的命脉。据政府统计公报显示，截至2020年底公路总里程达到519.81万公里，呈现近5年数值新高1。强大的公路干网为社会建设与经济发展提供坚实保障，而良好的路面状况为安全出行奠定切实基础。然而受使用年限、施工工艺以及自然环境等多重因素的影多层次特征融合和注意力机制的道路裂缝模型宋榕榕1，2，王财勇1，2，田启川1，2，张琪31.北京建筑大学 电气与信息工程学院，北京 1000442.建筑大数据智能处理方法研究北京市重点实验室，北京 1000443.中国人民公安大学 信息网络安全学院，北京 100038摘要：针对现有裂缝检测方法易受各类噪声干扰从而导致误检及小尺度裂缝漏检的问题，提出一种基于多层次特征融合和注意力机制的道路裂缝检测模型，采用编解码结构DeepCrack网络作为基本架构。设计单尺度多层次特征融合模块应用于特征提取，通过多级网络表征增强裂缝的细节特征。同时在编解码端对称融合部位，引入改进后的三重注意力模块，从通道、高和宽3个维度进行跨维度交互，凸显裂缝特征和抑制噪声特征，并进行跨维度的特征融合，以获得更具互补性的裂缝特征。实验表明，在道路裂缝数据集CRKWH100上，模型在多个边缘评估指标上实现了当前最优，同时在Stone331石材裂缝数据集中也验证了该模型的泛化性。关键词：深度学习；编解码网络；裂缝检测；特征融合；注意力机制文献标志码：A中图分类号：TP391.41doi：10.3778/j.issn.1002-8331.2203-0531Road Crack Model Based on Multi-Level Feature Fusion and Attention MechanismSONG Rongrong1，2,WANG Caiyong1，2,TIAN Qichuan1，2,ZHANG Qi31.School of Electrical and Information Engineering,Beijing University of Civil Engineering and Architecture,Beijing100044,China2.Beijing Key Laboratory of Intelligent Processing for Building Big Data,Beijing 100044,China3.Schoo of Information and Cyber Security,People s Public Security University of China,Beijing 100038,ChinaAbstract：In order to solve the problem that existing crack detection methods are easily interfered by various noises,which leads to false detection and missed detection of small-scale cracks,this paper proposes a road crack detection modelbased on multi-level feature fusion and attention mechanism,and adopts the codec structure DeepCrack network as thebasic framework.A single-scale multi-level feature fusion module is designed for feature extraction,and the detailedfeatures of cracks are enhanced through multi-level network representation.At the same time,the improved triple atten-tion module is introduced into the symmetric fusion part of the codec end,and cross-dimensional interaction is carriedout from the channel,height and width dimensions to highlight crack features and suppress noise features,and cross-dimensional feature fusion is carried out to obtain more complementary crack features.Experiments show that the modelachieves the current best in several edge evaluation indexes on the road crack data set CRKWH100,and the generalizationof the model is also verified in the Stone331 stone crack data set.Key words：deep learning;encoder-decoder network;crack detection;feature fusion;attention mechanism基金项目：国家自然科学基金（62106015，61906199）；北京建筑大学青年教师科研能力提升计划项目（X21079）；北京建筑大学“建大英才”培养工程（JDYC20220819）。作者简介：宋榕榕（1996），女，硕士研究生，研究方向为计算机视觉、深度学习；王财勇（1990），通信作者，男，博士，讲师，CCF会员，研究方向为生物特征识别、模式识别，E-mail：；田启川（1971）男，博士，教授，CCF会员，研究方向为人工智能、模式识别、计算机视觉与图像处理等；张琪（1988），女，博士，讲师，研究方向为生物特征识别、深度学习、计算机视觉等。收稿日期：2022-03-28修回日期：2022-05-18文章编号：1002-8331（2023）13-0281-08Computer Engineering and Applications计算机工程与应用281Computer Engineering and Applications计算机工程与应用2023，59（13）响，导致公路频繁出现以裂缝为主的表面缺陷，特别是对于高速公路、高架桥梁等，一旦出现较严重裂缝，将极大地降低来往车辆的安全系数。此外，从投资成本角度考虑，及时快速地发现并修复道路缺陷有利于降低运营成本，减少经济损失。因此，进行路面缺陷检测是非常必要的。人工路面检测通常由专业人员沿线行驶获取缺陷信息，这种方式不仅效率低、成本高，并且缺乏统一的评估规范标准导致检测结果主观不统一。计算机视觉技术的出现给公路质检带来了新的机遇，通过机器检测有效地避免了人为误差，提升了检测的精度和效率。传统的视觉技术基于经典的图像处理方法，例如，Zhu等人2将多种边缘检测算子Canny、Roberts和Sobel等应用到裂缝检测，并分析了各自的特点以及应用场景；Akagic等人3通过对直方图的观察改进阈值分割算法，从而进行裂缝检测；Song等人4和Fernandez等人5将Canny算子与阈值分割算法相结合，提升裂缝检测的性能；小波变换6和数学形态学7方法也被分别应用到裂缝检测领域。这些方法通常依赖专家知识和经验，且在处理背景复杂、噪声较大的图像时，很难获得准确的结果。近年来，深度学习在图像分析、人脸识别、医学影像等领域的成功也启发了裂缝检测的研究。深度学习可以提取多尺度的上下文语义信息，为缺陷判别提供了有力的支撑。目前大多数道路裂缝检测模型采用经典的 CNN 网络作为研究基础，例如 U-Net8、SegNet9等。Chen等人10和Song等人4采用SegNet进行裂缝缺陷分割。Lau等人11提出了一种改进的U-Net路面裂缝分割网络。Zou等人12提出了一个改进SegNet的DeepCrack裂缝检测网络，采取编码端与解码端相结合的思路进行多尺度融合与多重监督学习，在多个数据集上均实现了最好的效果。DeepCrack能够有效抑制噪声对于裂缝检测的影响，但仍然存在小尺度裂缝漏检与外观相似的噪声误检的问题。针对 DeepCrack 存在的问题，本文对其进行了改进，首先应用单尺度多层次特征融合模块增强裂缝的细节特征，然后嵌入三重注意力模块到DeepCrack的编解码端特征融合部分，以实现特征权重重新分配和互补融合，从而有力地减少了噪声的干扰，同时提升了小尺度裂缝的有效检测。本文的主要贡献列举如下：（1）提出了一种基于多层次特征融合和注意力机制的道路裂缝检测模型。针对小尺度裂缝漏检的问题，设计单尺度多层次特征融合模块，从而充分地提取裂缝细节信息，有效地降低小尺度裂缝特征丢失的概率。（2）针对噪声干扰的问题，在编解码特征融合部分引入轻量型三重注意力机制。通过通道、高和宽跨维度交互实现特征权重重新分配和互补融合，凸显裂缝特征，同时有效抑制噪声特征，从而减少裂缝误检的发生。（3）提出的模型在公开道路裂缝数据集CRKWH100上达到了当前最好的裂缝边缘检测性能，并在Stone331石材裂缝数据集上验证了本模型的泛化性。1网络模型1.1模型建立本文采用当前道路裂缝检测效果最好 DeepCrack作为基础架构网络。DeepCrack是一个深度全卷积裂缝分割网络，主要由编码端、解码端、特征融合三部分构成。编码端采用VGG16作为特征提取的主体，由13个卷积层和5个下采样池化层组成，卷积个数按照前向传播顺序采用2、2、3、3、3共5个阶段分布的设计思路。卷积层后均进行批量归一化和ReLU激活层操作。每个阶段结束时，连接最大池化层使得特征图分辨率减小一半，并存储最大池化的位置信息。与编码端相对应的解码端执行上采样和卷积操作，卷积个数遵循3、3、3、2、2的分布原则。为了减小最大池化操作对于边界特征信息的损失，调用最大池化索引（max pooling indices）进行上采样。这个上采样步骤会产生稀疏特征图，相较于编码侧稠密特征图具有突出的边缘信息。在语义分割领域，多尺度特征融合已经成为提高检测性能的重要手段之一。鉴于这个思路，DeepCrack将编码端和解码端同一尺度下的最后一个卷积层拼接起来，再经过卷积操作及上采样恢复到原图尺寸，自此得到5个不同尺度下生成的裂缝预测图。进一步地对它们执行拼接操作，并通过一个11卷积得到最终的预测图。DeepCrack还采取了多重损失监督学习机制，使得不同尺度的预测图在训练阶段均发挥作用。该网络在道路裂缝主体形态的检测上取得了较好的效果，但是针对小尺度裂缝部位却有不同程度上的丢失，并且也存在噪声误识别的问题。本文针对以上问题，提出了一种基于多层次特征融合和注意力机制的道路裂缝检测模型，如图1所示。设计单尺度多层次融合模块对同一尺度出现的所有卷积层进行信息提取和融合，获取丰富的细节纹理信息，增强小尺度裂缝特征表达；引入三重注意力模块实行针对性的特征选择与裂缝特征信息互补融合，降低裂缝误检的概率。与当前主流方法相比较，本文方法呈现如下不同之处：（1）实现单一尺度下不同层特征的选取融合。通常方法执行中部特征融合时直接采用同一尺度下的末端层特征，却忽略了前端特征层。而不同层级所包含的信息量却不尽相同，有效获取所有特征层丰富的裂缝信息有利于小尺度部位的检测。使用单尺度多层次模块可以最大限度地筛选保留前期裂缝有效特征，为后续高阶操作奠定基础。（2）特征融合引入跨注意力机制。主流方法通过简单拼接操作完成编解码对应层级的特2822023，59（13）