多尺度特征增强的路面裂缝检测方法_翟军治.pdf

第 卷第期 年月交 通 运 输 工 程 学 报 收稿日期：基金项目：国家重点研发计划（）；国家自然科学基金项目（，）；陕西省重点研发计划（）；中央高校基本科研业务费专项资金项目（）作者简介：翟军治（），男，河南开封人，长安大学工学博士研究生，从事路面裂缝图像自动化检测技术研究。导师简介：孙朝云（），女，安徽太和人，长安大学教授，工学博士。引用格式：翟军治，孙朝云，裴莉莉，等 多尺度特征增强的路面裂缝检测方法 交通运输工程学报，（）：，（）：文章编号：（）多尺度特征增强的路面裂缝检测方法翟军治，孙朝云，裴莉莉，呼延菊，李伟（长安大学 信息工程学院，陕西 西安 ；东南大学 交通学院，江苏 南京 ）摘要：针对路面裂缝检测不完整和分割出现断裂的问题，提出了一种多尺度特征增强的路面裂缝检测网络 ，实现端到端的路面裂缝图像检测、分类和分割处理；设计了多尺度注意力特征增强模块，建立了网络模型的上层多尺度特征通道与底层特征通道权重系数之间的映射关系，以提升有效通道的特征输出；基于路面裂缝的坐标信息和像素语义信息在物理位置上的相关性，设计了多语义特征关联模块，实现不同语义信息之间的特征融合增强，并通过特征维度转换实现对路面裂缝图像的前景特征过滤；提出了一种针对深度特征强度进行量化评估的方法，用于提升模型提取特征能力的可解释性。在自采集数据集上的研究结果表明：对路面裂缝图像检测的平均精准率和平均召回率相比 分别提升了 和 ，相比基线模型 分别提升了 和 ；对路面裂缝图像分割的平均精准率和平均召回率相比 分别提升了 和 ，相比 分别提升了 和 ；与 等主流方法相比，对不同类型路面裂缝图像的检测、分割精度最高。在公开数据集（、）上的研究结果表明：在不同场景下的数据集上，的检测、分割精度均高于 等主流方法，模型的鲁棒性更强。另外与 相比，在不同数据集上的处理速度也均有所提升。关键词：路面裂缝检测；多尺度注意力；特征增强；多语义；可解释性；鲁棒性中图分类号：文献标志码：，（，；，）：，交通运输工程学报 年 ，（），：；：（），；（），：（）；（，）；（）；（）引言高效的路面裂缝检测方法可以为道路养护部门提供有力的技术支撑，提高道路养护质量和出行安全。然而受自然环境的影响，路面裂缝自动化检测技术一直未能满足实际应用的要求，还存在检测精度低、模型通用性差、人力成本高等诸多问题。因此高精度的路面裂缝自动化检测技术仍是当前的研究热点。目前主要的路面裂缝检测方法包括传统图像处理方法、基于 图像的处理方法以及深度学习的处理方法。其中传统图像处理方法受环境影响大，降噪处理十分复杂，且模型使用场景受限问题较为严重；检测模型虽然处理的图像信息更丰富，但模型计算量大、效率低，且对硬件的要求较高；深度学习的方法可以端到端学习数据特征，是目前计算机视觉领域最为关注的一项新技术，对路面裂缝自动化检测产生了重大的推进作用。、等网络模型的出现，增加了网络结构的深度和宽度，提取到的图像特征更加的准确和完整。基于这些模型所构建的分类、目标检测和图像分割等网络，目前已经被有效的应用到了路面裂缝检测任务当中。采用分类的方法可以判别图像中是否存在裂缝，或 者 直 接 对 图 像 中 的 裂 缝 类 型 进 行 判 别。等将原始图像裁剪成 像素 像素的小块，然后使用一个 网络在裁剪后的数据集上训练分类器，在测试集上达到了 的分类精度；等先采用分割模型将路面区域提取出来，去 除 背景 干 扰，然后再将得到的图 像裁剪成 像素 像素的小块进行分类，达到了 的分类精度；章天杰等采用 网络直接对种沥青路面裂缝进行分类，平均精度达到 左右。然而分类模型不能定位裂缝在图像中的具体位置，无法进行破损面积的估算，不能满足公路技术第期翟军治，等：多尺度特征增强的路面裂缝检测方法状况评定标准的使用要求。使用目标检测模型进行路面裂缝检测，可以通过边界回归和分类的方法，分别得到裂缝的检测框顶点坐 标 和 类 别 信 息。等采 用 进行路面裂缝检测，相比网裂和块状修补裂缝的检测结果，对线状裂缝的检测精度较低；孙朝云等 采用一种优化了的 进行路面灌封裂缝检测，该方法只是在 中选用了多种不同尺寸的锚框进行优化，并不能保证找到的锚框尺寸是最优的；等 采用 进行路面裂缝检测，与两阶段模型相比，降低了计算复杂度，同时使用 减小了裂缝数据不均衡带来的影响，但该方法仍需与人工结合使用，裂缝检测精度还存在提升空间；由于 在图像处理方面表现出色，刘军等 在其基础上构建了 用于路面裂缝检测，多种裂缝的平均 检 测 精 度 达 到 了 。但 多 尺 度 的 结构使得模型处理速度下降很多。现有目标检测模型大多通过边界回归进行裂缝区域定位，还普遍存在检测结果不准确的问题，如在同一条裂缝上，出现了多个检测框，或检测框只覆盖了部分裂缝区域等。使用分割的方法进行路面裂缝检测，要逐像素判别属于背景还是裂缝，最终找出所有属于裂缝的像素，再通过二值化的方法，得到整个裂缝区域轮廓。陈涵深等 对 的上采样分支进行高保真处理，并加入了不同扩张系数的空洞卷积，分割精度比基线模型提升了；瞿中等 在 的编码器中加入残差结构，并在网络中加入空洞卷积，在 数据集上值达到了 ；陈良全等 在 的编码器中，设计了一种连续注意力机制，并在解码器前加入金字塔卷积结构，使得模型的值提升了 ；张伯树等 在 的基础上优化上采样处理，并加入了通道注意力机制，使得模型在 上的值达到了 。分割模型大多是在编码器解码器的网络框架上进行优化的，但这种网络框架只能获取像素语义特征，无法获取裂缝整体区域的位置特征，当有些像素语义识别错误时，会出现裂缝断开的问题，导致裂缝区域面积计算不准确。网络模型对路面裂缝特征表示的准确性是影响最终检测、分割精度的主要因素之一。而单一的检测网络或分割网络只能从裂缝位置或像素语义的角度进行特征提取。检测模型忽略了像素间的语义关系，有时会导致定位错误。分割模型缺少裂缝的整体位置信息，有时会导致对边界像素的判别出现混淆。为了提升路面裂缝检测精度，等 利用 和反卷积模块构建分割网络，在多尺度特征融合的基础上完成图像重建，并在网络末端添加 构建分类器，使路面裂缝分割精度和分类精度得到同步提升；等 提出了一种 的卷积神经网络，在完成检测的基础上再使用 进行路面裂缝分割，使检测和分割的值分别达到了 和 ，但该方法涉及多个处理过程和中间结果保存，增加了实现复杂度；等 提出的 模型，将检测信息和分割信息进行特征融合，能够从一定程度上提高检测精度。但该模型需要将检测和分割模型分开训练，处理过程比较复杂，仍有优化空间。针对上述问题，本文重点研究了通过特征增强的方式来提升路面裂缝的检测精度。一方面采用注意力机制引导的方式增强有效通道的特征输出；另一方面将路面裂缝的坐标信息和像素语义信息进行融合，进一步提升路面裂缝特征的显著性。本文创新点主要包括如下三方面。（）基于通道间多尺度特征的相关性和不同语义特征间的相关性，提出了一种单阶段的多尺度特征增强的路面裂缝检测网络。能够端到端完成路面裂缝的检测、分类和分割任务。（）设 计 了 多 尺 度 特 征 注 意 力（，）模块，将分割网络中上层的多尺度特征转换为对底层特征不同通道的注意力权重，增强各通道的特征输出。（）设 计了 多 语 义 特征关联（，）模块，将检测分支的建议区域特征与分割分支的像素语义特征进行融合，提升模型对路面裂缝检测和分割的精度。多尺度特征增强的路面裂缝检测网络 网络模型总体框架 由主干网络、检测网络和分割网络构成。检测网络基于主干网络输出的多尺度特征，完成检测和分类的任务，并输出包含裂缝位置信息的建议区域特征。分割网络通过注意力机制对多尺度特征进行引导增强，并通过上采样的方式完成图像特征重建，获得路面裂缝的分割语义信息。检测网络与分割网络通过多语义特征关联模块进行特征融合，进一步增强分割网络的特征输出。交通运输工程学报 年网络结构如图所示，其中“”代表卷积操作，“”代表加法操作，“”代表乘法操作。图多尺度特征增强的路面裂缝检测网络 特征金字塔网络（，）作为主干网络，采用 完成自底向上的特征提取，选取 、最后一个残差块的输出作为 的中间特征，记为、。这个特征层相对于原图的下采样步长分别为、。然后自顶向下使用最邻近插值的方式进行倍上采样，并将上一层上采样结果与当前层的特征相加，完成特征融合，得到、。最后在的基础上采用倍下采样再进行次卷积处理，以获取语义更强的全局特征和。的最终输出分别标记为，相对于原图的下采样步长分别为、，每层的特征输出均为 通道，因此，若输入图像的尺寸为，和分别为输入图像的宽和高，则输出特征图的尺寸分别为 、。在图中，检测网络采用多尺度卷积核构造检测器，使用个结构相同但不共享参数的全卷积神经网络分别进行特征提取，在得到的特征图上设置锚框，预测裂缝的位置，并通过分类器获取裂缝类型。分割网络利用多尺度特征之间的相关性，首先通 过 全 局 平 均 池 化（，）分别对上层特征进行聚合，再使用 对 的输出进行激活处理，将上层个模块的特征输出转换为对底层特征的注意力权重，增强有效通道的特征输出。另外本文设计了一个路面裂缝多语义特征关联模块，将分割网络增强后的裂缝像素语义特征与检测分支中提取的建议区域特征进行融合，使分割网络输出特征的语义信息更加丰富。分割网络在有监督训练过程中，通过 的反向传播，也能够驱动检测分支的参数优化。最终达到提升路面裂缝检测和分割精度的目的。多尺度特征注意力增强分割网络多采用类似 的编码器解码器网络结构。编码器自底向上逐级下采样进行特征提取，解码器通过上采样去除背景干扰，完成图像特征重建，并在上采样过程中完成与解码器中对应层或相邻层之间的特征融合。这种操作虽然可以获取更丰富的裂缝特征信息，但也会导致计算量大幅增加，处理速度下降。还会出现因计算量增加而导致显存资源不足的问题。考虑到模型在真实场景中的可使用性，本文借鉴注意力机制的原理，设计了一种多尺度特征注意力模块 ，将 输出的上层多尺度特征转变为对底层特征的注意力权重。的网络结构如图所示。图中，共输出种尺度的特征，均为 个通道。首先采用 分别对上层种尺度的特征进行聚合。可表示为（）（，）（，）（，）（）式中：（）为对求全局平均池化的函数，为输入的多尺度特征矩阵；、分别为输入特征的宽度、第期翟军治，等：多尺度特征增强的路面裂缝检测方法图 增强前后的通道特征对比 高度和通道数；和分别为当前通道特征图上的行索引和列索引；（，）为当前特征图上（，）位置处的特征值；（，）为（，）所在的特征向量空间。（）的输出为 的特征矩阵。考虑到并非所有通道的特征都相关，因此，采用的卷积核对（）的输出进行处理，只对局部相邻通道进行特征聚合，一方面避免了通道降维导致的特征损失，另一方面也兼顾了执行效率，最后使用 函数获得不同通道的权重，上述操作可表达为 （，）（，）（，）（，）（）式中：为对上层个通道特征转换得到的底层通道权重系数矩阵的平均值；为上层多尺度特征的通道个数，其最大值为；为卷积核大小；（，）为（，）对应的权重系数；（，）为第个通道的第个近邻通道特征向量；（，）为第个通道的个近邻通道特征空间。本文将上层种尺度特征得到的 结果相加取平均，得到一个 尺寸的矩阵，作为底层特征各层的权重系数矩阵，其中为模型批量处理的图像的个数。然后将该系数矩阵与底层的特征矩阵相乘。底层特征保留了较多的裂缝细节，在上层权重系数的引导下，起到对通道特征增强的作用。图给出了 对底层各通道特征进行注意力强化前、后的可视化效果，可以看出，经过 处理，有效抑制了背景噪声干扰，使裂缝特征变得更加清晰。为了对 处理前后各通道特征的有效性进 行 量 化 评 估，本 文 采 用 峰 值 信 噪 比（，）计算各通道特征相比原图的失真程度。用表示峰值信噪比，即 （）（）（，）（，）（）交通运输工程学报 年式中：为单个像素的二进制值最大长度，为图像像素可取到的最大值；为原图像与通道特征图之间的均方误差；和分别为图像中行和列的像素坐标索引；（，）为原始输入图像；（，）为经过模型处理得到的通道特征图。各通道特征