基于深度学习的公路裂缝病害自动识别技术研究_隆星.pdf

1引言截至2021年年末，我国路网总里程已达到528.07万km，高速公路达到16.91万km1，居于世界前列。密集的公路网极大地便利了区域间的信息交流和资源分配，从而促进了经济社会的快速发展2-3。然而，在车辆和周围环境等因素的综合作用下，高速公路在使用过程中会不可避免地出现裂缝、车辙、坑槽等病害，这些病害会对路面寿命、公路运营产生严重影响，甚至会造成交通事故，因此，对公路路面病害的检测和养护成为管理部门的任务和日常工作。采用传统的人工视觉检测路面病害流程复杂、效率低，并且伴随着大量的人工成本。在计算机视觉和图像处理技术发展初期，研究者多通过直方图估计、局部二值模式、Gabor滤波、形态学特征、支持向量机（Support Vector Machine，SVM）等方法检测路面病害，取得了不错的精度。但这些方法存在一些共性的弊端，就是对图像的质量要求较高，对外界的抗干扰能力较差，模型的结果受光照、背景和裂缝的对比度、非裂缝等其他类别像素等的影响较大，极大地限制了路面病害的检测准确度和效率。近年来，深度学习方法因其在非线性、模糊系统中的突出表现成为解决复杂预测、分类问题的一项重要工具。在目标检测、语义分割、图像分类、逐帧视频分类、文本处理、时间序列分析等领域都得到了广泛的应用。卷积神经网络被定义为前馈神经网络的一个子类，具有池运算和卷积层的特殊性，在捕获局部和全局特征以进行项目抽象和表示方面具备良好的性能，可以较好地抑制噪声的影响，从而被广泛应用于公路裂缝的识别中。封筠等4提出了一种多级卷积神经网络的路面裂缝检测模型，通过网络级联的方法在保证裂缝图像全部召回的前提下，取得了更优的检测结果，为路面裂缝图像漏筛的问题【基金项目】中国铁建投资集团科技研发项目（ZTJ2021WBXKYKT）【作者简介】隆星（1976），男，甘肃古浪人，高级工程师，从事公路病害防治研究。基于深度学习的公路裂缝病害自动识别技术研究Research on a Road Crack Identification Method Based on Deep Learning Model隆星1,2（1.中国铁建投资集团有限公司，广东 珠海 519031；2.西安交通大学人居环境与建筑工程学院，西安 710049）LONG Xing1,2(1.China Railway Construction Investment Group Corp.Ltd.,Zhuhai 519031,China;2.School of Human Settlements and Civil Engineering,Xi an Jiaotong University,Xi an 710049,China)【摘要】针对目前裂缝识别存在样本较少，识别精度受样本采集时的环境因素影响较大等问题，提出一种结合 VGG 网络和SegNet 网络的裂缝分割算法模型（DeepCrack），解决了模型鲁棒性较差的缺陷，实现了裂缝的像素级（pixel-level）识别定位。基于该模型与另外 6 种深度学习模型在公开道路数据集 CRKWH100 和 CrackL315 上的测试结果表明：该模型不仅可以实现对裂缝的识别定位，还能准确地提取裂缝的尺度信息，研究结果可应用于实际工程检测。【Abstract】To solve the sample-lacking problems of crack identification and the possible low recognition accuracy due to environmentalfactors during data collection,a DeepCrack algorithm model combining VGG network and SegNet network is proposed to improve therobustness of the model and realize pixel-level recognition and localization of cracks.Through comparison with different deep learningmodels on the public road datasets CRKWH100 and CrackL315,the results show that this model can not only realize the identification andlocalization of cracks,but also accurately extract the scale information of cracks,and the network can be applied to actual engineeringinspection.【关键词】高速公路；深度学习；病害识别；卷积神经网络【Keywords】highway;deep learning;distress identification;convolutional neural network【中图分类号】TP391.4；U418.6【文献标志码】A【文章编号】1007-9467（2023）01-0105-05【DOI】10.13616/ki.gcjsysj.2023.01.234Intelligentialize and Informatization智能与信息化105Construction&DesignForProject工程建设与设计提供了解决思路。晏班夫等5引入了一种目标检测中的快速区域卷积神经网络算法来快速识别病害种类、位置和面积，该方法使路面表观病害检测的效率和精度都得到了 极 大的 提高。侯越等6提出了卷积自编码预训练深度聚类算法，利用传统图片几何变换和CAE网络重构增强图片两种方法对小样本路面图片数据集进行扩充，提高了DCEC深度聚类方法的准确率。曹锦纲等将注意力机制引入编码器-解码器（Encoder-Decoder）框架中，提高了裂缝检测模型的效率和裂缝识别定位的准确性7。以上研究虽然对裂缝识别有着较高的识别精度和较快的速度，但模型的抗干扰能力以及对裂缝边缘分割的准确率有待提高。本文基于VGG网络和SegNet网络提出一种裂缝分割算法模型（DeepCrack），在保证裂缝识别和定位准确度的同时具备较好的鲁棒性。可为新疆及干旱地区高速公路的建设和路面养护提供有价值的建议和理论性的指导。2研究区概况和数据预处理2.1研究区概况新疆深处内陆，气候干旱，地形封闭，属于典型的大陆性干旱气候，冷暖季和昼夜温差极大，呈现出极端性大温差特征，该区域长、短时温变极易引起路基路面病害。极端的自然条件对新疆地域的公路建设与维养提出了更高的要求和标准。本文通过道路综合检测车对G30连霍高速与G7连接的S303线K40K77段以及G312线哈密段见图1（a）进行路面病害样本的采集，共采集3 000余个样本数据，主要包括裂缝、坑槽、车辙、龟裂等病害。对采集到的样本进行统计，其中大多为裂缝病害。裂缝根据其延伸方向与道路行车方向是否图 1裂缝数据采集位置及裂缝分类a数据采集点示意图d网状裂缝c纵向裂缝b横向裂缝（新规院）巴木段设计起点 K0+800（铁一院）伊巴段设计终点 K66+585G7线 巴里坤至木垒段：BMT J-1 起点 K0+800（新规院）G7线 伊吾至巴里坤段：YBTJ 终点 K66+585（铁一院）奎苏互通K22+027K44+825红山互通军马场互通LJXK15+923前山互通K61+690盐池互通K26+886帕孜勒乌台克大桥K45+9133020 m106垂直可以分为横向裂缝和纵向裂缝，随着使用年限的增加和车辆的碾压，会逐渐形成网状裂缝见图1（b）（d）。裂缝的统计学特征经常被作为评估路面健康状况的指标，实现公路裂缝的高效、智能检测对道路养护具有重要意义。2.2数据预处理采集到的裂缝数据通过预处理步骤转换为符合模型输入要求的图片。首先将样本分辨率统一为31 361 933像素。通过光照变换和多角度变换对样本数据进行扩充，尽量减弱光照、拍摄角度等因素对样本质量的影响。然后通过分割和重采样的方法（见图2）将样本统一为512 512像素大小的图片，分割时尽量确保裂缝在整张图像中占更多的比例，避免裂缝像素和非裂缝像素比过于不均衡。最后使用OpenCV将图像转换为单通道灰度图（0255）。这里将样本划分为1 799个训练数据，100个验证数据和100个测试数据。对于高分辨率的裂缝图片，应该进行分割和变换图像大小，以获得更好的精度和效果图 2所采集裂缝原始图像预处理分割3基于深度学习的路面裂缝识别本论文提出的裂缝识别深度学习模型基于VGG网络中块的设计思路和SegNet网络中编译码器（Encoder-Decoder）思想进行设计，最后通过多尺度误差函数对模型识别精度进行量化评价。VGG网络中块的设计思路将图像信息的识别和提取逐级抽象化，将特定卷基层和池化层组成可重复的单元块。图像在该单元块时，信息抽象化程度逐级提高，形成一系列不同尺度的中间处理结果。这些中间处理结果保留了裂缝等缺陷图像对噪声敏感但边界清晰的低尺度信息和对噪声鲁棒性强但边界模糊的高尺度信息。这些中间处理结果根据通过Encoder-Decoder还原成与输入图像同大小的数据以进行该尺度下的误差分析，由此可以得到裂缝图像不同尺度下的误差。通过将这些多尺度下的误差图进行巧妙融合，组成新的误差函数，网络每次训练以减少该多尺度误差为目标。由于模型同时考虑了裂缝的具象信息（边界信息）和抽象信息（是否为裂缝），对于裂缝的识别准确率和定位准确率有明显提升。3.1模型结构如图3所示，经过图像预处理后的输入数据会首先经过5个由3个卷基层和1个池化层组成的编码器（Encoder）网络块，从而得到裂缝图像在5个不同尺度下的信息。每经过一层编码操作，裂缝信息的抽象化程度会更高，其抗干扰能力逐级增强，但是裂缝位置、宽度等信息会逐级丢失。该过程可以看作是对图像进行多层Encoder的过程，目的是增强裂缝识别的准确率。随后，经过编码后的图像信息会通过与Encoder对称的解码器（Decoder）网络。图像信息的中间输出结果由通过Decoder网络恢复成与输入数据同尺寸大小的图像。可以逐级增强裂缝的位置、宽度等具体信息，提高识别分割结果的边界准确度。由于经过Decoder网络得到的裂缝图像中输出结果尺寸与原始图一致，从而可以得到该尺度下的裂缝识别误差图。在每次卷积操作后，会对特征图进行小批量标准化操作，从而得到5张特征图，分别为裂缝图像在5个尺度下的误差信息。通过将这5张误差特征图进行融合，可以有效提升线状目标的检测准确率。为了将不同尺度下的误差特征图融合，采用的卷积层调整特征图的尺寸和通道数。经过上述操作可以得到同一尺寸的不同尺度的下的裂缝预测特征图。将每个尺度下得到的误差图进行融合和导向滤波，最终得到模型的整体预测误差函数，通过最小化误差函数对网络模型进行训练，得到最终的预测模型。生成结果是表示裂缝位置的二值图，裂缝与非裂缝像素值分别为1和0。3.2损失函数给定包含N张图像的训练数据集S=（Xn，Yn），n=1，N，其中，Xn=xi（n），i=1，I，代表原始输入图像；Yn=yi（n），i=1，I，yi（n）0，1表示与Xn相对应的真实裂缝标签图，I表示每张图像中的像素数目。目标是训练网络从而产生能达到真实结果的预测图。在编译码器（Encoder-Decoder）结构中，K表示卷积级数，故在阶段生成的特征图可以表示为F（k）=fi（k），i=1，I，其中k=1，K。由多尺度融合得到的特征图Intelligentialize and Informatization智能与信息化107Construction&DesignForProject工程建设与设计可以被表示成Ffuse=fi（fuse），i=1，I。裂缝检测是一个二分类问题，因此，采用交