基于自编码模型的沥青路面表面横缝识别研究.pdf

总第 期交通科技 第期 收稿日期：第一作者：常智凯（），男，硕士生。宁波市交通运输局科技项目（）资助基于自编码模型的沥青路面表面横缝识别研究常智凯叶文亚杨群（同济大学道路与交通工程教育部重点实验室上海 ；宁波工程学院建筑与交通工程学院宁波 ）摘要以上海某高速路段为研究依托，采集相关的沥青路面表面图像，利用卷积神经网络提取图像特征后再通过基于长、短期记忆神经网络的自编码模型对路面图像是否含有表面横缝进行识别，并对模型识别效果进行评价。结果表明，该方法可以快速有效地提取图像特征，在样本不均衡的条件下对表面横缝依然有较好的识别能力。关键词路面横缝自编码模型神经网络横缝识别中图分类号 由于沥青路面本身的特性及车辆的反复摩擦和碾压，高速公路路面频繁出现各种病害，其中表面发生横缝病害的频率最高，如果不能得到及时处置将发展为道路的结构性破坏，严重危及行车安全和社会经济的稳定运行。因此，公路养护部门需要对道路进行规律性的巡检，及时发现路面表面的横缝并采取相应措施进行养护，避免造成更大的经济损失。虽然人工巡查是目前道路检测最为普遍的方法，但由于其低效率和受限准确性，对于道路维护来说仍存在许多挑战。特别是在高交通流量的路段，人工巡查不仅需要更多的人力和时间，而且也难以发现微小的路面问题。目前越来越多的研究正在将自动化技术应用于道路检测中，例如，基于机器学习的图像处理技术，这些技术可以通过高精度的图像识别和分析，更准确地检测路面问题并提高检测效率。这将极大地提高道路维护的工作效率和质量，也将使公路交通更加安全可靠。在早期，借助计算机视觉的图像识别方法通常是基于对裂缝区域和完好路面区域灰度及像素值的差异进行分析。这些方法通过使用阈值分割、边缘检测和纹理分析等技术，对图像中的裂缝区域进行检测。如徐欢等使用 开源算法库中的 算子对路面裂缝进行自动检测。然而，这些方法通常需要手动调整参数和阈值，其结果可能会受到光照和图像质量等因素的影响，因此在实际应用中存在一定的局限性。随着深度学习技术的发展，基于神经网络的自动特征提取和分类方法逐渐成为图像识别领域的主流方法，包括卷积神经网络、循环神经网络、自编码模型、生成对抗网络等，这些模型具有较强的特征提取和模式识别能力，能够对图像中的裂缝进行更加准确、高效地检测和识别。如李良福等利用改进的卷积神经网络检测桥梁裂缝，准确度和识别效率与传统方式对比均有较大提升。但由于图片数据量大、完好路面样本占比高等因素往往造成模型计算成本大，对横缝路面识别准确度低。翟军治、沙爱民和吴秋怡等通过在 的基础上进行改进，使得识别效率和准确性有一定提高，但没有根本解决样本不均衡造成的模型偏差等问题。自编码模型是一种无监督学习方法，可以将高维数据压缩成低维表示，减少数据的存储和计算成本，同时也可以提高模型的泛化能力。本文通过将卷积神经网络和自编码模型结合的方法，以解决在沥青路面表面横 缝 识 别 中 存 在 的 计 算 量大 和 样 本 不 均 衡 等问题。沥青路面图像采集与预处理 数据采集方案本研究从上海某高速路段采集沥青路面表面图像，采集时使用 高清运动相机作为图像采集工具。作为一种高清运动相机，该设备能够提供高质量的图像采集，并且在拍摄过程中具有良好的操控性和灵活性。此外，该相机还具有在驾驶室内实时观测拍摄的功能，可以使实验人员在行驶过程中及时观察路况和拍摄结果，以确保路面图像采集准确。不仅如此，该相机还拥有防水、防震等多项功能，可以适应各种恶劣的环境和天气条件，确保图像采集的稳定性和可靠性。通过配套的磁吸固定工具，高清运动相机可以方便快速地固定在车体上，而不需要使用复杂的固定装置。为了确保图像采集质量，经过比选，最终确定将相机固定在车辆前方的引擎盖上，这样的安装方式不仅更符合驾驶人员的习惯，而且能够提高拍摄角度的高度和广度，同时还有利于后期在实验室中进行图像处理等操作，从而提高路面裂缝识别的准确性和效率。在进行路面图像采集时，相机的拍摄参数设置为 分辨率，帧的高帧率模式，车辆以 的速度行驶，即前进距离最多为，每帧图片可清晰拍摄的路面长度约，因此可以采集到数量足够的细致、清晰的路面图像。同时，采集车辆配备了高精度 ，后续通过时间将图像数据与地理位置进行对应匹配。图像预处理 图像剪裁采集的路面图像是以视频格式存储的，由于每秒钟会有多帧图像，因此通过对视频进行抽帧，可以得到一系列的路面图片。需要对这些原始图片进行剪裁处理，以保留与路面相关的信息。最终，得到的路面图片大小为 ，该尺寸既可以保留足够的细节信息，又可以满足后续处理的要求。通过这种方式处理后的路面图片可以提高图像识别和处理的准确性和效率。剪裁前后的图像见图。图原始图和处理后图片对比 图像增强沥青路面本身为黑色，加之光照不均匀，会对表面横缝的识别产生较大影响。为了提高后续模型的识别率，需要对采集到的路面图像进行图像增强处理。首先，去除图片中的噪声，以避免对后续的处理和分析产生影响。其次，调整对比度，适当调整图像的对比度可使图像中的细节更加清晰，有利于后续对路面缝隙等细节的分析和识别。文中 采 用 中 值 滤 波 和 自 适 应 直 方 图 均 衡 化（）方法对图像进行处理。图像增强前、后及对应的灰度直方图见图和图。图图像增强前及对应的灰度直方图图图像增强后对应的灰度直方图基于卷积网络的自编码模型 沥青路面图像的特征提取利用卷积神经网络（）对图像特征进行提取，相对于传统方法，卷积神经网络的鲁棒性好，提取效果受噪声影响小。其中，通过引入残差连接的方式，可以使得卷积网络更加有效地提取图像特征。采用 网络结构作为基础模型，通过对沥青路面图像进行特征提取，将原本由平面像素点构成的复杂二维图像信息（包含 行和 列的像素数据）压缩为长度大小为 的一维信息。这种特征提取方法不仅能够保留图像中的重要信息，还能够在一定程度上减少模型参数，提高模型的计算效率。自编码识别模型通过卷积神经网络将二维路面图像信息提取为一维特征表示是现代计算机视觉领域的常见方法。然而，由于路面图像的各像素点在空间上存在相关性，传统的卷积神经网络无法充分利用这种相关性。因此，在利用 提取图像特征之后引入了一种基于长短期记忆神经网络（）常智凯等：基于自编码模型的沥青路面表面横缝识别研究 年第期的 自 编 码 模 型，学 习 路 面 的 一 维 特 征 表 示。是一种特殊的循环神经网络（），它可以有效地处理序列数据，并具有长期记忆和遗忘机制。通过引入 层，我们可以充分利用路面图像中的空间相关性，对相关特征进行压缩和学习。自编码模型是一种无监督学习方法，其目标是通过训练数据本身进行模型训练，从而捕捉数据的特征和结构。在训练自编码模型时，输入数据首先经过编码器层进行压缩处理，得到一组低维的隐藏表示。然后，这组隐藏表示通过解码器层进行解码和还原处理，得到与输入数据尽可能相似的输出结果。最终，模型的训练目标是最小化重构损失，即输出结果与输入数据之间的差异最小。数学上，自编码模型可以表示为方程（）、（）。狕犳（狓）（）狓犵（狕）（）式中：狓为原始输入数据；狕为潜在空间中的低维表示；犳为编码器函数；犵为解码器函数；和 分别为编码器和解码器的参数；狓为模型输出，表示对输入狓的重构。自编码模型的目标是最小化重构误差，可以使用均方误差（）等损失函数来衡量重构误差。因此，自编码模型的优化目标可以表示为式（）。犔（狓，狓）狓狓，（）式中：犔（狓，狓）为损失函数，表示输入狓和重构输出狓之间的距离。通过观察损失下降曲线判断是否达到了最小值，随着训练的进行，损失函数值会不断下降，当损失函数值不再显著下降时，可以认为模型已经收敛，并且优化目标损失函数已经达到了最小值。在本文中，将 作为自编码模型中的编码器，训练阶段只接受不包含表面横缝的图像，通过训练使模型参数能够将不含表面横缝的图像的重构损失达到最小。那么在测试时对于含有表面横缝的路面图像经过模型则会产生相对较大的重构损失。模型的训练与测试 模型训练模型的训练集采用 张完好路面的图像，测试集则包含完好路面和含有表面横缝的路面图像各 张。模型采用的 优化器和平均绝对误差（）的损失函数，学习率设置为 ，在 型号为 的平台上训练 轮。模型的损失函数曲线见图，训练集在此模型下得到重构损失分布图见图。随着训练的进行，虽然训练集的损失函数值仍在下降，但验证集逐渐稳定，说明模型已经过度拟合训练集，不能很好地泛化到新数据上。图重构损失下降曲线图训练集重构损失分布图 模型测试测试集中完好路面和含有表面横缝的路面图像在此模型下的重构损 失 分 布 图 分别 见 图、图。图测试集中完好路面的重构损失分布图图测试集中存在横缝路面的重构损失分布图从测试结果中可以明显看到，路面图像中是否含有表面横缝对模型得到的重构损失有明显差 年第期常智凯等：基于自编码模型的沥青路面表面横缝识别研究异，相对于完好路面含有表面横缝的路面有更大的重构损失。指标及评价本文采用精准率（）、召回率（）和犉值对识别模型的效果进行评价。精准率表示模型预测为表面横缝的样本中，真正为表面横缝的样本所占的比例。召回率表示真正为表面横缝的样本中，模型能够正确预测为表面横缝的样本所占的比例。犉值综合考虑精准率和召回率，用于衡量模型的综合性能。犜 犘犜 犘犉 犘（）犜 犘犜 犘犉 犖（）犉 （）式中：识别结果和实际样本都为存在表面横缝的路面图片定义为混淆矩阵中的犜 犘，识别结果为完好路面图片但实际样本为存在表面横缝的路面图片定义为混淆矩阵中的犉犖，识别结果为存在表面横缝的路面图片但实际样本为完好的路面图片定义为混淆矩阵中的犉 犘。从训练集的重构损失分布来看，可以选取不同的重构损失作为阈值，即重构损失小于该值的认为是完好路面图片，反之为存在横缝的路面图片。该值的选取对识别效果有一定影响，分别选取，为重构损失阈值，得到的评价指标详见表。表不同阈值下模型评价指标值评价指标重构损失阈值 犜 犘 犉 犘 犉犖 精准率 召回率 犉 如表所示，当重构损失的阈值选取为 时，虽然模型的犉值并非最大，但模型识别出存在横缝的路面图像更多，比较符合表面横缝识别的实际需求。结论）针对沥青路面图像信息量的大的问题，利用 网络有效提取了图像特征，将二维数据合理转化为一维数据，显著降低了计算成本，同时在自编码模型中使用 网络作为编码器有效保留了路面图像特征中的空间相关性。）使用自编码模型合理有效地避免了样本不均衡的问题，确保在路面横缝数量极少的情况下也可以正常训练模型并进行有效识别。）选择合理的重构损失，模型对横缝的识别能力有一定提高，但模型总的识别能力几乎不变。综上所述，本文的方法可以有效地识别路面表面横缝，并在样本不均衡的情况下保证模型的训练和识别效果，对于路面质量评估和道路养护具有重要的实际应用价值。参考文献徐志刚，车艳丽，李金龙，等路面破损图像自动处理技术研究进展交通运输工程学报，（）：张娟，沙爱民，高怀钢，等基于数字图像处理的路面裂缝自动识别与评价系统长安大学学报（自然科学版），（）：徐 欢，李 振 璧，姜 媛 媛，等基 于 和 改 进 算子的路面裂缝检测计算机工程与设计，（）：，；，（）：李良福，马卫飞，李丽，等基于深度学习的桥梁裂缝检 测 算 法 研 究 自 动 化 学 报，（）：翟军治，孙朝云，裴莉莉，等多尺度特征增强的路面裂缝检测方法交通运输工程学报，（）：沙爱民，童峥，高杰基于卷积神经网络的路表病害识别与测量中国公路学报，（）：吴秋怡基于语义分割网络模型的路面裂缝识别交通科技，（）：，袁非牛，章琳，史劲亭自编码神经网络理论及应用综述计算机学报，（）：常智凯等：基于自编码模型的沥青路面表面横缝识别研究 年第期犐 犱 犲 狀 狋 犻 犳 犻 犮 犪 狋 犻 狅 狀狅 犳犜 狉 犪 狀 狊 狏 犲 狉 狊 犲犆 狉 犪 犮 犽 狊狅 狀犃 狊 狆 犺 犪 犾 狋犘 犪 狏 犲 犿 犲 狀 狋 犛 狌 狉 犳 犪 犮 犲犅 犪 狊 犲 犱狅 狀犃 狌 狋 狅 犲 狀 犮 狅 犱 犲 狉犕 狅 犱 犲 犾犆犎犃犖犌犣 犺 犻 犽 犪 犻，犢 犈 犠 犲 狀 狔 犪，犢 犃犖犌犙 狌 狀（，；，）犃 犫 狊 狋 狉 犪 犮 狋：，犓 犲 狔狑 狅 狉 犱 狊：；（上接第页）犘 犪 狏 犲 犿 犲 狀 狋 犛 狌 狉 犳 犪 犮 犲犚 狌 狀 狅 犳 犳犆 犺 犪 狉 犪 犮 狋 犲 狉 犻 狊 狋 犻 犮 狊狅 犳犛 狌 狆 犲 狉 犲 犾 犲 狏 犪 狋 犻 狅 狀犜 狉 犪 狀 狊 犻 狋 犻 狅 狀犛 犲 犮 狋 犻 狅 狀犛犎犃犖犌犢 犪 狀 狔 狌，犓犗犖犌犉 犪 狀 狓 犻 狀 犵（，）犃 犫 狊 狋 狉 犪 犮 狋：，狓 狔犽 ：，犓 犲 狔狑 狅 狉 犱 狊：；年第期常智凯等：基于自编码模型的沥青路面表面横缝识别研究