基于改进YOLOv5的路面病害检测模型_王朕.pdf

第 49卷 第 2期2023年 2月Computer Engineering 计算机工程基于改进 YOLOv5的路面病害检测模型王朕1，李豪1，严冬梅1，竺永荣2（1.天津财经大学 理工学院，天津 300222；2.天津市交通科学研究院 智能交通研究中心，天津 300060）摘要：针对路面病害检测中由于病害形态多样、种类繁多以及背景灰度值相似造成噪声干扰导致识别与分类精度不高的问题，采用卷积神经网络 YOLOv5 为主干框架，提出一种基于改进 YOLOv5 的路面病害检测模型YOLOv5l-CBF。引入坐标注意力机制，调整网络的注意力权重使模型对病害纹理特征更加关注，并在主干网络的残差结构中引入 Transformer构建 BotNet网络结构，在减少参数量的同时提高对病害图像中全局依赖关系的捕捉能力。同时，在颈部网络中构建双向加权特征金字塔网络，学习每个特征层的重要性分布权重，并对提取到的病害特征进行双向交叉尺度连接和加权融合。在真实路面病害数据集上的实验结果表明：与 YOLOv5l 模型相比，YOLOv5l-CBF模型精度与召回率分别提升 7.4和 8.7个百分点，mAP达到 90.8%，在对多种病害的检测与分类上具有显著的性能优势。关键词：目标检测；路面病害；注意力机制；双向加权特征融合；卷积神经网络开放科学（资源服务）标志码（OSID）：中文引用格式：王朕，李豪，严冬梅，等.基于改进 YOLOv5的路面病害检测模型 J.计算机工程，2023，49（2）：15-23.英文引用格式：WANG Z，LI H，YAN D M，et al.Pavement disease detection model based on improved YOLOv5 J.Computer Engineering，2023，49（2）：15-23.Pavement Disease Detection Model Based on Improved YOLOv5WANG Zhen1，LI Hao1，YAN Dongmei1，ZHU Yongrong2（1.School of Science and Technology，Tianjin University of Finance and Economics，Tianjin 300222，China；2.Intelligent Transportation Research Center，Tianjin Academy of Communications Science，Tianjin 300060，China）【Abstract】To address the problem of poor recognition and classification accuracy in pavement disease detection due to the diverse morphologies，the types of diseases，and the interference of similar background gray scale values，a Convolutional Neural Network（CNN）YOLOv5 is used as the basic framework，and pavement disease detection model YOLOv5l-CBF based on improved YOLOv5 is proposed.The Coordinate Attention（CA）mechanism is introduced in the network，and the attention weight of the network is adjusted to focus on the texture features of the disease.A Transformer is introduced into the residual structure of the backbone network to construct the BotNet network structure，which can reduce the number of parameters and improve the ability to capture globally dependent in disease images.A Bi-directional weighted Feature Pyramid Network（BiFPN）is constructed at the Neck，such that the network detects the important distribution weights of each feature layer，and the extracted disease features will achieve effective bi-directional cross-scale connection and weighted fusion.Experimental results on an actual pavement disease dataset demonstrate that compared with YOLOv5l model，the YOLOv5l-CBF model improves the accuracy and recall of disease identification and classification by 7.4 and 8.7 percentage points，respectively，and the mean Average Precision（mAP）can reach 90.8%.It has significant advantages for detecting and classifying multiple disease types in highway environments.【Key words】object detection；pavement disease；attention mechanism；bidirectional weighted feature fusion；Convolutional Neural Network（CNN）DOI：10.19678/j.issn.1000-3428.00649240概述路面病害检测是评价道路养护的一项重要任务。路面病害的存在会损害路面结构，降低行车速度，缩短道路运营时间。严重的路面病害还会削弱路基承载力，形成路面坍塌，影响交通安全，造成交通经济损失。因此，快速准确地获取路面信息和定基金项目：国家自然科学基金（62172294）；自然资源部海洋信息技术创新中心开放基金（201906）。作者简介：王朕（1981），男，副教授、博士，主研方向为可视化与可视分析、机器视觉、模式识别；李豪，硕士研究生；严冬梅，教授、博士；竺永荣，工程师。收稿日期：2022-06-08 修回日期：2022-11-20 Email：热点与综述文章编号：1000-3428（2023）02-0015-09 文献标志码：A 中图分类号：TP3912023年 2月 15日Computer Engineering 计算机工程期道路养护尤为重要。传统的路面病害检测主要以人工视觉检测为主，存在检测效率低、主观性强等缺点1。随着计算机技术的不断发展和硬件设备的不断优化，利用深度学习进行路面病害检测的方法准确率和速度明显提升，具有很强的自适应性和鲁棒性2。基于深度学习的路面病害检测方法无须人工提取路面病害特征，计算机能够通过卷积神经网络进行特征提取并学习目标特征，从而完成检测与分类的任务3。常用的基于深度学习的路面病害检测方法有基于区域建议的二阶段预测方法（如 R-CNN4、Fast R-CNN5、Faster R-CNN6、Mask R-CNN7等）和基于回归分类的一阶段预测方法（如 YOLO8、SSD9等）。基于区域建议的二阶段预测方法将检测任务分为病害位置信息定位和病害类别检测 2 个阶段进行。GOU 等10受 Faster R-CNN 模型的启发，将区域建议网络和特征提取网络相结合，提出改进 Faster R-CNN 的路面裂缝检测算法。文献 11 将 Mask R-CNN 作为主干框架，通过融入 ResNet结构与特征金字塔网络（Feature Pyramid Network，FPN）提升对病害特征信息提取的准确度，并基于此构建针对裂缝病害识别的检测模型，在复杂背景下实现了对裂缝病害特征的高效识别。基于回归分类的一阶段预测方法将目标边界框大小预测和目标类别判断合并到单个神经网络中，实 现 了 高 准 确 率 的 快 速 病 害 检 测 定 位 与 分类12。文献 13 将 YOLOv3 网络应用到路面裂缝检测研究中，设计了一种基于YOLOv3的路面裂缝检测 方 法，并 对 采 集 的 图 片 进 行 手 动 标 记，通 过YOLOv3 网络训练出实时且准确率较高的路面裂缝检测模型。文献 14 将 YOLOv4 作为路面裂缝检测基础模型，在对 IEEE 大数据挑战赛提供的公共道路裂缝数据集 RDD-2020 作适当数据增强后，训练出一个能够识别多种复杂裂缝类型的道路裂缝检测与分类模型。文献 15 针对复杂环境干扰导致裂缝检测困难的问题，通过在主干特征提取网络中添加可变形卷积，提出一种可变形 SSD 的新网络来实现对路面裂缝的高精度实时检测。在自然语言处理中，Transformer作为主要的应用模型不仅可以提取特征，而且还可以实现多模态融合16。因此，构建一种卷积神经网络（Convolutional Neural Network，CNN）和 Transformer 结构交融的网络来完成病害检测任务也成为当下的研究热点。文献17提 出 视 觉 Transformer（Vision Transformer，ViT）证明，通过将图像视为一系列 Patch，Transformer结构也可以直接应用于图像，其在图像识别任务中的性能与CNN相当。文献 18 提出了基于Transformer的目标检测网络 Swin Transformer，通过引入 CNN中常用的层次化构建方式构建层次化 Transformer，并引入局部性思想对无重合的窗口区域进行自注意力计算，从而获得高效的检测性能。这些研究促进了路面病害检测的进一步发展。然而，现有方法在处理路面病害检测任务上还存在一些缺陷，例如：高速沥青路面病害不如混凝土路面病害特征明显，特征提取困难；其他路面对象（如裂缝表面修补和路面标线）的干扰，以及横向、纵向、龟裂等裂缝类别之间的干扰会增加检测难度；现有的路面病害检测数据集干扰较小，不能满足复杂环境下裂缝检测的需要。为应对这些挑战，本文提出基于改进YOLOv5的路面病害检测模型 YOLOv5l-CBF。针对主干网络病害特征提取不足的问题，引入坐标注意力（Coordinate Attention，CA）机制19来增强模型对感兴趣区域的特征提取。同时，将多头自注意力（Multi-Head Self-Attention，MHSA）整 合 到 顶 层 C3模块中构建 CTR3 模块，以提取更多差异化的特征，提高对病害特征的识别度。在此基础上，在颈部网络构建优化的双向加权特征金字塔网络（BiFPN）20，加强多尺度特征图之间的融合，实现对路面病害高精度的自动化检测与分类。1YOLOv5l-CBF路面病害检测模型1.1YOLOv5l网络模型对于 YOLOv5目标检测模型，官方给出了 4种网络 模 型 结 构：YOLOv5s，YOLOv5m，YOLOv5l，YOLOv5x21。这4种结构通过调整相关参数来控制网络的深度和宽度，网络架构都可以概括为输入端（Inpu