基于改进YOLOX的轻量级钢轨表面缺陷检测算法.pdf

第 63 卷 第 7 期2023 年7 月铁道建筑Railway EngineeringVol.63 No.7July 2023文章编号：10031995（2023）07003406基于改进YOLOX的轻量级钢轨表面缺陷检测算法杨佳佳1，2 许贵阳1，2 白堂博1，21.北京建筑大学 机电与车辆工程学院，北京 100044；2.北京建筑大学 城市轨道交通车辆服役性能保障北京市重点实验室，北京 100044摘要 针对现有基于深度学习的钢轨表面缺陷检测方法在嵌入式检测系统上兼容性较差、计算资源占用高以及检测速度慢的问题，提出了一种基于改进YOLOX的轻量级钢轨表面缺陷检测算法。模型中主干特征层以MobileNetv3单元为基础，在保留其网络轻量化的同时进行局部优化，改进了浅层网络的激活函数，嵌入了SE（Squeeze and Excitation）注意力机制；在加强特征层优化了尾部的冗余卷积。通过与几种代表性算法进行对比试验，验证该算法的性能。结果表明：本文提出的改进算法在模型参数量仅为 1.10 106的情况下，检出率和准确率分别达到了 92.17%和 90.92%，每秒传输帧数（Frame Per Second，FPS）为115.07，模型大小仅为原模型的1/5。该算法在保证较高检测精度的同时大大降低了模型参数量，并提升了检测速度，更适合部署于算力有限的嵌入式轨道检测系统，可为钢轨缺陷高效检测提供有效手段。关键词 钢轨表面缺陷；深度学习；目标检测；轻量化；YOLOX网络中图分类号 U213.4 文献标识码 A DOI：10.3969/j.issn.10031995.2023.07.07引用格式：杨佳佳，许贵阳，白堂博.基于改进YOLOX的轻量级钢轨表面缺陷检测算法 J.铁道建筑，2023，63（7）：3439.截至2021年底，我国高速铁路营业里程已经突破4万公里，稳居世界第一1。随着运营里程、运营速度和客运货量的大幅提升，轮轨关系逐渐恶化，尤其以钢轨表面缺陷最为典型，其中轨面擦伤、剥离掉块、疲劳裂纹等缺陷的存在给行车安全性、舒适性以及养护维修带来巨大的挑战2。因此，快速完成钢轨表面缺陷的精准检测对于确保我国轨道交通的安全平稳运行具有重大意义。目前的检测技术仍以传统方法为主，早期多采用人工目视巡道，后期主要依靠超声波3、电涡流4、漏磁5等钢轨无损检测技术。这些传统方法各有利弊：目视法巡检效果因人而异，存在检测效率低、易漏检等问题；超声波检测可探测钢轨内部缺陷，但为接触式测量，难以对表面细小缺陷进行检测；涡流检测可以达到较高的检测精度，但对外界检测环境要求较高；漏磁检测对于表面横向裂纹缺陷检测效果较好，但检测速度仍有较大的提升空间。随着人工智能技术的发展，以深度学习6（Deep Learning，DL）为代表的机器视觉技术在目标检测领域取得了长足进展，使得针对轨面缺陷目标的图像识别成为可能。苏烨等7提出了基于 Faster RCNN（Regionbased Convolutional Neural Networks）的缺陷检测方法。梁波等8建立了基于改进UNet卷积神经网络轨面缺陷检测方法。Wei等9提出了基于YOLOv3的检测技术。Zhang等10提出了基于改进SSD（Single Shot Multibox Detector）的轨面缺陷检测方法。上述基于深度学习的钢轨表面缺陷检测方法均能取得较高检测精度，然而均存在场景适应性差、计算复杂度高、占用资源较多、模型体量较大等问题，难以应用于设备资源受限的铁路损伤在线检测实际场景中。针对上述问题，本文提出一种基于改进 YOLOX的轻量级钢轨表面缺陷检测算法。通过对YOLOX模型进行适应性改进，实现快速精准检测的同时兼具更加轻量的模型结构，以便于实际场景部署。收稿日期：20221207；修回日期：20230503基金项目：国 家 自 然 科 学 基 金（51975038）;北 京 市 自 然 科 学 基 金（L211007，L221027）第一作者：杨佳佳(1997)，女，硕士研究生。E-mail：通信作者：许贵阳(1973)，男，研究员，博士。E-mail：第 7 期杨佳佳等：基于改进YOLOX的轻量级钢轨表面缺陷检测算法1 YOLOX理论模型 YOLOX11是由旷视科技公司提出的一款高性能算法模型，其目标检测精度和速度超过了YOLOv112至YOLOv513系列模型。YOLOX 综 合 了 系 列 网 络 的 优 点，以 YOLOv3 SPP14为核心框架，在此基础上进行了综合性优化。主干网络方面，使用了Focus和CSPnet15网络结构进行特征提取；分类回归方面，创新地应用了新的解耦头；数据增强方面，采用了Mosaic增强方法，丰富了待检物体背景。此外，还引入了 Anchor Free 思想和SimOTA动态正样本匹配方法，大幅提高了模型预测效果。YOLOX 的网络结构见图 1。整体上可以分为主干特征层、加强特征层以及预测层三大部分。该模型在进行目标检测操作时，主要按照以下步骤：模型将输入的原图自动压缩成640 640像素大小；在主干特征层CSPDarknet上对被压缩后图像进行初步特征提取，获取3个有效特征层；在加强特征层上进行特征融合和再次特征提取；通过预测层的分类回归器YOLO检测头进行特征整合，从而输出目标预测结果信息。2 MobileNetv3理论模型 MobileNet网络16是一种使用深度可分离卷积结构的轻量级深度神经网络模型。相比传统卷积神经网络，在确保较高准确率的前提下大大降低了模型参数量与运算量，能将深度学习网络应用在实际工程现场。MobileNet 系列网络目前共有三个版本，分别是MobileNetv1、MobileNetv2 和 MobileNetv3。其 中，MobileNetv3集现有轻量模型思想于一体，使用了特殊的瓶颈结构（bottleneck，简称bneck），具有更高识别准确率和运算速度。MobileNetv3的网络结构见表1。MobileNetv3主要特性如下。1）主干网络方面：使用了MobileNetv1的深度可分离卷积，引入了面向移动端的平台级神经架构搜索技术MnasNet，提供了最佳结构的快速搜索。2）激活函数方面：提出了优于swish的hswish激活函数，浅层网络使用 ReLU 激活，深层网络使用hswish函数，加快了模型的运算速度，但对检测精度有一定的影响。三者的计算式分别为yswish(x)=x1+e-x （1）yh-swish(x)=x yReLU6(x+3)6（2）yReLU(x)=max(0，x)（3）式中：x为激活函数输入值；yswish为swish函数输出值；yh-swish为 hswish 函数输出值；yReLU为 ReLU 函数输出值。3）基础结构方面：为平衡激活函数对精度的影响，加 入 了 Squeeze and Excitation 神 经 网 络（简 称SENet）注意力机制网络17，提升了检测准确率。3 模型改进 对 YOLOX 网络结构分析可知，CSPnet作为网络的主干特征层，虽在分类精准度上表现优异，但网络的参数较多，计算量较大。图1YOLOX模型的网络结构表1MobileNetv3网络结构输入2242311221656216282242822414240142401424014248142487296729672967257612576121 024网络结构conv2d,3 3bneck,3 3bneck,3 3bneck,3 3bneck,5 5bneck,5 5bneck,5 5bneck,5 5bneck,5 5bneck,5 5bneck,5 5bneck,5 5conv2d,1 1pool,7 7conv2d 1 1,NBNconv2d 1 1,NBN扩大 16728896240240120144288576576 输出161624244040404848969696576 1 024kSE否是否否是是是是是是是是是否否否激活函数HSREREREHSHSHSHSHSHSHSHSHS HS 步长222121111211111135铁道建筑第 63 卷为了有效平衡检测速度、检测精度与模型参数量之 间 的 关 系，对 YOLOX 算 法 进 行 改 进。借 鉴MobileNetv3的网络结构作为YOLOX的主干特征层，改进激活函数和特征金字塔网络（Feature Pyramid Networks，FPN），结合SE注意力机制，提出一种轻量型钢轨轨面损伤缺陷检测算法（简称本文算法）。本文算法模型的网络结构见图2。3.1激活函数的改进原始的MobileNetv3YOLOX网络在激活函数方面采用了 ReLU 与 hswish 函数相结合的模式。尽管hswish 函数能够提高运算速度，但是不利于提高精度，因此本文算法通过损失一定的运算速度来保证复杂背景检测结果的准确性。swish 和 hswish 函数图像见图 3。在 swish 和hswish函数的梯度图上，可明显观察到hswish函数在部分临界点存在突变，而这种突变会对检测精度造成影响，不利于背景较为复杂的小目标检测。钢轨表面缺陷检测任务场景相对单一，因此hswish函数对精度的影响有限。为了进一步提升检测速度，本文算法仍使用hswish函数作为浅层网络激活函数，以便满足铁路现场快速移动检测的需求。3.2注意力机制的改进注意力机制可以通过网络自动学习的方式获取各个特征通道的重要程度，利用重要程度给对当前任务中更有用的特征赋予更多权重，进而提高信息处理的效率与准确性。由于MobileNetv3YOLOX原始网络只在bneck结构内部的深层网络中引入了注意力机制，所以检测精度仍有提升空间。为解决模型在提升检测速度后准确率损失的问题，在将主干特征层浅层网络（第2个与第3个bneck结构）的深度可分离卷积后，各添加1个SE注意力模块，同时将扩展层通道数变为原来的1/4。SE注意力机制网络结构见图4。图中：W、H分别为特征图的宽和高；C为通道数。SE 注意力机制主要包含压缩（Squeeze）和激励（Excitation）两个操作。其中，压缩操作会对输入维度为W H C的特征图进行全局平均池化，输出维度为1 1 C的向量。计算式为z(uc)=1WHi=1Wj=1Huc(i，j)（4）式中：z为特征图的压缩；uc为第c个卷积核。激励操作由2个全连接层和2个激活函数组成，融合1 1 C向量的各通道特征图信息。第1个全连接层对该向量进行冗余信息去除；第2个全连接层将其恢复到1 1 C维度。计算式为s=ysigmoidW2 yReLU(W1z)（5）式中：s为各通道的权重；ysigmoid为sigmoid激活函数；W1、W2均为线性层。3.3多尺度特征层的改进原有的YOLOX模型采用FPN结构，对3个特征层上采样、下采样融合以提取出更好的特征。考虑到本文待检对象多为不超过15 15像素的小目标，为了满足轻量化的需求，进一步减少网络参数，对原有的多尺度特征层进行改进，只保留FPN的最大特征层，更利于小目标检测。具体做法为：将MobileNetv3YOLOX网络中的倒数第3个bneck块的步长调整为1，使得整体下采样降低2倍；同时尾部结构进一步优化，删除额外卷积层，匹配YOLOX检测头的最大多尺度特征层。图2本文算法模型的网络结构图3swish和hswish函数图像图4SE注意力机制网络结构36第 7 期杨佳佳等：基于改进YOLOX的轻量级钢轨表面缺陷检测算法4 工程验证 4.1轨道数据采集选取一高铁线路长10 km的正线轨道区间，使用了高速铁路智能巡检车采集并筛选了大量高质量轨道表面缺陷图片。图5为待检的轨面缺陷原始图像。4.2数据集构建数据增强是一种通过针对原始图像进行一定的变换而使得检测更高效的方式。选取有监督的几何变换数据增强方式，包括旋转、水平翻转以及垂直翻转，增强后共得到2 976张轨面缺陷图，以4 1的比例进行了训练集和测试集的划分。数据标注是目标检测算法得以有效运行的基础步骤和关键环节。采用 LabelImg对钢轨表面训练集图像进行数据标注，界面如图6所示。4.3模型测试与结果分析本文算法的钢轨表面缺陷检测模型运行软件环境 为：Ubuntu 18.04，Pytorch 1.11.0，Python 3.8，CUDA 10.2，CUDNN 7.6.5。硬件环境为GPUGeForce RTX 2080Ti，CPUIntel Xeon Gold 6230。模型测试方面，将596张图片作为测试集输入已训练过的网络模型中，得到如图7所示的钢轨表面缺陷检测结果。可知，本文算法的检测模型对不同尺寸的轨面缺陷均有良好的检测效果，尤其能准确检出细粒度小目标，充分证明了保留大尺度特征层的必要性和有效性。4.4试验评估为了更好地评估本文算法的检测模型，引入一些结 果 评 价 指 标，包 括 准 确 率（Precision）、召 回 率（Recall）、每秒传输帧数、模型大小以及模型参数量。准确率（P）和召回率（R）的计算式分别为P=NTPNTP+NFP（6）R=NTPNTP+NFN（7）式中：NTP为模型正确检测出来的缺陷图像数量；NFP为模型错误检测为缺陷的图像数量；NFN为模型没有检测出来的缺陷图像数量。将本文算法的检测结果与目标检测领域的几种代表性算法（Faster RCNN、SSD、YOLOv5和 YOLOX）的检测结果进行对比，见表2。可知：本文算法在保证精度较高的同时，有效地提升了检测速度，降低了模型参数量，为后续工程实际应用场景的部署提供了可能。1）精度本文算法检出率达 92.17%，准确率达 90.92%，具有较好的精度。本文算法与YOLOX的检测结果存在微小差距，这是因为对原模型进行了有效的轻量级改进，不可避免地会存在少量的性能损失，但仍然能够保证 90%以上的较高检测精度，相较于 Faster RCNN和SSD的检测效果均有大幅提升。2）轻量化轻量化主要体现在模型大小、参数量以及检测速度上。在检测速度上，本文算法每秒传输帧数可以达到115.07，超过各对比算法；模型大小为13.8 MB，仅为 YOLOX 模型的 1/5；模型参数量仅为 1.10 106，远低于各对比算法。3）平台适应性为了进一步验证本文算法在不同平台的适应能图5轨面缺陷原始图像图6使用LabelImg进行数据标注图7轨面缺陷检测结果表2不同方法轨面缺陷检测结果对比算法Faster RCNNSSDYOLOv5YOLOX本文算法检出率/%91.3790.1592.2893.6892.17准确率/%88.6486.4391.1791.8390.92FPS29.9834.97109.27106.61115.07模型大小/MB264.3187.726.570.213.8参数量/10631.5724.287.018.941.1037铁道建筑第 63 卷力，尤其是在算力有限、复杂算法运行效率不高的搭载式轨道检测系统嵌入式 CPU 设备上运行的状况。在CPU设备上（CPUIntel Xeon Gold 6230，软件环境不变）进行了效果测试，并将GPU与CPU设备的运行结果进行对比，见表3。其中，模型推理和后处理的时间越短，图像检测速度越快。由表 3 可知，在 CPU、GPU 设备上，本文算法在FPS方面较YOLOX方法分别提升了11%、8%，在检测延迟性方面提升了8.0、0.7 ms。本文算法在CPU设备上的提升较GPU设备更为显著，在算力受限的设备上的有效性较好，为本文算法在嵌入式设备上的应用提供了理论支撑。5 结语 本文针对嵌入式轨道检测设备的算力有限、资源不足等问题，提出了一种基于改进YOLOX的轻量级钢轨表面缺陷检测方法。首先，在传统YOLOX模型的基础上，融合了MobileNetv3网络的轻量化思想；其次，结合本文的轨面缺陷小目标检测任务，改进了融合模型浅层网络的激活函数，提高了检测速度；接着，增添了主干特征层浅层网络的SE注意力机制模块，确保了检测精度；最后，优化了FPN结构，只保留最大特征层以提高网络轻量化程度，同时更利于缺陷小目标检测，显著降低了资源占用，提高了运行速度。本文提出的轻量级钢轨表面缺陷检测方法，相对于常用检测方法，在检测精度、轻量化程度与平台适应性方面均有较好效果，能够更好地在嵌入式设备上实现高效目标检测，为铁路钢轨的现场故障诊断提供了可能的技术方案。参考文献1 陈向博，丁慧平.中国高铁快速崛起的创新机理 J.社会科学家，2022（7）：89-99.2 赵鑫，温泽峰，王衡禹，等.中国轨道交通轮轨滚动接触疲劳研究进展 J.交通运输工程学报，2021，21（1）：1-35.3 刘洋，项占琴，唐志峰.激光超声技术在钢轨探伤中的应用研究 J.机械设计与制造，2009（10）：60-61.4 BENTOUMI M，AKNIN P，BLOCH G.On-line Rail Defect Diagnosis with Differential Eddy Current Probes and Specific Detection ProcessingJ.The European Physical Journal-Applied Physics，2003，23（3）：227-233.5 WANG P，GAO Y，TIAN G Y，et al.Velocity Effect Analysis of Dynamic Magnetization in High Speed Magnetic Flux Leakage Inspection J.Ndt&E International，2014，64：7-12.6 LECUN Y，BENGIO Y，HINTON G.Deep LearningJ.Nature，2015，521（7553）：436-444.7 苏烨，李筠，杨海马，等.基于Faster R-CNN的钢轨表面缺陷识别研究 J.电子科技，2020，33（9）：63-68.8 梁波，卢军，曹阳.基于改进U-Net卷积神经网络的钢轨表面损伤检测方法 J.激光与光电子学进展，2021，58（2）：334-340.9 WEI X K，WEI D H，SUO D，et al.Multi-target Defect Identification for Railway Track Line Based on Image Processing and Improved YOLOv3 ModelJ.IEEE Access，2020，8：61973-61988.10 ZHANG B，FANG S Q，LI Z X.Research on Surface Defect Detection of Rare-Earth Magnetic Materials Based on Improved SSD J.Complexity，2021，2021：1-10.11 GE Z，LIU S T，WANG F，et al.Yolox：Exceeding Yolo Series in 2021 J/OL.ArXiv：2107.08430，2021：1-6 2023-05-03.https：/arxiv.org/abs/2107.08430.12 REDMON J，DIVVALA S，GIRSHICK R，et al.You Only Look Once：Unified，Real-time Object Detection C/Institute of Electrical and Electronics Engineers.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016：779-788.13 JUBAYER F，SOEB J A，MOJUMDER A N，et al.Detection of Mold on the Food Surface Using YOLOv5J.Current Research in Food Science，2021，4：724-728.14 REDMON J，FARHADI A.Yolov3：An Incremental Improvement J/OL.ArXiv：1804.02767，2018：1-6 2023-05-03.https：/arxiv.org/abs/1804.02767.15 WANG C Y，LIAO H Y M，WU Y H，et al.CSPNet：A New Backbone that Can Enhance Learning Capability of CNN C/Institute of Electrical and Electronics Engineers.Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.California：IEEE，2020：390-391.16 HOWARD A G，ZHU M L，CHEN B，et al.Mobilenets：Efficient Convolutional Neural Networks for Mobile Vision Applications J/OL.ArXiv：1704.04861，2017：1-9 2023-05-03.https：/arxiv.org/abs/1704.04861.17 HU J，SHEN L，SUN G.Squeeze-and-excitation Networks C/Institute of Electrical and Electronics Engineers.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：7132-7141.表3不同平台运行效果对比方法YOLOX本文算法FPSGPU106.61115.07CPU12.1913.51模型推理和后处理时间/msGPU9.48.7CPU82.174.138第 7 期杨佳佳等：基于改进YOLOX的轻量级钢轨表面缺陷检测算法Lightweight Rail Surface Defect Detection Algorithm Based on Improved YOLOXYANG Jiajia1，2，XU Guiyang1，2，BAI Tangbo1，21.School of Mechanical-Electronic and Vehicle Engineering，Beijing University of Civil Engineering and Architecture，Beijing 100044，China；2.Beijing Key Laboratory of Performance Guarantee on Urban Rail Transit Vehicles，Beijing University of Civil Engineering and Architecture，Beijing 100044，ChinaAbstract A lightweight rail surface defect detection algorithm based on improved YOLOX was proposed to address the issues of poor compatibility，high computational resource consumption，and slow detection speed of existing deep learning based rail surface defect detection methods on embedded detection systems.In the model，the backbone feature layer is based on the MobileNetv3 unit.While retaining its network lightweight，it carries out local optimization，improves the activation function of the shallow network，and embeds the SE（Squeeze and Exception）attention mechanism.The redundant convolution at the tail was optimized by strengthening the feature layer.The performance of this algorithm was verified by conducting comparative experiments with several representative algorithms.The results show that the improved algorithm proposed in this article has a model parameter quantity of only 1.10 106，the detection rate and accuracy reached 92.17%and 90.92%，respectively.The Frame Per Second（FPS）was 115.07，and the model size was only 1/5 of the original model.This algorithm greatly reduces the number of model parameters while ensuring high detection accuracy，and improves detection speed.It is more suitable for deployment in embedded track detection systems with limited computing power，which can provide an effective means for efficient detection of rail defects.Key words rail surface defect；deep learning；object detection；lightweight；YOLOX networkCitation format：YANG Jiajia，XU Guiyang，BAI Tangbo.Lightweight Rail Surface Defect Detection Algorithm Based on Improved YOLOX J.Railway Engineering，2023，63（7）：3439.（编辑：苗蕾 校对：郑冰）39