基于双模态深度学习的钢轨表面缺陷检测方法_赵宏伟.pdf

2023，59（7）钢轨是铁路最重要的基础设施之一，对其表面外观的检测是铁路工务部门的核心业务，关乎铁路运输安全。在电子信息技术兴起之前，钢轨缺陷检测主要依赖于巡道工人的目视检查。这种人工检测方式不仅费时费力，其检测结果容易受到各种主观因素的影响。随着轨道检测技术的发展，许多无损检测的方法，包括超声探伤、基于电磁感应的涡流检测和机器视觉检测技术等被相继提出1-4。由于机器视觉检测技术在非接触、安全性和可视化等各方面的优势，基于机器视觉的钢轨缺陷检测近年来得到了国内外研究学者的广泛关注，相关研究成果已形成了轨道视觉检测系统在普速、高铁和重载等各铁路线路中推广使用5-8。在轨道视觉检测系统中，检测列车上安装有高速相机用于采集轨道图像，然后应用计算机视觉和模式识别方法进行轨道伤损检测9-11。基于双模态深度学习的钢轨表面缺陷检测方法赵宏伟1，郑嘉俊2，赵鑫欣1，3，王胜春3，李浥东11.北京交通大学 计算机与信息技术学院，北京 1000442.中山大学 电子与通信工程学院，广东 深圳 5181073.中国铁道科学研究院集团有限公司 基础设施检测研究所，北京 100081摘要：针对目前钢轨顶面擦伤检测系统缺少第三维关键深度信息，检测结果易受干扰误报率高的问题，提出了一种基于双模态结构光传感器的钢轨表面缺陷检测方法。通过构建轨道表面缺陷的多模态深度学习检测网络，可以检测双模态钢轨图像中的擦伤缺陷。提出的深度网络分别融合了双模态图像的多尺度特征，并进行多尺度钢轨顶面擦伤检测。实验结果表明，该方法在显著降低检测误报的同时能够保持较高的检出率。与当前缺陷检测中常见的深度学习检测模型对比，平均精度均值（mAP）有大幅提升，性能优于以往的检测算法，在钢轨顶面擦伤检测任务中的应用前景良好。关键词：词缺陷检测；多模态；深度学习；钢轨表面文献标志码：A中图分类号：TP183doi：10.3778/j.issn.1002-8331.2209-0364Rail Surface Defect Method Based on Bimodal-Modal Deep LearningZHAO Hongwei1,ZHENG Jiajun2,ZHAO Xinxin1，3,WANG Shengchun3,LI Yidong11.School of Computer and Information Technology,Beijing Jiaotong University,Beijing 100044,China2.School of Electronic and Communication Engineering,Sun Yat-Sen University,Shenzhen,Guangdong 518107,China3.Infrastructure Inspection Research Institute,ChinaAcademy of Railway Sciences Corporation Limited,Beijing 100081,ChinaAbstract：Aiming at the problem that the current rail surface detection system lacks the third dimension key depth infor-mation and the detection results are vulnerable to interference with high false alarm rate,the paper designs a rail surfacedefect detection system and method based on dual mode structured light sensor.By constructing a multi-mode depthlearning detection network for rail surface defects,the defects in the bimodal rail images can be detected.The depthnetwork proposed fuses multi-scale features of bimodal images respectively,and conducts multi-scale rail head surfacedefect detection.Experimental results show that this method can significantly reduce false positives while maintaining ahigh detection rate.Compared with the common depth learning detection model in the current defect detection,the meanaverage accuracy（mAP）has been greatly improved,and its performance is better than the previous detection algorithm,which has a good application prospect in the rail head surface scratch detection task.Key words：defect detection;multi-modal;deep learning;rail head surface基金项目：中国铁道科学研究院集团有限公司科研开发计划（2021IMXM04）；国家自然科学基金联合基金项目（U1934220）。作者简介：赵宏伟（1987），男，工学硕士，工程师，CCF会员，研究方向为计算机视觉，E-mail：；郑嘉俊，工学硕士；赵鑫欣，助理研究员；王胜春，副研究员；李浥东，教授。收稿日期：2022-09-22修回日期：2022-11-25文章编号：1002-8331（2023）07-0285-09Computer Engineering and Applications计算机工程与应用285Computer Engineering and Applications计算机工程与应用2023，59（7）当前轨道视觉检测系统大都基于二维灰度图像实现钢轨表面缺陷检测。Huber-Mrk等人12将 Gabor滤波器组应用于二维钢轨表面纹理描述，采用高斯混合模型对类进行建模，然后利用贝叶斯分类器对钢轨表面纹理进行分类。Li等人13提出了一种离散表面缺陷的实时视觉检测系统，通过图像采集系统采集轨道图像，采用钢轨区域提取算法对轨道图像中的钢轨区域进行分割，并采用局部归一化方法增强钢轨图像的对比度，利用基于投影轮廓的缺陷定位方法进行缺陷检测。之后Li等人14提出了一种针对钢轨顶面缺陷的智能视觉检测系统，该系统包含用于增强钢轨图像的局部Michelson-like对比度方法和新的自动阈值方法比例强调最大熵阈值算法。Yu15和Gan等人16将由粗到精策略应用到钢轨表面缺陷检测中，利用粗提取器对钢轨表面图像中的缺陷进行粗定位，然后利用精提取器对含有异常点的点进行分类识别。随着研究的不断发展，深度卷积神经网络已被证明对特征提取和学习具有很强的鲁棒性、泛化性和可移植性，因此有一些基于深度卷积神经网络的缺陷检测方法应用于钢轨表面缺陷检测。Faghih-Roohi等人17使用深度卷积神经网络对钢轨图像数据进行分析，以检测钢轨表面缺陷。Shang等人18通过对钢轨图像进行定位和分类，提出了一种新的两阶段流水线钢轨缺陷检测方法。He等人19实现了基于YOLOv3的钢轨表面缺陷实时检测算法。目前基于钢轨表面二维灰度图像的检测方式受到表面污损、氧化锈蚀、水渍油污等影响，使得所采集到的钢轨表面图像背景非常复杂，仅仅利用两维灰度信息进行缺陷的检测和识别，难以将伪缺陷与真实缺陷区别开来。此外，深度信息是评价钢轨表面伤损程度的重要指标，为了分析缺陷的形成原因和缺陷类型并确定缺陷的严重程度，需要对缺陷进行深度方向的测量，而不是简单地确定有无缺陷。为此，相关研究人员考虑利用三维钢轨表面数据中的深度信息判别钢轨表面缺陷的真假。三维钢轨表面缺陷检测方法通常采用多源传感器（激光扫描仪和线扫描相机）组成三维结构光系统，用于捕获钢轨表面三维信息，然后利用多源特征融合分析，检测钢轨表面缺陷。文献20将基于结构光的三维检测技术应用于钢铁生产过程中的表面缺陷检测。文献21提出了一种利用三维结构光获取钢轨波纹数据的方法，利用小波分析法检测钢轨波纹。第三维信息的引入可以有效解决灰度图像检测中误报频发的问题，但三维深度图像中缺乏丰富的二维灰度纹理信息，仅依靠深度图像会导致诸如钢轨表面裂纹、磨损以及浅层擦伤等纹理信息显著的缺陷发生不必要的漏报。为了克服基于单一模态进行目标识别检测的缺点，多模态融合关联分析提供了一种有效的解决方案。文献22提出了一种基于强度图和深度图的双模态人脸识别方法，将不同模态的识别得分进行归一化加权融合，有效提高了人脸识别率。文献23提出了融合声音和视频两种模态数据的情感识别框架，充分利用语言和面部视觉双模态互补信息消除了单模态识别的不稳定性。近几年来，多模态深度学习作为单模态学习的进一步延伸，得到了广泛关注，逐步成为深度学习目标识别领域研究的热点24。因此，针对以上问题并结合多模态学习的相关研究进展，本文将钢轨表面的二维和三维两种模态信息进行有机融合，提出了一种双模态钢轨表面缺陷深度学习检测网络，引入可变形卷积来适应钢轨表面缺陷的不规则性，并采用并行策略分别提取钢轨表面强度图像和深度图像的特征，能够快速检测钢轨表面缺陷的类别和位置。实验结果表明，相对于单一模态检测网络模型，本文构建的双模态检测网络在有效降低虚警率的同时仍保持较高的检出率。1钢轨表面缺陷检测系统1.1系统架构如图1所示为钢轨表面缺陷检测系统架构，首先通过双模态结构光传感器采集钢轨表面数据，经处理后得到表征二维纹理信息的激光反射强度图像和表征三维图1钢轨表面缺陷检测系统架构Fig.1Structure of rail surface defect detection system钢轨表面缺陷检测网络（RSDINet）双模态结构光传感器数据采集系统双模态图像样本集深度图强度图检测结果DeformResNetRegularResNetNeckModuleHeadModule2862023，59（7）深度信息的表面深度图像。然后，将双模图像样本集作为训练样本输入到本文设计的钢轨表面缺陷双模态深度学习检测网络（rail surface defect inspection network，RSDINet）中进行特征关联学习生成缺陷识别模型参数，最后将模型参数应用到待检测强度-深度图像对得到缺陷检测结果。1.2数据采集系统线结构光三维测量系统的原理如图2所示，由线激光器、镜头和相机组成。激光线入射到被测物表面，被调制成反映被测物轮廓信息的光条，由相机拍摄该光条得到被测物的激光断面图像。对该图像进行光条中心提取得到光条中心像素坐标，结合光条中心的像素坐标和系统标定参数，便可计算出被测物实际轮廓。结合扫描运动可以等间距获取被测物轮廓数据，从而实现对整个被测物的三维测量。基于此原理，所述的多源数据采集系统由3D相机、镜头和线性激光器组成。如图3所示，线性激光器的光刀平面垂直入射到钢轨表面，由3D相机获取钢轨等部件的激光截面图像，通过摄像坐标变换将图像像素坐标转换为空间物理坐标，并对物理坐标位置进行强度映射得到表征二维特征的强度图，同时执行深度映射得到表征三维特征的深度图，生成的强度图和深度图之间像素是一一对应的。1.3RSDINet网络框架如图4是RSDINet的整体网络框架，其同时使用强度图像和深度图像作为输入，并采用了一种并行特征提取