基于图像处理的轨旁组合信号灯识别方法_郭齐成.pdf

2023 年第 36 卷第 7 期Electronic Sci.Tech./Jul.15，2023https:/收稿日期:2022-01-21基金项目:国家自然科学基金(U1734211)National Natural Science Foundation of China(U1734211)作者简介:郭齐成(1996 )，男，硕士研究生。研究方向:图像处理。张轩雄(1963 )，男，博士，教授。研究方向:电子机械系统。基于图像处理的轨旁组合信号灯识别方法郭齐成1，沈拓1，2，张轩雄1(1 上海理工大学 光电信息与计算机工程学院，上海 200093;2 同济大学 上海市轨道交通结构耐久与系统安全重点实验室，上海 201804)摘要对列车轨旁信号灯进行准确辨识是保障列车安全运行的重要措施。然而，对于轨道系统而言，除了通常的单色信号灯外，还有组合(两种颜色)信号灯的指示方式。针对轨旁组合信号灯的识别问题，文中提出了一种基于图像处理技术对位于列车前方 150 m 内的轨旁组合信号灯的识别方法。根据组合信号灯的颜色和形状特征，采用颜色分割、形态学处理、霍夫变换等手段提取组合信号灯的候选区域。同时利用组合信号灯位于当前轨道右侧的位置特征以及组合信号灯之间圆心距的距离特征，定位其位置并识别组合灯颜色。实验结果表明，该方法能准确定位和识别轨旁组合信号灯，对绿与黄、两绿和两黄这 3 种组合灯的识别率分别为 94 14%、96 21%、86 67%。关键词轨旁组合信号灯;图像处理;颜色分割;形态学操作;霍夫变换;边缘检测;轨道提取;图像识别中图分类号TN99;TN391文献标识码A文章编号1007 7820(2023)07 008 08doi:10.16180/ki.issn1007 7820.2023.07.002ecognition Method of the Combined Trackside Signal Light Basedon Image ProcessingGUO Qicheng1，SHEN Tuo1，2，ZHANG Xuanxiong1(1 School of Optical Electrical and Computer Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China;2 Shanghai Key Laboratory of ail Infrastructure Durability and System Safety，Tongji University，Shanghai 201804，China)AbstractThe trackside signal light is an important guidance for a running train in a rail transportation systemHowever，the combined trackside signal light included two colors is also used as a specific sign in addition to the usu-al single color signal light In order to solve the recognition problem of the combined trackside signal light，a methodbased on image processing technology is employed to recognize the combined trackside signal light located within 150m in front of train As a result，the candidate region characteristics of the combined trackside signal light are extrac-ted by color segmentation，morphological processing，and Hough transform On the other hand，the combined track-side signal light can be positioned on the right of running rail train The central spacing between two single lights candetermine whether or not existing combined trackside signal light to remove the possible interferences from other lightsor environment The experimental results indicate that this method can accurately locate and recognize the combinedtrackside signal light，and the color correction ratio is 94 14%for green and yellow light，96 21%for two greenlights，86 67%for two yellow lightsKeywordscombined trackside signal light;image processing;color segmentation;morphological operation;Hough transform;edge detection;track extraction;image recognition轨旁信号灯对于保障列车的行车安全至关重要。目前，判断轨旁信号灯状态的方式主要有两种1:一种是通过列车驾驶员的眼睛观察来判断;另一种是通过列车驾驶室内的仪表信号来判断。在高速行驶的列车上，恶劣天气外加身心疲惫可能导致驾驶员无法及时辨别甚至未发现轨旁信号灯。另外车内仪器的电气化干扰会对保障列车安全运行的驾驶室信号造成掉码、串码、不接码等故障，导致安全隐患2。为了进一步保障列车的行车安全，需要一种冗余且低成本的辅助安全驾驶的措施减轻驾驶员的驾驶负担和降低行车安全隐患。随着图像处理技术的迅猛发展，工业和无人驾驶等领域已经在积极应用这一新技术3。在路面交通灯识别领域，主要有以下两大类方法:一类是以采用模板匹配4、圆形提取5 和基于颜色分布5 6 的 3 种识别8郭齐成，等:基于图像处理的轨旁组合信号灯识别方法Electronic Science and Technologyhttps:/方式为主的数字图像处理技术。文献 4 报道了基于光斑检测算法，检测圆形亮点区域并应用自适应模板匹配识别交通灯。文献 5在归一化 GB 颜色空间中，采用颜色分割提取目标候选区域，随后用霍夫圆变换定位识别交通灯。文献 6 通过中值滤波对图像进行预处理后，再利用交通信号灯模板匹配方法检测信号灯区域，最后利用 HSV 颜色空间模型识别交通灯的状态。另一类是采用神经网络的方法。文献 7 提出了一种新的反卷积深度神经网络来检测小交通灯，通过设置焦点回归损失函数提高识别精度。然而，对于高速列车轨旁信号灯的识别应用研究却较少。文献 8 利用 YOLO 卷积神经网络检测铁路信号灯的位置，采用传统图像处理方式识别信号灯颜色。实验验证了该混合算法的可行性，但未排除邻线轨旁信号灯的干扰以及未考虑复杂环境下该算法的可行性。文献 9 在识别轨道交通信号灯时，结合机器视觉和神经网络技术实现了当前轨旁单个信号灯的有效识别，但缺乏对当前轨旁出现组合信号灯情况的考虑。在轨道交通系统中，除单色信号灯之外，还有绿黄、两绿、两黄等轨旁组合信号灯类型 10。两者都能识别出单一颜色信号灯，但没有对轨旁组合信号灯的有效识别展开研究。为此，本文将对轨道交通中组合信号灯进行系统的研究，提出一种定位和识别轨旁组合信号灯的方法。该方法根据组合信号灯的颜色和形状特征，采用颜色分割、形态学处理、霍夫变换等手段提取组合信号灯的候选区域。同时利用组合信号灯位于当前轨道右侧的位置特征以及组合信号灯之间圆心距的距离特征，定位其位置并识别组合灯颜色。在准确识别图像中信号灯的同时，解决了场景中出现组合信号灯的识别问题。1轨旁组合信号灯候选区域提取随着列车不断向前行进，组合信号灯在图像中的位置也在发生变化。例如，图1(a)中在近距离时，信号灯处于图像的右上部分;图1(b)中在远距离时，信号灯处于图像的中心部分。因此，为了准确识别轨旁组合信号灯，避免漏检，本文将对整幅图像进行分析处理。(a)(b)图 1 轨旁组合信号灯图像(a)白天(b)夜间Figure 1 The image of trackside combined signal light(a)Daytime(b)Night1 1颜色分割为了提取轨旁组合信号灯的候选区域，本文利用组合信号灯的颜色特征进行颜色分割来消除一些与研究对象无关的背景噪声。对轨旁组合信号灯进行颜色分割，首先要选择合适的颜色空间。目前，在颜色分割领域内，常用的颜色空间11 主要有 GB、Lab、HIS 以及 HSV 这 4 种。相比其他 3 种颜色空间而言，HSV 颜色空间能够直观地表达出色彩的明暗、色调以及鲜艳程度，并且其各颜色分量分布最为均匀。因此针对复杂背景环境下的组合信号灯图像，本文采用 HSV 颜色空间进行颜色分割12。由于采集的图像基于 GB 颜色空间模型，因此在颜色分割前，需要通过式(1)式(3)实现 GB 颜色空间到 HSV 颜色空间的转换。H=0，if max=min60 G Bmax min+0，if max=and G B60 G Bmax min+360，if max=and G B60 B max min+120，if max=G60 Gmax min+240，if max=B(1)S=0，if max=0max minmax=1 minmax，otherwise(2)V=max(3)针对信号灯基本色中的红、绿、黄 3 种颜色，经9Electronic Science and Technology郭齐成，等:基于图像处理的轨旁组合信号灯识别方法https:/过颜色空间转换后，本文实验环境下 GB 和 HSV颜色空间中各分量 阀 值 范 围 设 置 如 表 1 和 表 2所示。表 1、G、B 3 分量的阀值范围Table 1 Threshold ranges for，G，BGBed 210，255 0，90 0，100Green 0，60 200，255 100，180Yellow 200，255 200，255 50，120表 2 H、S、V 3 分量的阀值范围Table 2 Threshold ranges for H，S，VGBed 0，30 300，360 0，70 0，90Green 150，180 0，70 0，90Yellow 80，140 0，70 0，90采用表 2 中 HSV 各分量阀值对原图像进行颜色分割，将满足条件的颜色像素点设置为白色，不满足的设置为黑色。颜色分割效果如图 2 所示。(a)(b)图 2 颜色分割效果图(a)白天(b)夜间Figure 2 The effect image of color segmentation(a)Daytime(b)Night1 2形态学处理经过颜色分割后，本文得到了原图像的二值图像13。但由于受到背景色干扰、光照强度变化等因素的影响，二值图像中还存在不同程度的背景噪声，导致二值图像中存在一些分散的小白点和位于白斑中间的黑洞。为了消除这些背景噪声、有效提取轨旁组合信号灯的边缘，本文采用形态学操作解决二值图像中存在的背景噪声问题