基于道路分割的道路天气识别方法研究_吕慈明.pdf

第 40 卷第 5 期2023 年 5 月公路交通科技Journal of Highway and Transportation esearch and DevelopmentVol.40No.5May 2023收稿日期:20220713作者简介(*通讯作者):吕慈明(1979)，男，广东揭阳人.(252731003 )doi:10.3969/j.issn.10020268.2023.05.025基于道路分割的道路天气识别方法研究吕慈明*1，刘电2，张秀杰2(1 广东省高速公路有限公司京珠北分公司，广东韶关512737;2 广州国交润万交通信息有限公司，广东广州510665)摘要:为了实现道路场景下天气图像的准确识别，提出了一种基于道路分割的道路天气识别方法，通过设计一种结合语义分割模型提取道路区域特征的方法，构建了一种结合道路天气图像全局特征及道路特征的道路分割融合网络(SFN)。首先，通过道路分割网络对原始图像进行预处理，获取二值化图像，并利用卷积特征掩码(CFM)获取了道路区域信息。随后，构建了由全局网络分支和道路网络分支构成的卷积神经网络，分别用于提取整体图像区域特征和专注提取道路天气特征。针对提取到的不规则道路特征，使用 CFM 将图像全局特征和道路局部特征进行融合。最后，通过全连接层进行了重点道路区域的天气识别，并兼顾整体的天气识别，实现了阴天、晴天、雾天、雨天和雪天 5 种天气的识别。通过收集多个城市地区不同路段、不同天气下的高速公路真实监控视频，构建了道路多分类天气数据集(MWD)，并与不同网络模型进行了测试结果对比。结果表明:在参数和运算量都有所降低的情况下，SFN 天气识别算法的准确率和召回率为 85.40%和 80.30%，分别提高了至少 3.97%和 3.86%;基于道路分割的道路天气识别方法将网络模型提取特征的重点区域放在了道路中，SFN 算法实现了道路天气特征的有效提取，能够有效应用于道路场景下实时准确的天气识别。关键词:交通安全;道路天气识别;SFN 算法;特征融合;图像分割中图分类号:U491.1文献标识码:A文章编号:10020268(2023)05018409Study on Method for oad Weather ecognition Based on oad SegmentationL Ci-ming*1，LIU Dian2，ZHANG Xiu-jie2(1 Beijing Zhuhai North Branch of Guangdong Expressway Co.，Ltd.，Shaoguan Guangdong 512737，China;2 Guangzhou un One Traffic Information Co.，Ltd.，Guangzhou Guangdong 510665，China)Abstract:In order to realize the accurate recognition of weather images in road scenes，a road weatherrecognition method based on road segmentation is proposed，and a sort of road segmentation fusion network(SFN)，with the overall road weather image features and road features，is established by designing amethod for extracting road area characteristics combining with the semantic segmentation model First，theoriginal images are preprocessed through the road segmentation network to obtain the binary images，and theroad area information is obtained by using the convolutional feature mask(CFM)Subsequently，aconvolutional neural network，which is composed of overall network branches and road network branches，isestablished and used to extract the overall image area features and focus on extracting the road weatherfeatures respectively In view of the extracted irregular road characteristics，the overall image features and theroad local features are fused with CFM Finally，the weather recognition of key road areas is carried outthrough a fully connected layer，and the recognition of 5 types of weather(cloudy，sunny，foggy，rainy，andsnowy)is realized considering the overall weather recognition A road multi-class weather dataset(MWD)is established by collecting real surveillance videos of expressway in multiple urban areas with different road第 5 期吕慈明，等:基于道路分割的道路天气识别方法研究sections and weather conditions，and compared with different network models on testing results The resultshows that(1)under the situation of decrease in parameters and computations，the SFN weather recognitionalgorithm has accuracy rate and recall rate of 85.40%and 80.30%that improved by at least 3.97%and3.86%respectively;(2)the key areas of extracting features from network models are placed in roads byusing the road weather recognition method based on road segmentation，and the effective extraction of roadweather features is realized by using SFN algorithm，which can be applied to real-time and accurate weatherrecognition in road scenes effectivelyKey words:traffic safety;road weather recognition;SFN algorithm;feature fusion;image segmentation0引言计算机视觉是当前发展蓬勃且十分具有应用价值的研究领域，随着近年来大量学者在计算机视觉领域的研究及推广，在众多的计算机视觉应用中，智能交通视频分析是其中最重要的应用之一，目前广泛应用的智能交通领域中有车辆跟踪、抛洒物检测、高速收费站口车型识别和车牌识别等。除了以上这些智能交通应用，交通驾驶安全也是一个值得关注的领域。根据实际交通行驶道路的天气情况来管理道路安全程度，提醒公路司机小心驾驶，关于这一方面的研究少之又少。因此，在交通管理场景下，高速公路天气识别具备前瞻性的应用空间及可预见性的研究价值。过去学者们针对多类别天气分类的大多数工作主要分为 2 种，分别是通过气象数据识别天气和通过实时图像识别天气。气象数据识别天气方法主要利用采集的气象数据和天气指数特征来分析并分类天气。该类方法主要分为 2 个步骤:首先是采集数据，依赖于由气象台采集的多项天气特征指数数据1，例如大气中的悬浮物浓度，在晴天、阴天、雪天和雨天等不同天气条件下悬浮物浓度有着明显的偏差;然后是分析数据，采用数据挖掘或机器学习2 等方法建立天气分类数学模型，训练模型并提高分类准确率。天气图像分类相关的研究也随着图像分类研究的发展受到越来越多的学者关注，众多学者从不同的图像表征角度出发，提出了多种提取图像表征特征的方法，这些方法大体上分为特征提取和特征分类 2 个阶段。研究初期的天气图像分类也是基于图像本身的浅层表征特征，即不同天气分类下图像内物体和场景表现的特征3，如图像的色彩饱和度、图像内物体的边缘和形状特征等。有的学者将典型图像物体识别的特征提取方法应用在天气图像识别中。为了更完整地表达出图像中的天气特征，侯慧蓉4 采用多种图像表征特征提取方法，包括局部二值模式提取图像纹理特征、颜色特征空间信息、图像形状特征，然后融合这些特征后输入分类器识别天气图像。但现有的天气图像识别研究中，用于识别的天气图像为多种户外场景，可观察到清晰的天气特征，如晴天图像可以看到清澈的蓝天。在本研究的道路天气识别中，图像场景局限于道路监控摄像头的拍摄区域，道路区域占图像的大部分面积，现有的深度学习天气图像方法无法很好地适用于本研究。在本研究的道路天气识别中，道路图像的场景通常局限于以道路为主体，且道路旁包括自然绿植或城市建筑，更难以提取出有效识别天气分类的特征。相较而言，公开天气数据集中户外场景下的天气图像具有图像内容上的多样性，且不同分类下天气图像均显现出其特有的标志性特征或场景，如晴天图像有着翠绿的植被和蔚蓝的天空，雾天图像出现在高海拔山脉上等。对于道路天气识别的天气图像，不同分类的图像均限制于道路场景下，无法从图像的内容差异中获取有助于分类的信息。因此本研究算法的主要思路在于利用语义分割模型对道路图像分割出道路区域并输入网络中提取道路天气特征，通过强调道路区域的贡献程度以提升模型的天气分类性能。1算法总体流程本 研 究 提 出 道 路 分 割 融 合 网 络(oadSegmentation Fusion Network，SFN)天气识别算法，通过预先训练完成的语义分割模型，分割并处理获得道路区域二值图像，并将原始图像和道路区域二值图像分别输入笔者设计的卷积神经网络的全局网络分支和道路网络分支，最终融合二者的输出特征并识别天气分类。因此，本算法的创新之处在于，基于道路天气图像中道路区域丰富的相关天气特征，设计一条专门用于提取道路天气特征的网络分支，提升网络识别的性能。算法的总体结构如图 1 所示。581公路交通科技第 40 卷图 1算法流程图Fig.1Flowchart of algorithm(1)道路分割预处理阶段。首先输入原始图像到语义分割模型中，模型输出预测语义图像;然后将预测语义图像进行道路标签二值化处理，最终输出道路区域二值图像。(2)特征提取阶段分为全局网络分支和道路网络分支。全局网络分支输入数据集原始图像，提取图像在全局方面的深层天气特征;道路网络分支输入道路区域二值图像，通过卷积特征掩码(ConvolutionalFeature Masking，C