基于特征加权视觉增强的雷视融合车辆检测方法_李晓欢.pdf

第 40 卷 第 2 期2023 年 2 月公 路 交 通 科 技Journal of Highway and Transportation Research and DevelopmentVol.40 No.2Feb.2023收稿日期:2022-04-01基金项目:国家自然科学基金项目(61762030);广西重点研发计划项目(AB21196021,AB21196032);广西杰出青年基金项目(2019GXNSFFA245007)作者简介:李晓欢(1984-),男,重庆人,教授.(lxhguet )doi:10.3969/j.issn.1002-0268.2023.02.022基于特征加权视觉增强的雷视融合车辆检测方法李晓欢1,2,霍科辛1,颜晓凤3,唐 欣1,2,徐韶华4(1.桂林电子科技大学,广西 桂林 541004;2.广西综合交通大数据研究院,广西 南宁 530000;3.广西交通科技集团有限公司,广西 南宁 530000;4.广西北投信创科技投资集团有限公司,广西 南宁 530000)摘要:为了有效提升高速公路低光照、远距离检测需求条件下的车辆检测准确度,提出了一种基于视觉增强和特征加权的雷视融合车辆目标检测方法。首先从雷视数据层融合入手,基于毫米波雷达对潜在目标空间位置进行表征,并将表征结果用于视觉图像中远距离目标区域划分。其次对该划分区域图像进行重构、检测和还原,以提升远距离目标的视觉检测精度。再次对雷视检测特征层融合进行建模。考虑不同层对特征检测贡献度差异,通过模型训练获取不同特征图的权重参数,并按照权重将不同层特征进行融合计算,以增强目标的特征信息。其次,增加分支网络,利用不同尺寸的卷积层提取特征图中不同的感受野信息,分支输出结果融合获得更强的图像表征能力,达到提高低光照下检测精度的目标。最后,结合特征加权雷视框架和基于毫米波雷达空间预处理的视觉增强思路,基于YOLOv4-tiny 框架设计了雷视融合检测网络,完成验证系统搭建。结果表明:在低光照环境下提出的算法与 YOLOv4相比,平均精度 AP 提高了 20%,与雷视融合典型算法 RVNet 相比 AP 值提高了 5%;在针对不同距离下的检测性能测试试验中,本研究算法在检测 120 m 目标时,平均精度值相较 YOLOv4 算法提高了 73%,相较于 RVNet 提高了63%,提高了智能交通系统车辆检测的覆盖距离和低光照的检测精度。关键词:交通工程;雷视融合;特征加权;视觉增强;深度学习中图分类号:U495 文献标识码:A 文章编号:1002-0268(2023)02-0182-08A Method for Radar-camera Fusion Vehicle Detection Based on Feature Weighted and Visual EnhancementLI Xiao-huan1,2,HUO Ke-xin1,YAN Xiao-feng3,TANG Xin1,2,XU Shao-hua4(1.Guilin University of Electronic Technology,Guilin Guangxi 541004,China;2.Guangxi Comprehensive Transportation Big Data Research Institute,Nanning Guangxi 530000,China;3.Guangxi Transportation Science and Technology Group Co.,Ltd.,Nanning Guangxi 530000,China;4.Guangxi Beitou IT Innovation Technology Investment Group Co.,Ltd.,Nanning Guangxi 530000,China)Abstract:To improve the improve the vehicle detection accuracy under the condition of low light and long distance detection requirements on expressway,a radar-camera fusion vehicle target detection method based on visual enhancement and feature weighting is proposed.First,starting with the fusion of radar-camera data layer,the spatial location of the potential target based on millimeter-wave radar is characterized,and the characterization result is used for the division of long-distance target areas in visual images.Then,the images of the divided area are reconstructed,detected,and restored to improve the visual detection accuracy of long-第 2 期李晓欢，等:基于特征加权视觉增强的雷视融合车辆检测方法distance target.Next，the radar-camera detection feature layer is fused and the modeling is conducted.Considering the difference in the contribution of different layers to feature detection，the weight parameters ofdifferent feature maps are obtained through model training，and the features of different layers are fused andcalculated according to the weight to enhance the feature information of the target.Next，branch network isadded，and different receptive field information in the feature map is extracted by using convolutional layers ofdifferent sizes，and the branch output results are fused to obtain stronger image representation ability，whichcan achieve the goal of improving the detection accuracy in low light.Finally，combining with the feature-weighted radar-camera framework and the vision enhancement based on millimeter wave radar spatialpreprocessing，the radar-camera fusion detection network based on YOLOv4-tiny is designed and theverification system is built.The result shows that(1)the average precision(AP)of the proposed algorithmin the low-light environment increased by 20%compared with that of YOLOv4，and the AP value increasedby 5%compared with that of the radar-camera fusion algorithm VNet;(2)in the test of detectionperformance at different distances，when detecting a 120-meter target，the AP value of the proposed algorithmis 73%higher than that of the YOLOv4 algorithm，and 63%higher than that of VNet，which improved thecoverage distance and low-light detection accuracy of the vehicle detection in ITS.Key words:traffic engineering;radar and camera fusion;feature weighting;visual enhancement;deep learning0引言在交通管理智能化的需求牵引下12，道路上车辆目标检测得到了高速发展，但是在低光照等恶劣环境下，会造成视线不佳，导致基于纯视觉图像的车辆目标检测性能受到诸多限制3;与此同时，公路机电建设的实际工程部署要求设备检测距离覆盖远以减少检测设备部署的数量，达到降本增效的效果。但当目标距离过远时，由于其在图像中所占像素过少，使得检测的精度大大降低。综上所述，对于远距离以及低光照下的车辆目标检测是智能交通系统目标检测的巨大挑战。现有智能交通系统中车辆检测常用到摄像头、毫米波雷达等。其中摄像头采集到的图像能提供物体以及环境详细的纹理信息，但在低光照环境下检测效果不佳。而毫米波雷达虽不会受到光线影响，抗干扰能力强、探测距离远，但无法获取物体的纹理信息，因此，摄像头和毫米波互补的雷视融合方式有利于提高检测系统的精度和鲁棒性4。近年来，雷视融合方法的研究逐步增多5，从融合的方式来看，主要分为决策级融合、数据级融合和特征级融合。雷视决策级融合思路是传感器先检测得到初步的数据，然后将各个传感器的数据送入决策终端，通过对多组数据进行分析，最后输出得到目标的信息。文献 6 提出一种决策级的雷视决策级融合方法。其将雷达测量的目标距离与图像中相同目标关联，为图像检测提供额外的距离信息，但并未考虑基于雷达信息提升摄像头检测低光照和远距离条件下精度不高的问题。雷视数据级融合思路是利用毫米波雷达生成目标框列表，列表中的目标框是对存在目标的假设，再用视觉检测系统验证假设。文献 7 提出了一种基于 SSD8 的雷视数据级融合车辆检测方法。首先对雷达数据进行处理，确定合适的阈值参数以得到有效目标的信息，通过有效目标生成目标假设，最后通过 SSD 算法验证毫米波雷达检测到的目标是否为车辆。但该方法易受雷达漏检影响，且雷达数据缺少目标的高度、大小等信息，生成的检测候选区域与目标实际区域易偏差，而影响图像检测精度。雷视特征级融合思路是将毫米波雷达和视觉传感器数据都送入网络中，结合两者的特征输出检测结果。决策级和数据级融合往往只能检测毫米波雷达与摄像头都可识别到的目标，而特征级融合的方法可以从毫米波雷达与摄像头数据中提取特征，让检测模型学习毫米波雷达与视觉数据之间的关联。即使遇到某一传感器检测效果不佳的情况，也可以用另一传感器的数据进行补充，是同时利用毫米波雷达和摄像头信息最有效的方法。文献 9 提出一种基于毫米波雷达数据的分割网络与视觉检测结果融合的方法。该方法提高了在低光照条件下的检测精度，但没有考虑远距离车辆目标检测问题。文献 10