基于视觉与雷达感知融合的环卫车控制系统设计_孙正宜.pdf

人工智能本栏目责任编辑：唐一东Computer Knowledge and Technology电脑知识与技术第19卷第4期(2023年2月）第19卷第4期(2023年2月）基于视觉与雷达感知融合的环卫车控制系统设计孙正宜，王秦越，陈礼群（湖州职业技术学院 机电与汽车工程学院，浙江 湖州 313000)摘要：针对现阶段环卫车辆自动化程度低，核心作业装置的启停主要靠人工控制，在遇到特殊情况时不具备自动反应机制的问题，本文设计了一种基于视觉与激光雷达感知融合的智能环卫车控制方案，通过在车体两侧加装摄像头和激光雷达，使环卫车辆在行驶作业过程中若检测到作业范围内行人存在时，能自动提前关停或减小车辆作业核心装置，直至驶过再重新正常作业。该方案大大减轻了车辆控制人员人工监测、手动操作的工作量，防止因车辆控制人员疏忽而造成车辆作业时对行人产生不利影响。关键词：环卫车；行人辨识；激光雷达测距；控制方案设计中图分类号：TP311文献标识码：A文章编号：1009-3044(2023)04-0023-03开放科学（资源服务）标识码(OSID)：1 引言环卫车作为城市绿色建设中的一环，对城市整洁面貌的保持具有重要意义。常见的环卫车包括洒水车、绿化喷水车、清扫车、压缩垃圾车等。随着科技的发展，智能导航系统和定位系统等远程终端服务的技术水平大大推进，在一些工程车辆上陆续开展了智能控制技术的应用研究。目前主流的研究方向是在工程车辆上加装GPS定位系统与视觉感知系统，应用物联网理论知识，解决环卫车远程监控、科学调度和集中化管理的问题1。由于受到多种因素的限制，无人驾驶与智能控制现阶段主要被应用于小型低速无人车领域，应用场景也多为诸如机场、高校、隧道、大型商场等安全考虑指数较低的环境。考虑到无人驾驶技术在大规模应用前还需进行进一步的安全性能测试，环卫车辆作为大型车辆仍然少不了专门驾驶员进行路况的把控和车辆操纵2，将智能控制引入环卫车辆系统，尤其是工作中可能对行人造成影响的洒水车、绿化喷水车、大型路面清扫车等，以实现行人检测与自动启停，对于环卫车辆的驾驶人员工作辅助与减负还是相当有意义的。例如城市洒水车与绿化车，在遇到作业范围内存在行人的情况下，只能由车辆控制人员主动关闭水阀，关闭不及时或控制人员未注意到行人存在时往往会造成行人被喷溅的结果，有时行人为了躲避作业中的环卫车辆而慌不择路，甚至会引发严重的交通事故。因此，有必要研究更加智能的环卫车控制系统。本文按照环卫车辆自动区别障碍物与行人，作业时不影响行人的要求，设计了一种基于视觉与激光雷达感知融合的智能环卫车控制方案。通过摄像头获取图像信息进行行人检测，与激光雷达获取的激光点云测距信息相结合，有效地检测环卫车作业范围内行人的存在，通过智能控制算法实现自动关停或减小车辆作业核心装置的控制效果，在避免影响到行人或非机动车辆的前提下，保证车辆作业面积和范围。2 系统设计2.1 方案设计通常情况下，环卫车辆的核心作业装置应只对工作范围内出现的行人进行避让，而无须对工作范围外的人员做出反应。因此本方案关注的两个问题为视野中是否检测到行人以及行人是否在工作范围内。对于第一个问题，可采用行人检测算法进行可视范围内的行人检测，考虑到基于单目的视觉方案虽能完成行人目标辨识，但无法获得行人的距离信息，而双目方案虽能同时获取距离信息但计算量过大，对算法平台要求高且实时性较差3，因此本方案采用激光雷达结合基于单目视觉的行人检测模块进行协同工作，为系统提供行人的实际距离信息。在实际实施中，车辆两侧各配备一组16线激光雷达与相机，相机获取环卫车周围路面图像，并传送至控制器进行行人检测。激光雷达则在工作过程中向外发射激光，并接收目标反射信号构成激光点云，经信号处理后快速准确地获取汽车车身周围的物理环境信息，以判断环卫车作业范围内是否有障碍物的存在，并将障碍物的测距信息传送至控制器内进行处理。当行人检测算法识别出视野中的行人目标存在，且激光测距的结果判断该目标处于车辆工作范围内，即关断或减小核心作业装置的相应侧阀门，上述协同收稿日期：2022-11-02基金项目：基于行人检测的智能环卫车方案设计（项目编号：2022YB05)，负责人：孙正宜；垃圾分类收运设施设备提升及应用（项目编号：2021XD028)，负责人：王秦越作者简介：孙正宜(1995)，女，河南西平人，助教，硕士，主要研究方向为机器视觉、智能控制、电气控制。E-mail：http：/Tel：+86-551-65690963 65690964ISSN 1009-3044Computer Knowledge and Technology电脑知识与技术Vol.19,No.4,February202323DOI:10.14004/ki.ckt.2023.0196本栏目责任编辑：唐一东人工智能Computer Knowledge and Technology电脑知识与技术第19卷第4期(2023年2月）第19卷第4期(2023年2月）工作的流程如图1所示。图1行人检测和激光雷达测距协同工作示意图2.2 行人检测在本方案中，行人检测模块由摄像头模组结合运算平台搭载的行人检测算法完成，摄像头获取路面图像信息后，通过行人检测算法完成对行人的识别。本方案采取方向梯度直方图(Histogram of Oriented Gradient,HOG)特征结合支持向量机(Support Vector Machine,SVM)分类器进行行人检测4-5，能有效检测出步行行人及驾驶非机动车的行人。算法的整体工作流程以及所获得的城市街道行人检测效果分别如图2(a)、(b)所示。从实验效果来看，受限于采样图片的分辨率等因素，该行人检测算法对于远处、有遮挡的行人识别效果不佳，但对于近处无遮挡的步行行人以及非机动车驾驶行人具有较高的识别率，满足整体方案的要求。(a)HOG+SVM行人检测(b)城市街道行人检测效果算法整体流程图22.3 激光雷达测距采用上述行人检测算法识别出视野内的行人目标后，输出目标的检测框。为了获取行人目标的真实位置信息，需要将雷达获得的点云数据与图像数据预先进行关联，以便对检测框内的点云深度信息进行提取。为了完成上述关联，需要将雷达数据和图像数据进行时间与空间上的双重匹配6。时间匹配指的是不同传感器的每次有效协同采样应该为同一时刻所获取，通常可将不同传感器的数据统一至扫描周期较长的传感器上，同时采集一帧雷达数据与一帧图像数据。由于环卫车在城市街道进行作业时的行驶速度一般不高，最高时速限制在20至30km/h左右，相机的采集帧率可以选取为30fps，激光雷达的扫描帧率为10Hz，为了保持时间匹配，协同采样的帧率选取可以统一至雷达扫描帧率，如图3所示。图3雷达数据与图像数据协同采样帧率空间匹配则是按照标定法则，对雷达坐标系和相机获取的图像坐标系进行匹配，并将激光雷达获取的三维点云投影至二维图像平面上。图像数据中的一个像素点p(u,v)与其相对应的雷达数据扫描点P(x,y,z)可通过下述转换关系，进行转换求取7-8。ZC|uv1=M03 1|RT01 31|xyz1(1)其中ZC为相机光轴，M为相机内参矩阵，由相机横纵焦距、光学中心位置等确定;R和T分别为两坐标系转换的旋转矩阵和平移向量，可使用自动驾驶软件平台Autoware的标定工具Calibration Tool Kit进行确定。在像素点原有维度上添加雷达的y分量，表示与障碍物的距离，扩展为p(u,v,y)。当获取行人目标的检测框后，选取检测框中心点、检测框中心点与检测框四角连线的中间点共5个像素点，如图4中O、A、B、C、D所示，对其y分量求均值 作 为 该 行 人 目 标 的 实 际 距 离y，即y =()yO+yA+yB+yC+yD5。图4检测框标志点选取2.4 控制算法设计当视野内检测到多个行人目标时，总以距离最近的行人作为参照调节环卫车作业机构的阀门开度。在应用中，可以根据实际工作的不同的需求设置以下两种工作模式：即停式与调节式。即停式为在工作范围内一旦检测到行人存在，即y min yTH时，立即关闭相应侧执行机构，其中y min为最近的行人距离，yTH为由环卫车工作影响范围大小所确定的阈值，当行人处于环卫车作业范围外时再进行相应侧执行机构的开启。即停工作模式受摄像头角度范围制约，可能造成执行机构的提前开启而影响行人。调节式为当工作范围内出现行人时，利用行人的距离信息进行执行机构工作阀门开度的调节，在行人距环卫车的距离由大变小时调小阀门开度，距离变大时调大阀门开度，至行人离开环卫车作业范围外时阀门开度恢复至设定的初始最大值。本文引入神经网24人工智能本栏目责任编辑：唐一东Computer Knowledge and Technology电脑知识与技术第19卷第4期(2023年2月）第19卷第4期(2023年2月）络中常见的激活函数Sigmoid函数，对其进行修改优化后控制作业机构阀门开度，具体阀门开度与行人距离的对应关系为：O=100%1+e-2y min+N(2)其中参数N根据yTH的值进行确定，N值越大，S型函数的整体向右偏移越大，通过设置合适的N值，可以在距离较小时获得适当的“死区”，以达到当行人处于较近距离内时阀门无法开启的效果。如图5所示，当设置N值为12，从相应的阀门开度曲线可以看出，行人距离小于3米时阀门基本处于关闭状态，当行人距离为9米时，阀门基本完全打开。024681012行人距离/m010%20%30%40%50%60%70%80%90%100%工作阀门开度N=6N=12N=18N=12时“死区”图5阀门开度与行人距离的对应关系3 结论本文设计了一种基于视觉图像与激光雷达感知融合的智能环卫车系统方案。通过基于HOG+SVM的行人检测算法检测视野范围内是否存在行人，检测到行人目标存在后，通过提取行人目标检测框内的激光雷达深度信息，获取行人距离并判断其是否处于环卫车作业范围内。若在环卫车辆行驶作业过程中检测到作业范围内行人存在，则根据行人距离自动调整车辆作业核心装置的阀门开度。该方案提升了环卫车的智能化水平，节约了人力物力，能够有效降低环卫车辆作业期间对行人产生的干扰。参考文献：1 Wang J,Yu X P,Liu Q,et al.Research on key technologies of intelligent transportation based on image recognition and anti-fatigue drivingJ.EURASIP Journal on Image and Video Processing,2019,2019(1):1-13.2 Enzweiler M,Gavrila D M.Monocular pedestrian detection:survey and experimentsJ.IEEE Transactions on Pattern Analysisand Machine Intelligence,2009,31(12):2179-2195.3 白辰甲.基于计算机视觉和深度学习的自动驾驶方法研究D.哈尔滨:哈尔滨工业大学,2017.4 徐渊,许晓亮,李才年,等.结合SVM分类器与HOG特征提取的行人检测J.计算机工程,2016,42(1):56-60,65.5 Chu X G,Zheng A L,Zhang X Y,et al.Detection in crowdedscenes:one proposal,multiple predictionsC/2020 IEEE/CVFConference on Computer Vision and Pattern Recognition(CVPR).June 13-19,2020,Seattle,WA,USA.IEEE,2020:12211-12220.6 向滨宏.基于汽车雷达和摄像头信息融合的目标检测方法研究D.重庆:重庆大学,2017.7 牛萍娟,刘雷.基于神经网络的毫米波雷达与视觉传感器联合标定方法