雷达与视频融合的复杂环境目标检测方法_段涛伟.pdf

敬请登录网站在线投稿（）年第期 雷达与视频融合的复杂环境目标检测方法段涛伟，陈平（中北大学 信息探测与处理山西省重点实验室，太原 ）基金项目：国家自然科学基金（）。摘要：提出了一种将优化雷达点迹关联和雷达信息与相机图像信息融合决策的方法。使用微波雷达和可变焦相机，从带有噪声的原始雷达数据中提取出有效的目标信号，利用齐次坐标表示投影方程，实现雷达视觉数据空间对齐，利用雷达点投影影响视觉 检测框的位置。实验结果表明，相对于传统方法，对于复杂环境中的目标融合，本文提出的方法融合检测成功率提升了，在获取更精确目标属性的同时消除了环境杂波干扰。关键词：微波雷达；数据融合；目标检测；单目相机中图分类号：文献标识码：，（，）：，：；引言复杂环境中的感知系统为了获得更多的被检测物体的细节信息，通常会配备不同的传感器进行信息间的相互辅助。雷达探测与视频监控融合能够充分发挥两种传感器的优势，提升系统功能的多样性，使系统能够更好得适应环境变化。近年来，随着深度学习的发展，人们发现它在目标检测方面的巨大潜力。然而，由于在实际复杂环境场景下，障碍物包括树木、行人、汽车、自行车等，视觉范围内的障碍物有不同的尺度和长宽比，检测算法面临着非常复杂的情况，目前的视觉目标检测算法已经遇到了性能瓶颈。此外，障碍物之间可能存在不同程度的遮挡，导致检测性能大大降低。与视觉传感器相比，雷达的检测性能受环境变化影响较小。雷达不仅测量距离，还利用运动物体反射信号的多普勒效应来测量速度矢量。将雷达与视频融合能够充分发挥两种传感器的优势，提升系统性能。但现有方案在复杂环境中的感知系统仍存在不同维度下的两种传感器数据匹配困难、环境变化适应性差、融合决策方案不准确等问题。针对上述问题，本文提出了一种将优化雷达点迹关联和雷达信息与相机图像信息融合决策的方法，实现目标检测并获取其动态信息。首先，从带有噪声的原始雷达数据中提取出有效的目标信号；其次，利用齐次坐标表示投影方程实现雷达 视觉数据空间对齐。在此基础上利用雷达点投影影响视觉 检测框的位置，消除树木、阴影等干扰。融合机制及系统架构 融合机制按照当前通行的分类标准，可以将多传感器融合分为个层次，即数据层、特征层与决策层，种层次结构分别有自己的适用范围。本文所用的方法基于决策层融合，能针对不同传感器使用最符合其特性的识别方法，充分发挥各个传感器的优势，减少受复杂环境影响产生的单个传感器 年第期 数据的误判，降低误差。数据融合系统架构如图所示。图数据融合系统架构 数据预处理由于在实际环境中，会有环境干扰造成的杂波信号，使得信号处理后生成的点迹不仅包含了目标的点迹，还包含了复杂的虚假点迹。这对目标跟踪造成了困难，所以对雷达数据进行目标跟踪处理前，首先要对雷达数据进行预处理。由于雷达返回的航迹数据已经航迹批号编号完成，仅需筛选航迹中的杂点，针对复杂环境内的多杂波特性，使用最近邻关联算法消除虚假点迹，实现目标跟踪。最近邻关联算法的核心思想：首先根据建立的目标状态方程将上一时刻的目标位置外推到当前时刻，并以外推位置为中心，建立跟踪波门。若跟踪波门内仅出现一个量测点迹，则直接将该点迹作为目标点迹，运用滤波算法对目标状态（包含位置、速度等信息）做滤波调整，常用的滤波算法为卡尔曼滤波。当跟踪波门内出现多个量测点迹时，取离外推位置统计距离最近的量测点迹为关联点迹，将其作为该时刻的量测点迹，做滤波处理。假设当前时刻某一量测位置为（），根据运动方程将上一时 刻 的 点 迹 外 推 到 当 前 时 刻 后 的 目 标 位 置，即?（）：?（）（）?（）（）协方差记为（）：（）（）?（）（）（）（）其中，（）为观测矩阵，?（）为预测协方差矩阵，（）为量测误差矩阵。则统计距离为：（）（）（?）（）（）?（）（）该方法优点在于计算量小，且简单，但是只适用于本文中使用的已编号建立批次的场景。通过该方法可以实现对航迹目标的筛选，最大限度消除环境产生的干扰。点迹筛选前后对比如图所示。为使雷达与相机融合的目标检测追踪系统能够应用于复杂环境的监测系统中，这就要求融合系统能对监测范围内的目标实现检测和跟踪等功能。为实现以上目标，相图点迹筛选前后对比机的目标识别对象是人体与车辆。时间配准由于不同传感器在空间位置和采样频率上的差异，不同传感器对同一目标的感知信息可能不匹配，因此需要标定不同传感器的传感信息。雷达与视频信息在空间上的融合主要是为了建立目标的对应关系；时间上的融合，主要是确保系统的实时性，即两个传感器检测到的目标是当前时刻的目标。由于雷达传感器与摄像头采样率不同且处理时间也不同，导致两者的数据输出发生在不同时刻，因此数据在时间上不一致。在时间起点对齐后，根据雷达和视频设备采集数据的帧率对两者数据帧进行匹配对应。雷达刷新率为 帧 秒，视频帧率为 帧 秒，数据帧融合示意图如图所示，上半轴表示视频时间戳，下半轴表示雷达时间戳，圆点标记部分为融合时间点。图数据采样频率配准示意图敬请登录网站在线投稿（）年第期 基于雷达点投影的空间配准雷达点的值由横向速度、纵向速度和距离这个物理量转换而成，雷达点的颜色代表雷达点对应物体的物理状态（靠近或者远离）。一般来说，传感器标定包括坐标标定、雷达点滤波和误差标定。普通雷达给出的 坐标位置要转换到，图像像素点转换要加入相机与雷达的相对位置信息，转换方程为：（）在转换时，雷达与相机位置信息需要提前加入转换方程，然后再从雷达的位置移动到相机的位置（涉及平移和旋转操作），将其应用于每个 点。但是一般方法得到的投影方 程 涉 及 到 的 除 法，这 使 得 它 们 是 非 线 性 的（），无法将它们转换为更方便的矩阵向量形式。一般方法是在两个欧几里得坐标系之间来回转换，这是一种非线性表示方法，但是一旦处于齐次坐标系中，对雷达的点投影变换将变为线性，因此可以将这一过程表示为简单的矩阵向量乘法。由于相机与雷达的相对位置已经固定，可以减少每次转换之前输入的位置信息，在减少这部分输入之后，可以更快速地将雷达给出的 坐标位置转换到 图像像素点，同时更改雷达和相机的坐标系，从原始的欧几里得坐标系转换为齐次坐标系的形式。（，）（，）（）在转换为齐次坐标之后，就可以用更简单的矩阵向量形式表示投影方程了。将在雷达传感器坐标系中测量的点投影到相机中，使坐标系中的点关联到相机坐标系，操作可以分为部分：平移、旋转和缩放。坐标平移和坐标旋转示意图如图所示。通过添加平移向量到，使得点线性平移到新位置。（）通过成分乘以尺度向量实现缩放。，（）点在顺时针方向上的旋转实现：图坐标平移与坐标旋转 （）（）通过平移矩阵和旋转矩阵将各个外参矩阵进行级联，实现了在 空间中的雷达坐标点 到 像素平面中的点 之间的投影。雷达与摄像机数据匹配算法将雷达探测器与视频摄像头安装在合适的位置，调整摄像头的角度使之对空间坐标系无旋转角，此时相机坐标系与空间坐标系近似重合。如图所示，雷达探测器中心和摄像头中心在同一垂直线上，高度相差，高度设置为。图世界坐标示意图根 据 设 定 的 安 装 环 境 ，将参数代入可得：年第期 （）可知，由水平偏移量 和距离 决定，由高度差 和距离决定。雷达可以得到目标在空间坐标系下的距离、高度、方位角个参数，在对雷达目标与视频中目标进行匹配时，先计算出目标在像素坐标系的坐标，然后建立雷达目标与视频目标的对应关系。目标参数、与雷达架设高度有关，雷达架设高度设为。匹配步骤：第一步：将得到的雷达目标参数转换到像素坐标系（，），图像中目标外接矩形的中心坐标为（，）。第二步：按序对雷达检测的目标和视频检测的目标进行匹配，若 、，则第个目标和第个目标匹配成功，将目标序号存入数组，否则匹配不成功。第三步：如果匹配后出现一个对应多个的情况，则取 最小的那一组为最终匹配结果。第四步：根据最终匹配结果，将目标参数显示在图像中对应矩形上方。融合算法测试结果对比针对单传感器固有的问题，根据数据融合算法，通过所采集到的数据对算法进行测试验证，输出对比结果如下：当雷达检测到目标而视频未检测到时，为了体现真实情况、防止漏检发生，将检测结果直接在视频中显示，复杂环境中的目标用左侧的框标出，正常道路上的对比目标用右侧的框标出，同步的雷达显示如图所示。图仅雷达检测到结果示意图选择对目标识别明显的视频数据跟踪结果作为输出，处理前后随机帧对比结果如图和图所示。图场景目标融合检测前后对比图场景目标融合检测前后对比图场景目标融合检测前后对比为 了 对 比 雷 达 跟踪、视频跟踪和融合跟踪算 法 的 速 度 与 准 确性，统计种场景下的交通目 标 数 据，设定跟踪率参数作为定量分析结果。假设测试数据段交通目标总数为，成功跟踪的目标数量为，则此段数据跟踪率为：跟踪成功的目标判断为 目 标 的 速 度 及 编号，若跟踪到准确的目标，则判断目标跟踪成功，反之，则跟踪失败。种测试场景的跟踪结果如表所列。表检测结果统计测试场景目标测试次数传统融合检测率本文融合检测率单帧融合平均时长 种检测场景对比结果表明，因为单雷达对以径向速度移动的目标识别结果明显，且多普勒频率变化明显，所以场景中雷达检测效果比较差，但根据信息融合算法的计算，在处理了部分单传感器跟踪问题后，跟踪效率进一步提高，且融合算法相比于传统的模糊集数据融合算法跟踪率更高。敬请登录网站在线投稿（）年第期 结语本文提出了一种将优化雷达点迹关联和雷达信息与相机图像信息融合决策的方法，实现目标检测并获取其动态信息。首先，使用微波雷达和可变焦相机，从带有噪声的原始雷达数据中提取出有效的目标信号；其次，利用齐次坐标表示投影方程实现雷达视觉数据空间对齐，利用雷达点投影影响视觉 检测框的位置，可以在获取更精确目标属性的同时消除更多环境杂波干扰。参考文献范邓楠基于微波雷达与视频融合技术的车辆检测系统研究桂林：桂林电子科技大学，：，：，朱玉成智能驾驶汽车毫米波雷达应用分析中国新通信，（）：，袁赛柏，金胜，朱天林 雷达发展技术综述 现代雷达，（）：孙扬，杨贺无人驾驶车辆智能水平等级划分科技导报，（）：刘任机场周界监视雷达入侵目标检测与跟踪技术研究成都：电子科技大学，万仁杰 毫米波线性调频连续波汽车雷达关键信号处理技术研究 南京：南京理工大学，黄海 视频与雷达数据融合在周界入侵报警的应用探讨智能建筑与智慧城市，（）：，：冯勋勋车辆目标跟踪系统设计与交互行为预测方法研究西安：西安理工大学，段涛伟（在读硕士），主要研究方向为数据融合等；陈平（教授），主要研究方向为信号与信息处理、图像处理与重建、人工智能等。通信作者：陈平，。（责任编辑：薛士然收稿日期：）图测试结果具有一定的借鉴意义。参考文献 ，：，（）：王立华，邓健基于 的智能家居实验平台设计 实验科学与技术，（）：邓健，王立华 基于 和 的智能家居数据采集与控制系统设计 电子器件，（）：林贤炼，方遒 语言在物联网中的运用 闽江学院学报，（）：陈彦溱，钱璐遥，陈麒安，等 用 于 微控制器的研究与设计 中国集成电路，（）：徐帅驰，郑恭明 与云平台在互联网应用领域的开发与应用单片机与嵌入式系统应用，（）：董俊杰（研究生），主要研究方向为嵌入式软件开发；彭亚斌（工学博士），主要研究方向为嵌入式软件开发。通信作者：彭亚斌，。（责任编辑：薛士然收稿日期：）