2023年运动目标检测与跟踪的研究与实现[1].doc

硕 士 学 位 论 文 论文题目 运动目标检测与跟踪的研究与实现 作者姓名 郑志洵 指导教师 杨建刚教授 学科(专业) 计算机应用技术 所在学院 计算机学院 提交日期 2023年5月15日 摘 要 在道路交通管理中，为了获得车辆的运动数据，早期经常采用的是感应线圈等硬件测量的方法。而如果采用摄像头拍摄的道路视频，再用计算机软件处理的方法，那么可以极大的增加方便性和灵活性。本文运动目标检测与跟踪研究如何让计算机从视频图像序列中获得物体运动数据。 运动目标检测与跟踪分为背景提取、运动点团提取、运动点团位置提取、运动物体跟踪这几个步骤，本文对每一个步骤的各种算法做了实验分析比拟研究，并提出了改良算法。在背景提取步骤提出了改良的基于均值的背景提取算法以及减少图像像素的兴趣区提取算法。在运动点团提取的阴影处理步骤提出了改良的基于RGB空间的阴影处理算法。在运动点团位置提取步骤提出了改良的线段编码算法。在运动物体跟踪步骤提出了基于预测的运动跟踪算法。实验与分析说明本文提出的算法优于原算法。 本文还通过实验分析比拟了基于灰度图像序列的运动目标检测与跟踪、基于边缘图像序列的运动目标检测与跟踪，它们都没有基于彩色图像序列的运动目标检测与跟踪效果好。 最后，本文得到了一整套运动目标检测与跟踪的方法，它们的健壮性和实时性都符合实际运用的要求。 关键词： 背景提取、阴影处理、运动目标检测、运动跟踪、彩色图像、灰度图像、彩色边缘检测 Abstract In a traffic control system, in order to achieve the data of moving vehicles, hardware is installed to directly measure them in the early days. If we use computer software to calculate the data from traffic video, we can gain more convenience and flexibility. This thesis is focused on the research of the methods of achieving the data of moving vehicles from traffic video by computer. Moving object detection and tracking can be divided into these steps: background extraction, moving blob extraction, moving blob’s position achieving and moving object tracking. This thesis shows our experiments and analysis on many algorithms in each of the steps. It also shows the improvement of the algorithms made by us. The experiments and analysis demonstrate that the improved algorithms are better then the original ones. Experiments and analysis also demonstrate that moving object detection and tracking based on color images is better than based on the gray images or edge images. In the end we obtain a whole method of moving object detection and tracking. The robustness and real-time property of the method can reach the acquirement of the real application. Keywords: Background Extraction, Shadow Elimination, Moving Object Detection, Moving Object Tracking, Color Image, Gray Image, Color Edge Detector 目 录 摘 要 I Abstract II 目 录 III 第一章 引言 1 第二章 运动目标检测和跟踪的流程 2 第三章 背景提取 7 3.1 彩色图像的背景提取 7 3.1.1 基于均值的彩色图像背景提取 8 3.1.2 改良的基于均值的彩色图像背景提取 9 3.1.3 基于中值滤波的彩色背景图像提取 11 3.1.4 基于共同区域的彩色图像背景提取 13 3.1.5 彩色图像背景提取的实验分析 16 3.2 灰度图像的背景提取 24 3.2.1 彩色图像转换成灰度图像 24 3.2.2 灰度图像的背景提取 25 3.3 边缘图像的背景提取 26 3.3.1 彩色图像的边缘提取 27 3.3.2 边缘图像的背景提取 28 第四章 运动点团提取和背景更新 31 4.1 彩色图像的运动点团提取 31 4.1.1 基于马氏距离的运动点团提取 32 4.1.2 基于欧氏距离的运动点团提取 35 4.2 阴影处理 38 4.2.1 基于RGB空间的阴影处理 39 4.2.2 改良的基于RGB空间的阴影处理 40 4.2.3 基于HSI空间的阴影处理 42 4.3 灰度图像的运动点团提取 44 4.4 边缘图像的运动点团提取 47 4.5 基于帧间差的运动点团提取及其与背景差法比拟 49 4.6 背景更新 50 第五章 兴趣区提取 51 5.1 兴趣区的提取和实验 51 5.2 道路繁忙度获取 53 第六章 运动点团的位置提取 54 6.1 数学形态学处理 54 6.2 轮廓追踪 56 6.3 线段编码 57 6.4 改良的线段编码 58 6.5 运动点团层运动跟踪 59 第七章 运动跟踪 62 7.1 卡尔曼滤波 62 7.2 基于预测的运动跟踪 64 7.3 运动跟踪算法的计算复杂性分析与改良 68 7.4 基于边缘图像的运动跟踪结果 69 7.5 基于预测的运动跟踪算法在不同采样率下的健壮性 70 7.6 运动跟踪的最终结果 74 第八章 总结与展望 75 参考文献 76 致 谢 78 IV 第一章 引言 在道路交通控制管理领域，管理部门需要掌握道路上车辆的速度、车辆的数量等等数据以控制红绿灯平衡道路车流量、对超速和闯红灯的车辆进行处分。早期，人们一般采用感应线圈的方式获得车辆的速度、车辆的数量等数据。这种方法，需要在检测路段埋入感应线圈，这需要对道路施工，会影响交通，严重影响道路寿命，并且感应线圈设备容易被重型车辆压坏，维护起来又要对道路施工，非常麻烦[1]。 随着计算机技术的开展，道路交通数据获取不再需要复杂的线圈设备了。只需在检测路段固定摄像头，摄像头拍摄的道路数字化视频压缩后通过传输线路〔如光纤〕传输到监控中心，监控中心的计算机采用数字图像处理的方法将道路交通的数据计算出来[2]。与早期的方法相比，这种方法利用了软件算法通过计算机的强大计算能力得到我们需要的数据，而不是复杂的硬件设备〔如感应线圈〕对数据直接测量。这极大的增加了方便性和灵活性。如何让计算机从视频图像序列中获得道路交通数据，例如车辆的速度等，近年来很多人对此展开了研究。 从视频图像序列中获得运动物体的数据的方法除了能运用在道路交通外，也能运用于各种监控领域，例如小区防盗、银行监控等等，用以检测和跟踪进入场景的人或物体，应用范围非常广泛。 本文就是研究如何让计算机从视频图像序列中获得物体运动数据——视频图像序列中运动物体的检测和跟踪。研究以道路交通作为实验场景，单摄像头且摄像头固定的情况。输入是RGB色彩空间的视频图像序列，目标是实现对视频图像序列中运动物体的跟踪，获得其在图像坐标下的速度。而多摄像头的情况和摄像头跟随物体运动的情况，比单摄像头且摄像头固定的情况复杂，例如多摄像头的多个二维图像序列中如何重构三维场景等。单摄像头且摄像头固定的情况是最根本的情况，因此本文集中精力研究单摄像头且摄像头固定情况下的运动目标检测和跟踪。 第二章 运动目标检测和跟踪的流程 在道路视频图像序列中获得车辆的速度，可以使用简单的方法，就是在图像中的道路位置设置虚拟检测线，模拟感应线圈，根据虚拟检测线上的像素颜色的变化得到经过虚拟检测线的车辆的速度，同时也可以对经过虚拟检测线的车辆计数[3]。这种方法有很大的局限性。首先，它需要人工标定虚拟检测线，摄像头一旦换位置，就需要重新设定一次虚拟检测线，很不方便；其次，它只能检测通过虚拟检测线的车辆，而对图像其他区域的车辆一无所知，图像的大量信息丧失掉了。因此，本文不采取虚拟检测线的方法，而以运动物体〔车辆〕为目标，跟踪每个运动物体在视频图像序列中的位置，进而得到每个物体的运动速度和运动物体总数。 运动目标检测与跟踪的流程有三个层次，如图一[4]。每个层次再细分，可以得到图二的几个步骤。 图像像素层 运动点团层 运动物体层 图一 运动目标检测与跟踪的层次 视频图像序列 边缘检测 背景提取 运动点团提取 运动点团位置提取 数学形态学处理 物体运动跟踪 兴趣区获取 灰度转换 道路繁忙度 车型车牌识别 道路事件检测 摄像头标定物体真实速度获取 背景更新 图二 运动目标检测和跟踪的步骤 系统的输入是彩色视频图像序列。检测运动物体需要无运动物体的背景图像，而视频图像序列中的每帧图像一般都有运动物体，因此需要提取背景。背景图像提取出来后，将每一帧图像与背景图像作差，然后二值化，得到前景像素构成的运动点团图像，这就是背景差法。 背景提取有很多种算法，第三章将详述与比拟各种背景提取算法，并提出一种改良的算法，实验证明改良的算法有更好的效果。除了直接将视频图像序列做处理外，还可以先将视频图像序列转换成灰度图像序列，然后在灰度图像序列上做运动目标检测和跟踪；或者，因为前景、背景别离的最重要的信息是边缘信息，可先将视频图像序列转换成边缘图像序列，然后在边缘图像序列上做运动目标检测和跟踪[5]。第三章也讲述了彩色图像转变成灰度图像的方法以及提取彩色图像的边缘图像的方法。 第四章讲述并比拟了每一帧图像与背景图像作差的不同方法。由于阴影的存在，背景差法会把阴影作为运动物体的一局部，而阴影会把不同的运动物体连成一片，影响之后的处理，因此需要对阴影做特别处理。第四章讲述和比拟了阴影处理的不同方法，并提出一种改良的算法，实验分析其优于其他算法。第四章也指出了基于灰度图像的运动点团提取无法解决阴影的问题，因此基于灰度图像的运动目标检测与跟踪方法没有基于彩色图像的方法好。提取运动前景像素除了上面所述背景差法外，还可以采用相邻两帧图像作差的帧间差法[6]，第四章接着讲述帧间差法，并将其与背景差法比拟。图像会随时间而变化，得到前景和背景像素后，就可以对背景图像做更新，第四章最后讲述背景更新的策略。 并不是图像的每一个像素都会出