动态帧差法及其FPGA设计与实现_黄名政.pdf

第 卷第期 年月光学技术 文章编号：（）动态帧差法及其 设计与实现黄名政，李彬华，（昆明理工大学 信息工程与自动化学院，云南 昆明 ）（昆明理工大学 云南省计算机技术应用重点实验室，云南 昆明 ）摘要：帧间差分法是运动目标检测的经典方法，但当运动目标速度低到一定数值时，难以检测到运动目标。针对其可检测目标速度的限制，在帧间差分法的基础上，提出了动态帧差法。结合 处理的特点，进行了动态帧差算法的 设计与实现，并构建了一个新的实时运动目标检测系统。系统能够根据目标运动情况自适应调整用于差分图像的帧间距，既适用于较快运动目标的检测，也适用于低速运动目标的检测，扩大了系统可检测运动目标的速度范围。对 端口进行区域划分，解决了在资源有限的 上对图像的多帧存储的问题。多组实验结果证实了动态帧差法及其 设计模块的有效性和实时性。相比其他系统，所研究系统在检测低速运动目标方面具有明显的优势，且可处理 的彩色视频流。关键词：图像处理；目标检测；帧间差分；实时性中图分类号：；文献标识码：，（，）（，）：，：；收稿日期：；收到修改稿日期：基金项目：国家自然科学基金项目（）作者简介：黄名政（），男，硕士研究生，从事成像技术与图像处理方面的研究。李彬华（），男，教授，博士生导师，博士，从事电路分析与设计、成像技术与图像处理天文探测器技术等方面的研究。通讯作者：DOI:10.13741/ki.11-1879/o4.2023.02.014引言近年来，随着人们的公共安全防范意识增强，视频监控技术在各领域中的重要性也随之增加，。其中运动目标检测算法在视频监控技术领域中扮演着重要角色。现阶段，在计算机（，）上实现目标检测已数见不鲜，且处理器主频能够达到 级别，但处理方式建立在串行处理基础上，实时性较差。尽管引入嵌入式系统来实现图像处理相应算法，在一定程度上提高了算法运行速度，但本质上处理方式依然是串行处理，仍存在一定的缺陷。因此，引入具有并行计算能力的硬件和软件平台是一个可行的解决方案，其中 图形处理器（，）在图像处理时具有良好的效果，但这种系统体积较大、成本较高，对于移动的或空间有限的应用场景，方式就略显逊色。此外，目前有些硬件系统具有并行处理能力，他们在加速算法的同时，还具有体积小、成本低、适用场景广（如军事侦察、空间目标监测等）等特点。现场可编程逻辑阵 列（，）具有流水线、并行处理和可重构性特点，对算法加速也具有天然优势，。因此，以 作为核心处理器来实现高清图像的实时处理成为当今研究热点之一。近年来国内外越来越多的学者将运动目标检测算法移植在基于 的硬件系统上。等利用可变阈值的背景差分法检测运动目标，通过 小波变换提取运动目标特征信息，降低了系统硬件资源消耗。等利用当前帧与补偿后的背景帧提取运动目标特征信息，以该方法在 开发板上构建的系统可处理 的视频流。等利用滑动窗口跳过输出中不变的部分，降低了运动目标候选区域数量，最终降低系统功耗。则利用残差边缘与泊松求解器重构运动目标，成功的抑制了光照对系统检测率的影响。亢洁等利用鲁棒主成分分析与三帧差分相融合实现的目标检测，消除了“空洞”现象。黄成章等通过帧间差分法确定运动目标，利用数据关联技术抑制虚警目标，提高了系统的准确率。王春江等利用改进的 算法检测运动目标，该方法对小目标更具敏感性，最终通过软硬件协同的方式在 开发板上完成系统设计。邢凯等利用背景差分法和帧间差分法与包围盒结合，实现了彩色视频流的单运动目标的检测与跟踪。刘汝卿等实现了目标实时跟踪和显示，并得出系统检测效果与运 动目 标 速 度 和 摄像头与 运 动 目 标 距 离 有关。张彩珍等通过五帧差分法和背景差分法相融合 来 检 测 运 动 目 标，改 善 了 运 动 目 标 提 取 效果。虽然人工智能、深度学习是当前最热门的研究领域，其在运动目标检测及其 系统实现方面的也有少量报道，但总的来说，目前这些系统的实时性还不能满足要求。综上，目前在 上实现的运动目标实时检测与跟踪系统层出不穷，不同系统在特定方面有一定的自身优势，但也存在一定缺陷。从系统处理图像分辨率和帧率来看，大多系统可处理分辨率与帧率 偏 低，且 部 分 系 统 仅 支 持 灰 度 视 频 显示，其视觉效果较差。从系统可检测目标特征来看，多数系统仅适用于对运动速度较快、体积较大、距离较近的目标，而对运动速度较低的目标则较难达到理想的检测效果，。对于低速运动目标或者远离摄像头的运动目标，在相邻两帧图像采集的时间内，其影像反映到摄像头的图像传感器面阵上的移动距离很小。当这个移动距离小于 个像素间距时，帧间差分法就会失效。因此，基于 的低速运动目标实时检测系统的研究具有一定实用价值。其中的“低速”是指运动目标速度折算为相邻帧间像素值移动较低的情况。针对上述问题，本文在经典的帧间差分法和三帧差法的基础上，提出了一种自动调节帧差间隔的前后两次帧间差分方法，称之为动态帧差法。结合 处理的特点，构建了基于 的低速运动目标检测系统。本系统可实时检测视频流中较快速运动目标和低速运动目标，并通过包围盒持续标记已检测目标，直至目标离开检测区域。动态帧差法 图像差分方法动态帧差法示意图如图所示，其中为中间帧序号，为两帧差分的间隔帧数，和分别为用于差分的前后对称的两帧序号。由于目标运动的速度是系统无法预知的，要适应不同运动速度的目标检测，所以必须是可以动态调整的。图动态帧差法示意图光学技术第 卷动态帧差法计算公式表示为（，）（，）（，）（，）（，）（）（，）（，）（，）（，）（，）（）（，）（，）（，）（）式中，（，）表示视频流中第帧图像在像素坐标（，）点的灰度值；为差分图像二值化的阈值；（，）、（，）为前后两次图像差分后的二值化图像；表示图像相“与”；（，）为动态帧差法最终结果。动态帧差法过程中可能伴随着椒盐噪声，在后续处理过程中将通过形态学滤波方式滤除噪声。算法流程动态帧差法在检测运动目标时，由于目标运动速度属于未知值，导致隔帧数动态变化，相较于帧间差分法或三帧差分法，在处理过程中增加了一定难度，特别是在 这种资源受限的硬件上实现时，难度更大。动态帧差法流程图，如图所示。动态帧差算法处理流程是，首先对得到的视频流逐帧进行高斯滤波，并对滤波后图像进行灰度化；之后对，三帧图像进行三帧差分法，并将差分后结果进行二值化及形态学滤波处理，接着根据检测结果判断是否存在运动目标，若不存在则将后重新进行差分运算，直到大于设定阈值；若存在运动目标，则提取目标特征信息，并将其以包围盒形式叠加在输出图像上。其中目标标记是通过包围盒方式持续标记已检测的运动目标，目标标记过程统计差分后图像中运动点坐标信息，即可获得目标包围盒坐标信息，具体表示为 （，）（，）（，）（，）（）式中，（，）和（，）分别表示包围盒左上和右下坐标；和 分别表示第个运动点的横坐标和纵坐标。动态帧差法是帧间差法或三帧差法的思想的拓展，只是实现时增加了一个循环的差分和判断过程。在基于 的处理平台上，由于 的资源丰富（内存大、使用高级编程语言），这个循环的实现很简单。但在 这 种 资 源 紧 张、采 用 硬 件 描 述 语 言图算法流程图（，）的平台上，这个循环的实现就很有挑战性。下面通过对一个具体的运动目标检测实验系统的设计与实现过程，介绍动态帧差算法在 上的设计技术。基于动态帧差法的 设计与实现基于 运动目标检测系统，从构成系统的模块结构上来说，不同系统差别并不大。不同系统的特色或差别都体现在关键模块的设计与实现方面，特别是帧差模块及与其相差的数据传输和处理模块。下面分小节介绍本系统的 设计技术，特别是动态帧差分模块、图像存取模块等。实验系统总体设计结合 对信息处理的特点，采用 对动态帧差法进行逻辑设计，在 系列的 开发板上构建了一个新的运动目标实时检测实验系统。该系统由图像采集、图像滤波、图像存取、目标检测和图像显示五大模块组成，系统总体结构框图如图所示。图像采集模块：实时获取视频流。图像滤波模第期黄名政，等：动态帧差法及其 设计与实现图系统结构框图块：滤除采集视频流时引入的噪声。图像存储模块：将多帧图像存储于第三代双倍数据率同步动态随机存取存储器（，）中。目标检测模块：采用本文所提出的动态帧差法，获取运动目标特征信息。图像显示模块：将运动目标特征信息以包围盒形式叠加在缓存于 中图像上，最后通 过 视 频 图 形 阵 列（，）显示器显示标记后图像。其中图像采集和图像预处理模块可以参看以前发表的相关论文，这里仅介绍本系统设计时有创新的三个模块的设计与实现过程。图像存储模块设计为了在 上实现对图像的多帧存储，将对 各端口划分为 个区域，以隔帧数为例，各端口详细分配情况如图所示。图 各端口详细分配图图中 为只写端口，将视频流按帧循环写入 个区域；、和 口为只读端口，每读一帧读端口将后移一个区域，直到第 个区域再次回到第个区域。其中、读出的图像用于图像差分，仅提取分量即可，供后续差分模块使用；端口需等待目标检测模块完成后读出图像，该图像直接输入到图像显示模块，需保留 格式。整个 存储图像格式均为 格式，后续处理若需要灰度格式时，提取分量即可；若需要彩色图像格式，通过流水线实现如下式表示为.（）.（）.（）.（）.（）.（）.（）（）与文献 中同时存储灰度和彩色两种格式的方法相比，本系统的 片上资源消耗更少。目标检测模块设计采用动态帧差法进行运动目标检测是本文的主要创新点。目标检测模块就是用来实现动态帧算法关键模块，其设计框架如图所示。其主要功能是对来自 的图像进行一系列操作后，获得包围盒坐标信息。该模块包括图像差分模块、形态学滤波模块和运动目标判断模块，通过这三个的模块有机组合，实现自适应的动态帧间差分。图低速运动目标检测框架图为了系统便于显示目标检测与跟踪效果，目标检测模 块工 作 频 率 调 整为显示 模 块 的 工 作 频 率 。但 工作频率为 ，所以在 读取数据时通过异步 缓存模块解决跨时钟域带来的问题。下面详细介绍各子模块算法实现的具体方法。图像差分模块该模块主要实现不同帧间距的图像的差分。图像滤波后，由于 片上随机存取存储器（，）有限，无法直接在 片上存储多帧图像用于隔帧差分运算。因此需要通过外部存储器 缓存多帧图像，并在需要时读出图像进行差分。首先，通过 、三个端口从 读出图像并提取分量。之后，对提取分量的三帧图像进行三帧差分法。接着，分别对两组差分运算结果进行二值化。最后，将两组二值图像相“与”将得到动态帧差法结果。形态学滤波模块差分二值化过程中可能伴随着椒盐噪声的产生，为提高系统检测的准确性，需对差分后二值图进行形态学滤波处理。本系统选择的是形态学处理高级运算中的开运算，即先腐蚀后膨胀。处理过程需要一个的模板窗口，常见的窗口大小有和。本系统采用卷积核实现形态学处理，窗口模板如图所示。在 上实现窗口，可使用个先进光学技术第 卷图窗口模板先出（，）知识产权（，）核实现。首先将视频流数据写入第一个 （）中，然后等待一行数据写完后，将 中 数 据 读 出 并 写 入 第 二 个 （）中，再次等待一行数据写完后，将 中数据读出并写入第三个 （）中，最后就实现了窗口模板。由于 具有流水线处理特点，当实时视频流第三行第三个数据出现时就可以进行腐蚀操作。类似地，当腐蚀结果第三行第三个像素出现时就可进行膨胀操作。运动目标判断模块经过形态学滤波后得到仅含运动点和非运动点的图像。整个系统前后通过了高斯滤波与形态学滤波，经过两次滤波后图像基本不含孤立点。此时通过判断二值图像中是否含有运动点，即可初步判断视频流中是否存在运动目标。为了提高低速运动目标检测效果，当系统判断没有运动目标时，动态增加差分隔帧数（）后重新进入目标检测模块，直到大于最大值。当系统判断存在运动目标，直接统计运动点的坐标信息，并求出所有运动点在 方向最值（最大值与最小值），得到的最值坐标信息就是运动目标对应包围盒的左上（，）右下（，）坐标信息。为保证系统的实时性，图像存储模块仅划分 块区域缓存帧图像，所以动态帧差法的最大帧间距为 。为了实时显示系统隔帧数，将作为输出与 开发板上个发光二极管（