基于双模型竞争机制的目标跟踪算法_林彬.pdf

第 5 期2023 年5 月电子学报ACTA ELECTRONICA SINICAVol.51 No.5May 2023基于双模型竞争机制的目标跟踪算法林彬1，2，王华通3，封全喜1，2（1.桂林理工大学理学院，广西桂林 541004；2.广西高校应用统计重点实验室，广西桂林 541004；3.广东外语外贸大学信息科学与技术学院，广东广州 510006）摘要：为解决背景感知相关滤波器存在的特征表达能力不足和模型漂移问题，本文提出了一种基于双模型竞争机制的目标跟踪算法.一方面，本文基于颜色和梯度信息设计了一种简单高效的特征描述子，以实现更鲁棒的目标表观建模.另一方面，本文分别构建初始模型和变化模型作用于目标搜索区域，并根据两者的跟踪响应图置信度来决定跟踪结果.跟踪过程中，随着双模型主导地位不断地动态切换，变化模型也被赋予了可逆向学习的能力，从而达到缓解模型漂移的效果.实验结果表明，相比于基准算法，本文算法在OTB2015、TinyTLP和UAV20L三个数据集的跟踪精度分别提升5.0%、1.3%和4.1%，跟踪成功率分别提升3.8%、2.8%和1.7%，且在对不同跟踪场景实现稳定跟踪的同时能够保持25.5 fps的实时跟踪速度.关键词：目标跟踪；相关滤波；双模型竞争机制；特征描述子；跟踪置信度；模型漂移基金项目：国家自然科学基金（No.62166015）；广西自然科学基金（No.2019GXNSFBA245056）中图分类号：TP391.4文献标识码：A文章编号：0372-2112(2023)05-1381-07电子学报URL:http:/DOI:10.12263/DZXB.20221375Object Tracking Algorithm Based on Dual-Model Competition MechanismLIN Bin1,2,WANG Hua-tong3,FENG Quan-xi1,2（1.College of Science，Guilin University of Technology，Guilin，Guangxi 541004，China;2.Guangxi Colleges and Universities Key Laboratory of Applied Statistics，Guilin，Guangxi 541004，China;3.School of Information Science and Technology，Guangdong University of Foreign Studies，Guangzhou，Guangdong 510006，China）Abstract:To solve the problems of insufficient feature expression ability and model drift in the background-aware correlation filters,this paper proposes an object tracking algorithm based on a dual-model competition mechanism.On the one hand,a simple and efficient feature descriptor that integrates color and gradient information is designed to achieve more robust target appearance modeling.On the other hand,we construct two filter models to describe the objects initial appearance and its variations,and then apply them to the target searching area respectively.The tracking results are determined by the confidence of the tracking response maps corresponding to these two models.During the tracking process,with the dynamic switching of the dominant position of the two models,the filter model for adapting to object variations is also endowed with the ability of reversible learning to alleviate the model drift.The experimental results show that,compared with the baseline tracker,the tracking precision of the proposed algorithm on OTB2015,TinyTLP and UAV20L datasets is improved by 5.0%,1.3%and 4.1%,and the tracking success rate is improved by 3.8%,2.8%and 1.7%.The proposed algorithm can also achieve stable tracking performance for different tracking scenarios while maintaining a running speed of 25.5 fps.Key words:object tracking;correlation filter;dual-model competition mechanism;feature descriptor;tracking confidence;model driftFoundation Item(s):National Natural Science Foundation of China(No.62166015);Guangxi Natural Science Foundation(No.2019GXNSFBA245056)收稿日期：2022-12-07；修回日期：2023-02-19；责任编辑：覃怀银电子学报2023 年1引言目标跟踪是计算机视觉领域的重要研究内容，在视频监控、自动驾驶、智能机器人、人机交互等方面具有广泛的应用价值1.经过近十余年的快速发展，目标跟踪技术已经取得了长足的进步，但由于受到光照变化、尺度变化、遮挡等多种干扰因素的影响，实现鲁棒的在线跟踪仍然是一项极具挑战性的任务.自 2010 年 Bolme 等2提出 MOSSE（Minimum Output Sum of Squared Error）算法以来，相关滤波类方法凭借其性能优势逐渐成为了领域内的主导性方法.在MOSSE 的基础上，Henriques 等3提出的 KCF（Kernelized Correlation Filter）算法将原有的灰度特征替换为多通道的方向梯度直方图（Histogram of Oriented Gradient，HOG）特征以提升模型的特征表达能力，并利用循环矩阵构造虚拟负样本的方式在目标搜索区域进行密集采样，以实现训练样本的扩充.然而，由中心图像块经过循环移位得到的虚拟样本会导致边界效应问题，影响滤波器对目标和背景的判别能力4.为此，Galoogahi 等5提出了背景感知相关滤波器，即 BACF（Background-Aware Correlation Filter）算法，通过引入一个掩膜矩阵在更大的搜索区域内对样本进行裁剪，利用在循环采样时获取到的真实背景来训练滤波器.虽然BACF取得了令人瞩目的跟踪性能，却依然存在以下两点缺陷：（1）与 KCF 类似，BACF 仅使用单一的 HOG特征对目标进行表观建模，特征表达能力十分有限.近年来，颜色名（Color Names，CN）6，7、颜色直方图8等颜色特征和利用卷积神经网络（Convolutional Neural Networks，CNN）提取的深度特征912陆续被引入到相关滤波跟踪算法中，但如何在保证算法实时性的前提下进行特征选择和特征融合，仍是一个开放性的问题.（2）BACF在每一帧采用固定方式进行模型更新，在应对复杂环境或长时跟踪场景时易由遮挡、目标运动出视野等因素导致模型漂移.一些算法13，14以 PSR（Peak-to-Sidelobe Ratio）、APCE（Average Peak-to-Correlation Energy）等响应图评价指标为依据，当指标得分低于某一固定阈值时阻止模型更新、防止模型漂移，但由于模型始终处于单向的更新模式（更新过程不可逆），因此一旦发生漂移则模型无法从错误状态中恢复.为解决上述问题，本文提出了一种基于双模型竞争机制的目标跟踪算法，通过设计新的特征描述子和可逆向学习策略，高效地提升模型的特征表达能力并达到抑制模型漂移的效果.2本文算法本节首先介绍本文所提出的特征描述子，再介绍背景感知相关滤波器的训练方式，最后着重阐述双模型竞争机制的具体内容.本文算法的总体流程如图1所示，图中 PCA（Principal Components Analysis）表示主成分分析技术，FFT（Fast Fourier Transform）和IFFT（Inverse FFT）表示傅里叶变换及其逆变换，表示相关滤波操作，频域内为哈达玛（Hadamard）积.2.1C-HSV-HOG特征描述子特征提取部分是整个目标跟踪框架中的关键组件之一，恰当的特征选择和特征设计可以显著提升算法的跟踪性能.现有工作已经验证了梯度、颜色等人工特征以及从卷积神经网络中提取的深度特征对相关滤波跟踪算法的有效性.考虑到引入深度特征对跟踪速度的影响，本文基于颜色和梯度信息的互补特性来设计特征提取方案.首先，将输入的RGB图像转换到HSV（Hue，Saturation，Value）颜色空间.相比于 RGB 空间，HSV空间更接近于人眼视觉的感知方式.紧接着，分别FFTHOG(93T).FFTIFFTIFFT30.HSV-HSV(3EE)HOGC-HSV-(60T)PCACC3图1算法总体流程1382第 5 期林彬:基于双模型竞争机制的目标跟踪算法对HSV空间的每个通道提取HOG特征，并将得到的所有HOG特征拼接起来，组成一个93维的特征向量.最后，通过PCA进行特征压缩以去除特征向量中的冗余成分，压缩后的特征向量（经实验，固定为60维）可称之为 C-HSV-HOG（Compressed HSV-HOG）描述子.由此得到的融合特征除具备颜色特征对目标图像的尺寸、方向、视角变化的不敏感性外，也具有HOG特征对光照变化及目标几何形变的鲁棒性优势，且计算较为简单高效.2.2背景感知相关滤波器对输入图像提取C-HSV-HOG特征，将得到的特征向量记为x，并用y表示预期的相关滤波响应输出（预定义为高斯函数分布），则可根据文献 5 中公式，通过求解最小化目标函数来训练背景感知相关滤波器h，即：E(h)=12j=1L|yj-k=1KhkPcirc(xk)|22+2k=1K|hk|22 （1）其中，hk和xk分别表示第k个通道的滤波器和特征向量，hkRD、xkRL，L和D分别对应目标搜索区域和滤波器的大小，且LD，K为特征向量的通道数，yj表示y中第j个元素，yRL，circ()表示循环移位操作，P表示一个DL的二值矩阵，用于在L维的特征向量中裁剪出D维的真实负样本，Pcirc(xk)可生成所有循环移位样本的第k维特征，为正则化参数，上标“T”表示向量或矩阵的转置.为简化计算，式（1）可转换到频域进行快速求解.引入