基于位置预测的SiamRPN++红外目标跟踪算法_汪钰珠.pdf

收稿日期：2021-08-08修回日期：2021-10-15基金项目：国家自然科学基金（62073124）；国家航空基金资助项目（20170142002）作者简介：汪钰珠（1997-），男，河南驻马店人，硕士。研究方向：红外目标跟踪。*摘要：针对红外目标跟踪因遮挡产生的漂移问题，提出一种融合注意力机制和卡尔曼滤波的 SiamRPN+红外目标跟踪算法，通过位置预测对遮挡目标进行跟踪。该算法引入注意力机制来增强 SiamRPN+算法的置信度得分质量，使得遮挡判定更加稳定。为了实现目标被判遮挡后的有效跟踪，使用卡尔曼滤波对目标位置进行预测。实验结果表明，相比于原始算法 SiamRPN+，该算法可以有效处理红外目标跟踪遮挡问题。关键词：目标跟踪；孪生网络；注意力机制；卡尔曼滤波；红外图像中图分类号：TP391.4文献标识码：ADOI：10.3969/j.issn.1002-0640.2022.11.005引用格式：汪钰珠，马建伟，吕进锋.基于位置预测的 SiamRPN+红外目标跟踪算法 J.火力与指挥控制，2022，47（11）：24-28.基于位置预测的 SiamRPN+红外目标跟踪算法*汪钰珠，马建伟，吕进锋（河南科技大学，河南洛阳471000）Infrared Target Tracking Algorithm in SiamRPN+Based on Position PredictionWANG Yuzhu，MA Jianwei，LYU Jinfeng（Henan University of Science and Technology，Luoyang 471000，China）Abstract：Aiming at the problem of infrared target tracking drift caused by occlusion，aSiamRPN+infrared target tracking algorithm based on the fusion of attention mechanism and Kalmanfilter is proposed，which can track the occluded target through position prediction.Firstly，the algorithmintroduces the attention mechanism to enhance the confidence score quality of SiamRPN+algorithm，making the occlusion determination more robust.Then，in order to achieve effective tracking after thetarget is judged to be occluded，Kalman filter is used to predict the target position.The experimentalresults show that compared with the original algorithm SiamRPN+，the proposed algorithm caneffectively deal with the problem of infrared target tracking occlusion.Key words：target tracking；siamese network；attention mechanism；Kalman filter；infrared imageCitation format：WANG Y Z，MA J W，LYU J F.Infrared target tracking algorithm in siamrpn+based on position prediction J.Fire Control&Command Control，2022，47（11）：24-28.0引言随着红外摄像头在成像质量、分辨率上的增强，红外目标跟踪作为计算机视觉中的一项基本任务，近年来受到越来越多的关注。红外目标跟踪具有对光照不敏感和隐私保护等优点，被广泛应用于智能监控、辅助驾驶及海上救援等领域。但在跟踪过程中存在的热交叉、形变、遮挡等挑战，使得红外目标的稳定跟踪成为一项极具挑战的任务。近几年，红外目标跟踪领域得到了蓬勃发展。基于核密度估计1、多特征联合稀疏表示2、加权相关滤波器3等一些传统的红外目标跟踪算法尽管取得了很大的进展，但跟踪性能受到手工特征的限制。最近，出现了一种新的跟踪思想，它使用孪生网文章编号：1002-0640（2022）11-0024-05Vol.47，No.11Nov，2022火 力 与 指 挥 控 制Fire Control&Command Control第 47 卷第 11 期2022 年 11 月24（总第 47-）络结构，将跟踪任务视为一个相似度验证问题。例如，HSSNet4和 MMNet5算法使用深度特征来提高跟踪性能，通过预先训练的孪生网络来验证候选对象是否为被跟踪目标，取得了较好的跟踪效果。SiamRPN+6作为一种孪生网络跟踪算法，较好地兼顾了跟踪的精度和速度。然而，当红外目标被遮挡时，孪生网络提取到的目标特征信息缺失，与模板特征相差较大，导致相似性匹配失败，跟踪漂移。为此，本文提出了一种融合注意力机制和卡尔曼滤波的 SiamRPN+红外目标跟踪算法，通过位置预测处理跟踪遮挡问题。1SiamRPN+跟踪算法孪生网络跟踪算法将跟踪视为一项相似性验证问题，通过离线训练出的相似度量网络，在线计算目标模板和搜索区域之间的相似性。目标模板 z通常在序列的第一帧中给出。为了能在后续帧搜索区域 x 中找到与模板 z 最相似的区域，孪生跟踪定义了一个相似性度量函数 f（z，x）：（1）其中，*为两个特征图之间的互相关；b 为偏移量。本文以 SiamRPN+算法作为研究对象。如图 1所示，其网络框架包括特征提取网络和区域建议网络两部分。算法使用修改后的 ResNet-50 作为特征提取网络，在最后两个卷积块中使用空洞卷积增加感受野。上下两条支路为结构相同且参数共享的孪生网络，分别用于提取模板图像 z 和搜索图像 x 的特征。区域建议网络拥有分类和回归两个分支，分别用于目标的识别和定位。分类和回归支路分别对目标模板和搜索区域之间的卷积特征进行互相关操作，一个用于获取置信度得分，进行前景背景分类；一个用于候选框位置回归。SiamRPN+使用的特征提取网络具有丰富的层次信息，通过多层特征融合的方式有效提高了算法的识别和定位能力。算法首先通过特征提取网络，提取多层特征，目标模板和搜索区域的特征输出分别称为 fi（z）和 fi（x），其中，i 代表深度特征层数。之后，将 conv3、conv4、conv5 的特征分别输入至区域建议网络模块中，对搜索区域进行目标识别和定位目标框位置，产生分类和回归输出。最后，对 3层输出采用加权融合，协同推断出目标位置。2改进的红外目标跟踪算法2.1注意力区域建议网络在红外目标受到遮挡时，SiamRPN+算法常常会失效。为了能够在遮挡情况下对目标准确跟踪，首要问题就是判断目标何时被遮挡。SiamRPN+算法是根据最大置信度得分来完成目标定位的，置信度得分越高，表示目标与该区域的相似度越高。当目标被遮挡时，置信度得分与之前相比会急剧下降。本文使用阈值判别法进行遮挡检测，通过设定遮挡阈值，将最大置信度得分与遮挡阈值进行比较，判断目标是否被遮挡。准确的遮挡检测是本文算法的关键。由于判断目标遮挡使用的是阈值判别法，这就要求置信度得分能够准确稳定地反映目标的跟踪状态，如何增强SiamRPN+算法的判别能力就显得极为重要。受到人类感知中注意力的启发，本文在 SiamRPN+算法中引入注意力机制。注意力机制本质上是一种聚焦于局部信息的机制，它能够定位图像中感兴趣的信息，并抑制无用信息。本文采用的注意力模块为CBAM7，其本质上是一种空间和通道混合型注意力机制，其过程可以由下式描述：（2）（3）其中，FRCHW是大小为 HW 的 C 维输入特征；图 1SiamRPN+网络框架汪钰珠，等：基于位置预测的 SiamRPN+红外目标跟踪算法251879（总第 47-）火 力 与 指 挥 控 制2022 年第 11 期MCRC11是大小为 11 的 C 维通道注意力图；MSR1HW是 HW 的空间注意力图。通道注意力的计算公式如下：（4）空间注意力的计算公式如下：（5）其中，表示 Sigmoid 激活函数；MLP 表示多层感知器；AvgPool 和 MaxPool 分别为平均池化和最大池化；f77表示卷积核为 77 的卷积运算。网络模型在互相关计算时，不同通道和位置对相似度计算的贡献是平均的，这极大限制了网络的判别能力。因此，本文提出了 CBAM_SiamRPN+算法，在区域建议网络中引入 CBAM 注意力模块，如图 2 所示。互相关前的卷积层抽象程度较高且特征提取充分，故在此处添加注意力模块是合理的。图 2添加 CBAM 的区域建议网络结构图在加入注意力模块后，通过离线学习获取到每个特征通道和位置的权重，加权突出目标的重要信息，抑制无关信息。本文对使用注意力机制前后的置信度得分进行了可视化对比，如图 3 所示。引入注意力机制后，算法学习到了强辨别特征，置信图更聚焦于感兴趣的对象，使得算法对背景干扰更具辨别力，干扰物得分得到了有效的抑制。同时，高质量的置信度得分也使得遮挡检测更加稳定。2.2融合卡尔曼滤波的跟踪算法卡尔曼滤波是一个对动态系统的状态序列进行线性最小方差估计的算法。当目标被遮挡时，由于相邻帧的时间间隔很短，可以看作目标在短时间内做匀速直线运动。卡尔曼滤波的预测功能可以根据先前未被遮挡帧中的目标运动信息，估计出下一帧被遮挡目标的可能位置。在目标跟踪过程中，卡尔曼滤波对视频图像序列中目标位置进行线性估计，对运动目标建立预测方程和观测方程，公式如下：（6）（7）其中，xt为 t 时刻目标的状态估计向量，使用目标的位置和速度信息作为状态参数；zt为 t 时刻的观测向量，使用当前帧中能够被观测到的位置信息作为观测参数；A 和 H 分别为状态转移矩阵和观测矩阵；wt-1和 vt分别是预测和观测过程中的噪声。建立起运动目标的卡尔曼滤波模型之后，在上一节引入注意力模块的基础上，将卡尔曼滤波融合到跟踪算法中，使用位置预测处理跟踪遮挡问题。整体跟踪流程如图 4 所示。图 4跟踪流程图在 CBAM_SiamRPN+算法可以正常跟踪的情图 3置信度得分可视化图261880（总第 47-）汪钰珠，等：基于位置预测的 SiamRPN+红外目标跟踪算法况下，卡尔曼滤波不参与跟踪。一旦目标被判断为遮挡，就会使用卡尔曼滤波进行位置预测，并根据预测位置得到下一帧跟踪的搜索区域。当连续多帧发生遮挡时，则认为目标被长期遮挡，此时，连续多帧使用卡尔曼滤波会导致预测位置与目标真实位置的偏差累积，使得目标在脱离遮挡后出现在搜索区域之外，造成跟踪失败。为了应对这种场景，算法通过扩大目标区域的搜索范围，将目标重新定位。3实验结果及分析为验证本文算法的有效性，采用红外跟踪公开数据集 LSOTB-TIR8进行对比实验。实验采用 OPE（one pass evaluation）评估模式，将成功率和精确度作为评价指标。软硬件平台：CPU 为 Intel Corei7-9750H；GPU 为 NVIDIA GeForce GTX 1650；操作系统为 Ubuntu16.04；跟踪平台为 PySOT。实验参数设置：遮挡阈值 T 设为 0.95；长期遮挡帧数 D设为 5。3.1定量分析为了验证本文算法在跟踪时应对遮挡问题的优越性，从 LSOTB-TIR 测试集中挑选出具有遮挡属性的视频序列进行评估。对比测试了本文算法与 ECO-stir9、MMNet、SiamFC+10、SiamMask11、