目标跟踪特征增强记忆唤醒网络_苏宏阳.pdf

第 25 卷第 1 期2023 年 1 月大 连 民 族 大 学 学 报Journal of Dalian Minzu UniversityVol25，No1January 2023收稿日期:20220403;最后修回日期:20220508基金项目:国家自然科学基金项目(61673084);辽宁省自然科学基金项目(20170540192，20180550866，2020MZLH24)。作者简介:苏宏阳(2000)，男，蒙古族，内蒙古兴安盟人，大连民族大学机电工程学院硕士研究生，主要从事图像处理与目标跟踪研究。通讯作者:毛琳(1977)，女，山东荣成人，副教授，博士，主要从事目标跟踪与多传感器信息融合研究，Email:maolin dlnueducn。文章编号:20961383(2023)01003406目标跟踪特征增强记忆唤醒网络苏宏阳，毛琳，杨大伟(大连民族大学 机电工程学院，辽宁 大连 116605)摘要:针对目前目标跟踪算法大多采用模板匹配的方式，面对目标消失、遮挡、形变等情况会造成准确度下降的问题，提出一种基于特征增强的记忆唤醒目标跟踪算法。通过计算记忆帧和跟踪帧的相似性矩阵，将相似性矩阵作为权重对记忆帧进行特征检索，预测下一帧目标的位置;同时对跟踪帧进行记忆唤醒操作，着重学习跟踪目标局部特征，对后续检测、分类和跟踪具有指导性。该算法能有效改善跟踪漂移的问题，在 Got10k 数据集上的实验结果表明，与目标跟踪算法时空记忆网络(STMTrack)相比，mAO 值提高 16%，适用于视频监控和无人车等场景。关键词:目标跟踪;目标遮挡;特征增强;记忆唤醒中图分类号:TP39141文献标志码:AFeatureenhanced Memory ecall Network in Object TrackingSU Hongyang，MAO Lin，YANG Dawei(School of Electromechanical Engineering，Dalian Minzu University，Dalian Liaoning 116605，China)Abstract:As most of the current target tracking algorithms use template matching，problems oftarget disappearance，occlusion，deformation，etc will appear and the accuracy will be reducedAiming at the problems，a memoryawakening target tracking algorithm based on feature en-hancement is proposed The algorithm calculates the similarity matrix of the memory frame andthe tracking frame，which is used as the weight to perform feature retrieval on the memory frameto predict the position of the target in the next frame At the same time，the memory wakeupoperation is performed on the tracking frame，focusing on learning and tracking the target partFeatures are instructive for subsequent detection，classification and tracking The algorithm caneffectively improve the problem of tracking drift The experimental results on the Got10k data-set show that，compared with the target tracking algorithm spacetime memory network(ST-MTrack)，the mAO value is increased by 16%，which is suitable for video surveillance and un-manned carsKey words:target tracking;goal obstruction;feature enhancement;memoryrecall当前目标跟踪主要面临目标遮挡、快速运动以及运动模糊等难题，主流目标跟踪算法分为生成式和判别式两大方向1。对于目标旋转问题，Deepak K Gupta 等2 提出旋转等变孪生神经网络(otation Equivariant Siamese Networks，ESiam-Nets)，该网络由可控制滤波器组成的等变卷积层DOI:10.13744/21-1431/g4.2023.01.012构建。通过将跟踪目标旋转不同角度，学习不同旋转实例之间统一的特征，因此针对目标旋转问题取得了良好的效果。Qi Feng 等3 将自然语言处理和孪生跟踪器结合，提出一种新型的孪生自然语言跟踪器(Siamese Natural Language Tracker，SNLT)，它将视觉跟踪的优势引入自然语言描述的跟踪任务，通过精心设计的孪生自然语言区域提议网络(Siamese Natural Language egion Pro-posal Network，SNLPN)架构，预测更精确的检测框，在速度方面略有降低的情况下，获得了良好性能。Siyuan Cheng 等4 提出一种新型的孪生关系网络，引入两个有效模块:关系检测器(elationDetector，D)和细化模块(efinement Module，M)。D 采用元学习的方式，获得从背景中过滤干扰物的能力，准确判别跟踪目标与背景;M 将D 整合到 Siamese 框架中，在面对背景杂波、快速运动和遮挡等场景时，具有良好的鲁棒性，获得了准确的跟踪结果。Dongyan Guo 等5 利用图注意机制将目标信息从模板特征输送到搜索特征，并且研发一种基于目标感知的区域选择机制，以适应不同对象的大小和宽高比变化，有效改善跟踪目标尺度变化问题。针对变形和遮挡问题，BinYan 等6 提出一种细化模块(Alphaefine，A)，A 采用像素相关、角点预测头和辅助掩模头作为核心组件，通过提取多尺度特征，尽可能提取和保护空间信息的细节特征，因此提高了基础跟踪器的性能。针对孪生跟踪器做了大量研究发现，孪生跟踪器将目标跟踪视为模板匹配问题，虽然取得了不错的成果，但都是针对目标旋转、尺度变化等特定问题，设计复杂的跟踪策略，通过大量数据计算以达到理想效果7，无法适应各种目标跟踪挑战。本文认为不同视频帧之间目标表观和状态变化的信息，反应了目标的运动趋势，而大多数基于模板匹配的跟踪器只注重利用视频中的空间信息，即使空间信息可以较好地定位目标位置信息，但忽略了时间信息对目标跟踪的重要性。因此，提出一种基于特征增强的记忆唤醒目标跟踪算法，通过对不同视频帧之间的目标信息进行有效关联，使网络自主学习目标在不同视频帧内表观信息变化的特征8，预估下一帧目标可能出现的位置;通过特征增强，网络注重对目标局部特征的学习，使目标即使在被遮挡情况下也能预估所在位置，改善了在目标遮挡、消失或低分辨率等情况下出现跟踪漂移的问题，适用于视频监控和无人车等领域。1记忆唤醒网络11问题分析以 SiamFC 为代表的孪生神经网络，将目标搜索过程视为模板匹配问题，定义目标模板帧为 z，待搜索图像帧为 x，则目标跟踪过程可转化为 z 与x 的相似性问题，计算相似性输出 w:w=f(z)，(x)。(1)式中:函数 f 是采取的计算相似度方法;代表孪生神经网络特征提取函数;w 中每个元素代表 z和 x 的相似性得分。孪生神经网络通过空间搜索，检测待搜索图像与模板最相近的区域，能够较好地执行目标跟踪任务。但遇到目标遮挡、消失和快速运动等场景时，目标特征并不明显，只考虑空间信息，通常无法完成目标跟踪任务9。跟踪失败示意图如图1。图 1a 显示在目标消失时，孪生神经网络无法获得目标特征，因此模板匹配失败，无法预测目标位置，造成目标跟踪失败;如图 1b、图 1c 和图 1d分别显示在待搜索图像中，背景特征与目标特征相似，在目标表观发生运动模糊、遮挡和剧烈变化时，网络模板匹配发生了错误，导致跟踪漂移。a)目标消失b)速度运动c)目标遮挡d)表观形似图 1跟踪失败示意图53第 1 期苏宏阳，等:目标跟踪特征增强记忆唤醒网络本文认为，不同视频帧之间潜藏着目标表观变化的信息，目标跟踪算法通过学习目标表观信息变化的特征，对预测下一帧目标位置具有指导作用;通过对目标局部特征的学习，能够改善目标遮挡、形变等场景下，目标跟踪不准确的问题。因此，本文将不同视频帧进行关联，将时间信息引入孪生神经网络，提出记忆唤醒网络。12记忆唤醒网络与传统孪生神经网络不同，本文通过对多个记忆帧与跟踪帧计算相似性矩阵，对跟踪帧进行特征检索，实现特征增强，使网络更好地学习目标局部特征;同时引入时间信息，使网络自主学习目标运动状态变化规律，改善目标遮挡情况下跟踪不准确的问题。记忆帧与跟踪帧的交互过程称之为“记忆唤醒”，对“记忆唤醒”操作定义如下。定义 1:所谓“记忆唤醒”，是指孪生神经网络存在输入跟踪帧 x 和记忆帧 z，通过计算 x 与 z 相似性矩阵，对 x 进行特征检索，筛选出与过去某一记忆帧 z 相似的特征，将相似特征作为特征增强信息，对初始跟踪帧特征增加局部注意力，“记忆唤醒”的输出 Yq可表示为Yq=(x)+(w，(x)。(2)式中:w 是 z 与 x 计算的相似性矩阵;为特征检索函数，通过 对 x 和 z 进行特征提取，获得跟踪帧特征(x)和记忆帧特征(x)，利用(x)和(x)计算相似度矩阵 w，将 w 作为权重，对输入的跟踪帧进行特征检索，获得相似特征(w，(x)，为方便起见，令(w，(x)为(x)，公式(2)转写为Yq=(x)+(x)。(3)式中，(x)作为注意力与(x)相加融合，这一过程即为“记忆唤醒”的数学表达。记忆唤醒网络由三个部分组成:相似性矩阵、记忆唤醒模块、历史映射模块。相似性矩阵作为两个模块的基础，分别对记忆帧和跟踪帧进行特征检索，记忆唤醒模块利用特征检索信息，增强算法在目标遮挡、消失等场景下的鲁棒性;历史映射模块则通过特征检索信息，使算法学习目标运动变化规律，更好地预测目标位置。121相似度矩阵与 SiamFC 不同，记忆唤醒网络模板帧的输入不是单一帧，而是在过去所有历史帧中，挑选最具代表性的 n 帧，包括初始视频帧、跟踪帧的前一帧以及其他具有代表性的视频帧。将多个视频帧提取特征拼接为记忆帧特征，使其具有丰富的目标信息。获得记忆帧特征后，计算跟踪帧与记忆帧的像素级相似度 w，这一过程可表示为w=fm fq。(4)式中:fm为记忆帧特征;fq为跟踪帧特征，fm与 fq相乘;w 代表了 fm与 fq之间像素级相似度，可帮助网络准确定位目标可能存在的位置，矩阵数值越大，表明这一位置与模板帧越相似。记忆唤醒网络结构图如图 2。fqfmlYConcatReshapeSoftmaxTranspose图 2记忆唤醒网络结构图122记忆唤醒模块由于目标跟踪任务中存在目标遮挡等情况，跟踪帧特征提取不充分，导致模板匹配不准确，目标跟踪算法性能降低。为克服这一问题，通过局部特征增强，改善网络对跟踪目标局部特征的学习能力，提高算法在目标遮挡等场景下的鲁棒性。第一步，通过 w 计算概率矩阵 P。P 中不同元素的大小表示记忆帧与跟踪帧不同区域的相似程度。计算过程中，部分元素会因数值过大而造成数值溢出，因此对