基于Radon变换数据外观建模的目标跟踪.pdf

Journal of Image and Signal Processing 图像与信号处理图像与信号处理,2023,12(3),317-326 Published Online July 2023 in Hans.https:/www.hanspub.org/journal/jisp https:/doi.org/10.12677/jisp.2023.123031 文章引用文章引用:杨炼.基于 Radon 变换数据外观建模的目标跟踪J.图像与信号处理,2023,12(3):317-326.DOI:10.12677/jisp.2023.123031 基于基于Radon变换数据外观建模的目标跟踪变换数据外观建模的目标跟踪 杨杨 炼炼 湖南人文科技学院数学与金融学院，湖南 娄底 收稿日期：2023年6月25日；录用日期：2023年7月16日；发布日期：2023年7月26日 摘摘 要要 本文主要针对复杂环境下目标跟踪中一个重要挑战本文主要针对复杂环境下目标跟踪中一个重要挑战算法运行的实时性，研究一种新的基于算法运行的实时性，研究一种新的基于Radon变变换数据的目标外观模型，并将其引入到相关滤波框架中进行滤波模板训练，并提出了一种基于相关滤波换数据的目标外观模型，并将其引入到相关滤波框架中进行滤波模板训练，并提出了一种基于相关滤波的快速跟踪算法及目标尺度更新方案。实验结果表明，本文提出的跟踪算法相较于当前主流的跟踪算法的快速跟踪算法及目标尺度更新方案。实验结果表明，本文提出的跟踪算法相较于当前主流的跟踪算法具有更好的鲁棒性及实时性，为目标检测与跟踪等相关研究提供了新的技术途径。本文所提出的跟踪算具有更好的鲁棒性及实时性，为目标检测与跟踪等相关研究提供了新的技术途径。本文所提出的跟踪算法也可以视为一种框架，投影的对象不仅仅可以是原始像素的灰度，还可以是多通道颜色值、法也可以视为一种框架，投影的对象不仅仅可以是原始像素的灰度，还可以是多通道颜色值、HOG等其等其它属性它属性。关键词关键词 目标跟踪目标跟踪，Radon变换变换，外观建模外观建模，相关滤波相关滤波 Target Tracking Based on Radon Transform Data Appearance Modeling Lian Yang College of Mathematics and Finance,Hunan University of Humanities,Science and Technology,Loudi Hunan Received:Jun.25th,2023;accepted:Jul.16th,2023;published:Jul.26th,2023 Abstract This article mainly focuses on an important challenge in target tracking in complex environ-mentsthe real-time performance of algorithm operation.A new target appearance model based on Radon transform data is studied,and it is introduced into the correlation filtering framework for filtering template training.A fast-tracking algorithm and target scale update scheme based on 杨炼 DOI:10.12677/jisp.2023.123031 318 图像与信号处理 correlation filtering are proposed.The experimental results show that the tracking algorithm pro-posed in this paper has better robustness and real-time performance compared to current main-stream tracking algorithms,providing a new technical approach for research related to object de-tection and tracking.The tracking algorithm proposed in this article can also be seen as a frame-work,where the projected object can not only be the grayscale of the original pixel,but also in-clude multi-channel color values,HOG,and other attributes.Keywords Target Tracking,Radon Transform,Appearance Modeling,Correlation Filtering Copyright 2023 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 目前，相关滤波(Correlation Filter)原理被广泛地应用于信号处理、图像检测与视频跟踪等领域。基于相关滤波器实现目标跟踪的基本思想是对输入图像进行训练并得到一个滤波模板(也即滤波器)，利用该滤波模板对下一帧输入图像进行响应输出，最大响应值所对应的位置就是目标的预测位置。2010 年，Bolme 等人1构造了一种最小均方误差和输出的相关滤波器并将其首次应用于目标跟踪。在此基础之上，很多学者对该算法的改进相继出现，跟踪的效果越来越好。CSK 2算法在 MOSSE 的基础上引入了循环矩阵和核的概念。KCF 3与 CN 4算法在此基础上对多通道特征分别进行改进。KCF比 DCF 跟踪效果略好，但速度比线性核要慢很多。2021 年，Safaei 5和 Zhong 6将分块采样方法引入相关滤波目标跟踪算法中，提出自适应像素级分块的跟踪算法。Zhang 等7提出一种基于块核相关滤波的目标跟踪算法。基于相关滤波器的跟踪方法最大的优势是速度快，速度快的原因在于利用快速傅里叶变换8来代替卷积计算。STC 9方法提出一种新的相关滤波跟踪框架，在该框架中引入了时空上下文信息。但由于 STC的尺度更新策略仅依赖于响应输出的最大值，对一些跟踪场合，跟踪效果并不鲁棒。为更好地解决尺度更新问题，文献10和11分别提出了 DSST 与 SAMF 跟踪算法并提出了各自的尺度更新方案。文献12在 KCF 的基础上为减轻其循环移位时的边界效应问题提出了 SRDCF 算法，但该算法运行速度很慢，无法达到实时性。以上基于相关滤波的跟踪算法，虽然跟踪效果越来越好，但速度却越来越慢，本文提出了以 Radon变换数据作为特征对目标进行外观建模的一种新的相关滤波目标跟踪算法，能够实现快速且鲁棒的跟踪效果。该算法通过训练目标图像的 Radon 变换数据作为相关滤波模板。2.基于基于 Radon 变换数据外观建模的相关滤波目标跟踪算法变换数据外观建模的相关滤波目标跟踪算法 2.1.基于基于 Radon 变换数据的滤波训练变换数据的滤波训练 考虑一个跟踪场景，第k帧时，可以将跟踪目标及周围一定区域的图像进行Radon变换(如图1所示)，到 k+1 帧时，可在同样位置的区域进行 Radon 变换，如果相邻两帧目标状态变化很小而视为近似一致，那么相邻两帧的 Radon 变换的结果也非常相近。显然，k+1 帧目标的中心在 k 帧图像中或保持不变或仅发生微小的偏移。Open AccessOpen Access杨炼 DOI:10.12677/jisp.2023.123031 319 图像与信号处理 (a)frame k (b)frame k+1 Figure 1.The Radon transformation of the target area 图图 1.对目标区域进行 Radon 变换 首先，对 Radon 变换区域进行权重加窗处理，从而有：()()()()(),=c x yt x yf x yx y (1)其中，称为二维卷积符号，(),x y，表示 Radon 变换区域，(),t x y为对 Radon 变换区域训练的滤波模板，(),c x y称为 Radon 变换区域的响应输出或置信图，本文称为置信图。(),f x y表示 Radon变换区域的单通道像素值，(),x y为 Radon 变换区域各像素的加窗函数，其定义为：()2222,e+=xyx yaH (2)其中，H 表示汉明窗矩阵，a 是汉明窗矩阵归一化系数，表示尺度参数，取值为目标宽度和高度之和的一半，因此每一帧都需要更新。为描述方便，令()()(),=g x yf x yx y，代入式(1)有：()()(),=c x yt x yg x y (3)对式(3)两边进行 Radon 变换，并根据 Radon 变换的性质有：()()()()()()()()(),=R c x yR t x yg x yR t x yR g x y (4)其中，表示一维卷积运算符号。()(),R c x y、()(),R t x y与()(),R g x y均是矩阵，将其分别表示为12,mrc rcrc、12,mrt rtrt、12,mrg rgrg，代入式(4)可得：1211212122,=mmmmmrt rtrtrg rgrcrcrcrtrgrtrgrtrrgg (5)其中，m 表示从 m 个角度进行 Radon 变换投影。对式(5)两边矩阵的每一列进行一维傅里叶变换，由卷积定理最终可得：()()()()()()()()(),./,=F R t x yF R c x yF R g x y (6)其中，./表示矩阵对应元素相除。由式(9)得到相关滤波训练模板的闭合解为：()()()()()()()()(),./,=t x yiR iF F R c x yF R g x y (7)在实际计算时，无需具体求出(),t x y，式(14)左边的()()(),F R t x y可作为整体参与运算，因此可将杨炼 DOI:10.12677/jisp.2023.123031 320 图像与信号处理 其视为实际的滤波模板。2.2.置信图置信图 本文提出的相关滤波框架的置信图定义如下：()()()22,e+=x xy yc x yb (8)其中，b 是归一化系数，x*与 y*表示目标中心位置。与分别表示尺度参数与形状参数。在相邻两帧的 Radon 变换区域，目标发生了位移时，置信图的最大值点也将发生偏移，由此可以反求 Radon 的旋转中心，即目标在下一帧的位置。(a)0.6=,max=0.0019 (b)1=,max=0.0079 (c)1.4=,max=0.0124 (d)1.8=,max=0.0149 Figure 2.Four confidence maps with different shape parameters in 3D 图图 2.四个不同形状参数置信图的三维示意图 如图 2 所示为大小为 150*150 的四个不同形状参数置信图的三维示意图，z 坐标表示置信值，形状参数分别为 0.6，1，1.4，18，尺度参数均为 4.5。示意图的顶部对应置信图的中心区域，而底座部分对应置信图中心外围非趋近于 0 的部分(底部大部分均趋近于 0)。为叙述方便，称底座非趋近于 0 的区域为底座的有效区域。杨炼 DOI:10.12677/jisp.2023.123031 321 图像与信号处理 2.3.目标定位目标定位 我们假设目标的状态在第一帧时已经初始化，在 k 帧时，我们要计算出当前帧置信图的滤波模板()()(),F R t x y，用其计算更新下一帧所使用的训练模板(),FRT x y并进行下一帧的目标检测。将更新后的滤波模板代入式()()()()()()()()(),=F R c x yF R t x yF R g x y，可得：()()()()()()(),=R c x yiF FRT x yF R g x y (9)经 Radon 逆变换可得到 k+1 帧的置信图，()()()()()()()()1,+=tcx yiR iF F RT x yF R g x y (10)进一步，便可求出目标在 k+1 帧的置信图的相对位置：()()*11,max,+=ttx yx ycx y (11)滤波模板的更新采用历史累积方式：()()()()(),1,=+FRT x yFRT x yR t x y (12)为保持(),FRT x y在两帧之间的稳定性，变化参数一般取一个较小的值。经多次实验，本文取该参数值为 0.075。2.4.尺度更新尺度更新 相关滤波框架本身不具备尺度更新的方式，本文受 STC 算法中尺度更新方法的启发，提出一种新的尺度更新方式，考虑到相邻两帧置信图对应位置之间值的比值与相邻两帧目标尺度的比值近似于成正比关系，若只以(),kcm n中某一个值计算尺度的变化，难以得到鲁棒且精确的结果，本文采用了置信图中所有像素置信值求和的方法，具体方法如下：()()()()()()1122,1111,+=kkkm nx ym nx ym nx ykkcm ncm ncm nss (13)从而，()()()()1,1,+=km nx ykkm nx ycm nscm n (14)但为了使尺度更新的结果更加鲁棒以及避免出现尺度变化过大或过小的情况，依然采用加权的方式，即：()11=nkk iissknn (15)()11+=+tttsss (16)式中称为权重参数，本文取值为 0.8。ts表示取前 n 帧的尺度平均值，本文取 n=5。同时更新尺度参数，即：1+=kkks (17)杨炼 DOI:10.12677/jisp.2023.123031 322 图像与信号处理 3.跟踪算法流程跟踪算法流程 本文提出基于 Radon 变换数据外观建模的相关滤波目标跟踪算法，其具体流程如下所示：基于基于 Radon 变换数据外观建模的相关滤波目标跟踪变换数据外观建模的相关滤波目标跟踪 输入：跟踪视频图像序列(共 N 帧)及初始帧目标位置及尺度。输出：目标在视频中每帧的位置及尺度。初始化相关参数，确定变换区域的大小；按式(4)，将置信图进行 Radon 变换后再通过一维傅里叶变换转为频域。for k=1,2,N 图像灰度处理；按式(17)更新尺度参数；按式(2)更新窗函数，并对变换区域加窗处理；if k 1 按式(10)计算置信图，并求出置信图中最大值位置，可求出目标位移；根据目标的位移，计算出目标在当前帧中的位置；按式(17)更新当前帧的目标尺度；end if 按更新后的目标位置及尺度对变换区域加窗处理；按式(9)计算当前帧的滤波训练模板；按式(12)更新用于下一帧训练的滤波模板；end for 4.实验结果与分析实验结果与分析 4.1.实验配置实验配置 为验证本文算法的有效性，本节对 15 组公开具有各种挑战性的视频图像序列进行了测试，并与当前5 种优秀的基于相关滤波的目标跟踪算法以及其他 4 种优秀算法进行对比。这 5 种相关滤波算法包括：CN 4、DSST 10、KCF 3、SRDCF 12和 STC 9算法。另四种优秀算法包括：ASLA、L1APG、SCM和 Struck。本文实验所用的视频图像序列及其描述如表 1 所示，测试视频序列均来自 TB-50 和 TB-100公开数据集。Table 1.Video image sequence used in this chapter 表表 1.本章实验所用的视频图像序列 视频视频 分辨率分辨率 帧数帧数 挑战因素挑战因素 Basketball 576*432 725 光照变化、遮挡、变形、平面外旋转、背景干扰 Bird2 720*400 99 遮挡、变形、平面内旋转、平面外旋转、快速运动 BlurCar3 640*480 357 运动模糊、快速运动 Bolt2 480*270 293 变形、背景干扰 CarDark 320*240 393 光照变化、背景干扰 Coupon 320*240 327 遮挡、背景干扰 Deer 704*400 71 平面内旋转、背景干扰、运动模糊、快速运动 Faceocc2 320*240 462 尺度变化、光照变化、平面内旋转、平面外旋转 杨炼 DOI:10.12677/jisp.2023.123031 323 图像与信号处理 Continued Football 624*352 362 遮挡、平面内旋转、平面外旋转、背景干扰 Girl 128*96 500 尺度变化、遮挡、平面内旋转、平面外旋转 Mhyang 320*240 1490 变形、光照变化、平面外旋转、背景干扰 MountainBike 640*360 228 平面内旋转、平面外旋转、背景干扰 Soccer 640*360 392 尺度变化、光照变化、遮挡、平面内旋转、平面外旋转、背景干扰、运动模糊、快速运动 Sylvester 320*240 1345 光照变化、平面内旋转、平面外旋转 Woman 352*288 551 尺度变化、遮挡、变形、平面外旋转 为叙述方便，本文提出的基于 Radon 变换数据外观建模的相关滤波目标跟踪算法简称为 RBT(Ra-don-based object tracking)，并在 Matlab 平台下实现了该算法。本文实验均在 Matlab 平台下运行。本文算法参数设置为：式(7)中的 Radon 变换的投影间隔 gap 设为 20，投影范围设置 0179。实验均在 Intel i5-3230 2.60GHz 的 CPU、4G 内存的 PC 机上完成。4.2.实验结果及分析实验结果及分析 本节从跟踪精度与实时性两个方面来评价提出的跟踪算法。跟踪精度使用中心定位误差(CLE)和跟踪窗重叠率(OR)。其中，中心定位误差的阈值设为 20 像素，成功率阈值设为 0.6。实时性采用每秒处理的帧数来衡量。表 2 与表 3 列出了 10 种算法在 15 个图像序列上的平均中心点误差、平均运行帧率和平均重叠率。其中，红色加粗表示最好的结果、蓝色加粗表示次好的结果、橙色加粗表示第三较好的结果。本文提出的 RBT 算法在平均中心定位误差和平均重叠率上都好于其他对比算法。表 2 最后一行展示了各算法的运行帧率，结果表明本文算法的平均运行帧率达 73.2 帧，仅低于 STC算法。图 3 显示了 10 种算法在所有测试视频序列上的精确度曲线和成功率曲线，同样说明了本文算法的有较好的鲁棒性及实时性。Table 2.Mean center locating error(in pixel)表表 2.平均中心定位误差(像素)视频视频 ASLA CN DSST KCF L1APG SCM SRDCF STC Struck RBT Basketball 78.85 12.85 101.75 272.62 100.70 121.90 12.03 198.57 185.32 11.31 Bird2 125.88 4.59 56.27 20.15 96.21 7.71 16.02 62.28 20.09 15.35 BlurCar3 128.63 130.29 3.08 3.65 124.18 219.42 3.29 152.32 24.08 2.65 Bolt2 168.87 302.72 114.12 327.26 25.60 40.19 293.86 8.32 61.16 5.79 CarDark 1.18 3.39 1.57 6.05 17.50 1.20 1.66 2.77 0.91 2.64 Coupon 2.18 4.24 3.17 1.46 66.02 2.48 1.65 2.25 3.83 2.24 杨炼 DOI:10.12677/jisp.2023.123031 324 图像与信号处理 Continued Deer 21.37 4.08 15.38 19.87 65.95 5.98 2.95 331.72 5.82 13.78 Faceocc2 5.32 4.23 4.28 6.68 7.76 4.82 9.12 14.26 5.53 4.00 Football 14.99 16.26 15.97 14.61 12.21 7.73 5.93 15.94 16.38 16.88 Girl 18.18 12.33 10.65 11.70 4.69 32.52 3.96 11.99 3.56 4.54 Mhyang 2.79 4.32 2.02 3.94 3.57 2.78 2.07 4.51 2.56 3.51 MountainBike 7.39 6.46 7.54 7.35 9.54 23.10 8.75 6.70 11.47 5.73 Soccer 121.28 8.37 20.12 15.69 103.63 103.27 11.55 165.31 127.13 18.32 Sylvester 12.22 9.81 13.05 13.72 21.83 8.30 12.63 6.35 6.27 7.19 Woman 146.74 229.86 253.95 8.42 130.47 8.31 5.24 7.80 7.97 5.08 均值 44.16 41.22 39.47 46.36 43.09 35.27 18.01 44.31 32.16 6.78 FPS 4.2 29.3 19.3 65.2 6.9 0.5 16.5 105.8 12.1 73.2 Table 3.Mean overlap rate 表表 3.平均重叠率 视频视频 ASLA CN DSST KCF L1APG SCM SRDCF STC Struck RBT Basketball 0.27 0.59 0.29 0.06 0.11 0.09 0.61 0.01 0.03 0.55 Bird2 0.13 0.86 0.47 0.59 0.13 0.78 0.63 0.19 0.56 0.61 BlurCar3 0.26 0.28 0.85 0.82 0.21 0.27 0.88 0.17 0.56 0.83 Bolt2 0.11 0.02 0.02 0.02 0.27 0.31 0.02 0.44 0.43 0.76 CarDark 0.84 0.75 0.83 0.62 0.63 0.87 0.83 0.76 0.89 0.79 Coupon 0.92 0.87 0.90 0.95 0.33 0.91 0.90 0.85 0.87 0.87 Deer 0.60 0.75 0.67 0.61 0.42 0.71 0.83 0.07 0.72 0.66 Faceocc2 0.77 0.58 0.59 0.56 0.55 0.81 0.57 0.56 0.58 0.59 Football 0.54 0.55 0.55 0.55 0.56 0.64 0.65 0.52 0.50 0.53 Girl 0.29 0.48 0.45 0.55 0.65 0.18 0.64 0.53 0.72 0.71 Mhyang 0.85 0.78 0.77 0.80 0.81 0.79 0.82 0.70 0.82 0.80 MountainBike 0.75 0.72 0.74 0.72 0.69 0.58 0.70 0.62 0.65 0.76 Soccer 0.12 0.48 0.44 0.42 0.21 0.16 0.53 0.12 0.17 0.33 Sylvester 0.34 0.63 0.63 0.63 0.53 0.48 0.66 0.64 0.72 0.71 Woman 0.15 0.15 0.15 0.64 0.14 0.60 0.58 0.65 0.63 0.68 均值 0.49 0.58 0.57 0.59 0.48 0.54 0.67 0.52 0.61 0.69 杨炼 DOI:10.12677/jisp.2023.123031 325 图像与信号处理 Figure 3.Precision plots and success-rate plots for all image sequences with different algorithms 图图 3.不同算法在所有图像序列上的准确度曲线与成功率曲线 5.总结总结 本文提出了一种新的相关滤波跟踪算法，在该算法中对目标区域图像原始像素进行 Radon 变换，以Radon 变换的投影数据为特征表示并进行滤波训练，并提出一种新的尺度更新方法，能较好地适应目标尺度的变化。此外，本文所提出的跟踪算法也可以视为一种框架，因为投影的对象不仅仅可以是原始像素的灰度，还可以是多通道颜色值、HOG 等其它属性。同时，本章提出的基于 Radon 变换数据的外观建模同样适用于其它跟踪框架，这些均可做进一步的研究。基金项目基金项目 湖南省教育厅优秀青年项目(19B301)。参考文献参考文献 1 Bolme,D.S.,Beveridge,J.R.,Draper,B.A.,et al.(2010)Visual Object Tracking Using Adaptive Correlation Filters.2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,San Francisco,13-18 June 2010,2544-2550.https:/doi.org/10.1109/CVPR.2010.5539960 2 Henriques,J.F.,Rui,C.,Martins,P.,et al.(2012)Exploiting the Circulant Structure of Tracking-by-Detection with Kernels.In:Fitzgibbon,A.,Lazebnik,S.,Perona,P.,Sato,Y.,Schmid,C.,Eds.,Computer VisionECCV 2012.Lec-ture Notes in Computer Science,Volume 7575,Springer,Berlin,702-715.https:/doi.org/10.1007/978-3-642-33765-9_50 3 Huang,B.,Xu,T.,Jiang,S.,et al.(2020)Robust Visual Tracking via Constrained Multi-Kernel Correlation Filters.IEEE Transactions on Multimedia,22,2820-2832.https:/doi.org/10.1109/TMM.2020.2965482 4 Danelljan,M.,Khan,F.S.,Felsberg,M.,et al.(2014)Adaptive Color Attributes for Real-Time Visual Tracking.2014 IEEE Conference on Computer Vision and Pattern Recognition,Columbus,23-28 June 2014,1090-1097.https:/doi.org/10.1109/CVPR.2014.143 5 Safaei,N.,Smadi,O.,Safaei,B.,et al.(2021)Efficient Road Crack Detection Based on an Adaptive Pixel-Level Seg-mentation Algorithm.Transportation Research Record,2675,370-381.https:/doi.org/10.1177/03611981211002203 6 Zhong,J.L.,Gan,Y.F.,Vong,C.M.,et al.(2021)Effective and Efficient Pixel-Level Detection for Diverse Video Copy-Move Forgery Types.Pattern Recognition,122,Article ID:108286.https:/doi.org/10.1016/j.patcog.2021.108286 杨炼 DOI:10.12677/jisp.2023.123031 326 图像与信号处理 7 Zhang,W.F.,He,Q.S.and Liang,H.H.(2022)Scale-Adaptive Block Kernel Correlation Filtering Target Tracking Al-gorithm.Journal of Taiyuan University of Science and Technology,43,8-14.8 Sato,M.,Kimura,Y.,Masuta,J.,et al.(2021)Improvement of Frequency Resolution Using Sub-Binstructure in Dis-crete Fourier Transform.Applied Optics,60,6290-6301.https:/doi.org/10.1364/AO.426045 9 Zhang,K.,Zhang,L.,Yang,M.H.,et al.(2013)Fast Tracking via Spatio-Temporal Context Learning.Computer Science,15,1-16.10 Danelljan,M.,Hger,G.,Khan,F.S.,et al.(2014)Accurate Scale Estimation for Robust Visual Tracking.BMVC 2014Proceedings of the British Machine Vision Conference 2014,Nottingham,1-5 September 2014.11 Li,Y.and Zhu,J.(2014)A Scale Adaptive Kernel Correlation Filter Tracker with Feature Integration.In:Agapito,L.,Bronstein,M.,Rother,C.,Eds.,Computer VisionECCV 2014 Workshops.Lecture Notes in Computer Science,Volume 8926,Springer,Cham,254-265.https:/doi.org/10.1007/978-3-319-16181-5_18 12 Danelljan,M.,Hger,G.,Khan,F.S.,et al.(2015)Learning Spatially Regularized Correlation Filters for Visual Tracking.2015 IEEE International Conference on Computer Vision(ICCV),Santiago,7-13 December 2015,4310-4318.https:/doi.org/10.1109/ICCV.2015.490