基于深度学习的视觉多目标跟踪研究综述_伍瀚.pdf

h t t p:/ww w.j s j k x.c o mD O I:1 0.1 1 8 9 6/j s j k x.2 2 0 3 0 0 1 7 3到稿日期:2 0 2 2-0 3-1 8 返修日期:2 0 2 2-0 8-1 3基金项目:国家自然科学基金(6 1 5 7 1 3 9 4,6 2 0 0 1 1 4 9);浙江省重点研发项目(2 0 2 0 C 0 3 0 9 8)T h i sw o r kw a ss u p p o r t e db yt h eN a t i o n a lN a t u r a lS c i e n c eF o u n d a t i o no fC h i n a(6 1 5 7 1 3 9 4,6 2 0 0 1 1 4 9)a n dK e yR&DP r o g r a mo fZ h e j i a n gP r o-v i n c e(2 0 2 0 C 0 3 0 9 8).通信作者:何志伟(z w h e h d u.e d u.c n)基于深度学习的视觉多目标跟踪研究综述伍 瀚1聂佳浩1张照娓1何志伟1,2高明煜1,21杭州电子科技大学电子信息学院 杭州3 1 0 0 1 82浙江省装备电子重点实验室 杭州3 1 0 0 1 8(w u h a n 0 3 2 6h d u.e d u.c n)摘 要 多目标跟踪(MO T)旨在从给定视频序列中输出所有目标的运动轨迹并维持各目标的身份。近年来,由于其在学术研究和实际应用中具有巨大潜力,因此受到越来越多的关注并成为计算机视觉的热点研究方向。当前主流的跟踪方法将MO T任务拆分为目标检测、特征提取以及数据关联3个子任务,这种思路已经得到了良好的发展。然而,由于实际跟踪过程中存在遮挡和相似物体干扰等挑战,保持鲁棒跟踪仍是当前的研究难点。为了满足在复杂场景下对多个目标准确、鲁棒、实时跟踪的要求,需要对MO T算法作进一步研究与改进。目前已有关于MO T算法的综述,但仍存在总结不够全面及缺少最新研究成果等问题。因此,首先介绍了MO T的原理及挑战;其次,通过总结最新的研究成果对MO T算法进行了归纳和分析,根据各类算法为完成3个子任务所采用的跟踪范式将其分为三大类,即分离检测与特征提取、联合检测与特征提取及联合检测和跟踪,并且详细说明了各类跟踪算法的主要特征;然后,将所提算法与当前主流算法在常用数据集上进行了对比分析,讨论了当前算法的优缺点及发展趋势,展望了未来的研究方向。关键词:多目标跟踪;计算机视觉;目标检测;特征提取;数据关联中图法分类号 T P 3 9 1 D e e pL e a r n i n g-b a s e dV i s u a lM u l t i p l eO b j e c tT r a c k i n g:AR e v i e wWU H a n1,N I EJ i a h a o1,Z HAN GZ h a o w e i1,HEZ h i w e i1,2a n dGA O M i n g y u1,21C o l l e g eo fE l e c t r o n i c I n f o r m a t i o n,H a n g z h o uD i a n z iU n i v e r s i t y,H a n g z h o u3 1 0 0 1 8,C h i n a2Z h e j i a n gP r o v i n c i a lK e yL a b o r a t o r yo fE q u i p m e n tE l e c t r o n i c s,H a n g z h o u3 1 0 0 1 8,C h i n a A b s t r a c t M u l t i p l eo b j e c t t r a c k i n g(MO T)a i m s t op r e d i c t t r a j e c t o r i e s o f a l l t a r g e t s a n dm a i n t a i n t h e i r i d e n t i t i e s f r o mag i v e nv i d e os e q u e n c e.I nr e c e n ty e a r s,MO Th a sg a i n e ds i g n i f i c a n t a t t e n t i o na n db e c o m eah o t t o p i c i nt h e f i e l do f c o m p u t e rv i s i o nd u et oi t sh u g ep o t e n t i a l i na c a d e m i cr e s e a r c ha n dp r a c t i c a l a p p l i c a t i o n.B e n e f i t i n gf r o mt h ea d v a n c e m e n t o fo b j e c td e t e c t i o na n dr e-i d e n t i f i-c a t i o n,t h ec u r r e n t a p p r o a c h e sm a i n l ys p l i t t h eMO Tt a s k i n t o t h r e e s u b t a s k s:o b j e c t d e t e c t i o n,r e-i d e n t i f i c a t i o n f e a t u r e e x t r a c t i o n,a n dd a t aa s s o c i a t i o n.T h i s i d e ah a sa c h i e v e dr e m a r k a b l es u c c e s s.H o w e v e r,m a i n t a i n i n gr o b u s t t r a c k i n gs t i l l r e m a i n sc h a l l e n g i n gd u e t ot h e f a c t o r ss u c ha so c c l u s i o na n ds i m i l a ro b j e c t i n t e r f e r e n c e i nt h e t r a c k i n gp r o c e s s.T om e e t t h er e q u i r e m e n t o f a c c u r a t e,r o b u s t a n dr e a l-t i m e t r a c k i n g i nc o m p l e xs c e n a r i o s,f u r t h e rr e s e a r c ha n di m p r o v e m e n to fMO Ta l g o r i t h m sa r en e e d e d.S o m er e-v i e wl i t e r a t u r eo nMO Ta l g o r i t h m sh a sb e e np u b l i s h e d.H o w e v e r,t h ee x i s t i n gl i t e r a t u r e sd on o ts u mm a r i z et h et r a c k i n ga p p r o a-c h e sc o m p r e h e n s i v e l ya n d l a c kt h e l a t e s t r e s e a r c ha c h i e v e m e n t s.I nt h i sp a p e r,t h ep r i n c i p l eo fMO Ti s f i r s t l yi n t r o d u c e d,a sw e l la s t h ec h a l l e n g e s i nt h e t r a c k i n gp r o c e s s.T h e n,t h e l a t e s t r e s e a r c ha c h i e v e m e n t sa r es u mm a r i z e da n da n a l y z e d.A c c o r d i n gt ot h et r a c k i n gp a r a d i g mu s e d t oc o m p l e t e t h e t h r e e s u b t a s k s,t h ev a r i o u s a l g o r i t h m s a r ed i v i d e d i n t os e p a r a t ed e t e c t i o na n de m b e d d i n g,j o i n td e t e c t i o na n de m b e d d i n g,a n dj o i n td e t e c t i o na n dt r a c k i n g.T h em a i nc h a r a c t e r i s t i c so fv a r i o u st r a c k i n ga p p r o a c h e sa r ed e-s c r i b e d.A f t e r w a r d,t h ee x i s t i n gm a i n s t r e a mm o d e l s a r e c o m p a r e da n da n a l y z e do nMO Tc h a l l e n g ed a t a s e t s.F i n a l l y,t h e f u t u r e r e-s e a r c hd i r e c t i o n sa r ep r o s p e c t e db yd i s c u s s i n gt h ea d v a n t a g e sa n dd i s a d v a n t a g e so f t h ec u r r e n t a l g o r i t h m sa n dt h e i rd e v e l o p m e n tt r e n d s.K e y w o r d s M u l t i p l eo b j e c t t r a c k i n g,C o m p u t e rv i s i o n,O b j e c td e t e c t i o n,F e a t u r ee x t r a c t i o n,D a t aa s s o c i a t i o n 1 引言多目标跟踪(M u l t i p l eo b j e c t t r a c k i n g,MO T)的主要任务是从给定视频中输出所有目标的运动轨迹,并维持各目标的身份信息(I d e n t i t y,I D)。其中,跟踪目标可以是行人、车辆或其他对象。随着计算机视觉技术的发展,MO T已被广泛应用于众多领域,如视频智能监控、人机交互、智能导航等1-2。此外,MO T是姿态估计、行为识别、行为分析、视频分析等高级计算机视觉任务的基础3-4。然而,在复杂场景下进行鲁棒跟踪仍是当前的研究难点,主要体现在以下3个方面:1)跟踪过程中频繁遮挡导致目标难以被精准定位;2)不同目标之间可能具有较高的外观相似性,增加了维持目标I D的难度;3)目标间交互可能造成跟踪框漂移。传统的MO T算法有马尔可夫决策、联合概率数据关联、粒子滤波等,但是传统方法的预测位置误差