基于图神经网络的行人轨迹预测研究综述_曹健.pdf

基于图神经网络的行人轨迹预测研究综述*曹 健1,2,陈怡梅1,2,李海生1,2,蔡 强1,2(1.北京工商大学计算机学院,北京 1 0 0 0 4 8;2.食品安全大数据技术北京市重点实验室,北京 1 0 0 0 4 8)摘 要:随着计算机视觉和自动驾驶技术的快速发展,自动感知、理解和预测人类行为的能力变得越来越重要。各类传感器的普及使得社会中产生了大量运动物体的位置数据。基于这些数据预测行人的运动轨迹在社交预测等多个领域都有着极大的价值。为了深入了解这方面的发展,对基于图神经网络的行人轨迹预测方法进行了综述,从多个角度比较、分析和总结了行人轨迹预测的图神经网络算法,讨论了不同算法在该领域的研究与发展;在目前的公共数据集上进行了对比和分析,介绍了相应性能指标,给出了不同算法的性能比较结果,提出了目前研究仍存在的问题,拓展研究思路和方法;展望了未来可能出现的研究方向。关键词:行人轨迹预测;视觉预测;图神经网络;深度神经网络;自动驾驶中图分类号:T P 3 9 1文献标志码:Ad o i:1 0.3 9 6 9/j.i s s n.1 0 0 7-1 3 0 X.2 0 2 3.0 6.0 1 1A s u r v e y o f p e d e s t r i a n t r a j e c t o r y p r e d i c t i o n b a s e d o n g r a p h n e u r a l n e t w o r kC AO J i a n1,2,CHE N Y i-m e i1,2,L I H a i-s h e n g1,2,C A I Q i a n g1,2(1.S c h o o l o f C o m p u t e r S c i e n c e a n d E n g i n e e r i n g,B e i j i n g T e c h n o l o g y a n d B u s i n e s s U n i v e r s i t y,B e i j i n g 1 0 0 0 4 8;2.B e i j i n g K e y L a b o r a t o r y o f B i g D a t a T e c h n o l o g y f o r F o o d S a f e t y,B e i j i n g 1 0 0 0 4 8,C h i n a)A b s t r a c t:W i t h t h e r a p i d d e v e l o p m e n t o f t h e t e c h n o l o g y o f c o m p u t e r v i s i o n a n d a u t o n o m o u s d r i v i n g,t h e a b i l i t y t o s e n s e,u n d e r s t a n d a n d p r e d i c t h u m a n b e h a v i o r i s b e c o m i n g m o r e a n d m o r e i m p o r t a n t.T h e p o p u l a r i t y o f v a r i o u s s e n s o r s h a s g e n e r a t e d a l a r g e a m o u n t o f p o s i t i o n d a t a o f m o v i n g o b j e c t s i n s o c i e t y.P r e d i c t i n g t h e m o v e m e n t t r a j e c t o r y o f p e d e s t r i a n s b a s e d o n t h e s e d a t a h a s g r e a t v a l u e i n s o c i a l p r e d i c t i o n a n d o t h e r f i e l d s.T o g a i n i n s i g h t i n t o t h e d e v e l o p m e n t i n t h i s a r e a,a l i t e r a t u r e r e v i e w i s c o n d u c t e d o n g r a p h n e u r a l n e t w o r k-b a s e d p e d e s t r i a n t r a j e c t o r y p r e d i c t i o n m e t h o d s.T h e g r a p h n e u r a l n e t w o r k a l g o-r i t h m s f o r p e d e s t r i a n t r a j e c t o r y p r e d i c t i o n a r e c o m p a r e d,a n a l y z e d a n d s u mm a r i z e d f r o m m u l t i p l e p e r-s p e c t i v e s,a n d t h e r e s e a r c h a n d d e v e l o p m e n t o f d i f f e r e n t a l g o r i t h m s i n t h i s f i e l d a r e d i s c u s s e d.T h e c o m-p a r i s o n a n d a n a l y s i s a r e c a r r i e d o u t o n t h e c u r r e n t p u b l i c d a t a s e t s,a n o v e r v i e w o f t h e c o r r e s p o n d i n g p e r f o r m a n c e i n d i c a t o r s i s p r o v i d e d,a n d t h e p e r f o r m a n c e c o m p a r i s o n r e s u l t s o f d i f f e r e n t a l g o r i t h m s a r e g i v e n.A t t h e s a m e t i m e,t h i s p a p e r p u t s f o r w a r d t h e r e s e a r c h p r o b l e m s t h a t s t i l l e x i s t a n d l o o k s f o r-w a r d t o t h e p o s s i b l e r e s e a r c h d i r e c t i o n s i n t h e f u t u r e.K e y w o r d s:p e d e s t r i a n t r a j e c t o r y p r e d i c t i o n;v i s u a l p r e d i c t i o n;g r a p h n e u r a l n e t w o r k;d e e p n e u r a l n e t-w o r k;a u t o n o m o u s d r i v i n g*收稿日期:2 0 2 1-1 0-1 4;修回日期:2 0 2 2-0 5-1 0基金项目:国家自然科学基金(6 1 8 7 7 0 0 2);北京市教委-市自然基金委联合资助项目(K Z 2 0 2 1 1 0 0 1 1 0 1 7);北京市自然科学基金-丰台轨道交通前沿研究联合基金资助项目(L 1 9 1 0 0 9)通信作者:陈怡梅(c h e n y m 3 4 3 71 6 3.c o m)通信地址:1 0 0 0 4 8 北京市海淀区阜成路1 1号北京工商大学计算机学院A d d r e s s:S c h o o l o f C o m p u t e r S c i e n c e a n d E n g i n e e r i n g,B e i j i n g T e c h n o l o g y a n d B u s i n e s s U n i v e r s i t y,1 1 F u c h e n R o a d,H a i d i a n D i s-t r i c t,B e i j i n g 1 0 0 0 4 8,P.R.C h i n a C N 4 3-1 2 5 8/T PI S S N 1 0 0 7-1 3 0 X 计算机工程与科学C o m p u t e r E n g i n e e r i n g&S c i e n c e第4 5卷第6期2 0 2 3年6月 V o l.4 5,N o.6,J u n.2 0 2 3 文章编号:1 0 0 7-1 3 0 X(2 0 2 3)0 6-1 0 4 0-1 41 引言轨迹预测是计算机视觉、机器人及机器学习等多个领域的一个极具挑战性的问题。由于适用领域的多样性,近年来,轨迹预测在智能交通1、舰船航行2等领域都有极大的研究价值和广泛的应用。轨迹预测的目的是通过分析所选目标的历史轨迹移动数据,挖掘移动轨迹的数据特征,从而得到轨迹数据模型,实现对研究目标未来轨迹的预测。长期以来,行人轨迹预测一直是智能跟踪、自动驾驶控制及机器人导航等领域里的关键任务,预测周围行人的运动是实现安全高效的运动规划和人机交互的重要前提。行人轨迹预测是一项难度较大的任务,因为道路中每个行人自身的运动模式各有所异,每一个行人的运动轨迹受多种因素的影响,包括个体的运动方式、潜在的目标或意图、环境结构和拓扑结构等。因此,运动主体如何通过预测他人的动作和社会行为,来建模具有较高可解释性和泛化能力的行人交互模型,成为了轨迹预测问题的重点。早期传统的方法主要包括基于社会力模型S FM(S o c i a l F o r c e M o d e l)、基于马尔可夫模型及基于贝叶斯网络的方法。基于社会力模型的方法通过研究行人的社会属性和使用手工设计特征来表示行人之间相互吸引和排斥的情况。H e l b i n g等人3 5引入了社会力模型来描述行人之间的社会互动,但该模型缺少有效的机制来保证行人不重叠。基于马尔科夫模型的行人轨迹预测方法通过建立马尔科夫模型来预测行人的未来状态。M o r-r i s等人6 8通过马尔可夫模型来对行人进行建模,但使用该模型有一定的前提条件,否则预测结果将会有很大的偏差。基于贝叶斯网络的行人轨迹预测方法通过贝叶斯推断来预测行人最终的移动方向和未来轨迹。夏卓群等人9 1 1提出基于改进贝叶斯或动态贝叶斯网络的轨迹预测方法,但该方法仍不能很好地满足人们的需求。由于行人周边环境复杂,传统的预测方法难以描述行人相互之间以及行人与环境之间复杂的交互性。此外,这些方法在处理高维数据时并不便捷,所采用的手工方法限制了数据表示的灵活性。近些年来,随着深度学习1 2方法的迅速发展,其在计算机视觉领域也有了广泛的应用。因此,在建模上以数据驱动作为主导的方式成为了人们关注的研究方向。由于行人轨迹预测在本质上是一个时序序列,故主要以循环神经网络R NN(R e c u r r e n t N e u r a l N e t w o r k)为代表的建模方式在行人轨迹预测上激起了研究人员的兴趣,之后基于图神经网络GNN(G r a p h N e u r a l N e t w o r k)和基于生成对抗网络GAN(G e n e