基于多头软注意力图卷积网络的行人轨迹预测_彭涛.pdf

2023 03 10计算机应用,Journal of Computer Applications2023,43(3):736-743ISSN 10019081CODEN JYIIDUhttp：/基于多头软注意力图卷积网络的行人轨迹预测彭涛1，2，3，康亚龙2，3，余锋1，3*，张自力2，3，刘军平2，3，胡新荣2，3，何儒汉1，3，李丽1，2（1.纺织服装智能化湖北省工程研究中心（武汉纺织大学），武汉 430200；2.湖北省服装信息化工程技术研究中心（武汉纺织大学），武汉 430200；3.武汉纺织大学 计算机与人工智能学院，武汉 430200）（通信作者电子邮箱）摘要：行人间交互作用的复杂性给行人轨迹预测带来了挑战，且现有算法难以捕获行人间有意义的交互信息，不能直观地建模行人间的交互作用。针对以上问题，提出多头软注意力图卷积网络。首先利用多头软注意力（MS ATT）结合内卷网络Involution分别从空间图和时间图输入中提取稀疏空间和稀疏时间邻接矩阵，生成稀疏空间和稀疏时间有向图；然后，利用图卷积网络（GCN）从稀疏空间和稀疏时间有向图中学习交互作用与运动趋势特征；最后，将学习到的轨迹特征输入时间卷积网络（TCN）以预测双高斯分布参数，生成行人预测轨迹。在ETH和UCY数据集上的实验结果表明：相较于空时社交关系池化行人轨迹预测模型（SOPM），所提算法的平均位移误差（ADE）降低了2.78%；相较于稀疏图卷积网络（SGCN），所提算法的最终位移误差（FDE）降低了16.92%。关键词：多头软注意力；通道注意力；空间注意力；内卷；图卷积网络；行人轨迹预测中图分类号：TP391 文献标志码：APedestrian trajectory prediction based on multi-head soft attention graph convolutional networkPENG Tao1，2，3，KANG Yalong2，3，YU Feng1，3*，ZHANG Zili2，3，LIU Junping2，3，HU Xinrong2，3，HE Ruhan1，3，LI Li1，2（1.Hubei Provincial Engineering Research Center for Intelligent Textile and Fashion（Wuhan Textile University），Wuhan Hubei 430200，China；2.Engineering Research Center of Hubei Province for Clothing Information（Wuhan Textile University），Wuhan Hubei 430200，China；3.School of Computer Science and Artificial Intelligence，Wuhan Textile University，Wuhan Hubei 430200，China）Abstract:The complexity of pedestrian interaction is a challenge for pedestrian trajectory prediction，and the existing algorithms are difficult to capture meaningful interaction information between pedestrians，which cannot intuitively model the interaction between pedestrians.To address this problem，a multi-head soft attention graph convolutional network was proposed.Firstly，a Multi-head Soft ATTention（MS ATT）combined with involution network was used to extract sparse spatial adjacency matrix and sparse temporal adjacency matrix from spatial and temporal graph inputs respectively to generate sparse spatial directed graph and sparse temporal directed graph.Then，a Graph Convolutional Network（GCN）was used to learn interaction and motion trend features from sparse spatial and sparse temporal directed graphs.Finally，the learned trajectory features were input into a Temporal Convolutional Network（TCN）to predict double Gaussian distribution parameters，thereby generating the predicted pedestrian trajectories.Experiments on Eidgenossische Technische Hochschule（ETH）and University of CYprus（UCY）datasets show that，compared with Space-time sOcial relationship pooling pedestrian trajectory Prediction Model（SOPM），the proposed algorithm reduces the Average Displacement Error（ADE）by 2.78%，and compared to Sparse Graph Convolution Network（SGCN），the proposed algorithm reduces the Final Displacement Error（FDE）by 16.92%.Key words:Multi-head Soft ATTention(MS ATT);channel attention;spatial attention;involution network;Graph Convolutional Network(GCN);pedestrian trajectory prediction0 引言 行人轨迹预测基于当前已知行人随时间变化的笛卡儿坐标集，预测未来时间内行人的运动轨迹。行人轨迹预测在监控系统、无人驾驶等应用领域有着重要作用1。在监控系统下，行人轨迹预测能够判断是否有异常情况；对于无人驾文章编号：1001-9081（2023）03-0736-08DOI：10.11772/j.issn.1001-9081.2022020207收稿日期：20220224；修回日期：20220517；录用日期：20220519。基金项目：国家自然科学基金资助项目（61901308）；湖北省教育厅青年项目（Q201316）；湖北省教育厅科研计划重点项目（D20191708）。作者简介：彭涛（1981），男，湖北武汉人，教授，博士，CCF会员，主要研究方向：数据简化、模式识别、网络安全；康亚龙（1997），男，湖北孝感人，硕士研究生，CCF会员，主要研究方向：计算机视觉；余锋（1989），男，湖北武汉人，讲师，博士，CCF会员，主要研究方向：医学图像处理、光学成像；张自力（1981），男，湖北武汉人，讲师，博士，CCF会员，主要研究方向：图像处理、计算机视觉；刘军平（1980），男，湖北武汉人，副教授，博士，CCF会员，主要研究方向：计算机视觉；胡新荣（1973），女，湖北武汉人，教授，博士，CCF会员，主要研究方向：图形图像处理；何儒汉（1974），男，湖北武汉人，教授，博士，CCF会员，主要研究方向：机器学习、人工智能；李丽（1982），女，湖北武汉人，副教授，博士，CCF会员，主要研究方向：机器视觉、光学无损检测。第 3 期彭涛等：基于多头软注意力图卷积网络的行人轨迹预测驶系统，行人轨迹预测能够提供关键的行人轨迹信息。在早期的工作中，Helbing等2提出了社会力模型描述行人间的作用力；Keller等3组合贝叶斯滤波器和运动学模型以预测行人的轨迹；Kooij等4建立了基于上下文的动态贝叶斯网络以预测行人轨迹。上述方法需要对模型进行严谨的建模，存在一定局限性，而基于深度学习的轨迹预测方法则不需要预设固有的物理模型，凭借大规模数据集就能拟合较好的映射关系。目前，大量基于深度学习的轨迹预测方法被提 出，社 会 长 短 期 记 忆（Social Long Short-Term Memory，S-LSTM）网络5是首个使用深度学习预测行人轨迹的算法。S-LSTM 使用循环神经网络（Recurrent Neural Network，RNN）对每个行人进行建模，并设立一个社交池计算行人之间的相互影响，通过发掘行人之间的隐藏信息预测行人的轨迹。社会 生 成 对 抗 网 络（Social-Generative Adversarial Network，S-GAN）6使用生成对抗网络（Generative Adversarial Network，GAN）预测多模态轨迹，并提出一种池化机制根据行人之间的相对距离计算行人之间的交互作用。社会时空图卷积神经 网 络（Social Spatio-Temporal Graph Convolutional Neural Network，Social-STGCNN）7直接将行人的轨迹建模为图，并对边进行加权，由行人之间的相对距离表示行人之间的交互作用。这些算法忽略了行人交互作用的有向性，而稀疏图卷积网络（Sparse Graph Convolution Network，SGCN）8提出了稀疏有向交互作用算法解决了行人之间交互作用无向的问题。但SGCN忽略了两个问题：1）行人在同一空间位置下有意义的位置交互信息；2）同一时间单个行人与全局行人交互对行人轨迹预测的影响。为解决上述问题，本文提出多头软注意力（Multi-head Soft ATTention，MS ATT），即多头空间和通道注意力，如图1所示，其中为哈达玛积。空间注意力关注行人在同一空间位置下交互信息的位置信息；通道注意力则考虑什么样的交互信息才有意义。为解决同一时间下单个行人与其他行人交互对行人轨迹预测的影响，引入内卷网络Involution9。内卷网络的卷积核Involution Kernel在每个空间位置下都不同，根据单个位置邻域的元素动态生成对应位置下的Involution Kernel并与输入的特征图进行全局乘加运算，从而解决同一时间下单个行人与其他行人交互对行人轨迹预测的影响。在此基础上，提出一种稀疏内卷学习，如图2所示，利用MS ATT获取行人之间的交互得分，通过内卷网络获取单个行人与全局的互动信息，生成更高层次的交互特征。使用 Zero-Softmax函数的归一化操作修剪多余的交互作用后，可以获得稀疏空间和稀疏时间邻接矩阵。在得到稀疏邻接矩阵后，考虑到非对称归一化稀疏邻接矩阵可以表示稀疏有向图，通过联合学习稀疏空间和稀疏时间有向图，建模稀疏有向交互和轨迹的运动趋势，利用图卷积网络（Graph Convolutional Network，GCN）级联学习轨迹特征，并使用时间卷积网络（Temporal Convolutional Network，TCN）10估计双高斯分布参数，生成预测轨迹。1 相关工作 1.