面向改进的时空Transf...rmer的交通流量预测模型_高榕.pdf

Computer Engineering and Applications计算机工程与应用2023，59（7）随着城市化进程的推进和日益增长的人口数，交通拥堵的压力和交通事故的发生日益增加，智能交通系统（ITS）成为交通便利不可或缺的综合技术。交通流量预测既是智能交通系统中重要组成部分之一，同时也是一项富有挑战性的任务。交通速度数据可以由市区公路系统检测器收集或者导航系统记录车辆行驶速度数据大数据与云计算面向改进的时空Transformer的交通流量预测模型高榕1，2，万以亮1，邵雄凯1，吴歆韵11.湖北工业大学 计算机学院，武汉 4300682.南京大学 计算机软件新技术国家重点实验室，南京 210093摘要：针对基于时空Transformer模型的交通流量预测模型性能不高的问题，提出了一种基于编解码器的改进的时空Transformer模型（improved spatio-temporal Transformer model，ISTTM）。编码器对历史流量特征进行编码，解码器预测未来序列。编码器将空间稀疏自注意力和时间层次扩散卷积相结合，捕捉交通流量的动态空间相关性和局部空间特征，再利用时间自注意力建模非线性时间相关性；解码器与编码器类似地挖掘出输入序列的时空特征。基于编解码器提取的时空特征，采用双重交叉注意力模拟历史交通观测对未来预测的影响，建模每个历史时间步和每个未来时间步的直接关系以及对整个未来时间段的影响，并输出未来交通流量的最终表示。为了证实ISTTM的有效性，在METR-LA和NE-BJ两个真实世界的大规模数据集上进行实验，ISTTM结果优于6个先进的基线。关键词：交通流量预测；时空特征；稀疏自注意力；扩散卷积文献标志码：A中图分类号：TP183doi：10.3778/j.issn.1002-8331.2203-0290Traffic Flow Forecasting Model for Improved Spatio-Temporal TransformerGAO Rong1，2,WAN Yiliang1,SHAO Xiongkai1,Wu Xinyun11.School of Computer Science,Hubei University of Technology,Wuhan 430068,China2.State Key Laboratory of New Computer Software Technology,Nanjing University,Nanjing 210093,ChinaAbstract：To address the low performance problem of traffic flow prediction model based on spatio-temporal Transformermodel,an improved spatio-temporal Transformer model（ISTTM）based on encoder-decoder is proposed.The encoderencodes the historical traffic features and the decoder predicts the future sequences.Firstly,the encoder combines spatialsparse self-attentiveness and temporal hierarchical diffusion convolution to capture the dynamic spatial correlation andlocal spatial features of traffic flows,and then uses temporal self-attentiveness to model the nonlinear temporal correlation.Then,the decoder mines the spatio-temporal features of the input sequences similarly to the encoder.Finally,based on thespatio-temporal features extracted by the encoder-decoder,the impact of historical traffic observations on future forecastsis simulated using double cross-attention,modeling the direct relationship between each historical time step and eachfuture time step and the impact on the whole future time period,and the final representation of the future traffic flow isoutput.To confirm the effectiveness of ISTTM,experiments are executed on two real-world large-scale datasets,METR-LAand NE-BJ,and the ISTTM results outperform the six state-of-the-art baselines.Key words：traffic forecasting;spatio-temporal feature;sparse self-attention;diffusion convolution基金项目：国家自然科学基金（61902116）；南京大学计算机软件新技术国家重点实验室开放课题（KFKT2021B12）；湖北省高层次人才基金（GCRC2020011）；湖北工业大学博士科研启动基金（BSQD2019026，BSQD2019022）。作者简介：高榕（1981），通信作者，男，博士，讲师，研究方向为机器学习、交通预测，E-mail：；万以亮（1998），男，硕士研究生，研究方向为交通预测、人工智能；邵雄凯（1963），男，博士，教授，CCF会员，研究方向为自然语言处理、交通预测；吴歆韵（1987），男，博士，副教授，研究方向为组合优化问题求解算法。收稿日期：2022-03-14修回日期：2022-05-05文章编号：1002-8331（2023）07-0250-112502023，59（7）转换而来，被用于交通流量预测模型模拟路段在不同工作日与路网上车辆速度的高度非线性变化。准确的交通预测模型有助于生活中出行路线规划和行程安排，从而减少一些没必要的负担。早期基于经典统计方法的算法被广泛地用于交通流预测，这些算法需要满足平稳性的假设，其中常见的预测方法有向量自回归法（VAR）、历史平均法（HA）等。然而，这些算法中的参数依赖于相关领域专家的精心设计，并没有挖掘数据中信息，导致预测的效果一般。随着近几年国内深度学习的蓬勃发展，循环神经网络（RNN）、卷积神经网络（CNN）、基于图卷积神经网络（GCNN）在交通流量预测领域的被研究者所采用，提取高阶的时空依赖1-2。例如，Li等人1提出DCRNN模型，旨在将RNN与扩散卷积相结合，兼并地捕捉交通数据的时间特征和空间特征。Wu等人2将一维CNN与扩散卷积结合起来，并使用自适应的邻接矩阵来增强原始的扩散卷积并学习路段之间存在的其他空间关联。然而，这些模型没有考虑到交通路网图的动态变化，仅在固定的空间依赖关系上计算空间依赖关系并保持使用。因此，Park等人3提出ST-GRAT模型，不仅利用Transformer多头自注意力模拟非线性的时空关联，而且利用编码器-解码器交叉注意层4模拟每个历史时间步和预测每个未来时间步的交互。Zheng等人5采用编码器-解码器转换注意力将编码的每个历史时间步和预测的每个未来时间步直接关联起来，有助于缓解预测时间步之间的错误传播问题。上述工作取得了不错的成果，但是依然存在如下问题：基于规范 Transformer的交通预测模型3在捕捉高阶空间依赖上的能力表现不强，其中多头自注意力只有少数点积对贡献关键的注意力。如图1所示，本文统计了洛杉矶收集的METR-LA数据集中207个目标节点和其他节点的注意力分数，可以观察到交通图节点关联程度长尾效应的现象，其中仅少数节点对关联程度大，并得出大多数节点对（约占 82.6%）的注意力分数低于0.006（接近均值为1/207的均匀分布），这种长尾效应可能会给节点嵌入学习带来噪声，从而降低预测性能6，可能的原因是：（1）文献7指出针对节点的自注意力机制仅计算了节点间的语义相似度，而没考虑反映在节点上的图的结构信息和节点对之间的高阶关系；（2）文献8已经观察到来自规范Transformer的注意力分数具有长尾分布，少数点积对贡献了主要的注意力，而其他点积对则产生了微不足道的注意力。相关研究3-5只从单个历史时间步和未来时间步之间的交互这个方面建模输入历史序列对输出未来序列的影响，而忽略了单个历史时刻交通状况对未来整个时间段交通状况的一般影响，阻碍了预测性能进一步提升。基于编解码器的交通预测模型9使用编码器将历史时空数据的空间依赖和时间依赖转换为每个历史时间步的隐藏向量表示，该向量被用于编解码器的注意层，建立输入历史序列与输出未来序列之间的关联，预测每个未来时间步的交通流量，然而这是远远不够的。例如，在早上8：45时道路C的某车辆超速行驶造成严重的交通事故，进而导致道路拥堵；显然，历史时间步8：45的突发事件是造成路段C持续拥堵的主要原因。因此，在建模中不仅要建立每个历史时间步和每个未来时间步之间的联系，还要关注历史时间步对未来时间段整体影响。为了解决以上交通流量预测模型存在的一些问题，本文提出一种改进的时空 Transformer 模型，称为ISTTM。首先，利用时空嵌入层将高阶邻接矩阵的LINE图嵌入信息融入时空数据中，考虑了节点高阶邻居信息。然后，空间稀疏自注意力将时空数据映射至高维的查询、键、值空间，利用最大均值衡量方法8来计算节点查询对所有键的注意力分布与关注度很小的均匀分布的差异，取得差异值大的Top-u个查询向量，差异值越大，代表挑出节点间关键依赖的准确性就越高，有效地缓解长尾效应造成的低效注意力噪声，提升预测性能；执行这些查询和键之间的缩放点积，更新节点的特征表示，进而捕捉到起主导作用的高阶空间依赖，同时融合时间层次扩散卷积来刻画多个时间尺度下节点之间的高阶信息；再然后，采用时间自注意力模拟节点非线性的动态时间关联。其次，在历史流量特征编码结束之后，与编码器类似，解码器捕捉输入序列的时空特征。基于解码器捕捉到的时空特征，利用双重交叉注意力从历史时间步和未来时间步之间的关系与历史时间步对未来时间段整体影响这两个方面上建模历史交通观测对未来预测的影响。最后，输出预测的未来序列的最终表示。通过在公开数据集上的实验，本文提出的方法优于主流的交通流量预测模型。本文总结了以下一些主要的贡献：（1）引入空间稀疏自注意力来采样节点对的主要注图1来自METR-LA数据集训练的节点对自注意力分数Fig.1Self-attention scores of node pairs trained fromMETR-LA dataset样本数目4 0003 5003 0002 5002 0001 5001 00050000.003 0.004 0.005 0.006 0.007 0.008节点嵌入的Softmax分数高榕，等：面向改进的时空Transformer的交通流量预测模型251Computer Engineering and Applications计算机工程与应用2023，59（7）意力，减轻长尾效应，并自适应地融合