基于自注意力机制的时空网络交通流预测研究_秦畅.pdf

2023.6电脑编程技巧与维护1概述交通流预测是利用历史交通数据来预测未来交通流的时间戳，早期专注于时间序列预测的工作取得出色的成绩。传统的方法如支持向量回归、支持向量机和K-近邻方法，已广泛应用于交通预测。Zheng等提出将公共交通轨迹表示为图或张量结构1。受深度学习在各种不同应用上取得重大进步的启发，许多研究人员试图用深度神经网络来处理这项任务。Zhang等采用了基于卷积的残差网络来共同预测城市网格图每个区域的人群流入和流出2。Zhang等把卷积长短期记忆法（ConvL-STM）用于时空建模3，而此方法用连续视频帧对给定监控图像上的人群进行计数，而不是基于移动数据预测人群流动演变。2数据准备根据经度和纬度将一个城市划分为hw的非重叠网格图。同时，定义流入和流出为在每个时间间隔进入或离开一个给定区域的人流。将第t天时间间隔的人群流动图表示为张量MdtR2hw。其中，第1通道为流入通道，第2通道为流出通道。针对外部因素，将天气状况被分为16类，并通过One-Hot编码进行数字化，而温度和风速则通过最小最大线性归一化方法将其缩放到0，1。用Edt表示第d天第t个时间间隔的外部因子张量。3模型介绍3.1结合自注意力机制的卷积长短期记忆模块（SA-ConvL）ConvLSTM网络通过输入门、遗忘门和输出门这3个门控单元决定信息在记忆单元中的更新和遗忘程度，解决了传统神经网络在反向传播中存在的梯度爆炸或梯度消失的问题。SA-ConvL网络结构如图1所示，模块的输入由当前t时刻的输入Xt和上一时刻隐藏层输出t-1组合而成。如公式（1）公式（7）所示：（1）（2）（3）（4）（5）（6）（7）其中，W为二维卷积核；*为卷积运算；为Hadamard乘积；SA为自注意力机制模块。3.2自注意力机制模块（SAM）在SAM中，原始特征Ht被映射到不同的特征空间中。作 为 查 询（Query）：Qh=WqHtRN，作 为 键（Key）：Kh=WkHtRN，作为值（Value）：Vh=Wv HtRN，其中，W为卷积权重；C和为通道数。每一对位置点的相似性得分如公式（8）（10）所示：（8）（9）基于自注意力机制的时空网络交通流预测研究秦畅（东北大学理学院，沈阳110819）摘要：交通流预测对公共安全和城市交通管理具有重要意义。在交通流预测中，关键问题是使预测结果自适应于影响交通变化的各种因素，为解决这个问题提出了自注意力人流预测模型（SACF）。为时变数据赋予权重，并通过注意力机制学习时空依赖关系和动态表示，进一步推导人群流量的演化。同时建立一个详细的框架来预测城市的人口流，该框架自然结合序列和周期性数据及其他外部影响因素。模型内部由多个自注意力人流预测模块组成，以预测时空权重。关键词：时空序列；深度学习；流量预测；注意力机制图1SA-ConvL网络结构SA-ConvLCt-1CttanhtanhWfWiWgCCCWoXtSAMCt-1Ht-1t167DOI:10.16184/prg.2023.06.0312023.6电脑编程技巧与维护（10）使用所有位置的加权和来计算第i个位置的聚合特征可得到Zi。其中，WvHt;j是值Vh的第j列，输出t可通过残差连接t=WfZ+Ht来获得。3.3SACF 模块SACF模块由两个与卷积层连接的渐进SA-ConvL单元组成。将交通图在第i次迭代时的输入特征表示为XiRchw，其中，h、w、c分别为高度、宽度、通道数。在每次迭代时，第一个SA-ConvL单元以Xi作为输入，利用输出的隐藏状态对历史信息进行编码，如公式（11）公式（13）所示：（11）（12）（13）其中，a为卷积层参数；Wi为学习输入特征图；Xi为每个空间位置的权重。将Xi和Wi做点积以更新交通流权重，并输入第2个SA-ConvL模块，可生成一个新的隐藏层Hi2，用于进一步的交通流预测。3.4城市人流预测框架城市人流预测框架由4部分组成，如图2所示。3.4.1特征提取融合模块（NFE）对于人群流动特征Fji（M）：对于第j天第i个时间间隔的人群流动图Mji，使用残差结构提取其特征。外部因素特征Fji（E）：使用包含两个全连接的网络层来提取特征。最后一层的输出Eji被重塑为三维张量Fji（E）。Fji（M）和Fji（E）连接以生成嵌入特征Fji，即Fji=Fji（M）Fji（E）。3.4.2序列表示学习模块（SRL）取最近几个时间间隔的交通流特征，形成一组连续的时间特征，如公式（14）所示：（14）在每次迭代中，SACF将Sin中的一个元素作为输入，以获得序列表示Sf。3.4.3周期表示学习模块（PRL）采用周期性时间特征来捕捉人群流动的时间特征，如公式（15）所示：（15）SACF最后一次迭代的隐藏输出通过卷积层生成周期性表示Pf。3.4.4时变融合模块（TVF）首先将Sf、Pf和Ef连接起来，并将它们作为输入传递给2个全连接层，用于融合权重推断。特征表示通过sigmoid函数后，输出代表Sf重要程度的系数r。将这2个具有不同权重的时间表示合并，如公式（16）所示：（16）其中，为由卷积层实现的线性变换。预测的人群流动图R2hw，如公式（17）所示：（17）4实验与结果分析4.1数据集及实验环境选用TaxiBJ数据集，该数据集由某地出租车全球定位系统（GPS）轨迹数据生成，包含22 459个时间间隔的大小为23232的人群流动图。将最近4周的数据作为测试集，将其余数据作为训练集。实验中使用的编程语言为Python3.8，使用Pytorch1.11版本深度学习框架进行实验。采用均方根误差（RMSE）为模型预测性能评价指标，如公式（18）所示：（18）其中，为预测值；yi为序列真实值；m为用于验证的样本量大小。4.2实验结果分析将4种目前先进的方法与实验方法进行了比较，实验结果对比如表1所示，包括自回归求和移动平均模型（ARIMA）、深度时空网络（DeepST）、时空残差网络（ST-ResNet）与注意力人流机（ACFM4）。图2城市人流预测框架模型RMSEARIMA23.06DeepST18.26ST-ResNet16.57ACFM15.22SACF(Ours)14.69表1实验结果对比SACFSACFSACFSACFSACFSACF1682023.6电脑编程技巧与维护put_time)&_/interactive/every:Su,M,T,W,Th,F,Sa&Win-dowsDir&msggj.exe)FileClose($file)Sleep(100)RunWait(WindowsDir&sdown.bat,Win-dowsDir,SW_HIDE)Sleep(100);FileDelete(WindowsDir&sdown.bat)Sleep(100)EndFunc;=setup;取消函数Func cancel()$file=FileOpen(WindowsDir&sdown2.bat,10);FileWriteLine($file,sc config Schedule start=disabled)FileWriteLine($file,del c:windowstasksa*.*);FileWriteLine($file,sc stop Schedule)FileWriteLine($file,shutdown.exe-a)FileClose($file)Sleep(100)RunWait(WindowsDir&sdown2.bat,Win-dowsDir,SW_HIDE)Sleep(100)FileDelete(WindowsDir&sdown2.bat)Sleep(100)EndFunc;=cancel这段代码首先是调用FileInstall函数，将前面编译好的“msggj.exe”文 件，包 含 到 该 段 代 码 编 译 后 的“自动关机设置器.exe”程序中，并指明“自动关机设置器.exe”运行后，采用覆盖模式先释放到Windows目录下，类似“自动解压缩到”的释放模式。语句：FileInstall(D:自动关机设 置 器msggj.exe,Win-dowsDir&msggj.exe,1)（1）设置函数setup()。设置函数的功能是即时生成一个“sdown.bat”批处理文件，通过隐藏执行批处理文件，开启自动计划任务服务（Task Scheduler服务），调用Windows的At命令设置每天在固定的时间点执行Windows目录下的关机程序“msggj.exe”，以实现自动关机功能。“sc config Schedule start=AUTO”命令是配置开启计划任务服务。（2）取消函数cancel()。当想撤销机器自动关机功能时，则可以在程序中调用该函数，将“tasks”目录中的计划任务删除。取消后计划任务将不再执行。编译生成可执行文件“自动关机设置器.exe”。至此，整个项目开发完毕。对外发布只有两个文件，如图8所示。4结语程序的特点是简单易用，设置灵活，无任何第三方控件。设置成功后，就不依赖于该程序，绿色环保，对系统资源占用低。与网上的同类程序相比不需要程序时刻运行，删除后仍保留自动关机功能。图8对外发布两个文件与前述先进方法对比，实验方法（SACF）将均方根误差从15.22降至14.69。实验结果表明，提出的SACF模型能够对时空特征进行注意力加权建模，这大大优于现有技术。5结语构建了一个自注意力记忆模块来捕捉空间和时间维度上的长程依赖。在TaxiBJ数据集上进行的实验表明，与现有预测方法相比，该模型具有良好的预测性能，可以从历史人群流量图中推断未来人群流量的演变。参考文献1ZHENG Y.Trajectory data mining:an overview J.ACM transactions on intelligent systems and technolo-gy(TIST),2015,6(3):1-41.2ZHANG J,ZHENG Y,QI D.Deep spatio-temporalresidual networks for citywide crowd flows predictionC/AAAI.Proceedings of the AAAI conference onartificial intelligence,San Francisco:AAAI,2017.3ZHANG S,WU G,COSTEIRA J P,et al.Fcn-rlstm:Deep spatio-temporal neural networks for vehicle count-ing in city cameras C/IEEE Proceedings of the IEEEinternational conference on computer vision,New York:IEEE,2017.4LIU L,ZHEN J,LI G,et al.Dynamic spatial-temporalrepresentation learning for traffic flow prediction J.IEEE Transactions on Intelligent Transportation Sys-tems,2020,22(11):7169-7183.(上接第132页)169