基于多尺度通道融合学习的时空数据预测模型_孙蓉.pdf

基金项目:国网江苏省电力有限公司科技项目(J2020128)收稿日期:20210527修回日期:20210603第 40 卷第 2 期计算机仿真2023 年 2 月文章编号:10069348(2023)02052406基于多尺度通道融合学习的时空数据预测模型孙蓉1，李强1，吴盛军1，刘伟伟2(1 国网江苏省电力有限公司电力科学研究院，江苏 南京 211103;2 南京理工大学自动化学院，江苏 南京 210094)摘要:万物互联时代种类繁多的信息采集设备产生了大量具有内生空间和时间关联的时空数据。针对时空数据预测中因数据复杂耦合导致的建模困难，提出一种覆盖多时间尺度的多通道融合学习模型。从大尺度中长期和小尺度临近短期分别挖掘数据的时空特征，通过设计一种轻量级卷积门控循环单元抽取数据中长期稳态特征，通过堆叠式三维卷积神经网络抽取数据的短期全局动态特征，将多尺度特征融合后实现多对象预测。在风电场实测多机组出功以及开源多点位风速这两种典型时空数据集上的实验结果表明，上述模型与当前同类时空数据预测算法相比可有效提高预测准确率。关键词:时空数据;预测;深度学习;轻量卷积门控循环单元;三维卷积神经网络中图分类号:TP391文献标识码:BPrediction Model for SpatioTemporal Data Based onFusion Learning of MultiScale ChannelsSUN ong1，LI Qiang1，WU Shengjun1，LIU Weiwei2(1 Electric Power esearch Institute of State Grid Jiangsu Electric Power Co，Ltd，Nanjing Jiangsu 211103，China;2 School of Automation，Nanjing University of Science and Technology，Nanjing Jiangsu 210094，China)ABSTACT:Huge amounts of spatiotemporal data have been generated by various information acquisition devicesin the Internet of Everything era，which are characterised by inherent spatial and temporal correlations Aiming at sol-ving the modeling difficulty due to the complex coupling characteristics，a multichannel fusion learning model thatcan cover multitime scales is proposed，which exploits the medium and longterm features on a large scale and thenearby shortterm features on a small scale，respectively The steadystate characteristics in the medium and longterm are extracted using lightweight convolutional gated recurrent units，and the overall dynamic characteristics in theshortterm are extracted using stacked threedimensional convolutional neural networks，multiobject prediction canbe realized with fusion strategy on the multiscale features The experimental results on the typical multiturbinewind electricity and multilocation wind speed datasets show that the proposed scheme can improve the prediction ac-curacy effectively when compared with the stateoftheart similar prediction algorithmsKEYWODS:Spatiotemporal data;Prediction;Deep learning;Lightweight ConvGU;3DCNN1引言随着当前社会信息化和智能化的蓬勃发展，融入日常生产生活的海量传感节点和网络接入设备产生了大量的传感数值、运行日志及多媒体数据，其中存在着大量的时空数据1，即从多个空间上有关联的来源获取的多维时间序列数据，如风电场各机组出功数据、多观测点气象数据、城市交通流量数据、网络节点通联数据以及疾病区域传播病例数据等。这些数据通常为物理空间、网络拓扑或通联图谱上临近的观测对象在时间的推移下不断生成，每个观测对象生成的数据均为时间序列，这些时间序列的基本要素类型可能为同质也可能为异构。时空数据的最大特点在于其各观测对象的时间序列内部存在时间上的关联，其各序列之间通常也存在着复杂的时空混合关联特性，这给其建模提出了严峻挑战。鉴于时空数据的普遍存在性及其在能源、交通、医疗、安425全等领域的重要价值，对其内生关联特性进行挖掘从而对其演进趋势进行预测有着重要的现实意义。时空数据分析属于时间序列分析24 在空间维度的拓展，其不再聚焦于对个体时序数据进行独立分析，而是综合时间和空间维度对群体多时序数据进行联合分析。需要同时提取序列内的时域关联性表征以及序列间的空域关联性表征，其建模面临的主要困难在于数据的时空分辨率不断提高带来的维度提升以及高度复杂的非线性关系导致的拟合难度大等问题。对预测问题建模的核心在于能够有效表征关联性的隐变量提取，时间序列分析中通常采用统计模型或支持向量机、人工神经网络等机器学习方法。然而这些方法通常高度依赖于人工知识引导的特征工程，即需要基于专业知识及大量试验来完成原始数据向其有效特性表征的映射。这对于时空数据所存在的高度复杂内生关系而言是不可行的，且这些传统方法通常难以有效捕获高维非线性特征，因此对于当前形势下的时空数据预测任务并不能有效发挥作用。近年来以卷积神经网络(Convolutional Neural Network，CNN)和循环神经网络(ecurrent Neural Network，NN)为代表的深度学习模型以其在序列关联性挖掘及高维非线性映射方面的能力在很多领域引起了重要变革，其利用非线性模块的排布对输入信号逐层提取特征从而摆脱了对人工提取特征的依赖，克服了传统特征工程方法的缺陷。CNN 常用于数据的空间特征挖掘，其权值共享设计能够显著减少网络参数，抑制深层模型的过拟合问题，其与时间维度结合的三维形式，即 3DCNN5，最早被应用于视频分析中，可以同时捕获数据的时间和空间维度特征，是一种可用于更广泛的时空数据建模的方法。与 CNN 不同，NN 则通常用于提取时序数据的特征，其变体形式门控循环单元(Gated ecurrent Unit，GU)在继承其序列内依赖关系挖掘能力的同时，还可解决传统 NN 因序列过长而导致的梯度消失、训练时间长和过拟合等问题。卷积门控循环单元(Convolutional Gated ecurrent Unit，Conv-GU)6 则针对 GU 无法有效保留时空数据的空间特征这一局限性，将卷积与门控循环单元相结合，具备了同时对时序进行建模且挖掘空间关联的能力，也是一种可以应用于时空数据学习的神经网络结构。与 3DCNN 以及 ConvGU 将卷积与循环单元结合的思路相近，时间卷积(Temporal Conv-olutional Neural，TCN)网络7 通过在卷积层之间建立因果关系，达到灵活的感知野以及并行处理能力，对时空数据也达到了较好的建模效果。此外，近期也有研究者通过二维卷积神经网络与门限循环单元级联的方式对时空数据进行分阶段学习8，先使用多个卷积通道逐帧提取二维空间特征，再使用双向 GU 对提取到的空间特征进行时序建模，以捕获时空关联特性。尽管当前结合 CNN 与 NN 的深度学习方法在解决时空数据预测问题中已经发挥了重要的作用，但是现有时空数据学习方法在多时间尺度关联、多模型融合以及时序学习单元的优化等方面尚有待进一步加强。本文针对上述问题，以空间关联的同类对象获取的同质化时间序列数据这一最常见的时空数据为研究对象，针对时空数据普遍存在的中长时间尺度下的相对稳态特性以及小时间尺度下的动态特性，提出了一种覆盖多时间尺度且融合多通道学习模型的时空数据预测算法。基于所设计的轻量卷积门控循环单元抽取数据中长期趋势，基于三维卷积神经网络抽取数据的短期变化，将这两个通道的表征融合后解码得到多个观测对象的预测结果。实验部分则聚焦于电力领域的时空数据，以风电场的实测多机组风电出功数据以及开源的气象监测风力数据为实验对象。风能相关的数据在时空数据中具有极强的代表性，其各点位间有复杂的影响机理且在时间尺度上也有较强的动态性，其预测模型对于其它类型的时空数据学习有着较好的参照价值。2时空数据预测问题的描述不失一般性，假定时空数据来源为 N 个物理空间、网络拓扑或通联图谱中临近的位置或节点所对应的实体对象 A1，AN，每个对象的时间序列长度为 T，生成的数据维度为M，当 M=1 时意味着每个对象的序列为一个长度为 T 的向量。任意时刻 t 1，T时，各节点构成的空间数据可以表示为一个 NM 维的矩阵 XtRNM。Xt=x(1，1)tx(1，M)tx(N，1)tx(N，M)t(1)其中 x(i，j)t表示 t 时刻第 i 个对象的第 j 维数据。则在连续的时间长度 T 下由 N 个对象生成的时空数据可以用三维张量XRTNM来表示。X=X1，X2，XT(2)若要预测目标时刻 T+这 N 个对象的状态 XT+，考虑到时空数据在不同时间尺度下存在的稳态和动态特性差异，以及关联性通常随时序长度增加而减弱，需要对其进行多尺度联合学习。不失一般性，以两种时间尺度为例，本文将输入预测模型的时空数据 X 划分为不同时间尺度下的两部分:临近短期观测序列 XS和中长期观测序列 XL，其它更多的时间尺度情形可由其拓展得到。XS=XTd，XTd+1，XT1XL=XTcq，XT(c1)q，XTq(3)式中，d 和 c 分别为短期序列 XS和中长期序列 XL的序列长度，q 为中长期序列的观测步长。则基于多时间尺度的预测问题可由下式进行描述。XT+=arg maxX*Pr(X*RNM|XS，XL)(4)若各对象间的空间关联性已知或可经由人工知识分析得到，如将其两两之间的关联性由一个关联系数矩阵 WRNN进行表示，则时空数据预测即是学习一个模型 F。525F:RdNMRcNMRNN RNM(5)然而，在大多数现实场景中，很难采集或准确量化各对象之间的空间关联性，因此需要在模型中利用具备空间特性学习能力的单元去进行学习。值得指出的是，当 M=1 时，时空数据 X 可以由一个 TN 维矩阵进行表征，其是最常见的时空数据类型，本文的实验数据即为该类型。当 N=1 时，时空数据的预测问题则退化为单点时间序列的预测问题。3多通道融合学习的时空数据预测模型基于上一节的时空数据预测问题建模思路，本节提出一种多通道融合学习的时空数据预测模型，其覆盖临近短期时间尺度和中长期时间尺度，多通道则分别对应着两种尺度下的学习模型。针对中长期时间尺度，通过将轻量化 GU 单元引入卷积门控循环单元中来设计一种轻量卷积门控循环单 元(Lightwe