基于MTL-GRU-Attention的综合能源系统多元负荷预测.pdf

电 力 系 统 及 其 自 动 化 学 报Proceedings of the CSU-EPSA第 35 卷 第 6 期2023 年 6 月Vol.35 No.6Jun.2023基于 MTL-GRU-Attention 的综合能源系统多元负荷预测岳伟民1，刘青荣1，阮应君2，钱凡悦2，孟华2（1.上海电力大学能源与机械工程学院，上海 201306；2.同济大学机械与能源工程学院，上海 200092）摘要：针对综合能源系统多元负荷预测问题，提出一种基于多任务学习、门控循环单元和注意力机制的多元负荷预测方法。首先，运用门控循环单元建立多任务学习的共享层，充分挖掘冷、热、电负荷之间的耦合特征；然后，利用贝叶斯优化算法实现门控循环单元最优超参数的自适应选择；最后，使用注意力机制实现子任务对共享层中重要特征的差异化提取，以增强关键信息的影响。以亚利桑那州立大学坦佩校区的实测负荷数据作为算例，结果表明所提模型具有更高的预测精度。关键词：多任务学习；门控循环单元；注意力机制；贝叶斯优化算法；综合能源系统中图分类号：TM715文献标志码：A文章编号：1003-8930（2023）06-0083-07DOI：10.19635/ki.csu-epsa.001121Multivariate Load Forecasting of Integrated Energy System Based on MTL-GRU-Attention MechanismYUE Weimin1，LIU Qingrong1，RUAN Yingjun2，QIAN Fanyue2，MENG Hua2（1.College of Energy and Mechanical Engineering，Shanghai University of Electric Power，Shanghai 201306，China；2.School of Mechanical Engineering，Tongji University，Shanghai 200092，China）Abstract:Aimed at the problem of multivariate load forecasting of an integrated energy system（IES），a multivariateload forecasting method based on multi-task learning（MTL），gated recurrent unit（GRU），and Attention mechanismis proposed.First，a shared layer of MTL is established by using GRUs，and the coupling characteristics between cold，heat，and electric loads are fully exploited.Then，the Bayesian optimization algorithm is used to realize the adaptive selection of optimal hyperparameters of GRU.Finally，the Attention mechanism is used to realize the differential extraction of important features in the shared layer by subtasks to enhance the influence of key information.The measuredload data of the Tempe Campus of Arizona State University is taken as an example，and results show that the proposedmodel has a higher prediction accuracy.Keywords:multi-task learning（MTL）；gated recurrent unit（GRU）；Attention mechanism；Bayesian optimization algorithm（BOA）；integrated energy system（IES）随着社会经济的快速发展，能源利用与环境保护的协调发展面临重大挑战1。在此基础上，构建清洁高效的综合能源系统 IES（integrated energysystem）以提高能源利用效率、减少碳排放成为当务之急2。IES作为一种基于多能利用、转换和传输技术的新型能源供应模式，通过多种能源形式的耦合，实现冷、热、电等负荷的灵活转换、高效分配和有机协调。准确的负荷预测是IES安全经济运行与优化管理的前提3。目前，针对单一负荷预测已取得较多成果。在电力负荷预测方面，以人工神经网络ANN（artificial neural network）4、支持向量回归 SVR（supportvector regression）5、长短期记忆 LSTM（long short-term memory）6神经网络等为代表的机器学习模型常被用于电力负荷预测。文献7使用SVR等机器学习方法完成两栋建筑的能耗预测。文献8提出了一种基于LSTM神经网络的短期电力负荷预测模型。在冷、热负荷预测方面，建筑能耗模拟软件、机器学习等数据挖掘方法都有一定程度的应用9。文献10利用TRNSYS软件对某区域供冷系统用户逐时动态冷负荷进行模拟。文献11使用 SVR 和ANN预测建筑暖通空调系统的能耗。然而，由于忽收稿日期：2022-06-01；修回日期：2022-09-16网络出版时间：2022-10-06 16：06：08基金项目：上海市双碳专项园区百千瓦级燃料电池综合能源系统关键技术研究与示范项目（21DZ1208800）岳伟民等：基于 MTL GRU Attention 的综合能源系统多元负荷预测电 力 系 统 及 其 自 动 化 学 报84第 6 期略了不同负荷之间的耦合特性，这些方法应用于IES多元负荷预测不能取得理想的效果2。因此，一些学者将多任务学习MTL（multitasklearning）引入 IES 多元负荷预测。文献12利用MTL 和深度信念网络 DBN（deep belief network）构建短期电、热、气负荷预测模型。文献13借助MTL中的权重共享机制和最小二乘支持向量机LSSVM（least squares support vector machine）来预测IES中的电、热、冷、气负荷。文献14提出一种基于MTL-LSTM的IES多元负荷预测。上述文献的预测结果表明，与单一负荷预测模型相比，考虑负荷之间耦合特性的MTL模型可以取得较好的预测结果。然而上述利用MTL构建的IES多元负荷预测的模型中仍然存在着两方面的不足：MTL预测模型中子任务对共享层中重要特征的差异化提取能力不足；模型构建中的超参数通常由人工经验进行选择，通用性差。因此，针对目前IES多元负荷预测中存在的问题，本文提出一种基于 MTL、门控循环单元 GRU（gated recurrent unit）和注意力（Attention）机制的综合能源系统多元负荷预测模型。首先，该模型将冷、热、电负荷历史数据、气象数据及日历规则等输入到基于MTL搭建的GRU深度学习模型中，通过信息共享的方式提取冷、热、电负荷间的复杂耦合特征，同时利用贝叶斯优化算法BOA（Bayesian optimization algorithm）实现GRU最优超参数的自适应选择；然后，使用注意力机制实现各个子任务对共享层中重要特征的差异化提取；最后，通过实际案例验证所提模型的有效性。1相关原理理论1.1门控循环单元作为 LSTM 的一种变体，GRU 在结构上与LSTM相似，不同之处在于LSTM有3个门结构，即输入门、遗忘门和输出门15，而GRU只有更新门和重置门两个门结构。GRU不仅保持了与LSTM几乎相同的预测效果，而且具有更简单的结构，计算速度也比LSTM快很多16。GRU的结构如图1所示。GRU的整个计算过程可表示为zt=()Wzht-1,xt+bz（1）rt=()Wrht-1,xt+br（2）ht=tanh(Wh(ht-1rt),xt+bh)（3）ht=(1-zt)ht+ztht-1（4）式中：xt为t时刻的输入；ht为隐藏状态在t时刻的输出；ht-1为在t-1时刻的隐藏状态；zt和rt为更新门和重置门；ht为t-1时刻的候选隐藏状态；（）和tanh（）为激活函数；Wz、Wr和Wh为权重系数矩阵；bz、br和bh为对应的偏置向量；表示哈达玛积。1.2注意力机制注意力机制通过模拟人脑中注意力资源分配，忽略无关信息放大重要特征，其本质在于加强关键信息对于模型输出结果的影响3。在IES短期负荷预测中，使用注意力机制实现各个子任务对共享层中重要特征的差异化提取。本文所采用的注意力机制的结构如图2所示，其中xt为GRU模型的输入，ht为GRU得到的隐藏层输出，t为注意力机制输出到隐藏层的注意力概率分布，y为经过注意力机制优化的GRU输出。注意力机制可表示为et=utanh(wht+b)（5）t=exp(et)j=1tej（6）st=t=1itht（7）式中：et、ej分别为由GRU输出向量在t、j时刻确定的注意力概率分布值；u和w为权重系数；b为偏置系数；st为注意力层在t时刻的输出。1.3多任务学习由于IES结构复杂，不同的能源系统需要通过能量转换元件（冷热电三联供、热泵等）的能量流形图 1GRU 结构Fig.1Structure of GRUhthtztxtrttanh1-图 2注意力机制Fig.2Attention mechanismyh0h1ht-1hthnx1xt-1xtxn1t-1tnht-1岳伟民等：基于MTL GRU Attention的综合能源系统多元负荷预测85第 35 卷式进行耦合。因此，IES输出的冷、热、电负荷数据中存在大量关于能量转换的共享信息。MTL通过获取多个相关问题的知识，能够有效利用IES的复杂能量转换共享信息17。MTL结构如图3所示。假设MTL模型有T个学习任务yt,t=1,2,T，并包含 1 组数据集xi,yi,1,yi,2,yi,t,yi,TNi=1，其中N为样本数。设预测函数为ft(x;sh,t):xyt，其中sh和t分别为不同任务共享的参数和任务相关的其他参数；损失函数为L(ft(xi;sh,t),yi,t)，则 MTL 的整体优化损失函数为mint=1TwtL(ft(xi;sh,t),yi,t)，其中wt为权重系数，本文设置电、冷、热负荷的权重系数分别为0.4、0.4和0.2。1.4贝叶斯优化算法BOA作为一种新兴的超参数优化方法，可以凭借较少的迭代次数获得满意的优化结果，其比网格搜索和随机搜索方法更有效18。在本文中BOA旨在候选集U找到满足下式的一组最优超参数集X*：X*=argmaxXUf(X)（8）式中：X为决策空间；f(X)为目标函数。BOA 首先应用高斯过程回归（GPR）计算前n个点的后验分布，获得每个参数在每个点的均值和方差。这里均值表示这一点的预期效果，均值越大，效果越好；方差表示这一点的不确定性，方差越大，不确定性越大。然而，只选择均值最大的点容易陷入局部最优，一些方差较大的点也可能具有全局最优解。为了避免出现局部最优，探索和开发被提出19。开发是根据后验分布在最有可能出现全局最优解的区域进行采样；探索是在未采样的区域进行采样。因此，为了平衡探索和开发，采样函数被提出20。本文选择期望改进 EI（expected improvement）函数作为采样函数，EI函数可表示为EI(x)=(x)-f(x)(Z)+(x)(Z)(x)00(x)=0（9）其中Z=(x)-f(x)-c(x)（10）式中：f(x)为