结合注意力机制与深度强化学习的超短期光伏功率预测_丁正凯.pdf

2023-05-10计算机应用,Journal of Computer Applications2023,43(5):1647-1654ISSN 1001-9081CODEN JYIIDUhttp：/结合注意力机制与深度强化学习的超短期光伏功率预测丁正凯1，2，傅启明1，2*，陈建平2，3，4，陆悠1，2，吴宏杰1，方能炜4，邢镔4（1.苏州科技大学 电子与信息工程学院，江苏 苏州 215009；2.江苏省建筑智慧节能重点实验室（苏州科技大学），江苏 苏州 215009；3.苏州科技大学 建筑与城市规划学院，江苏 苏州 215009；4.重庆工业大数据创新中心有限公司，重庆 400707）（通信作者电子邮箱fqm_）摘要：针对传统光伏（PV）功率预测模型受功率随机波动性影响以及易忽略重要信息导致预测精度低的问题，将注意力机制分别与深度确定性策略梯度（DDPG）和循环确定性策略梯度（RDPG）相结合提出了ADDPG和ARDPG模型，并在此基础上提出一个PV功率预测框架。首先，将原始PV功率数据以及气象数据标准化，并将PV功率预测问题建模为马尔可夫决策过程（MDP），历史功率数据和当前气象数据则作为MDP的状态；然后，将注意力机制加入DDPG和RDPG的Actor网络，赋予状态中各个分量不同的权重来突出重要且关键的信息，并通过深度强化学习智能体和历史数据的交互来学习数据中的关键信息；最后，求解MDP问题得到最优的策略，作出准确的预测。在DKASC、Alice Springs光伏系统数据上的实验结果表明，ADDPG和ARDPG在均方根误差（RMSE）、平均绝对误差（MAE）和决定系数（R2）上均取得了最优结果。可见，所提模型能够有效提高PV功率的预测精度，也可以推广到其他预测领域如电网预测、风力发电预测等。关键词：深度强化学习；注意力机制；光伏功率预测；深度确定性策略梯度；循环确定性策略梯度中图分类号：TP183；TP391 文献标志码：AUltra-short-term photovoltaic power prediction by deep reinforcement learning based on attention mechanismDING Zhengkai1，2，FU Qiming1，2*，CHEN Jianping2，3，4，LU You1，2，WU Hongjie1，FANG Nengwei4，XING Bin4（1.School of Electronic and Information Engineering，Suzhou University of Science and Technology，Suzhou Jiangsu 215009，China；2.Jiangsu Key Laboratory of Intelligent Building Energy Efficiency（Suzhou University of Science and Technology），Suzhou Jiangsu 215009，China；3.School of Architecture and Urban Planning，Suzhou University of Science and Technology，Suzhou Jiangsu 215009，China；4.Chongqing Industrial Big Data Innovation Center Company Limited，Chongqing 400707，China）Abstract:To address the problem that traditional PhotoVoltaic（PV）power prediction models are affected by random power fluctuation and tend to ignore important information，resulting in low prediction accuracy，ADDPG and ARDPG models were proposed by combining the attention mechanism with Deep Deterministic Policy Gradient（DDPG）and Recurrent Deterministic Policy Gradient（RDPG），respectively，and a PV power prediction framework was proposed on this basis.Firstly，the original PV power data and meteorological data were normalized，and the PV power prediction problem was modeled as a Markov Decision Process（MDP），where the historical power data and current meteorological data were used as the states of MDP.Then the attention mechanism was added to the Actor networks of DDPG and RDPG，giving different weights to different components of the state to highlight important and critical information，and learning critical information in the data through the interaction of Deep Reinforcement Learning（DRL）agents and historical data.Finally，the MDP problem was solved to obtain the optimal strategy and make accurate prediction.Experimental results on DKASC and Alice Springs PV system data show that ADDPG and ARDPG achieve the best results in Root Mean Square Error（RMSE），Mean Absolute Error（MAE）and R2.It can be seen that the proposed models can effectively improve the prediction accuracy of PV power，and can also be extended to other prediction fields such as grid prediction and wind power generation prediction.文章编号：1001-9081（2023）05-1647-08DOI：10.11772/j.issn.1001-9081.2022040542收稿日期：2022-04-21；修回日期：2022-06-13；录用日期：2022-06-15。基金项目：国家重点研发计划项目（2020YFC2006602）；国家自然科学基金资助项目（62102278，62072324，61876217，61876121，61772357）；江苏省高校自然科学基金资助项目（21KJA520005）；江苏省重点研发计划项目（BE2020026）；江苏省自然科学基金资助项目（BK20190942）。作者简介：丁正凯（1996），男，江苏盐城人，硕士研究生，主要研究方向：深度强化学习、建筑智能化；傅启明（1985），男，江苏淮安人，副教授，博士，CCF会员，主要研究方向：强化学习、模式识别、建筑节能；陈建平（1963），男，江苏南京人，教授，博士，主要研究方向：建筑节能、智能信息处理；陆悠（1977），男，江苏苏州人，副教授，博士，主要研究方向：下一代网络体系结构、云计算与大数据、区块链；吴宏杰（1977），男，江苏苏州人，教授，博士，主要研究方向：人工智能、数据挖掘、生物信息、工业互联网；方能炜（1980），男，北京人，硕士，主要研究方向：工业大数据；邢镔（1962），男，北京人，博士，主要研究方向：工业大数据分析、智能制造、工业机制模型、人工智能。第 43 卷计算机应用Key words:deep reinforcement learning;attention mechanism;PhotoVoltaic(PV)power prediction;Deep Deterministic Policy Gradient(DDPG);Recurrent Deterministic Policy Gradient(RDPG)0 引言 太阳能作为最受欢迎的可再生能源之一，具有无污染、价格低、易获取和无运输等特点1。随着全球“碳达峰和碳中和”目标的提出，清洁能源得到进一步重视，其中太阳能便是备受关注的能源。太阳能发电主要是光伏（PhotoVoltaic，PV）发电，它能为世界提供清洁能源，在经济社会发展过程中减少对化石燃料的依赖，因此，光伏发电在全球范围内快速增长。太阳能虽然来源广泛，但它极易受光照随机性和昼夜周期性的影响，所以光伏发电系统发电具有不稳定性和不可控性。以上问题均可能会在电力系统的运行、调度和规划中造成严重的混乱，因此，需要对光伏发电功率进行精准预测。而精确度高的光伏功率预测同样会提高光伏电能的有效利用率以及电网运转效率，为减少经济损失提供帮助。光伏预测研究可以通过不同的预测方法实现，包括物理方法、统计方法和深度学习。物理预测方法通常不需要历史数据，而是依赖地理信息、精确的气象数据和完整的光伏电池物理模型信息2；然而由于地理数据分辨率低，很难得到准确的光伏组件的物理模型以及操作参数，导致物理预测方法的精确度不高。统计方法通过建立一种映射关系，使用历史数据来预测未来的功率3；但由于光伏功率的波动性大，导致统计方法的泛化能力不强。近年来，深度学习由于有足够的特征提取和转换能力，得到了大量研究者的关注。文献4 中提出了一种基于人工神经网络的太阳能功率预测模型，并选择气象数据作为模型的输入，但模型精度较低。光伏发电功率的预测属于时间序列预测的范畴，因此文献 5中提出了使用基于长短时记忆（Long Short-Term Memory，LSTM）网络的深度学习方法捕捉太阳辐照度行为，利用日前天气预报数据作为预测输入；然后，利用物理理论建立了辐照度与光伏功率之间的数学模型，实现了间接预测。为进一步提高预测精度，文献 6 中提出Attention-LSTM模型预测超短期光伏功率，利用注意力（attention）机制通过对LSTM的输入特征赋予合理的权重来提高准确率；而且文献 7 中同样利用Attention-LSTM模型预测短期风力发电功率。文献 8中使用模态分解来分解序列，然后利用LSTM预测光伏系统短期发电量。文献 9 中则利用多个深度学习模型预测多个结果，然后利用强化学习（Reinforcement Learning，RL）寻找多个预测模型的最优权重，以此来预测光伏功率值（并未直接使用强化学习预测光伏功率值）。虽然深度学习在光伏功率预测方面取得了大量的研究成果，但受光伏功率波动性以及复杂天气因素等的影响，上述模型仍具有一定的预测误差，得到准确预测结果以及泛化能力强的模型仍然非常困难。深度强化学习（Deep Reinforcement Learning，DRL）作为深度学习和强化学习交叉的一个领域，它整合了深度学习的非线性拟合能力以及强化学习的