基于LSTM-ATTENTION融合神经网络的光伏功率预测.pdf

第 42 卷 第 4 期2023 年 8 月内蒙古工业大学学报（自然科学版）Journal of Inner Mongolia University of Technology（Natural Science Edition）Vol.42 No.4Aug.2023基于LSTM-ATTENTION融合神经网络的光伏功率预测李东泽1,2,3，齐咏生1,2,3，刘利强1,2（1.内蒙古工业大学 电力学院，呼和浩特 010080；2.内蒙古工业大学 内蒙古自治区高等学校智慧能源技术与装备工程研究中心，呼和浩特 010051；3.内蒙古工业大学 大规模储能技术教育部工程研究中心，呼和浩特 010051）摘要：针对现阶段光伏功率预测方法存在的误差大、稳定性差的问题，提出了基于注意力机制的 LSTM-ATTENTION融合神经网络用于对光伏系统的功率进行预测，通过LSTM神经网络来提取光伏系统输出功率时间序列的特征信息，再添加注意力机制以提高预测精度，最后通过澳大利亚中部乌鲁鲁（艾尔斯岩）的分布式光伏电站提供的数据进行训练与验证。结果表明：所提出的LSTM-ATTENTION神经网络预测模型比单一LSTM模型的预测精度提高了50.25%。因此，该方法可以为光伏系统的实际应用提供有力支持与帮助。关键词：光伏系统；功率预测；LSTM；注意力机制中图分类号：TK 448.21 文献标志码：APV power prediction based on LSTM-ATTENTION fusion neural networkLI Dongze1,2,3,QI Yongsheng1,2,3,LIU Liqiang1,2(1.Institute of Electric Power,Inner Mongolia University of Technology,Hohhot 010080,China;2.Intelligent Energy Technology and Equipment Engineering Research Centre of Inner Mongolia Autonomous Region Higher Education Institutions,Inner Mongolia University of Technology,Hohhot 010051,China;3.Engineering Research Center of Large-scale Energy Storage Technology,Ministry of Education,Inner Mongolia University of Technology,Hohhot 010051,China)Abstract：With the recent intensification of global climate change,the development and use of clean energy have been highly valued by governments around the world.The large-scale photovoltaic power generation system poses a major challenge to the safety and stability of the power grid.In response to the problem of large errors and poor stability in the current photovoltaic power prediction methods,a LSTM-ATTENTION fusion neural network is proposed based on attention mechanism to predict the power of photovoltaic systems.The LSTM neural network is used to extract feature information from the output power time series of photovoltaic systems,and then an attention mechanism is added to improve the prediction accuracy.Finally,data provided by the distributed photovoltaic power station in Uluru(Ayers Rock),central Australia,are used for training and validation.The results show that the proposed LSTM-attention neural network prediction model improves the prediction accuracy by 50.25%compared with that of a single LSTM model.Therefore,this method can provide strong support and help for the practical application of photovoltaic systems.Keywords：photovoltaic system;power prediction;LSTM;attention mechanism为实现2030年“碳达峰”与2060年“碳中和”的目标，近年来我国的新能源行业得到了前所未有的飞速发展。太阳能作为稳定可靠的新型清洁能源被广泛应用，如太阳能照明系统、光伏建筑一体化系统(BIPV)等。新型清洁能源具有明显的优势，如环境友好、经济效益高、储量大、易获得等1。对于应用最广泛的光伏发电系统来说，虽然相比传统化石燃料发电更环保，但是由于其发电质量受到环境温度、太阳辐照度、环境湿度等外界因素的影响，使其产生的电能具有一定的时变性与波动文章编号：1001-5167（2023）04-0350-05收稿日期：2023-06-07基金项目：国家自然科学基金项目(62241309)；内蒙古科技计划项目(2021GG0164)；内蒙古自治区自然科学基金项目(2022MS06018)第一作者：李东泽（2000），男，2022级硕士研究生，主要从事电气设备故障监测与诊断方向研究。E-mail:通信作者：齐咏生（1975），男，博士，教授，主要从事自动化技术、电力工业、计算机软件及计算机应用等研究。E-mail:第 4 期李东泽等 基于LSTM-ATTENTION融合神经网络的光伏功率预测性，对电网的日常规划与调度产生了较大影响。提前预测光伏发电系统的输出功率，可以使电网有能力提前对光伏发电可能造成的冲击进行预防，从而有效降低电网的调度成本，提高经济效益2。在光伏功率预测发展的初始阶段，许多学者通过宏观世界的物理现象对光伏系统进行物理建模，HOARC I C3以光伏电池板的物理现象与单二极管模型(SDM)为基础，通过数学表达式对光伏电池板进行建模，最后在Matlab的Simulink模块中实现，其提出的模型可以更好地了解光伏组件的基本原理与工作过程。ALTSHULLER D 等4同样依据单二极管模型(SDM)对光伏系统进行建模，所不同的是，在模型中引入了热模型，并将其与电物理模型进行结合。这样的系统更具有实际意义，可以更好地模拟真实光伏系统对外界条件所产生的影响。DELUSSU F等5提出了更复杂的光伏系统的物理模型，在所提出的电物理模型与热物理模型的基础上，增加了多通道的物理量输入，如风速、太阳辐照度等，使模型更加完善，准确率也得到大幅提高。但是，物理模型有一定的局限性，其过分依赖各种物理量的测量与输入，需要更多外部设备进行支持，也增加了成本。同时由于天气温度、太阳辐照度等环境因素变化不稳定，外部设施寿命未知等不确定因素，物理模型逐渐被基于深度学习的人工神经网络预测模型所取代。孙荣富等6通过遗传算法与BP神经网络进行结合搭建出了GA-BP神经网络(Genetic algorithm-back propagation neural network)，对光伏系统输出功率进行预测，通过遗传算法的全局搜索能力找到BP神经网络的全局最优秀权重，输入到BP神经网络进行训练与预测，以达到良好的效果。史凯钰等7通过搭建长短期记忆循环神经网络(Long short term memory network-recurrent neural network，LSTM-RNN)对光伏系统输出功率进行预测，通过对数据进行深度挖掘与特征提取达到了满意的预测效果。SHARKAWY A N等8将各种不同的神经网络用于光伏系统进行功率预测，最后进行模型性能的评估和验证，得出神经网络在功率预测领域有绝对的优势。综上所述，本文从光伏功率序列数据的特点出发，依靠LSTM网络的长短期记忆特性与对序列数据极强的处理能力，结合注意力机制改善模型的鲁棒性与泛化能力，以提高模型的预测精度。提出了基于注意力机制的LSTM-ATTENTION融合神经网络对光伏输出功率进行预测，达到降低电网日常调度成本、提高经济效益的目的。1LSTM与ATTENTION网络1.1RNN网络LSTM网络被提出之前，对于序列数据的处理常常使用 RNN(Recurrent neural network)循环神经网络，如图1所示。相对于其他神经网络，RNN网络存在一个中间隐状态变量，可以利用当前的状态与中间隐状态变量当作输入，并输出一个新状态和一个新的中间隐状态变量。以此类推，利用中间隐状态变量的特性使RNN网络可以保存上一时刻的信息，这一特点使其常用于处理时间序列数据9。但是由于每一个隐状态变量只与上一个隐状态变量和当前输入有关，所以随着时间序列的增加，隐状态变量中的信息量也会逐渐累积，导致参数量过大，容易过拟合，很难处理长期依赖关系，因此出现了LSTM网络。1.2LSTM网络LSTM(Long short-term memory)网络的提出针对性地解决了RNN模型中隐状态变量存在的长期序列信息难以保存与短期输入信息可能缺失的问题10。LSTM计算记忆单元流程如图2所示。LSTM网络中引入了三种门控记忆单元：分别为遗忘门，输入门与输出门和候选记忆单元，分别记忆Ct-1候选记忆Ct输出门OtCtHt隐状态Ht-1遗忘门FtTanhTanh输入门It输入Xt图2LSTM单元计算过程Fig.2Computation process of an LSTM cell1thXt1Xt+1ht+1ht1htXtXtXt2Xt1输出隐状态输入图1RNN网络示意图Fig.1Diagram of an RNN network351内蒙古工业大学学报（自然科学版）2023 年用Ft,It,Ot,Ct表示，记忆元Ct由Ft,It,Ct-1,Ct的输出共同决定，隐状态Ht由Ct,Ot共同决定，计算方法如下：It=(XtWxi+Ht-1Whi+Bi)(1)Ft=(XtWxf+Ht-1Whf+Bf)(2)Ot=(XtWxo+Ht-1Who+Bo)(3)Ct=tanh(XtWxc+Ht-1Whc+Bc)(4)Ct=ftCt-1+itCt(5)ht=Ottanh(Ct)(6)其中：Wxi，Whi，Bi分别为输入门的输入状态权重，隐藏状态权重和偏置项；Wxf，Whf，Bf分别为遗忘门输入状态权重，隐藏状态权重和偏置项；Wxo，Who，Bo分别为输出门输入状态权重，隐藏状态权重和偏置项；Wxc，Whc，Bc分别为候选记忆单元的输入状态权重，隐藏状态权重和偏置项。输入门用于控制从输入中提取信息来更新单元状态；遗忘门用于控制从单元状态中丢弃信息；输出门控制单元中信息向下一个状态输出；候选记忆单元与输入门和遗忘门共同决定保存过去记忆元的内容。为了便于控制每个门的开启或关闭程度，在上一步的隐状态变量和输入变量到达门控记忆单元之前，分别加入了输出范围在01之间的sigmoid激活函数。为了避免梯度消失与数值溢出等问题，将输入值缩放到合适的范围内，在候选记忆单元上运用tanh激活函数。1.3注意力机制在复杂的视觉环境中总能集中注意力到相对应的事物上，基于这种观点提出了注意力机制。不同于卷积、全链接层、池化层等都只考虑不随意线索，注意力机制则显示考虑随意线索。注意力机制的核心思想就是通过随意线索与输入的不随意线索进行比对，并进行权重计算。将每个对应的位置进行加权平均，每个位置的权重可以通过学习得到。注意力机制可以根据不同位置数据的重要程度，灵活选择想要关注的信息，从而提高模型的准确率11。具体框架如图3所示。注意力汇聚函数可以表示为：f(q,(k1,v1),(km,vm)=i=1m(q,ki)viRv(7)其中：(k1.km)是输入的键序列，(v1.vm)是对应的值序列，q是对应的查询值。a为注意力评分函数，文中采用缩放点积函数：(q,ki)=softmax(a(q,ki)=exp(a(q,ki)j=1mexp(a(q,ki)(8)为注意力权重，其计算公式为:(q,k)=qTkd(9)2LSTM-ATTENTION融合网络本文将LSTM网络与注意力机制进行融合，通过注意力机制将LSTM网络输出的序列特征更强烈地表现出来，以提升模型的精度与预测效果。首先输入序列通过LSTM层进行处理，得到LSTM的输出和隐状态；其次将LSTM的输出作为注意力机制的输入得到注意力权重，将注意力权重与LSTM网络的输出进行加权求和得到注意力机制的输出；最后将注意力机制的输出送入线性层进行分类。融合网络结构如图4所示。基于LSTM-ATTENTION的融合神经网络由三部分组成，分别是LSTM层、注意力层与分类层。图3注意力机制框架Fig.3Attention mechanism framework图4融合网络结构图Fig.4Fusion network architecture352第 4 期李东泽等 基于LSTM-ATTENTION融合神经网络的光伏功率预测LSTM层的输入层为1，隐藏层为200，输出层为1，对输入序列数据进行逐个时间步的处理，保留并传递序列的信息。注意力层由一个线性层组成，接受LSTM的输出作为输入，并依靠注意力评分函数进行注意力权重计算。最后将注意力权重与对应实际值进行加权融合，使LSTM的输出表达到更重要的时间步上，再将注意力加权平均值输出到线性层得到最终的预测结果。此融合网络既可以捕捉到LSTM网络的长期依赖关系，更好地学习输入序列的特征，也通过注意力机制可以让模型更加关注重要的部分，从而提高模型的预测能力。3实验过程3.1数据及数据预处理实验所用数据来自澳大利亚中部乌鲁鲁的分布式光伏电站中的单晶硅屋顶分布式光伏系统。其提供分辨率为5 min的光伏输出功率数据。选取2020年1月29日至2020年2月29日32天共9 073条光伏功率数据进行实验验证。由于光伏系统的功率特性在19:007:00中的输出功率基本为0，这段数据具有明显的特征与稳定性。为了提升网络训练效果，将这部分数据去除，只保留每日7:0019:00的数据进行实验。3.1.1数据的平滑处理由于数据的分辨率过高，导致数据波动幅度过大，对于网络的训练将会产生极大影响，所以需要对数据进行平滑处理12。选择每24个点进行一次平均，将一天的数据点由288压缩至12，由于进行的是平均取值，数据的信息并不会丢失。计算方法如下：avg1=112i=112Xi(10)avg2=112i=1325Xi(11).avg372=112i=445 2446 4Xi(12)上述操作可以在python中使用循环函数进行运算。将30天的数据进行平滑处理后可以发现数据的平滑性大大提高，如图5所示。3.1.2数据的归一化处理为了加快训练的收敛速度，减小模型训练过程中的振荡现象，避免反向传播过程中过于冗余的计算，提高网络精准性与泛化能力，将每个数据进行归一化处理，计算方法如下：xnorm=x-min(x)max(x)-min(x)(13)3.2实验评估指标由于本次实验是对序列数据进行预测，所以将 RMSE(Root mean squared error)和 MAE(Mean absolute error)作为实验误差评估指标。RMSE可以对误差异常值有更高的惩罚，对误差的大小有更高的敏感性，常在优化问题中使用；MAE计算方法更简便，可以更好地反应预测值和真实值之间的差异，计算方式如下：RMSE=1ni=1n(yi-yi)2(14)MAE=1ni=1n|yi-yi|(15)3.3实验结果与分析本次实验使用Intel i5 2.3 GHzCPU、8 GBRAM、GTX1060 GPU和Windows 10 64位操作系统的PC，以 jupyter notebook 为实验平台，pytorch 为深度学习框架。为了提高网络训练的收敛速度和稳定性，选用了Adam优化器，并将学习率设置为0.03。首先用单一LSTM网络对预处理之后的数据进行训练，将8 640条（30天）数据用作训练集并将后576条（两天）数据用作验证集进行验证，最后计算预测结果与实际值的均方误差。图6是LSTM网络的预测结果，图7是预测结果与真实值的详细对比，图8将真实值与预测值进行做差比较并以条形图的形式呈现系统误差。LSTM网络通过学习30天的数据对后2天数据的趋势进行预测，并通过误差的条形图直观地展现出来，根据数据平滑处理结果，每12个点代表一天的时间过程。通过误差数据可以看出LSTM网络在图5进行平滑处理后的30天光伏输出功率示意图Fig.5Illustration of smoothed 30-day solar photovoltaic output power353内蒙古工业大学学报（自然科学版）2023 年功率输出值较大的时候预测误差偏大，通过计算其RMSE为0.116 0，MAE为0.097。接下来运用LSTM-ATTENTION网络进行训练与预测，训练的次数与初始参数不变，图 9 是LSTM-ATTENTION网络的预测结果，图10是预测结果与真实值的详细对比，图11将真实值与预测值进行做差比较并以条形图的形式呈现。相 比 单 一 的 LSTM 预 测 网 络，LSTM-ATTENTION融合网络在验证集上取得了更好的效果，通过计算得出融合网络的 RMSE 为 0.058 3，MAE为0.044 3，RMSE指标相对于单一LSTM网络提高了50.25%，MAE指标提高了45.67%。可以看出LSTM-ATTENTION融合网络具有更高的特征提取能力和序列数据的预测能力，性能更优。4结论针对光伏功率预测物理模型泛化性差，普通单一神经网络模型精确度低，光伏序列数据噪声大、随机性强、难预测等特点提出了融合注意力机制的LSTM融合网络LSTM-ATTENTION用于光伏系统的功率预测。通过对光伏数据的分段处理，减弱了光伏系统的数据波动；通过平滑处理，去除了光伏序列数据的噪声。再将注意力机制与LSTM网络进行融合，利用注意力机制的评分函数计算LSTM网络输出的注意力权重。最后将注意力权重与实际输出值进行加权计算，增加了LSTM网络的分辨率，提升了整体预测精度。通过与单一网络进行对照实验，表明了LSTM-ATTENTION融合网络在光伏功率预测上具有一定的优越性。图6LSTM网络预测结果Fig.6LSTM network prediction results图7LSTM预测结果与实际值对比Fig.7Detailed comparison between LSTM prediction results and actual values图8预测值与真实值的误差条形图Fig.8Bar chart of prediction errors between estimated values and ground truth图9LSTM-ATTENTION网络预测结果Fig.9LSTM-ATTENTION network prediction results图11预测值与真实值的误差条形图Fig.11Bar chart of prediction errors between estimated values and ground truth图10LSTM-ATTENTION预测值与实际值对比Fig.10Detailed comparison between LSTM-ATTENTION prediction results and actual values（下转第384页）354内蒙古工业大学学报（自然科学版）2023 年impact assessment as an agent of policy change:improving the health impacts of the mayor of Londons draft transport strategyJ.Journal of Epidemiology&Community Health,2004,58(3):169-174.17 王兰,孙文尧,古佳玉.健康导向城市设计的方法建构及实践探索以上海市黄浦区为例J.城市规划学刊,2018(5):71-79.18 徐苗,陈瑞,孙锟,等.健康城市视角下的山地城市阶梯步道适老性及其设计要素研究以重庆山城步道为例J.上海城市规划,2017(3):6-16.19 张若曦,殷彪,林怡,等.平疫结合的新加坡社区设施规划与社区治理J.北京规划建设,2020(4):42-46.20 RICE M,FRANCESCHINI M C.Lessons learned from the application of a participatory evaluation methodology to healthy municipalities,cities and communities initiatives in selected countries of the AmericasJ.Promotion&Education,2007,14(2):68-73.21 闫学强,王霞,李静.园林绿化在健康城市建设中发展对策的探讨以北京园林绿化建设为例J.林业资源管理,2013(2):33-36,41.22 World Health Organization.World health statistics 2020:monitoring health for the SDGsR.Geneva:WHO,2020.23 雷诚,李锦,丁邹洲.双效健康城市念下既有公共空间环境更新设计探讨以金鸡湖环湖绿道为例J.西部人居环境学刊,2020,35(3):1-9.24 陈寿松,翟国方,葛懿夫.基于QRH理念的传染病风险下社区治理与韧性提升研究J/OL.国际城市规划:1-16.(2021-07-14)2022-06-30.https:/doi.org/10.19830/j.upi.2020.719.25 王峤,臧鑫宇.应对突发公共事件的韧性城市空间规划维度探讨J.科技导报,2021,39(5):65-73.26 黄颖,许旺土,黄凯迪.面向国土空间应急安全保障的控制性详细规划指标体系构建以应对突发公共卫生事件为例J.自然资源学报,2021,36(9):2405-2423.27 黄建毅,童磊,苏飞,等.韧性城市框架下的人口健康脆弱性概念及评价方法J.北京联合大学学报,2022,36(1):26-32.28 龙灏,薛珂.健康城市背景下大空间公共建筑的建筑设计防疫预案探讨以大型体育馆建筑为例J.上海城市规划,2020,2(2):31-37.29 严玉蕾.基于健康理念的寒地城市慢社区规划研究D.哈尔滨:哈尔滨工业大学,2012.30 周泉.基于慢城理念的健康养生综合社区规划设计研究D.南京:南京林业大学,2014.31 裴昱,姚晓白,党安荣.健康城市视角下波士顿社区空间儿童友好性循证J.城市发展研究,2019,26(4):69-78.32 付宏鹏,王志芳,揭华,等.城市公园用户的情绪特征及影响因子研究以华南植物园和越秀公园为例J.北京大学学报(自然科学版),2021,57(6):1108-1120.33 王兰,贾颖慧,朱晓玲,等.健康融入国土空间总体规划方法建构及实践探索J.城市规划学刊,2021(4):81-87.34 唐源琦,赵红红.空间联动发展和城市升维规划管治研究对城市突发公共卫生事件的规划思考与应对J.规划师,2020,36(6):44-49.（上接第354页）参考文献1杨笛,杨浩.传统建筑应用太阳能光伏发电系统研究综述J.电气技术与经济,2023(2):45-47,78.2杨光.分布式光伏并网对电网运行的影响分析J.现代工业经济和信息化,2023,13(2):47-48.3HOARC I C.Mathematical modeling and simulation of PV systems part I:mathematical modeling and Simulink implementationC/2021 International Conference on Applied and Theoretical Electricity(ICATE),Craiova,Romania:IEEE,2021:1-6.4ALTSHULLER D,HSSON P,JONES C,et al.Improved model of photovoltaic systemsC/Proceedings of the 12th International Modelica Conference,Prague,Czech Republic:LiU Electronic Press,2017:477-482.5DELUSSU F,MANZIONE D,MEO R,et al.Experiments and comparison of digital twinning of photovoltaic panels by machine learning models and a cyber-physical model in modelicaJ.IEEE Transactions on Industrial Informatics,2022,18(6):4018-4028.6孙荣富,王隆扬,王玉林,等.基于数字孪生的光伏发电功率超短期预测J.电网技术,2021,45(4):1258-1264.7史凯钰,张东霞,韩肖清,等.基于LSTM与迁移学习的光伏发电功率预测数字孪生模型J.电网技术,2022,46(4):1363-1371.8SHARKAWY A N,ALI M M,MOUSA H H H,et al.Solar PV power estimation and upscaling forecast using different artificial neural networks types:assessment,validation,and comparisonJ.IEEE Access,2023,11:19279-19300.9BAHMEI B,BIRMINGHAM E,ARZANPOUR S.CNN-RNN and data augmentation using deep convolutional generative adversarial network for environmental sound classificationJ.IEEE Signal Processing Letters,2022,29:682-686.10 ZHENG H F,LIN F,FENG X X,et al.A hybrid deep learning model with attention-based Conv-LSTM networks for short-term traffic flow predictionJ.IEEE Transactions on Intelligent Transportation Systems,2021,22(11):6910-6920.11 YANG S Y,YANG C,FENG D Z,et al.One-dimensional deep attention convolution network(ODACN)for signals classificationJ.IEEE Access,2020,8:2804-2812.12 闫迪.基于LSTM-CNN的驾驶员换道意图预测研究D.长沙:长沙理工大学,2021.384