基于多智能体算法的多微电网-配电网分层协同调度策略.pdf

http:WWs-57网月期：2 0 2 3 _0 42 3收日期：2 0 2期：2 0 2 3-0 2-2 4DOI:10.520221115002AutomationofElectricPowerSystems2023年5月2 5日Vol.47No.10May25,2023第10 期第47 卷电力系统自动化基于多智能体算法的多微电网-配电网分层协同调度策略陈池瑶1.2.3，苗世洪1.2、3，姚福星1、2.3，王廷涛1.2.3，王佳旭1.2.3，魏文荣1，2，3（1.华中科技大学电气与电子工程学院，湖北省武汉市43 0 0 7 4；2.强电磁工程与新技术国家重点实验室，华中科技大学，湖北省武汉市43 0 0 7 4；3.电力安全与高效湖北省重点实验室，华中科技大学，湖北省武汉市43 0 0 7 4）摘要：近年来，作为消纳可再生能源的有效方式之一，微电网在新型电力系统中扮演了愈来愈重要的角色，取得了显著的发展。但微电网的大量接入，改变了传统配电网的单级调度模式，使得调度过程中所面临的计算和通信任务日益繁重，而现行调度策略难以兼顾配电网运营商及微电网等多主体的利益诉求，也难以满足调度过程的计算高效性与通信私密性要求。对此，提出了一种基于多智能体算法的多微电网-配电网分层协同调度策略。首先，考虑配电网运营商与微电网在电力市场运行中的主从关系，构建了基于双层Stackelberg博奔的多微电网-配电网电力交易模型；然后，将多微电网-配电网协同调度表述为马尔可夫决策过程，采用基于数据驱动的多智能体深度策略性梯度算法求解Stackelberg均衡；最后，基于改进IEEE33节点系统开展算例分析，验证了所提模型及算法的有效性。关键词：多微电网；配电网；Stackelberg博奔；多智能体；深度确定性策略梯度算法；协同调度0引言随着中国“双碳”战略目标的持续稳步推进，高比例可再生能源并网已成为新型电力系统的显著特征。然而，可再生能源固有的间歇性和不确定性给电力系统的安全稳定运行和经济调度带来了严峻挑战。作为促进可再生能源消纳和提升电力系统可靠性的有效手段之一，微电网（microgrid,MG)被广泛接入配电系统。各微电网通过配电网运营商(distribution system operator,DSO)进行区域间能源协同互助，降低系统运行成本，提高能源利用效率。由于不同微电网的投资者往往不同，利益诉求也不尽相同，传统的单利益主体优化决策问题正逐渐朝着复杂主体多目标优化问题的方向转变，博奔论在电网多利益主体协同优化调度中的应用成为近年来的研究重点。求解博奔均衡的具体方法主要分为两类：经典数学优化算法（如内点法、牛顿法2)规划法3-41等）和启发式算法（如遗传算法5】、粒子群算法6 等）。然而，随着电力系统中传输、计算和存储数据量的迅速增加，传统方法无法适应连续时变的求解条件。因此,充分、准确、有效地利用海量数国家电网有限公司总部管理科技项目（5419-2 0 2 19 9 551A-0-5-ZN)。据具有十分重要的意义。为解决上述问题，基于数据驱动的多智能体强化学习（multi-agent deep reinforcement learning，MADRL)被广泛应用于能源管理决策当中7 MADRL具有无需先验知识和无模型学习的特点，不依赖于数学模型，计算效率高，各智能体能灵活响应时变环境，在复杂映射学习和高维数据特征提取等方面性能优越。它仅需通过分布式通信系统进行局部关键信息交换，高效调度资源的同时，充分保护各利益主体的隐私8 。近年来，国内外学者在利用MADRL算法求解复杂电力系统问题方面开展了大量研究。文献9针对孤岛微电网，提出了一种基于分布式共识的差分隐私改进交替方向乘子法（DP-ADMM）；文献10提出了一种分层优化方法，建立了电力市场多点竞争Stackelberg博奔模型；文献11 提出一种基于多智能体的用户对等能源交易博奔架构；文献12基于双层Stackelberg博奔制定了微能源电网的交易模型。然而，上述文献均没有将配电网运营商与多个微电网间的协同优化考虑在内，对实际电网博奔模型的描述还不够完善。文献13 研究了多智能体一致性算法在电网最优潮流调度中的应用；文献14 建立了基于多智能体的分布式园区综合能源系统协调优化调度模型。上述文献虽将多智能体架构应用于多层级电网运行与调度中，但其求解算582023,47(10)学术研究法仍属于经典优化算法，对强化学习算法的优越性挖掘较为欠缺。文献15 将分布式多智能体软演员-评论价（DMASAC)算法应用于微电网群有功-无功协调优化调度问题，但其求解效率有待提高；文献16 对多智能体深度确定性策略梯度（deepdeterministic policy gradient,DDPG)算法进行了改进，但在高维复杂数据的应用中，难以克服通信延时带来的误差。综上所述，基于Stackelberg博奔的多层级电网调度问题更适合被抽象为多智能体的交互过程，而现有文献鲜有将实际电网多利益主体集成在一起进行优化建模并基于多智能体算法求解多微电网-配电网结构的分层协同调度研究为此，本文提出了一种基于MADRL算法的多微电网-配电网分层协同调度策略。首先，建立了多微电网-配电网单领导者-多追随者的双层多微电网-配电网电力交易模型，上、下层模型分别以最小化DSO运行成本和各微电网运行成本为目标，充分体现各利益主体的分布性、独立性和自主性。然后，理论证明了模型Stackelberg博奔均衡（Stackelbergequilibrium,SE)的唯一存在性，并给出了求解该模型MADRL的DDPG算法；最后，基于改进的IEEE33节点系统进行了算例分析，给出了所提算法下各智能体的调度结果，并与传统算法和MADRL双层深度Q网络（doubledeepQ-network，D D Q N)算法进行了对比，验证了所提模型算法的有效性。1多微电网-配电网多智能体架构及分层协同调度建模本章建立了基于多智能体的多微电网-配电网调度框架，以分布式双层Stackelberg博奔作为模型理论基础。微电网内包括风电机组（wind turbine，WT）、光伏（photovoltaic，PV）、微型燃气轮机（mi c r o t u r b i n e，M T）、储能系统（energy storagesystem，ESS)和其他各类用户负载，多微电网-配电网多智能体电网分层协同调度结构如图1所示。在图1所示的多微电网-配电网多智能体架构中，各微电网与DSO间均具有独立通信线路，负责本地发用电预测信息的上传、上层电价信号的接收以及电能交易的结算，微电网间没有直接的通信线路连接，均通过DSO完成。以日前2 4h一个调度周期为例，微电网向DSO上报本地可再生能源预测功率和负载数据，DSO据此向微电网发送价格信息，引导其安排电力调度以满足负荷需求。若微电网本地可再生能源出力不足，它将通过DSO向其他电能富余的微电网购电，主岗发电厂线路DSO主运营商变压器线路光伏风机光伏风机光伏风机MGIMG2MG31MTESSMTESSMTESS用户田用户?田用户能量流；信息流图1多微电网-配电网多智能体电网分层协同调度结构Fig.1 Hierarchical cooperative scheduling structure ofmulti-microgrid and distribution networks based on multi-agent power grid或调度本地MT和ESS资源；反之，则将富余的电量通过DSO与其他缺电的微电网进行交易，或调度本地MT和ESS资源。其中，各微电网自身的优化策略可以在本地求解，只通过DSO交换有限必要的信息。因此，所提分层分布式电力交易模型能够维持整个系统的电力可持续供应，同时保护各利益主体的隐私。1.1上层模型目标函数上层模型的优化目标是最小化DSO的运行成本EDSO，其目标函数如下：24minEDsocgridsPgrids+grlgridMMGbPMGbMGsPMGs-gridlossCi.2=1j=1(1)式中：Pgrid和Pgrids分别为t时段DSO向输电网购电、售电电量；cri和crids分别为t时段DSO向输电网购电、售电电价；PM和PMGb分别为t时段DSO向MGi售电和购电电量；cMG和cMGb分别为t时段DSO向MGi售电和购电电价；N为连接到配电网的微电网个数，本文N=3;Plo为t时段支路j的电能损耗；M为支路总数1.2上层模型约束条件上层模型的约束条件如下：P.=VZV,(G,cos 0,+B,sin 0,)j=1,2,.,M（2)http:/WWWos-59陈池瑶，等基于多智能体算法的多微电网-配电网分层协同调度策略Qj,=VZVi(Gj,sin 0j-B,cos 0,)1Ejj=1,2,.,M(3)Pl=|V,V,(Gy cos 0,+B,sin 0,)-V/G,l(4)VmmVj.Vmxj=1,2,.,M(5)PmP.Pmj=1,2,.,M(6).MG.MGb.MGsMGCiminCi.tCi.tCimaxi=1,2,.,N（7)式中：Pj.,和Qi.分别为t时段配电网节点j处的有功和无功功率；V和V,分别为支路j的首、末端电压；G,和B,分别为支路jl的电导和电纳参数;0,为支路jl的首末端电压相角差；Vmax和Vmin分别为系统允许的电压最大、最小值；Pjm和Pjmm分别为线路j上的最大、最小传输功率；cMax和cMi分别为DSO设置的MGi与DSO间最高、最低电力交易价格。式（2)和式（3)为配电系统潮流方程；式（4)为支路功率损耗方程；式（5)至式（7)分别为配电系统的节点电压约束、线路功率约束和电价约束1.3下层模型目标函数下层模型优化目标是最小化周期内各微电网的运行成本，其目标函数如下：24min EMGcMChPMCh)+.MGSPMGSt1=1Pdisi1(a+bPMT)+cEsschaPcha,(8)dis式中：PMT为t时段MGi的MT输出功率；a和6 为MT运行成本系数；cESS为ESS折算后的单位充放电成本Pa和Pdi分别为t时段MGi的ESS充电和放电功率；ncha和ndi分别为MGi的ESS充电和放电效率。1.4下层模型约束条件下层模型的约束条件如下：PPY+PWT+PMT+PaPaa+(9)1.11.1PMTPMTPMT(10)PESSminPcha1.1(11)Pdis1.1PESsmax1Si.1+1=S.i.chat(12)disSmmS.,Smax(13)Si.T=Si.0(14)OPMGs(15)PMGbPMGi.1max式中：PPY和PWT分别为t时段MGi的光伏和风电出力；Pload为t时段MGi的负荷值；PMT和PMT分别为MT的出力上、下限；PESS和PESS分别为ESS最大、最小充放电功率；Si.t+1为t十1时段MGi的ESS储存的电量，即荷电状态（SOC)值；Pcha和Pdi分别为t时段ESS的充电功率和放电功率；Si.,为t时段MGi的ESS的荷电状态值；EFSS为MGi的ESS容量；Smax和Smin分别为系统允许的最大、最小荷电状态值；Si.和Si.r分别为MGi的ESS在调度周期初始和结束时的荷电状态值；PM为微电网与DSO交换功率上限。式（9)为功率平衡约束。式（10)为MT运行约束。式（11)至式（13)为ESS运行约束，其中式(11)为ESS充放电功率约束式(12)为ESS荷电状态变化方程，描述了ESS存储电量的变化过程，具体与充电功率和放电功率有关；式（13)为荷电状态上下限约束。式（14)为ESS周期内始末时段容量相等约束。式(15)为系统功率交换约束2双层Stackelberg博奔电力交易模型博奔理论主要包含三要素：参与者、策略和效用函数。根据博奔参与者特征及博奔理论应用的边界条件17 ,现有博奔模型主要可分为3 类：主从架构的非合作博奔、主从架构的合作博奔和对等架构的合作博奔。本章考虑DSO