基于改进隐马尔可夫模型的非侵入式负荷监测.pdf

第 18 卷第 2 期 2023 年 6 月 电 气 工 程 学 报 JOURNAL OF ELECTRICAL ENGINEERING Vol.18 No.2 Jun.2023 DOI：10.11985/2023.02.015 基于改进隐马尔可夫模型的非侵入式负荷监测*郭 嘉1,2 谢景海1,2 袁敬中1,2 姜 宇1,2 孙 密1,2 毕忠勤3(1.国网冀北电力有限公司经济技术研究院 北京 100038；2.北京京研电力工程设计有限公司 北京 100038；3.上海电力大学计算机科学与技术学院 上海 200090)摘要：细粒度的能源消耗监测是智能电网建设的重要环节之一。非侵入式负荷监测作为一种能源消耗监测方法，能够深入分析用户细粒度的负荷成分，对用户端的电力优化具有非常重大的意义，同时还具有实施快捷、成本低的特点。首先通过放宽模型的假设条件，对隐马尔可夫模型进行改进，然后基于改进的隐马尔可夫模型对家庭电力负荷进行建模，最后用改进的Viterbi 算法求解负荷设备的最佳状态转移序列，进而求解出每种设备的所消耗的功率。试验结果显示所提改进算法不仅具有较高的精度，还具备较好的稳定性，同时分解出的功率曲线与实际的功率曲线更加贴合，具有很好的效果。关键词：非侵入式负荷监测；隐马可夫模型；能源消耗监测；智能电网 中图分类号：TM561 Non-intrusive Load Monitoring Based on Improved Hidden Markov Model GUO Jia1,2 XIE Jinghai1,2 YUAN Jingzhong1,2 JIANG Yu1,2 SUN Mi1,2 BI Zhongqin3(1.State Grid Jibei Economic Research Institute,Beijing 100038;2.Beijing Jingyan Electric Power Engineering Design Co.,Ltd.,Beijing 100038;3.College of Computer Science and Technology,Shanghai University of Electric Power,Shanghai 200090)Abstract：The fine-grained energy consumption monitoring is one of the important links of smart grid construction.As an energy consumption monitoring method,non-intrusive load monitoring can deeply analyze the fine-grained load components of users,which is of great significance to the power optimization of users,and also has the characteristics of fast implementation and low cost.Firstly,the hidden Markov model is improved by relaxing the assumptions of the model,and then the household power load is modeled based on the improved hidden Markov model.Finally,the improved Viterbi algorithm is used to solve the optimal state transition sequence of the load equipment,and then the power consumed by each equipment is calculated.The experimental results show that the proposed improved algorithm not only has high accuracy,but also has good stability.At the same time,the decomposed power curve is more consistent with the actual power curve,and has good effect.Key words：Non-intrusive load monitoring；hidden Markov model；energy consumption monitoring；smart grid 1 引言 在智能电网建设中，能源消耗监测是进行节能工作的基础，也是建立电网-用户交互服务体系的前提。细粒度的能源消耗监测通过监测总负荷数据中单个设备的用电数据为电力系统、电力用户以及整 *国网冀北经研院技术创新成本类资助项目(B3018F20000J)。20211110收到初稿，20220106 收到修改稿 个社会带来多方面的利益。针对这一问题，相关研究人员提出了侵入式负荷监测和非侵入式负荷监测两种方法。侵入式负荷监测方法通过在各设备端安装传感器等数据采集设备的方式获取设备的负荷，该方法获得的数据准确可靠、误差小，但存在安装成本高、实施难度大、用户接受程度低等特点。非侵入式负荷监测方法(Non-intrusive load monitoring，NILM)则通过算法，根据家庭电表的总有功功率，分解得到家庭各用电设备功率。该方法具备经济成 电 气 工 程 学 报 第 18 卷第 2 期期 158 本低、实施快捷等特点。非侵入式负荷监测概念最早由 HART1提出，近年来也受到国内外专家学者的大量关注。目前非侵入式电力负荷监测算法可分为两类：监督学习方法和非监督学习方法。监督学习算法训练分类器使用的样本数据需要先标记，此种方法需要耗损大量的人力和物力。在监督学习算法中，文献2提出了一种基于神经网络(Neural network，NN)的非侵入性谐波源识别算法，该方法从输入电流波形提取负荷特征，使用其不同的谐波特征唯一性来唯一地识别各种类型设备。文献3提出一种利用模糊识别算法进行负荷分解的方法。文献4提出基于整数规划的非侵入式负荷分解算法进行设备的负荷分解。文献5用贝叶斯算法，给每一个设备训练一个朴素贝叶斯分类器，进而分类器可用来识别单个设备的运行状态。此外，为了提高系统的识别精度和实时监测状态变化，使用贝叶斯网络分析用户行为，利用贝叶斯滤波器在线推理，通过比较，该分类器精度得到很大提升。文献6提出用支持向量机来分类设备，支持向量机在设备分类方面表现出良好的性能，尤其是使用谐波和低频特征时。文献7采用决策树算法分治的思想，联合三种特征参数(功率变化参数、谐波含有率和电压-电流轨迹)来识别和分类，让不同的特征参数各自发挥其优势，算法简单、高效，有效减少了与数据库比对的计算量。文献8提出一种基于序列到序列、双向门控循环单元、自注意力机制和残差网络的负荷分解算法。文献9提出了一种基于长短期记忆网络的 NILM 方法，通过采集用户电力入口处的电流波形并进行数据处理，得到用户的负荷特征数据。文献10针对现有高精度的基于深度学习的负荷识别算法运算复杂度高，无法用于家庭嵌入式设备的问题，提出利用无需训练过程的 k 最近邻(k-nearest neighbor，kNN)算法作为负荷识别模型。文献11提出一种基于 U-I轨迹曲线精细化识别的非侵入式负荷监测方法，实现对用户负荷有效的非侵入式监测。与监督学习算法相对应，研究人员也在非监督学习算法方面开展了一定的研究。文献12提出结合 FHSMM(Factorial hidden semi-Markov model)和CFHM(Conditional factorial hidden Markov model)两种模型，产生新的模型 CFHSM，并分解有难度的低频数据，结果表明 CFHSM 模型优于其他非监督学习算法，并可以准确地将电力负荷数据分解为每个设备的电力使用信息。FHMM 的一个缺陷是易受局部优化的影响，为了解决这个问题，文献13提出了一种相关算法加性因子近似最大后验推理算法(AFAMAP)，其已经被应用于负荷分解，AFAMAP 算法得到比以前算法较高的精度和召回率，克服了受局部优化的缺陷。文献14提出一种基于 S 变换的新的 NILM 方法，并详细列出了分解步骤。文献15对稳态特征进行分析，包括基波和谐波，提出一种基于最优求解和表格法的非侵入式负荷分解算法，最优求解以在线状态下确定不同类型设备的功耗比例，表格法在离线情况下得出估量电流和功率比重的对照表，在线情况下要得到负荷内主用电负荷的功率比重，只要找到与实际测量的负荷电流最接近的估计电流，即可实现负荷分解。文献16提出了一种根据暂态事件自主监测算法的NILM，该算法基于 CUSUM 滑动窗，精度较高，鲁棒性强。文献17-19在对电力设备的物理特性进行分析的基础上，构建了相关的负荷分解算法。文献20提出了一种基于高斯混合模型聚类和深度神经网络相结合的非侵入式负荷监测方法。文献21基于注意力机制优化的卷积神经网络-序列到序列模型，提出了一种非侵入式负荷监测算法。本文在对上述研究进行总结分析的基础上，提出了一种基于改进隐马尔可夫模型的非侵入式负荷监测算法，试验结果表明所提算法分解结果与实际负荷比较接近。2 隐马尔可夫模型 2.1 马尔可夫链的定义 马尔可夫(Markov)模型，本质上是一种随机过程。该模型的一个前提假设是其当前每个状态只与它前面的 n 个状态有关，n 是影响下一个状态选择的状态数。简单的马尔可夫过程是一阶过程，状态的选择完全依赖于其前面的一个状态17。以下是对马尔可夫模型的一些相关定义。(1)马尔可夫性。定义：设X(t),tT是一个随机过程，已知X(t),tT在 t0时刻所处的状态，它在时刻 tt0所处状态的条件分布与其在 t0之前的状态无关。简而言之，在已知过程条件下，其将来的条件分布与过去无关，则称X(t),tT具备马尔可夫性。(2)马尔可夫过程。定义：设X(t),tT的状态空间为 S，如果对122,nntttT?，在条件(),1,2,1iiiX tx xS in=?下的 X(tn)条件分布函数刚好等于在条件X(tn1)=Xn1下的条件分布函数，即 月 2023 年 6 月 郭 嘉等：基于改进隐马尔可夫模型的非侵入式负荷监测 159 111111()|(),()()|()nnnnnnnnnP X txX txX txP X txX txxR=?则称X(t),tT为马尔可夫过程。(3)马尔可夫链。定义：参数集和状态空间都是离散的马尔可夫过程称为马尔可夫链。则马尔可夫性可以表示为 对122,nniiiS?有111111()|(),()()|()nnnnnnnnnP X tiX tiX tiP X tiX tixR=?特别地，对 T=0,1,2,的马尔可夫链，记为X(n),n0或Xn,n0，此时的马尔可夫性为对121,nniiiS t0的状态条件分布不只和 t0时刻状态有关，还与其在 t0之前所处的状态有关。即隐藏的状态序列是一个二阶的情况时，在 t 时刻的状态向 t+1 时刻的状态转移概率不只与 t 时刻有关，还与 t1 时刻的状态有关，即()1111()|ijktktjtktktjtiaP qs qs,qsP qs|qs,qs+=式中，11Nijkka=,aijk0,1i,jN，N 为模型中状态数目。观察值输出概率不只与系统当前的状态有关，还与前一时刻的状态有关，即()()1|,|1,1ijtttjtiblP ov qs qsi jNlM=电 气 工 程 学 报 第 18 卷第 2 期期 160 3.2 Viterbi 算法的改进 根据数据预处理得到的观察值序列即功率波形序列和 HMMs 模型的、A、B 参数，用 Viterbi 的改进算法来求得每个家庭中每类设备的最佳状态转移序列。本文提出一种基于 HMMs 模型的改进的Viterbi 算法。针对 REDD 数据集中每个家庭总负荷功率数据，求解每类设备的运行状态，获取每类设备每个时刻所消耗的功率，以实现家庭电力负荷的分解，了解各自住宅用电负荷情况，知晓每个家用设备的用电情况，知晓不同时刻的用电量和用电时间，进而获取用户用电的规律信息。定义t(i,j)为时间点t状态沿一条最佳的状态转移路径产生的给定观察值序列的概率，t(i)为时刻 t第 i 状态的前一个状态号，P*是最终输出概率，*Tq是最佳状态序列中 t 时刻所处的状态。输入：预处理后的功率时间序列 qv(t)。输出：k 类设备所消耗的功率值()()()iitt yZ i s=，i=1,2,K；t=1,2,T。(1)初始化。()()()111,01iii jb oiiN=(2)迭代计算。()()()()max111argmax11,(,)2,1,2,1tiNtijkjkttiNtijj ki j abotTi j kNji atTjN+=(3)终止计算。*max*1()argmax()iNTTTPiqi=(4)路径回溯。*1()11tttqqtT+=相比于传统的 HMM 模型，改变了 HMM 模型的重要假设，使得 aij不只与 t 时刻的状态有关，还与 t1 时刻的状态有关，改变了模型的基本结构，因此，相应的 HMM2 在实际应用过程中，改进的Viterbi 算法求解负荷设备的最佳状态转移序列时与传统的 HMM 模型上有较大的改变。4 试验与分析 4.1 数据集 由于国内暂时没有相关的公开数据集，本文采用国外公开 REDD 数据集17(the Reference Energy Disaggregation Dataset)，该数据集包含六个家庭的总负荷电力数据和单个设备的电力负荷数据，含电流、电压和功率等，其数据完整性较其他数据集更强，便于使用负荷分解算法分解后评估算法的性能和加强功率波形图实际曲线与预测值曲线对比的可 观性。图 1 是家庭 1 两个监测点的所有总负荷功率曲线；图 2 是家庭 1 中各个设备 4 月 30 日之前的实际功率曲线图，作为试验预测结果的对照；图 3 是家庭 1 两个监测点 4 月 30 日之前的总负荷功率曲线，作为训练数据；图 4 是家庭 1 两个监测点 4 月 30日之后的总负荷功率曲线，作为测试数据。图 1 家庭 1 两个监测点的所有总负荷功率曲线 图 2 家庭 1 中各个设备 4 月 30 日之前的实际功率曲线图 图 3 家庭 1 两个监测点 4 月 30 日之前的总负荷功率曲线 图 4 家庭 1 两个监测点 4 月 30 日之后的总负荷功率曲线 月 2023 年 6 月 郭 嘉等：基于改进隐马尔可夫模型的非侵入式负荷监测 161 4.2 试验结果及分析 在本文中从整体和局部的角度通过分析总负荷的分解误差和单个设备的分解误差进行非侵入式电力负荷分解算法性能的评估，因此定义了整个家庭的分解误差和单个设备的分解精度。(1)总的分解误差。为了从整体的角度来评估HMM2 算法，定义总的分解误差公式如下 ()()2()2()()iittt,ierrorit,it,iyyTy=?式中，()ity表示经过分解后在时刻 t 第 i 类设备消耗的功率值，()ity?在时刻 t 第 i 类设备消耗的实际功率值。式(1)表明 Terror越小，算法分解精度越高。因此可用 Terror来评估 HMM 和 HMM2 分解算法。六个家庭总的分解误差如表 1 所示。表 1 用 HMM 和 HMM2 分解后的六个家庭总的分解误差 模型 Terror 家庭 1家庭 2家庭 3 家庭 4 家庭 5家庭 6 HMM 0.48 0.24 0.12 0.12 0.30 0.10 HMM20.10 0.20 0.04 0.04 0.08 0.07 试验结果表明 HMM2 可以比较准确地分解负荷功率数据，六个家庭使用 HMM2 模型分解后计算的总的分解误差均小于 HMM 模型。但为了对HMM2 有更加全面的评估，下面从局部出发，计算单个设备的分解误差。(2)单个设备的分解误差。由于六个家庭拥有的设备不尽相同，所以根据不同设备功率曲线幅度变化范围用 K-means 算法把家庭的电力设备分为四大类用，从表 2 看出 HMM2 模型改进的 Viterbi 算法分解后四大类设备的误差大部分得到显著提升，表明改进算法是切实可行的。表 2 经 HMM 和 HMM2 算法分解六个家庭中四类设备功率数据的分解误差 家庭 设备 1 设备 2 设备 3 设备 4 HMM HMM2 HMM HMM2 HMM HMM2 HMM HMM2 家庭 1 0.214 0.082 0.264 0.076 0.182 0.080 0.345 0.184 家庭 2 0.128 0.106 0.368 0.063 0.302 0.012 9 0.292 0.321 家庭 3 0.096 0.108 0.121 0.083 0.288 0.065 0.332 0.214 家庭 4 0.258 0.087 0.167 0.054 0.378 0.152 0.312 0.089 家庭 5 0.154 0.176 0.146 0.064 0.244 0.048 0.216 0.157 家庭 6 0.410 0.138 0.319 0.255 0.317 0.099 0.277 0.086 同时本文采用 REDD 数据集来验证基于HMM2 的非侵入负荷分解算法的有效性，通过NILMTK 平台以 Spyder 为仿真工具编程实现。经过试验得出各个设备在每个时刻的预测功率值，以下列出家庭 1、2 的经 HMM 和 HMM2 算法分解得出冰箱功率曲线的对比图，如图 57 所示，图 57 中 GT 曲线指实际功率曲线，Pred 为预测功率曲线。图 5 经 HMM 和 HMM2 算法分解家庭 1 冰箱所耗功率 曲线预测数据与真实数据对比图 图 6 经 HMM2 算法分解家庭 1 冰箱所耗功率曲线 预测数据与真实数据对比图放大版 图 7 家庭 2 冰箱所耗功率曲线预测数据与 真实数据对比图 电 气 工 程 学 报 第 18 卷第 2 期期 162 由图 5 和图 7 可以明显看出，基于 HMM2 的负荷分解算法分解得到的单个设备的功率曲线更接近实际功率曲线，同时 HMM2 模型优于 HMM 模型。5 结论 本文对隐马尔可夫模型做出改进，即改变其重要假设，然后基于 HMM2 对家庭电力负荷建模，接着使用Viterbi的改进算法求得负荷设备最有可能的状态转移序列，进而求出每种设备所消耗的功率。通过试验结果验证，得到以下结论。(1)定义了整个家庭的分解误差和单个设备的分解误差，从整体和局部的角度通过计算总负荷的分解误差和单个设备的分解误差进行非侵入式电力负荷分解算法性能的评估。根据两种度量验证了改进的 Viterbi 算法的有效性。(2)试验结果显示改进算法分解出的功率曲线与实际功率曲线更贴合，从而验证了改进算法在非侵入式负荷分解具有更高的准确率和有效性。然而在本文的工作中，总负荷功率值只做了缺失值填补和降噪的简单处理，并未对不同类设备负荷特征重叠做相应的数据处理工作，将在下一步工作中加以改进。参 考 文 献 1 HART G W.Nonintrusive appliance load monitoringJ.IEEE Proc.，1992，80：1870-1891.2 SRINIVASAN D，NG W S，LIEW A C.Neural-network-based signature recognition for harmonic source identificationJ.IEEE Transactions on Power Delivery，2006，21(1)：398-405.3 KAMAT S P.Fuzzy logic based pattern recognition technique for non-intrusive load monitoringC/TENCON 2004.2004 IEEE Region 10 Conference，2004，3：528-530.4 SUZUKI K，INAGAKI S，SUZUKI T，et al.Non-intrusive appliance load monitoring based on integer programmingC/Int.Conference on Instrumentation，Control and Information Technology，Tokyo，Japan，2008：2742-2747.5 MARCHIORI A，HAKKARINEN D，HAN Q，et al.Circuit-level load monitoring for household energy managementJ.IEEE Pervasive Computing，2011(10)：40-48.6 KATO T，CHO H S，LEE D.Appliance recognition from electric current signals for information-energy integrated network in home environmentsC/In Proceedings of the 7th International Conference on Smart Homes and Health Telematics，July 1-3，2009，Tours，France.Heidelberg：Springer，2009，5597：150-157.7 王志超.住宅用电负荷的非侵入式监测方法研究D.重庆：重庆大学，2015.WANG Zhichao.The research on algorithm of the NIALM of residential appliancesD.Chongqing：Chongqing University，2015.8 何健明，李梦诗，张禄亮，等.基于知识蒸馏和半监督学习的非侵入式负荷分解J.广东电力，2021，34(9)：60-70.HE Jianming，LI Mengshi，ZHANG Luliang，et al.Non-intrusive load decomposition algorithm based on knowledge distillation and semi-supervised learningJ.Guangdong Electric Power，2021，34(9)：60-70.9 刘影，彭鑫霞，王童，等.基于 PCA-LSTM 算法的非侵入式负荷辨识方法J.电测与仪表，2023，60(3)：53-58.LIU Ying，PENG Xinxia，WANG Tong，et al.Non-intrusive load monitoring method based on PCA-LSTM algorithmJ.Electrical Measurement and Instrumentation，2023，60(3)：53-58.10 延菲，张瑞祥，孙耀杰，等.基于改进 kNN 算法的非侵入式负荷识别方法J.复旦学报，2021，60(2)：182-188.YAN Fei，ZHANG Ruixiang，SUN Yaojie，et al.Non-intrusive load identification method based on improved kNN algorithmJ.Journal of Fudan University，2021，60(2)：182-188.11 汪颖，杨维，肖先勇，等.基于 U-I 轨迹曲线精细化识别的非侵入式居民负荷监测方法J.电网技术，2021，45(10)：4104-4113.WANG Ying，YANG Wei，XIAO Xianyong，et al.Non-intrusive residential load monitoring method based on refined identification of U-I trajectory curveJ.Power System Technology，2021，45(10)：4104-4113.12 KIM H S.Unsupervised disaggregation of low frequency power measurementsC/Eleventh Siam International Conference on Data Mining，SDM，2011：747-758.13 KOLTER J Z，JAAKKOLA T.Approximate inference in additive factorial hmms with application to energy disaggregationC/AISTATS，2012：1-11.14 MARTINS J F，LOPES R，LIMA C，et al.A novel nonintrusive load monitoring system based on the S-transformC/13th International Conference on 月 2023 年 6 月 郭 嘉等：基于改进隐马尔可夫模型的非侵入式负荷监测 163 Optimization of Electrical and Electronic Equipment，2012：973-978.15 黎鹏.非侵入式电力负荷分解与监测D.天津：天津大学，2009.LI Peng.Non-intrusive method for power load disaggregation and monitoringD.Tianjin：Tianjin University，2009.16 牛卢璐，贾宏杰.一种适用于非侵入式负荷监测的暂态事件检测算法J.电力系统自动化，2011，35(9)：30-35.NIU Lulu，JIA Hongjie.Transient event detection algorithm for non-intrusive load monitoringJ.Automation of Electric Power Systems，2011，35(9)：30-35.17 崔灿.面向智能用电的非侵入式居民负荷监测关键技术研究D.北京：华北电力大学，2017.CUI Can.Student on key technologies in non-intrusive residential load monitoring for intelligent power utilizationD.Beijing：North China Electric Power University，2017.18 ZEIFMAN M.Disaggregation of home energy display data using probabilistic approachJ.IEEE Transactions on Consumer Electronics，2012，58(1)：23-31.19 刘博.非侵入式电力负荷监测与分解技术D.天津：天津大学，2013.LIU Bo.Non-intrusive power load monitoring and disaggregation techniqueD.Tianjin：Tianjin University，2013.20 杨秀，李安，孙改平，等.基于改进 GMM-CNN-GRU混合的非侵入式负荷监测方法研究J.电力系统保护与控制，2022，50(14)：65-75.YANG Xiu，LI An，SUN Gaiping，et al.Non-invasive load monitoring based on an improved GMM-CNN-GRU combinationJ.Power System Protection and Control，2022，50(14)：65-75.21 王琪凯，熊永康，陈瑛，等.基于 Attention 机制优化CNN-seq2seq 模型的非侵入式负荷监测J.电力系统及其自动化学报，2022，34(12)：27-34，42.WANG Qikai，XIONG Yongkang，CHEN Ying，et al.Non-intrusive load monitoring based on CNN-seq2seq model optimized by Attention mechanismJ.Proceedings of the CSU-EPSA，2022，34(12)：27-34，42.作者简介：郭嘉，男，1989 年生，博士。主要研究方向为输电线路电气新技术、电力系统风险评估。E-mail： 毕忠勤(通信作者)，男，1977 年生，博士，教授。主要研究方向为电力大数据分析、人工智能。E-mail：