面向家庭用电负荷分解的时间卷积注意力网络_刘政.pdf

（）年 第 卷 第 期 收稿日期：基金项目：重庆市人工智能技术创新重大主题专项重点研发项目“基于全生命周期数据的超高水头冲击式发电机组智能预警与诊断系统”（）作者简介：刘政，男，副教授，主要从事嵌入式、电力系统自动化研究，-：；通信作者 刘鑫，男，硕士研究生，主要从事非侵入式负荷监测研究，-：。本文引用格式：刘政，刘鑫，刘伟 面向家庭用电负荷分解的时间卷积注意力网络 重庆理工大学学报（自然科学），（）：，-（），（）：（）面向家庭用电负荷分解的时间卷积注意力网络刘政，刘鑫，刘伟（重庆理工大学 计算机科学与工程学院，重庆 ；重庆理工大学 电气与电子工程学院，重庆 ）摘要：针对传统深度神经网络分解模型准确度不能满足非侵入式负荷监测实际需求的现状，提出了一种基于时间卷积网络和注意力机制的负荷分解网络（）。采用序列到点的分解方法，使用改进的时间卷积网络为基础提取负荷数据特征，增加卷积核感受野，获取更多数据特征信息。模型结合注意力模块，提取到更加丰富和有价值的特征信息，提升了训练效率。在 -数据集上的实验结果表明：该模型比现有的分解方法在分解性能和电器启停状态判断方面有明显提升。关键词：负荷分解；深度学习；注意力机制；时间卷积网络中图分类号：；文献标识码：文章编号：（）引言当前，传统电力设施在实现碳达峰等目标的背景下逐渐朝着智能电网的方向转变。电能供给侧对电能的使用、管理和优化可以有效降低能耗，了解能源的详细使用情况可以帮助用户优化电能使用管理。等 指出，用户了解用电设备的电能使用信息可以减少 的电能消耗。负荷监测技术是帮助用户了解电能使用情况的关键技术。传统的负荷监测通常选择直接在用户的电器上安装传感器，记录每个电器的电能消耗。这种方法虽然能获取更准确的功耗数据，但在实施过程中监测成本较高，用户接受度较低。非侵入式负荷监测方法 不需要为每个设备提供专用的传感器即可为用户提供这些信息。该方法降低了设备的安装成本和测量设备的侵入程度，减少了用户隐私泄露的风险，提高了用户对负荷监测的接受程度。在 世纪 年代，提出了非侵入式负荷分解。由于隐马尔可夫方法具有简单直观的优点，一度成为主流的负荷分解方法 。基于隐马尔科夫算法改进的方法有双层马尔可夫链 、因子隐马尔可夫 、阶乘隐马尔可夫 等。然而，由于家庭电器数目的剧增，隐马尔可夫方法计算的复杂度指数级增加，分解性能变差。针对电器运行状态复杂和电器数目较多的家庭，为了提高负荷分解准确性和实用性，很多研究采用深度学习作为特征提取方法应用到负荷分解中。大多数研究使用深度学习中序列到序列的模型来解决负荷分解问题。模型输入是一个序列的总功耗，输出的是目标电器一个序列的电能消耗。等 提出使用长短期记忆网络（）和去噪自编码器（）等方法，采用序列到序列的方式解决负荷分解问题，在 数据集 下，几种深度学习方法明显优于组合优化算法和隐马尔可夫方法。等 提出了序列到点的负荷分解方式。该方法使用卷积神经网络进行负荷分解，减少计算时间的同时提升了负荷分解的准确率。序列到点指网络输入一个窗口长度的序列，输出窗口长度的中点数据。但是该方法使用的神经网络较浅，不能提取到深层的负荷特征，容易发生梯度消失和梯度爆炸等问题。在序列到点的负荷分解方式的基础上，出现了很多深度学习方法解决负荷分解问题，包括结合门控循环单元 、使用双向扩展卷积 和增加卷积块注意力 等。这些方法均为非因果方法，需要提取未来的数据才能分解出当前时刻电器的运行数据。在实际运用中，这意味着在分解过程中会出现明显的延迟问题，实时分解的效果较差。等 提出了改进于语音分解领域的 的模型。该模型使用因果卷积代替普通卷积来解决负荷分解问题。因果卷积提升了卷积核的感受野，可以获取更长序列的数据信息，能有效防止分解中的延迟问题，提升了分解效率。当提取目标电器设备的完整运行周期功率变化后，可以很好地确认设备的工作状态和功耗。然而，因果卷积需要更深的网络层次来获得更大的感受野信息，耗费更多的计算资源。如果输入序列中出现了一个不完整的设备运行周期，那么由于丢失了某些特征，负荷分解的结果可能会变差许多。通过增加序列长度可以尽可能多地捕获目标设备的整个运行周期功率变化数据，但会带来过度计算的问题。等 提出一种改进的时间卷积网络，在 的基础上，将因果卷积改为扩展因果卷积，提升了卷积核的感受野，一定程度上提升了分解性能。但是该模型结构较复杂，模型提取长序列数据特征的能力较差，仍然存在分解精度不高的问题。为解决上述问题，本文中提出了一种结合注意力机制的时间卷积网络的序列到点模型。使用时间卷积网络来构建序列到点的分解模型，并使用注意力机制提高模型对数据特征的提取能力。在数据处理方面，使用滑动窗口处理输入时间序列。因此，最终模型的输出结果是模型提取到的多个序列重叠的平均值。本文的主要贡献包括：）提出了一种结合时间卷积网络和注意力机制为主要架构的分解方法（）。它可以在时域内进行数据的集成建模，参数少于传统的长短期记忆网络，而且在输入长序列数据进行负荷分解时的精度更好。所提出的模型缓解了梯度爆炸和梯度消失问题，提高了网络训练效率。）所提出的负荷分解方法是基于时序数据之间的因果关系。该模型进行分解是基于单个电器过去和现在的电力消耗数据，保持了输入数据的顺序性和时间依赖性。）在 -数据集上对不同电器设备进行分解性能和启停状态的评估。实验结果表明，所提出的方法相比其他模型几乎在所有电器设备上都取得了良好的性能。负荷分解模型 负荷分解原理非侵入式负荷分解的目标是使用智能电表采集用户总电表的电力信息，通过模型计算出单个设备的功率信息。非侵入式负荷分解的硬件端放在家庭用户的入户电表处，如图 所示。该装置可以监测各家用电器的用电情况。图 非侵入式负荷分解系统原理框图家用电器由于负荷特征和工作状态的不同可分为 种类型。其中，水壶和电灯等属于开关型，只有 种状态变化；冰箱和洗衣机等有多种工作状态，属于多状态型设备；最后一种是吹风机类的可持续调节风温度，称为连续变化型。不同类型的电器有不同的功耗模式，模型从不同的电器功率数据中提取对应的负荷特征。当一个设备运行时，称这个设备处于激活状态。当这个设备完整地运行一个周期，称这个周期为显著激活。在负荷分解问题中，假设 是家庭总表处电力消耗功率，是 时刻家庭中正在运行的设备功率和。（）是第 个设备在 时刻运行的功率。负荷分解问题的任务就是去除 的噪声，分解出 。负荷分解问题表示为：（）（）（）（）其中：是家庭中设备的个数；是噪声。在 时刻，除了当前需要分解的设备，其他正在运行的设备为测量噪声。这种把混合源信号分解出多个单独的源信号的过程称为单通道盲源分离问题。语音识别领域的“鸡尾酒会”问题同样是单通道盲源分离问题。该问题是指从一个混合音频中分离出鸡尾酒会中同时说话的每个人的语音，采用处理语音分离问题的方法来解决负荷分解问题。时间卷积网络本文在文献 的基础上，采用序列到点的方式，使用时间卷积网络代替普通的卷积神经网络。时间卷积网络是普通卷积网络的一种变体，结合了扩展卷积网络和因果卷积网络，可认为是扩展因果卷积。时间卷积网络相比普通卷积网络提升了卷积核的感受野，也提升了处理时序数据的能力。普通因果卷积网络结构见图 ，每一层的输出是由前一层对应神经元的输入和对应神经元的前一个位置的输入共同组成。如果网络的层次增加，输入层和输出层之间的层数越多，输出层的一个神经元对应的输入信息就越多。因此，因果卷积需要较长的滤波器或者非常深的网络结构实现足够大的接受域，但网络层次增加也会导致梯度爆炸等问题。时间卷积网络是结合了扩展卷积的因果卷积，比普通因果卷积滤波器长度更长，感受野更广。如图 所示，扩展卷积通过跳过部分输入来增加滤波器长度。可以看出，卷积层深层的部分感受野更大。在用电设备的实际运行中，当前时间的运行状态和之前的运行状态相关。扩展因果卷积的输出只与之前几个时刻的输出信息相关，不会被当前时刻之后的信息影响。由于滤波器变长，卷积核的感受野变广，故扩展因果卷积网络可以提取到时序数据之前更久远时刻的负荷特征信息。图 因果卷积网络结构图 扩张因果卷积网络结构扩展卷积网络的感受野为 （）其中：是感受野大小；是卷积核大小；是扩展卷积的膨胀率；是卷积网络层数。可以发现，扩展因果卷积网络的感受野是随着网络的膨胀率、卷积核大小和网络层数的增加而增加的。时间卷积网络相比普通卷积网络在相同卷积核大小和网络层数时，感受野更大，可以提取到序列数据中更多的负荷特征，更适用于分解低频率使用的电器。注意力模块为使模型更多地捕捉到电器设备的显著激活，使用注意力模块对输入数据特征在目标设备的显著激活上进行特征增强，通过权重加权的方式提取数据的特征。该模块使得模型可以更好地学习目标设备的显著激活的特征关联。注意力模块和时间卷积网络组成的残差模块结构如图 所示，数据分别输入到注意力模块和时间卷积网络刘政，等：面向家庭用电负荷分解的时间卷积注意力网络中，个分支的输出相加，得到更有价值的增强特征。图 残差模块结构注意力机制捕获设备的显著激活后，提取比其他机制更有价值的特征映射来进行分解。实现的注意力模块结构如图 所示，其表达式为：（）（）（）（）（）其中：、和 是与网络模型中其他层的共享参数。注意力模块的输出为上下文向量 ，它和时间卷积模块的输出加在一起输入至网络的下一层。图 注意力模块结构 网络模型结构文献 中使用的时间卷积网络负荷分解模型是由几个残差块堆叠而成。残差块中包括 个扩张因果卷积，在卷积层之后连接批归一化和激活函数层。在负荷分解问题中，该模型较复杂，参数量巨大，需要的计算资源较多，负荷分解问题需要模型更为轻量级，使得部署在智能电表端分解效率更好。经过测试和改进，针对负荷分解问题提出一种结合注意力机制的更为轻量级的时间卷积网络模型。整个模型使用序列到点的分解方式。网络输入层采用总功率序列作为输入，首先使用普通卷积提取浅层特征，随后经过下采样层捕获数据的全局信息。数据经过下采样层后，特征映射的大小小于输入特征映射的大小，相当于对输入端完成一个编码操作，得到特征的全局信息。输入简化的时间卷积网络和注意力模块组成的残差模块，提取深层次的特征。残差模块的输出进入第一个全连接层，之后经过展平到最后一层全连接层完成整个负荷分解模型。输出层输出模型分解结果。图 是本文所提出的模型网络结构示意图。图 网络结构示意图普通卷积的卷积核个数为 ，卷积核大小为，激活函数为 。残差单元由五层时间卷积网络和一个注意力模块构成。五层时间卷积核的个数分别是 、，卷积核大小均为 ，激活函数为 。第一个全连接层有 个神经元，第二个全连接层有 个神经元。数据集和数据预处理在本节中，描述了实验使用的数据集的具体情况。针对深度学习模型需要的数据情况，进行数据的预处理。模型进行负荷分解时需要的电力信息为所采用数据集中的低频有功功率数据。数据集数据集采用英国能源研究委员会能源数据中心发布的 -数据集。数据集中有 个家庭的数据，其中 号房屋有 的数据，数据集采集时间为 年。-数据集包含 多种类型的电器，总表数据和各房间单独的设备采集频率均为每 记录 次。由于第 个房间的数据丰富且数量多，故采用第 个房间的数据作为训练集和测试集。选取冰箱、微波炉、洗碗机、水壶和洗衣机 个电器进行实验。数据预处理采用 对 -数据集进行预处理，把数据类型转换成适合输入网络进行训练的类型。数据中的缺省值用 进行填充。对电器启停状态进行划分，设置功率阈值。当电器的运行功率大于 时，判断为设备开启；当小于或者等于 时，判断为设备关闭。由于模型不能接受无限长的序列输入和输出，故需要把数据划分成多个子序列输入模型中。使用滑动步长是 的滑动窗口，设置窗口长度，采用重复滑动的方式，把数据划分为子序列。模型最终的分解结果是重叠子序列的平均值，减少了误差，提高了分解精度。采用将数据减去最大值再除以标准差的方式对数据进行标准化。预处理结束之后输入模型中。表 是各电器设备的最佳输入序列长度和 个月训练数据中各个电器的最大功率、平均功率和功率标准差。表 电器设备参数和输入序列长度设备类别输入序列长