基于Dropout-LSTM模型的城市燃气日负荷预测_于铭多.pdf

第一作者简介:于铭多，女，硕士生，研究方向:燃气负荷预测。收稿日期:2021 10 11;修回日期:2022 06 12基于 Dropout LSTM 模型的城市燃气日负荷预测于铭多，郝学军(北京建筑大学 环境与能源应用工程学院，北京 100044)摘要:提出采用 Dropout 技术的长短期记忆神经网络模型(Dropout LSTM 模型)，对城市燃气日负荷进行预测。由于不同时期的燃气日负荷具有不同特点，将全年分为供暖期、过渡期及非供暖期，分别对 3 个时期的日负荷和影响因素进行相关性分析，确定 3 个模型的输入特征，建立 3个时期的日负荷预测 Dropout LSTM 模型，采用平均绝对百分比误差对模型预测效果进行评价。Dropout LSTM 模型可以很好地预测城市燃气日负荷，比 BP 模型、LSTM 模型以及 SVM 模型有更好的预测效果。与基于全年数据的全年预测模型相比，分时期预测模型预测精度更高。供暖期的燃气日负荷规律性强，对供暖期的日负荷预测精度最高，非供暖期次之，由于过渡期日负荷波动大，预测效果是 3 个时期中最差的。关键词:燃气日负荷;负荷预测;Dropout LSTM 模型;相关性分析;预测精度中图分类号:TU996 3文献标志码:A文章编号:1000 4416(2023)02 0B10 071概述概述城市燃气负荷预测指分析燃气负荷特性、预测未来一段时间内用气规律和特征1，其中日负荷预测可为燃气短时间内的使用情况提供一定理论依据，便于对燃气合理规划、调配。从燃气负荷预测的研究进程来看，国内外燃气负荷预测研究方法主要分为 2 种:一是传统的数理方法，如回归分析法、时间序列法等;二是人工智能类方法，主要以机器学习和新兴的信号分析方法等理论为基础，包括支持向量机、人工神经网络等2。Gorucu3 利用多元统计回归法对安卡拉的天然气用量进行了预测;Beyzanur 等人4 提出了一种结合遗传算法(GA)和自回归移动平均(AIMA)方法的预测方法，对伊斯坦布尔的天然气消耗量进行预测;郭微等人5 应用支持向量机方法预测了天然气负荷;Kizilaslan 等人6 通过对几种不同神经网络算法的比较，建立了适合伊斯坦布尔的天然气日负荷预测模型;何恒根等人7 采用 BP 神经网络模型进行燃气负荷预测，得到了较高的预测精度。目前神经网络在燃气预测领域应用最为广泛，其中 BP 等传统神经网络无法识别出数据之间的关联性，因此提出了一种循环神经网络(NN)，主要用于处理和预测序列数据。由于简单的 NN 具有长期记忆能力不足等问题，有学者研发了一种新型循环神经网络 长短期记忆神经网络(Long Short Term Memory，LSTM)，可以学习长期依赖信息。文献 8 9 选取 LSTM、BP 神经网络等模型进行预测分析，结果表明 LSTM 模型优于其他模型。城市燃气日负荷是具有很强的周期性的序列数据，因受到外界各种因素影响，同时具有不确定性和随机性，一般预测方法不能很好模拟出日负荷的波动情况。为进一步提高预测精度，本文提出一种基于 LSTM 神经网络的燃气日负荷预测方法，并针对神经网络模型在训练过程中易陷入过拟合的现象，应用 Dropout 技术对 LSTM 网络进行优化，使得构建的神经网络模型具有更强的泛化能力。由于不同时01B第 43 卷第 2 期2023 年 2 月煤 气 与 热 力GAS HEATVol 43 No 2Feb 2023DOI:10.13608/ki.1000-4416.2023.02.005期的燃气日负荷特性不同，将历史数据分组并进行相关性分析，分别建立供暖期、过渡期及非供暖期 3个 Dropout LSTM 预测模型，并将模型应用于某市的日负荷预测进行验证，结果表明 3 个 Dropout LSTM 模型均具有较好的预测效果，可应用于燃气日负荷预测。2燃气日负荷特性燃气日负荷特性以华北某城市 2018 年 1 月 1 日至 2020 年 12月 31 日的燃气日负荷为例，分析城市燃气日负荷特点。该城市供暖期为 11 月 15 日至次年 3 月 15 日。城市燃气日负荷受自然条件和人为因素影响。其中自然条件一般包括温湿度、风力等级、天气情况、日期属性等，人为因素包括市民自行设定室内温度、调节供暖时间等。燃气负荷时间序列蕴含大量的负荷变化规律信息，依此可以有效预测未来燃气负荷10。燃气日负荷与日均温度随时间的变化曲线见图 1。由图 1 可知，该城市燃气日负荷有较强的年周期规律性，且与温度有明显相关性，在供暖期尤为显著。另经分析发现，部分节假日(如清明节假期、劳动节假期等)日负荷并无差异，仅在春节假期和国庆节假期等重大节假日出现波动。图 2 展示了2018 年不同星期类型(周一至周日)燃气日负荷变化趋势。供暖期燃气日负荷周峰谷差和不同星期类型燃气日负荷的波动都较为剧烈，但一周内不同星期类型的日负荷无显著差异，可见星期类型对日负荷没有较大影响。403020100-10-20日均温度/日均温度燃气日负荷2018-01-012019-01-012020-01-012021-01-01140104120104100104801046010440104201040燃气日负荷/（m3d-1）日期图 1燃气日负荷与日均温度随时间的变化曲线14010412010410010480104601044010420104周的编号燃气日负荷周峰谷差/（m3d-1)燃气日负荷/（m3d-1)1020304050600日负荷周峰谷差周一日负荷周二日负荷周三日负荷周四日负荷周五日负荷周六日负荷周日日负荷图 22018 年不同星期类型的燃气负荷变化趋势3预测模型构建预测模型构建3 1LSTM 网络LSTM 网络可以学习长期依赖信息，成功解决了一般循环神经网络的缺陷，在预测以及语音识别等领域能达到较好的应用效果。LSTM 单元结构见图 3，图中表示向量按元素连接，表示按元素逐乘操作，表示按元素逐加操作，箭头的合并表示连接，tanh、Sigmoid 表示神经网络层。当前的输入xt、上一时刻的单元状态 ct 1及输出 ht 1组成了LSTM 网络的神经元输入，当前时刻的单元状态 ct及输出 ht组成了神经元输出。相比 NN 的隐藏层只有一个状态 h，LSTM 网络增加一个状态 c，贯穿ct 1到 ct的水平线就像一条信息的传送带，内部只对传入的向量信息做少量线性操作，继续传递到下一层，很容易完成信息的前后传递，进而实现长期记忆保留的功能，解决梯度消失问题。LSTM 单元结构中包括遗忘门 ft、输入门 it和输出门 ot11。遗忘门决定了当前时刻的单元状态 ct可以保留多少上一时刻单元状态的信息;输入门决定了单元状态 ct可以接收多少网络的输入 xt的信息;输出门通过激活函数 Sigmoid 控制当前输出，随后与 tanh 函数处理的单元状态相乘共同确定最终的输出 ht。3 2Dropout 技术影响城镇燃气日负荷的因素较多，因此模型的参数较为复杂，且对于 LSTM 网络这种规模较大的神经网络来说，本文样本数据较少，训练样本不够充足，很容易产生过拟合现象。文献 12提出了Dropout 正则化方法，能有效避免过拟合并改善模型11Bwww gasheat cn于铭多，等:基于 Dropout LSTM 模型的城市燃气日负荷预测第 43 卷第 2 期htcthtxtftitotht-1ct-1SigmoidtanhSigmoidSigmoidtanh图 3LSTM 单元结构性能，在神经网络中得到了广泛应用。为提高模型预测精度，解决过拟合问题，本文在 LSTM 网络基础上引入 Dropout 技术。3 3Dropout LSTM 燃气日负荷预测模型建立本文基于 Python 软件 Keras 深度学习框架中的Sequential 模型搭建两层 Dropout LSTM 网络模型。在模型训练中，使用 Adam 优化算法代替传统的随机梯度下降算法，Dropout 神经元失活概率为 0 2，更新器的学习率为 0 01。4DropoutDropout LSTMLSTM 模型的预测流程模型的预测流程提取数据:采集历史燃气日负荷及相关影响因素数据。数据预处理:数据预处理的作用主要是防止异常数据波动而引起训练时间的增加，有效提高模型预测精度13。处理内容包括缺失值的插补、异常值的剔除与填补、数据的定量化以及归一化。a 采集用气数据后未发现存在缺失值，经局部异常因子算法(Local Outlier Factor，LOF)筛选并剔除异常值后，经拉格朗日插值法进行填补，由此得到最终样本数据。b 输入特征对预测模型的性能影响较大14，本文选择风力等级、天气类型、日平均温度、日最高温度、日最低温度、历史日负荷、星期类型和节假日类型这几种影响燃气日负荷的因素构成输入特征，其中风力等级、天气类型、星期类型、节假日类型为定性数据，需要进行量化处理。量化规则对于预测结果产生一定影响，研究发现，将影响因素的定性信息映射于 0，1区间的中后段时，预测结果具有较好的准确性15，本文参考相关文献中量化规则并结合实际情况，对影响因素进行量化，量化数据见表 1 4。采用 Min Max 归一化方法将日平均温度、日最高温度、日最低温度和历史日负荷映射到 0，1区间，公式为:xg=x xminxmax xmin(1)式中xg 日平均温度、日最高温度、日最低温度或历史日负荷归一化后的值x 日平均温度、日最高温度、日最低温度或历史日负荷的实际值xmin 日平均温度、日最高温度、日最低温度或历史日负荷实际数据中的最小值xmax 日平均温度、日最高温度、日最低温度或历史日负荷实际数据中的最大值表 1风力等级的量化数据风力等级量化数据1 级0 32 级0 43 级0 54 级0 65 级0 7表 2天气类型的量化数据天气类型量化数据晴0 35多云0 40阴0 45雷阵雨0 50小雨0 60中雨0 65大雨0 70小雪0 80中雪0 90大雪0 95表 3星期类型的量化数据星期类型量化数据周一0 4周二 周四0 5周五0 721B第 43 卷第 2 期煤 气 与 热 力www gasheat cn续表 3星期类型量化数据周六0 8周日0 8表 4节假日类型的量化数据节假日类型量化数据春节、国庆节假期0 3其他节假日0 5正常日0 6相关性分析:应用 SPSS 统计软件对燃气日负荷与影响因素进行 Pearson 相关性分析，随后确定模型的输入特征。构建 Dropout LSTM 模型:确定训练集和测试集。将训练集数据输入已构建好的 Dropout LSTM 模型中进行训练。输出结果:将测试集数据输入 Dropout LSTM 模型中进行测试，输出测试集的预测值，并将预测值与真实值进行比较，评估模型的性能及预测效果。本文选取燃气负荷预测中应用最广泛的平均绝对百分比误差来衡量真实值与预测值之间的偏差，平均绝对百分比误差计算公式为:IMAPE=1nni=1yi，p yiyi(2)式中IMAPE 平均绝对百分比误差n 样本的数量yi，p 第 i 个样本的预测值yi 第 i 个样本的真实值平均绝对百分比误差越接近 0，说明模型预测结果越准确。5DropoutDropout LSTMLSTM 模型的预测模型的预测全年 3 个时期的划分将全年分为供暖期(1 月 1 日3 月 15 日、11月15 日12 月31 日)、过渡期(3 月16 日4 月15日、10 月16 日11 月14 日)以及非供暖期(4 月16日10 月15 日)3 个时期。不同时期的燃气日负荷特性有所差别，因此建立供暖期、过渡期和非供暖期3 个 Dropout LSTM 模型，并探究每一时期燃气日负荷与影响因素的相关性，确定对应模型的输入特征，分别对 3 个时期的燃气日负荷进行预测。确定 3 个时期模型的输入特征不同时期燃气日负荷与影响因素的 Pearson 相关性分析见表 5。相关系数绝对值越接近 1 表示两个变量的相关性越强，越接近 0 表