基于贝叶斯与元学习的氨氮浓度预测模型优化_刘懿纬.pdf

第42卷 第4期2023年 7月华中农业大学学报Journal of Huazhong Agricultural UniversityVol.42 No.4July 2023，236243基于贝叶斯与元学习的氨氮浓度预测模型优化刘懿纬1，王魏1，张淑雨1，孙俊洋1，李双双21.大连海洋大学信息工程学院，大连 116023；2.大连鑫玉龙海洋生物种业科技股份有限公司，大连 116000摘要 针对小样本数据下氨氮浓度模型预测精度不高、收敛速度较慢的问题，采用长短期记忆网络（long short-term memory，LSTM）建立氨氮浓度预测模型，并利用贝叶斯优化算法和元学习机制对模型进行优化。其中贝叶斯优化算法用来优化预测模型的超参数，同时给出模型参数的初始值，再使用Meta-LSTM算法学习模型梯度并允许优化器之间进行参数共享和更新，最终实现对氨氮浓度预测模型的优化。将该方法与LSTM、GRU和RNN模型进行对比试验，结果显示，研究所建模型对氨氮浓度预测的均方根误差、平均绝对误差和均方误差分别为0.027 6、0.023 9和0.000 76，均优于其他预测模型。表明基于贝叶斯和元学习的氨氮浓度预测模型对小样本数据建模有效，可以实现网络快速收敛，精度满足水产养殖中氨氮浓度预测需求。关键词 贝叶斯优化；氨氮浓度预测；Meta-LSTM；元学习中图分类号 S959 文献标识码 A 文章编号 1000-2421（2023）04-0236-08水产养殖是渔业发展中必不可少的部分，渔业的快速发展对养殖技术的要求不断提高1-2。在水产养殖过程中，氨氮浓度是衡量养殖水质的重要指标。如果养殖水体中氨氮含量过高，不仅对养殖对象的生存状态造成影响，还可能会对周边的生态环境造成严重破坏3-4。因此，实现养殖水体中氨氮浓度的有效预测和控制是水产养殖管理的核心工作。国内外学者在水质预测领域已有很多研究成果。如王魏等5采用随机配置网络模型对养殖水体氨氮浓度进行软测量建模，得到氨氮浓度的非线性模型；Zhou等6使用水质监测传感器结合鱼群算法建立了三维传感器网来对氨氮浓度进行预测；Dehghan-Shoar等7利用野外光谱技术，通过混合模式下不同物质与氨氮发生显色反应来分析氨氮的浓度。这些方法很好地解决了传统测量氨氮浓度（如纳氏试剂法）存在的测量过程复杂、成本高等问题。然而，这些模型由于本身的局限性，很难实现快速高效的逼近性能。如王魏等5提出的模型会随着神经元个数增加容易出现过拟合现象；Zhou等6的模型参数复杂，如果设置不当，容易偏离最优解致使该方法使用受限；Dehghan-Shoar等7提出的方法只适用于干扰因素少的环境，由于海水养殖环境复杂，影响显色反应的物质很多，所以不适宜用在海水养殖中的水质监测。近年来，随着信息技术的发展，数据可以实时获取，部分学者从数据预处理和优化模型参数入手提高模型精度。如李先鹏等8采用改进后的小波降噪对采集数据进行处理，并用循环神经网络提取数据特征，通过LSTM神经网络氨氮浓度模型实现实时预测；冯良记等9将改进遗传算法用于高非线性水质模型参数估计中，所得结果与给定的实测值吻合良好；唐亦舜等10通过优化调整数据段与隐含层神经元数等模型参数，构建非线性自回归神经网络模型，提高预测精度。由于养殖过程中相关传感器较少，数字化程度较低，导致数据量不足，上述方法在小样本数据下无法保证模型的预测精度，同时水质受多种因子的影响，氨氮浓度的变化是复杂的非线性过程，通过数据预处理以及模型参数估计无法保证模型的泛化能力，因此，本研究提出基于贝叶斯和元学习的氨氮浓度预测模型，通过优化模型超参数降低人为调参带来的误差，在给定模型参数初始值后优化模型参数，允许优化器之间参数共享和更新，实现在小样本数据下的氨氮浓度预测模型优化，以期为氨氮浓度预测提供新途径。收稿日期：2022 09 30基金项目：设施渔业教育部重点实验室（大连海洋大学）开放课题（202314）；辽宁省教育厅青年科技人才“育苗”项目（QL201912）刘懿纬，E-mail：通信作者：王魏，E-mail：ww_刘懿纬，王魏，张淑雨，等.基于贝叶斯与元学习的氨氮浓度预测模型优化 J.华中农业大学学报，2023，42（4）：236243.DOI：10.13300/ki.hnlkxb.2023.04.0271材料与方法1.1数据来源本试验中使用的数据来源于2017-2019年大连某养殖企业，每天监测1组，表1中为部分数据。数据集包含日期、温度、盐度、亚硝酸盐质量浓度、氨氮质量浓度。基于前期文献11分析的结果，本研究将温度、盐度、pH作为输入变量，氨氮浓度作为输出变量进行建模，同时使用贝叶斯优化算法和元学习机制优化模型超参数及模型参数。在贝叶斯优化模型超参数过程中，将数据集分为两部分，其中训练集占80%，验证集占20%。在元学习机制优化模型参数过程中，将数据集划分为元训练集（Meta-train）和元测试集（Meta-test），元训练集包括Dtrain和Dtest；元测试集包括 Dtrain和 Dtest，其中元训练集占80%，元测试集占20%。1.2基于贝叶斯与元学习的氨氮质量浓度预测模型构建1）LSTM神经网络的工作原理。氨氮浓度预测采用 LSTM 进行建模，相比传统循环神经网络，LSTM神经网络增加了记忆单元，并且引入3个门控单元实现记忆的更替。其原理图如图1所示。LSTM神经网络由3个门控单元组成：遗忘门：对记忆单元中的信息进行筛选：ft=(Wf ht-1，xt+bf)（1）式（1）中，ft是遗忘门的激活值；Wf为遗忘门的权重；bf为遗忘门的偏置；ht-1为上一时刻的隐状态；xt为当前时刻的输入；()为sigmoid函数。输入门：对每个神经元的状态进行更新：it=(Wi ht-1，xt+bi)（2）C?t=tanh(Wc ht-1，xt+bc)（3）式（2）（3）中，it是输入门激活值；Wi和Wc为输入门的权重，bi和bc为输入门的偏置；Ct为当前时刻的候选输出状态值。记忆更新是通过输入门和遗忘门一起完成，新记忆主要涉及遗忘门当中留下的记忆以及输入门引入的记忆：Ct=ftCt-1+itC?t（4）式（4）中，Ct为当前时刻的隐藏层状态值。输出门：对神经元当前的状态进行更新，以确定下一个神经元的记忆：ot=(Woht-1，xt+bo（5）ht=ottanh(ct)（6）式（5）（6）中，ot是输出门激活值；Wo为输出门的权重；bo为输出门的偏置；ht为当前时刻的隐状态。2）基于贝叶斯和元学习的 LSTM 模型。为了实现对养殖水质数据的预测，划分数据为训练集、测试集及验证集，训练集数据的作用是对LSTM神经网络进行训练，通过L2正则化方法来避免网络出现过拟合的问题，验证集主要作为LSTM神经网络超参数的优化基础，测试集主要是针对训练之后的表12017-2019年某车间水质数据Table 1Water quality data of a workshop from 2017 to 2019图1 LSTM神经网络原理图Fig.1 Schematic diagram of LSTM neural network第 4 期刘懿纬 等：基于贝叶斯与元学习的氨氮浓度预测模型优化1材料与方法1.1数据来源本试验中使用的数据来源于2017-2019年大连某养殖企业，每天监测1组，表1中为部分数据。数据集包含日期、温度、盐度、亚硝酸盐质量浓度、氨氮质量浓度。基于前期文献11分析的结果，本研究将温度、盐度、pH作为输入变量，氨氮浓度作为输出变量进行建模，同时使用贝叶斯优化算法和元学习机制优化模型超参数及模型参数。在贝叶斯优化模型超参数过程中，将数据集分为两部分，其中训练集占80%，验证集占20%。在元学习机制优化模型参数过程中，将数据集划分为元训练集（Meta-train）和元测试集（Meta-test），元训练集包括Dtrain和Dtest；元测试集包括 Dtrain和 Dtest，其中元训练集占80%，元测试集占20%。1.2基于贝叶斯与元学习的氨氮质量浓度预测模型构建1）LSTM神经网络的工作原理。氨氮浓度预测采用 LSTM 进行建模，相比传统循环神经网络，LSTM神经网络增加了记忆单元，并且引入3个门控单元实现记忆的更替。其原理图如图1所示。LSTM神经网络由3个门控单元组成：遗忘门：对记忆单元中的信息进行筛选：ft=(Wf ht-1，xt+bf)（1）式（1）中，ft是遗忘门的激活值；Wf为遗忘门的权重；bf为遗忘门的偏置；ht-1为上一时刻的隐状态；xt为当前时刻的输入；()为sigmoid函数。输入门：对每个神经元的状态进行更新：it=(Wi ht-1，xt+bi)（2）C?t=tanh(Wc ht-1，xt+bc)（3）式（2）（3）中，it是输入门激活值；Wi和Wc为输入门的权重，bi和bc为输入门的偏置；Ct为当前时刻的候选输出状态值。记忆更新是通过输入门和遗忘门一起完成，新记忆主要涉及遗忘门当中留下的记忆以及输入门引入的记忆：Ct=ftCt-1+itC?t（4）式（4）中，Ct为当前时刻的隐藏层状态值。输出门：对神经元当前的状态进行更新，以确定下一个神经元的记忆：ot=(Woht-1，xt+bo（5）ht=ottanh(ct)（6）式（5）（6）中，ot是输出门激活值；Wo为输出门的权重；bo为输出门的偏置；ht为当前时刻的隐状态。2）基于贝叶斯和元学习的 LSTM 模型。为了实现对养殖水质数据的预测，划分数据为训练集、测试集及验证集，训练集数据的作用是对LSTM神经网络进行训练，通过L2正则化方法来避免网络出现过拟合的问题，验证集主要作为LSTM神经网络超参数的优化基础，测试集主要是针对训练之后的表12017-2019年某车间水质数据Table 1Water quality data of a workshop from 2017 to 2019日期Data2017/08/112017/08/122017/08/13.2019/12/292019/12/302019/12/31温度/CTemperature26.0027.0026.60.13.2013.2013.20盐度/%Salinity31.0032.0030.00.34.0035.0036.00pH7.807.807.80.7.407.507.40亚硝酸盐质量浓度/(mg/L)Nitrite concentration0.017 10.009 50.013 7.0.047 80.084 30.091 4氨氮质量浓度/(mg/L)Ammonia nitrogen concentration0.099 70.113 30.074 5.0.079 30.065 90.036 5图1 LSTM神经网络原理图Fig.1 Schematic diagram of LSTM neural network237第 42 卷 华 中 农 业 大 学 学 报LSTM网络进行精度的预测。该模型主要包括3个阶段，首先是进行LSTM模型的训练，其次是在贝叶斯优化模型中将有优化需求的超参数传入以完成超参数的优化，同时完成优化的超参数对LSTM神经网络进行训练以获得初始化参数，然后在LSTM优化器中传入，通过LSTM元学习器针对性地优化参数，最后对完成优化的模型进行精度预测，图2为基于贝叶斯和元学习的LSTM模型流程图。3）贝叶斯优化算法。LSTM神经网路中，有一些是人为设置的超参数，比如学习率以及隐含层层数等，这些参数会对神经网络中的预测性能以及拓扑结构产生直接影响。由于调整LSTM模型参数时无法直接确定相应的目标函数，因此部分传统优化算法不适用。贝叶斯优化（BO）算法属于黑盒子优化算法，不要求目标函数的明确表达式，适用于LSTM模型的微调。基于已知观测点和目标函数先验概率分布来进行后验概率分布的更新，再以此来寻找下一个极小值点，以确保极小值能够持续减小，保证超参数最优。贝叶斯优化目标定义为：xmin=argminxxf(x)（7）式（7）