基于非负绞杀与长短期记忆神经网络的动态软测量算法_孙凯.pdf

第 40 卷第 1 期2023 年 1 月控 制 理 论 与 应 用Control Theory&ApplicationsVol.40 No.1Jan.2023基基基于于于非非非负负负绞绞绞杀杀杀与与与长长长短短短期期期记记记忆忆忆神神神经经经网网网络络络的的的动动动态态态软软软测测测量量量算算算法法法孙凯1,隋璘1,张芳芳1,杨根科2,3(1.齐鲁工业大学(山东省科学院)电气工程与自动化学院,山东 济南 250353;2.上海交通大学 自动化系,上海 200240;3.上海交通大学 宁波人工智能研究院,浙江 宁波 315000)摘要:现代工业过程建模中,生产过程的多变量、非线性及动态性会导致模型复杂度增高且建模精度降低.针对这一问题,将非负绞杀算法(NNG)嵌入长短期记忆(LSTM)神经网络,提出一种基于LSTM神经网络及其输入变量选择的动态软测量算法.首先,通过参数优化生成训练好的LSTM神经网络,利用其出色的历史信息记忆能力处理工业过程中的动态、时滞等问题;其次,采用NNG算法对LSTM网络输入权重进行压缩,剔除冗余变量,提高模型精度,并采用网格搜索法与分块交叉验证对其超参数寻优;最后,将算法应用于某火电厂脱硫过程排放烟气SO2浓度软测量建模,并与其它先进算法进行性能比较.实验结果表明所提算法能有效剔除冗余变量,降低模型复杂度并提高其预测性能.关键词:神经网络;软测量;长短期记忆;动态建模;变量选择;模型简化引用格式:孙凯,隋璘,张芳芳,等.基于非负绞杀与长短期记忆神经网络的动态软测量算法.控制理论与应用,2023,40(1):83 93DOI:10.7641/CTA.2021.10529Dynamic soft sensor algorithm based on nonnegative garrote andlong short-term memory neural networkSUN Kai1,SUI Lin1,ZHANG Fang-fang1,YANG Gen-ke2,3(1.School of Electrical Engineering and Automation,Qilu University of Technology(Shandong Academy of Sciences),Jinan Shandong 250353,China;2.Department of Automation,Shanghai Jiaotong University,Shanghai 200240,China;3.Ningbo Institute of Artificial Intelligence,Shanghai Jiaotong University,Ningbo Zhejiang 315000,China)Abstract:In modern industrial process modeling,the multivariable,nonlinearity and dynamics of the production pro-cess increase the model complexity and reduce the model accuracy.In response to this problem,a dynamic soft-sensingalgorithm based on the long short-term memory(LSTM)neural network and its input variable selection is proposed byembedding the nonnegative garrote(NNG)into the LSTM neural network.First,a well-trained LSTM neural network isgenerated with parameter optimization,in which the dynamics and time-delay of industrial processes are handled by itsexcellent memory capacity of historical information.Then,the NNG algorithm is used to compress the input weights ofthe LSTM network to eliminate the redundant variables and improve the model accuracy.Grid search and blocked cross-validation are used to find the optimal hyperparameter of the algorithm.Finally,the algorithm is applied to the soft-sensingmodeling of SO2concentration in the flue gas that is discharged from the desulfurization process of a thermal power plant,and the performance of the algorithm is compared with other state-of-the-art algorithms.Experimental results demonstratethat the proposed algorithm can effectively delete the redundant variables,reduce the model complexity and improve theprediction performance of the model.Key words:neural networks;soft sensor;long short-term memory;dynamic modeling;variable selection;model reduc-tionCitation:SUN Kai,SUI Lin,ZHANG Fangfang,et al.Dynamic soft sensor algorithm based on nonnegative garrote andlong short-term memory neural network.Control Theory&Applications,2023,40(1):83 93收稿日期:20210620;录用日期:20210930.通信作者.E-mail:;Tel.:+86 13651869523.本文责任编委:夏元清.山东省自然科学基金项目(ZR2021MF022),国家重点研发计划项目(2019YFB1705702,2020YFB1711204),山东省重点研发计划项目(公益类专项)(2019GGX104037)资助.Supported by the Shandong Provincial Natural Science Foundation(ZR2021MF022),the National Key Research and Development Program of China(2019YFB1705702,2020YFB1711204)and the Shandong Provincial Key Research and Development Program(Public Welfare Project)(2019GGX104037).84控 制 理 论 与 应 用第 40 卷1引引引言言言现代工业过程中,为保证产品质量与生产过程安全性,需要对某些难以直接测量却又与之密切相关的关键变量进行实时监测,以满足工业生产需求1.软测量技术通过挖掘易于获取的辅助变量与主导变量之间的关系建立数学模型,间接完成对主导变量的有效估计,被广泛应用于各种现代流程工业和过程控制领域24.人工神经网络(artificial neural network,ANN)因其出色的非线性映射能力,不依赖系统先验知识的学习能力,常用于工业过程的关键参数软测量5.然而,实际工业过程本质上具有复杂的时滞特性与动态特性,某些关键参数的状态不仅与其他过程参数的当前时刻状态有关,也依赖于其过去某时刻或某时段的状态6.传统ANN多采用静态网络结构,难以捕获两者之间复杂的动态时序关系,因此所建立的软测量模型往往难以满足生产要求.递归神经网络(recurrent neural network,RNN)通过引入时序反馈机制,在考虑当前过程状态的同时引入相关历史信息,能够有效描述时序数据间的动态行为7.然而,标准RNN在对具有较长时间间隔的时间序列建模时,会出现梯度消失的问题,难以将较早时间步的信息传递给后面的时间步8.为此,Hochreiter等9提出一种长短期记忆(long short-term memory,LSTM)神经网络结构,通过采用记忆单元和3个非线性门代替其基本隐含神经元,实现信息的长时记忆.LSTM独特的网络结构使其在长时间序列建模方面更为有效,被广泛应用于人类活动识别10、语音识别11、文本处理12以及工业过程软测量13等领域.另一方面,复杂工业过程中存在过多特征变量,且具有高度相关性与强耦合性,包含大量冗余信息,从而使模型复杂度增大,性能降低.近年来,许多研究者致力于LSTM神经网络输入变量辨识与选择算法研究.文献14提出一种基于工厂数据的注意力LSTM网络辨识方法,在LSTM网络基础上考虑输入变量对目标变量的重要性,为输入序列中影响输出结果的关键特征分配更多注意力,提高了LSTM网络的泛化能力.文献15提出一种基于互信息特征选择与LSTM神经网络的风速预测模型,实现了对风电场中风速的动态预测,实验结果表明所建模型具有更少的输入变量与更高的预测精度.文献16利用注意力机制获取输入和目标变量之间的相关性,提出一种基于时空注意力的LSTM神经网络软测量算法,并应用于原油加氢裂化过程的软测量建模.非负绞杀(nonnegative garrote,NNG)17是一种嵌入式变量选择算法,能将变量选择与回归系数的优化过程融为一体,最初被用以解决线性回归子集选择问题.文献18将NNG算法与多层感知器(multi-layerperceptron,MLP)神经网络相结合,提出一种面向非线性过程的软测量算法,可建立输入变量更少、预测精度更高的软测量模型.然而,MLP是一种前馈神经网络,在对动态过程建模时,需对原始数据集进行时序扩展,而随着数据集的不断扩展,模型输入变量将大幅增加,且各变量不同时间序列间存在相互耦合,导致变量选择准确性降低,建模精度下降.针对现代工业过程建模中面临的多变量、非线性、动态性等难题,将NNG算法与LSTM神经网络相结合,提出一种基于LSTM输入变量选择的动态软测量(NNGLSTM)算法.一方面利用LSTM神经网络的动态信息处理能力处理相关历史信息,保证辅助变量与主导变量间的时序对应关系,实现动态建模;另一方面采用NNG算法辨识高维特征变量间的冗余信息,删除冗余输入变量,提高模型的预测精度:最后基于某火电厂脱硫过程生产数据,建立SO2排放浓度的软测量模型,并通过与不同软测量算法的性能对比,验证了算法的有效性.2LSTM神神神经经经网网网络络络如图1所示,LSTM单元通常包含3个输入,分别为前一时刻单元状态C(t1)、前一时刻隐含状态h(t1)及当前时刻输入变量x(t);两个输出,分别为当前时刻单元状态C(t)与当前时刻隐含状态h(t),并同时作为下一时刻单元输入参与运算.x(t)C(t)C(t1)+tanhtanhh(t1)f(t)i(t)c(t)o(t)h(t)h(t1),x(t)Wxf,WhfWxi,W