基于迁移BN-CNN框架的小样本工业过程故障诊断_欧敬逸.pdf

2023 年第 36 卷第 7 期Electronic Sci.Tech./Jul.15，2023https:/收稿日期:2022-01-05基金项目:国家自然科学基金(61903251)National Naturel Science Foundation of China(61903251)作者简介:欧敬逸(1996 )，女，硕士研究生。研究方向:工业过程故障诊断。田颖(1988 )，女，博士，副教授。研究方向:工业过程监控及故障诊断。基于迁移 BN CNN 框架的小样本工业过程故障诊断欧敬逸，田颖，向鑫，宋启哲(上海理工大学 光电信息与计算机工程学院，上海 200093)摘要针对工业故障诊断过程中训练样本不足导致的诊断性能低下问题，文中以迁移学习和深度学习方法为基础，提出一种迁移 BN CNN(Batch Normalization Convolutional Neural Network)框架。为了减少网络对初始化方法的依赖，在卷积神经网络中引入批归一化层，对网络的隐藏层进行归一化处理。针对目标域标签数据不充足问题，通过基于样本的迁移学习方法扩充目标域的标记数据量，引入基于模型的迁移学习方法，通过充足的源域数据预训练 BN CNN网络，并利用数据量扩充后的目标域微调该网络部分参数，降低了少量样本训练深度神经网络的难度，得到了更适合目标域的故障诊断模型。采用 TE 工业数据集对该方法进行对比验证，实验结果表明，文中所提方法对于小样本工业过程故障具有较好的诊断性能，其平均精度值为 0 804。关键词故障诊断;工业过程;卷积神经网络;批归一化;源域;目标域;微调;迁移学习中图分类号TP277文献标识码A文章编号1007 7820(2023)07 049 07doi:10.16180/ki.issn1007 7820.2023.07.007Fault Diagnosis of Few Shot Industrial Process Based on TransferBN CNN FrameworkOU Jingyi，TIAN Ying，XIANG Xin，SONG Qizhe(School of Optical Electrical and Computer Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China)AbstractIn view of the problem of weak diagnosis performance caused by insufficient training samples in in-dustrial process fault diagnosis，a transfer BN CNN framework is proposed based on transfer learning and deeplearning in this study In order to reduce the dependence of the network on the initialization method，a batch normali-zation layer is introduced into the convolution neural network to normalize the hidden layer of the model To solve theproblem of insufficient label data in the target domain，the sample based transfer learning method is used to expandthe labeled data volume of the target domain By introducing the model based transfer learning method，the BN CNN network is pre trained with sufficient source domain data，and some parameters of the network are fine tunedby using the expanded target domain The difficulty of training the deep neural network with a small number of sam-ples is reduced，and a fault diagnosis model suitable for target domain is obtained The comparison experiments onTE industrial data set show that the proposed has good diagnostic performance for small samples of industrial processfaults，and its average accuracy is 0804Keywordsfault diagnosis;industrial process;convolutional neural network;batch normalization;source do-main;target domain;fine tune;transfer learning随着工业产品需求的多样化、个性化，工业生产过程日益复杂化、自动化。工业生产过程一旦发生故障，往往会导致严重的经济损失和社会危害。因此，工业控制系统的安全问题受到广泛关注，维护复杂工业系统安全成为当前故障诊断与安全控制领域的研究重点1。基于数据驱动的方法不需要建立具体的数学模型，也不必具备准确的先验知识，以采集过程数据为基础，利用数据处理与分析方法提炼出数据中的特征信息，形成知识，最后训练出可以自主决策的模型，其在复杂工业过程控制中有着广泛的应用2。在基于机器学习方法的数据驱动故障诊断方面，文献 3 提出了一种基于局部线性嵌入(Locally LinearEmbedding，LLE)的 k 均值聚类算法，运用 LLE 算法将正常数据降维并求出投影矩阵，利用投影矩阵将原始故障数据映射到低维空间再利用 k 均值算法对其聚94Electronic Science and Technology欧敬逸，等:基于迁移 BN CNN 框架的小样本工业过程故障诊断https:/类3，但该方法对微小故障不能完全诊断。在深度学习方面，文献 4提出了一种基于深度功能自动编码器的滚动轴承智能故障诊断无监督学习方法，设计了一个带有 Softmax 分类器的深度功能自动编码器模型4。近年来，迁移学习方法引起了广泛关注。迁移学习能够将在以前任务中学习到的知识应用到新任务中，为解决标注数据缺乏和分布差异问题提供思路5。现有的大多数深度迁移算法都假设源域和目标域具有相同的故障类别，然而在实际工业应用中，机器运行过程可能产生与模型训练集不同的新故障。针对这一问题，文献 6 提出了一种深度对抗迁移学习网络，通过训练分类器将目标样本识别为新故障，为可能出现的新故障检测建立决策边界。针对数据的时序相关性和个体差异性问题，文献 7提出了基于迁移动态自动编码的深度学习框架，先提取数据的动态特征，再利用迁移学习方法解决不同场景下模型配适问题。考虑到数据量不充足问题，文献 8提出基于迁移学习和数据增强的卷积神经网络(Convolutional Neural Network，CNN)模型，采用基于生成对抗网络的数据增强来扩充数据，并利用迁移学习对真实和生成图像进行训练和测试。基于上述问题，本文提出一种基于批归一化的BN CNN(Batch Normalization Convolutional NeuralNetwork)深度迁移学习模型。为克服 CNN 在处理数值数据上的劣势，本文采用一维 CNN9 模型处理数据。鉴于所处理的工业数据往往是时序相关的，而池化层会导致网络中时序信息丢失，因此在构建 CNN 模型时，池化层不在考虑范围之内。为了缓解 CNN 训练过程中可能发生的梯度消失或梯度爆炸问题，在 CNN 模型中引入 BN10 网络，提取故障数据的归一化特征。此外，针对实际工业过程中标签数据不足问题，本文采用两种迁移学习方法11，分别从样本和模型两方面对目标任务进行迁移学习。其中，样本迁移过程主要利用 KL 散度(Kullback Leibler divergence)对数据量充足且与目标域分布相似的源域数据进行筛选，选择与目标域具有更强相似性的数据对目标训练集进行扩充。在工业生产过程中，物料的轻微变化也可能导致结果差异。相对于其他迁移学习方法，样本迁移方法使目标域能够保留更多原始信息。在化工过程中，信息常以熵的形式进行度量，相对于直接度量源域与目标域之间的距离，KL 散度能够从熵的角度衡量相同事件空间里两个概率分布的差异情况。因此，本文选择 KL 散度作为样本迁移过程的度量准则。然而，大量样本迁移会导致网络对源域的拟合程度大于目标域，小量样本迁移又无法满足神经网络的训练需要，且样本迁移只能提高初始化时的稳定性，无法参与训练过程中的特征提取。因此，本文将小量样本迁移与模型迁移相结合，样本迁移后的目标域不用于训练网络，而用于微调。即利用源域数据对 BN CNN 网络进行预训练，再利用扩充后数据对预训练的BN CNN 网络进行微调，提取目标域与源域之间的相似特征信息，最后采用原目标域数据对该网络进行测试和评估。本文所提方法针对工业故障诊断问题对CNN 网络进行改进，且根据工业过程的特点，结合了基于样本的迁移学习和基于模型的迁移学习方法，有效解决了标签数据不充足情况下的工业过程故障诊断问题。1基本原理1 1卷积神经网络CNN 是一种常见的前馈神经网络，由卷积层、激活层、池化层和全连接层组成，能高效地提取样本的时空特征。本文采用一维 CNN 对时序工业过程数据进行特征提取。在一维 CNN 训练过程中，卷积过程沿着单一方向移动，在提取空间特征的同时有效保留时序特征12。对于样本量为 n+1、特征维度为 m+1 的输入 X=xi，i|i=0，1，n;i=0，1，m，大小为t+1、步长为 s 的一维卷积核在第 i 个样本上的第 j 个输出 y(k)i，j为y(k)i，j=f(j s+tj=j sw(k)i，j j s xi，j+b(k)i)，j=0，1，m ts，k=1，2，K(1)式中，K 为卷积核个数;f 为激活函数，本文使用 eLU作为激活函数;w(k)i，j j s为第 k 个卷积核的权重;bi(k)为第 k 个卷积核的偏置;xi，j为输入序列。卷积层后通常是池化层，池化层以降低特征的维度为目的对卷积输出进行下采样，常见的池化方式为最大池化。为方便表述，令(m t)/s=d，则对于卷积输出 Y=yi，j(k)|i=0，1，n;j=0，1，d，当大小为 t+1 的一维最大池化层以步长 s 沿着单一方向移动时，卷积输出特征经过最大池化后的第 p 个输出为z(k)i，p=maxq(p s，p s+t)y(k)i，q，p=0，1，d ts(2)式中，yi，q(k)为第 k 个卷积核的输入序列。经过多次卷05欧敬逸，等:基于迁移 BN CNN 框架的小样本工业过程故障诊断Electronic Science and Technologyhttps:/积、池化操作后，将得到的特征依次展开成一维向量，得到全连接层。在全连接层之后，常采用 Softmax 回归函数处理神经网络的多分类问题。其过程可以分为以下两个步骤:步骤 1通过指数函数将预测结果转化为非负数;步骤 2将变换后的所有预测结果归一化。假设全连接层的输出为 h(i)|i=1，2，n，标签 y(i)=1，2，r|i=1，2，