基于注意力机制—门控循环单...智能多工序工艺参数关联预测_阴艳超.pdf

第 卷第期计算机集成制造系统 年月 ：收稿日期：；修订日期：。；基金项目：国家自然科学基金资助项目（）；云南省重大科技资助项目（）。：，（），（）基于注意力机制门控循环单元 神经网络的智能多工序工艺参数关联预测阴艳超，张曦，唐军，张万达（昆明理工大学 机电工程学院，云南昆明 ；云南中烟工业有限责任公司，云南昆明 ）摘要：鉴于流程制造工序间能质流耦合严重，性能指标影响因素众多，工艺参数时序特征显著，现有制造模式下难以精准预测产品质量，在分析流程制造工艺性能指标多维、强时序、关联耦合特征的基础上，提出一种基于注意力机制门控循环单元 神经网络（）的多工序耦合参数关联预测方法。首先采用互信息方法筛选多态异构生产数据作为输入，建立 自编码器，通过无监督学习对过程数据、工艺参数、操作参数等进行时序特征提取，同时引入时序注意力机制提取不同工序的耦合关联特征并进行向量嵌入，为不同工序的工艺参数分配注意力权重。在此基础上，设计 网络自学习不同时刻下工艺关联特征对质量性能指标的影响差异，再通过门控循环单元网络对重要的关联特征进行增强，并按照时序特征对单工序预测模型进行聚合，实现多工序时序特征融合，最后通过输出层 神经网络精准预测产品工艺质量。实验表明，有效提高了预测精度，从多工序角度为生产线工序的加工过程控制提供了依据。关键词：流程制造；多工序耦合；注意力机制门控循环单元 神经网络；时序特征融合；关联预测中图分类号：文献标识码：，（，；，）：，（），计算机集成制造系统第 卷 ：；引言流程制造业是国民经济的重要支柱，是我国向制造强国发展的主战场之一，保证其安全高效地生产具有重要的战略意义。与传统离散制造不同，流程式工业生产线中每一条工序的设备特性、工序配方、原材料属性和控制参数等均与生产性能指标有着紧密联系。流程制造过程中分布式装置和设备之间的耦合关系错综复杂，工序间能质流耦合严重，性能指标影响因素众多，工艺参数时序特征显著，产品质量的精准预测已经成为现有制造模式下亟待解决的难题。因此，如何将设备、物料、产品等生产要素实时数据进行交互与融合，实现系统内资源配置和运行的按需响应、快速迭代和动态优化，提升生产活动计划的预见性和联动性，是重塑流程工业智能化生产模式的核心问题。本文从解决智能制造环境下流程制造过程多工序耦合生产过程中的瓶颈 全流程要素的自感知、自计算和自预测出发，为实现流程生产过程精准预测与优化调控提供方法和途径。目前，针对流程型制造业生产过程存在多分布参数、高非线性、强耦合等预测难点及其对生产系统智能化水平的影响，国内外学者开展了大量关于生产过程单元级预测、基于数学模型的质量预测、基于机器学习的智能预测方面的研究。早期生产过程单元级预测方法需要充分了解工业过程的内部机理，将单工序预测单独作为一种状态，在理想或者不考虑外界多方面因素的情况下对质量指标进行预测。等 提出一种带有变化点的状态监视信号方法，用于预测单个生产单元的剩余使用寿命。单元级预测对预测小规模工艺效果较好，然而实际的流程制造生产过程极为复杂，大多流程制造行业生产过程的质量指标受多因素影响，使得工艺数据呈现高维、耦合的关联特征。因此，单元级预测方法很少用于 预 测流 程制 造 多 工 序 的 产 品质量。构建质量预测模型的核心是对关键工艺特征进行深层次挖掘。因此，降维后的预测成为研究流程制造产品质量精准预测的热点 。等 提出 一 种 基 于 多 重 偏 最 小 二 乘（，）的方法，利用高斯混合模型解决了工业热轧机工艺的多模式问题，提高了质量预测的精度；韩敏等 针对高维特征分析中存在的输入变量选择问题，提出一种基于互信息的分步式变量选择质量预测模型；房鑫洋等 针对半导体制造过程中的工艺数据存在高维、复杂关联特性，在数据预处理中采用互信息法对工艺数据进行特征筛选，提出一种基于注意力机制双向长短时记忆网络（，）的质量预测方法；蒋伟等 通过改进的主成分分析（，）算法消除与汽油辛烷值损失相关性较低的输入变量特征，采用随机森林回归（，）算法预测辛烷值损失，解决了流程制造化工过程的产品质量预测难题。上述文献提出的质量预测模型虽然对流程制造业中的产品质量预测均作出了一定贡献，但是在流程制造情境中，面对高非线性与强耦合性问题时，难以进一步精确预测最终产品质量，仍存在一定的提升空间。在以上研究基础上，有学者提出采用深度学习的智能质量预测模型，为提升流程制造质量预测精度提供了借鉴。戴稳等 提出堆栈稀疏自动编码器 网 络（，）模型来精简特征选择流程，基于卷积神经网络（，）预测铣刀磨损状态，有效提高了产品质量的预测精度；袁壮等 针对化工过程中关键工艺参数呈非线性和动态性的显著特点，提出基于时间注意力卷积双向长短时记忆网络（，）的温度预测模型；缪希仁等 针对 循 环 神 经 网 络（，第期阴艳超 等：基于注意力机制门控循环单元 神经网络的智能多工序工艺参数关联预测）不适合解决长时间序列、计算工作量大等问题，提出基于条件互信息与长期和短期时间序列网络（，）的特高压变压器顶层油温预测模型；赵志宏等 将注意力机制与门控循环单元（，）网络结合，构建设备剩余寿命预测模型；何永勃等 针对制造过程工艺参数的高维特性和时序特性，构建了基于双向联想记忆（，）和 混合模型的辅助动力装置排气温度质量预测模型。上述文献均使用工业数据作为输入，对工业过程进行仿真模拟，但在工业生产的实际应用中，较少关注加工过程中工艺参数对最后质量指标的影响，且鲜有从多工序的耦合特性出发构建模型。鉴于此，本文针对流程制造行业的工艺数据存在高维性、时序性以及数据之间相互耦合等问题，提出一种基于注意力机制门控循环单元 神经网 络（，）的智能多工序工艺参数关联预测方法。首先，从海量数据中提炼出对质量指标有影响的工艺参数，基于信息熵将工艺参数对质量指标的影响进行量化分析，在保留工艺数据原始次序的情况下，消除无效特征变量；其次，基于对质量指标有效的输入特征，在 前后分别引入时序注意力机制和多特征融合注意力机制，构建 模型，提取设备状态信息与工艺参数特征，加强工艺参数的时序信息对预测输出的表达，实现产品工艺质量的精准预测。本文所提方法针对性地解决了流程制造行业产品质量预测难的问题，并将该方法应用于制丝智能车间的产品质量实时预测，经企业验证，关键质量指标成品出口含水率稳定性提升以上，满足了流程制造生产过程高水平质量控制的需要，验证了模型的有效性和实用性。多工序工艺参数预测问题分析流程式生产企业中，各工艺制造范围在实际生产中日益扩大，各工艺间的耦合性也愈来愈强。例如，某制丝生产线分为工序（松散回潮）、风选、除杂、工序（一次加料）等工序，制丝生产过程如图所示，图中将松散回潮工序的工艺参数（工艺流量、加水比例、加水流量等）作为输入变量，质量指标出料温度和出料含水率作为输出变量，输入输出变量与风选工序间有交叉关联关系，影响最终的质量指标。因此，前道工序的工艺参数直接影响最终质量指标，其使整条制丝生产线呈现高关联耦合性。其中工艺参数具有以下特点：（）特征高维性流程型制造过程工艺复杂，影响因素较多，每道工艺都将产生大量历史数据，工序的加工参数、质量指标应控制在工艺要求范围内。在生产中，采用水分仪、电子秤、热风温度检测仪、蒸汽温度检测仪等传感器在线采集工艺流量、循环风门开度、排潮风门开度、出料温度等工艺参数，形成具有高维特性的生产工艺数据集。（）工序时序性传感器采集生产线数据时，对于同一批物料的不同工序，每采集一次，将采集到的生产线数据传输至制造执行系统（，）。数据按时间顺序采集，对采集到的数据进行简单分析，得知工序间的工艺参数与采集时间存在一定时序相关性。例如，加香工序的加香累计量（）和物料累计量（）与采集时间呈周期性的强正相关关系。（）关联耦合性由于多工序的时序性，在流程型工业的生产过程中，工艺参数对最终产品质量的影响使工艺在本质上存在复杂的关联特性。例如，松散 回 潮 工 序 的 出 料 含 水 率（）和 出 料 温 度（）质量指标不仅影响一级加料工序的加工参数，还 对 最 终 加 香 工 序 的 质 量 指 标 出 料 含 水 率（）产生影响。基于 的智能多工序工艺参数关联预测方法基于 的智能多工序工艺参数关联预测模型结构如图所示。本文构建的预测模型分为数据预处理和构建质量预测模型两大部分，前者包括数据清洗和基于互信息法对工艺参数进行特征筛选，后者为由输入层、多工序特征关联层、多时序特征融合层和输出层构成的模型。（）输入层导入预处理后的工艺参数，。（）多工序特征关联层引入时序注意力机制提取预处理后的数据特征，利用 自编码器无监督学习工艺参数数据时序特征，根据输入变量特征之间的差异分配注意力权重，实现第阶段工艺数据的有效关联。（）多时序特征提取层引入多特征融合注意计算机集成制造系统第 卷第期阴艳超 等：基于注意力机制门控循环单元 神经网络的智能多工序工艺参数关联预测力机制，基于 网络增强重要的关联特征，加强对 输出高关联度的长时间信息的表达，并按照时序特征对多个单工序预测模型进行聚合，最后完成多工序时序特征融合，实现第阶段工艺数据的有效关联。（）输出层单工序预测模型连接 网络，输出质量指标的预测值，完成产品工艺质量的精准预测。工艺参数数据预处理 工艺参数数据清洗数据预处理是数据建模前重要的一环。在实际建模过程中，按照产品质量评估参数确定原则，选取的工艺参数需要准确表示原料状况，然而工艺参数数据集存在度量单位多、差异大的特点，因此对所有工艺参数数据进行最大最小归一化来提高神经网络的收敛性能，并消除量纲误差。（）（）。（）式中：为归一化后的工序工艺参数数据；为工序工艺参数；和 分别为的最大值和最小值。互信息特征筛选多工序工艺参数经过数据预处理降低了数据的冗余性，但仍存在一定程度的高维特性，阻碍了模型构建，因此还需进一步对工艺数据进行降维。互信息特征筛选在保障工艺参数时序性特征的前提下对工艺参数进行降维，为训练后续模型层级奠定基础。因此，本文选用互信息法筛选工艺参数。工艺参数和质量指标的互信息熵值（；）（，）（，）（）（）。（）式中：，为工艺参数；，为质量指标；（，）为和时的概率。本文基于互信息方法筛选高维数据特征，主要分为两部分：（）以数据相关性为标准进行筛选流程型制造过程产生大量工艺参数数据，其中工序的工艺参数之间、工序的工艺参数与质量指标之间关系错综复杂，通过式（）计算工艺参数之间的熵值，然后确定阈值来剔除与质量指标相关性低的工艺参数。（）着重从数据冗余角度进行筛选工序的工艺参数众多，计算出的相关性有高有低，用阈值剔除与质量指标相关性较低的工艺参数特征，达到降低冗余性的目的。通过上述两部分筛选，过滤低相关性特征后得到六大工序中加水比例、蒸汽自动阀门开度等工艺参数数据组合，由此组合成高质量数据集，为后续建模奠定良好的基础。基于 的智能多工序工艺参数关联预测模型 输入层（）为避免模型出现过拟合、欠拟合或训练效果差等问题，考虑 网络处理时序性数据的特点，构造滑动窗口作为模型的输入。假设生产工艺过程中产生的序列特征为，将数据集转化为矩阵后，滑动窗口设置为，则序列长度（）；通过窗口对序列特征进行滑动处理，实现对的遍历循环，循环次数（）；数据集长度减去序列长度（）构成子序列，滑动窗口在子序列上平滑移动，得到输入形状。输入数据集，模型的输入形状为（，），此时数据作为训练样本，供多特征融合关联层训练。多特征融合关联层（）时序注意力机制不同时刻的时序信息对输出变量特征存在一定影响，每个输入时间点对所预测的质量参数有不同贡献度，在 网络前引入时序注意力机制（，），利用无监督机器学习技术对流程数据、工序参数、操作参数等数据进行时序特征 提 取，赋 予不 同时刻输入特征的向量权重。的原理（如图）如下：输入数据利用 获得工艺参数的编码特征（），（），（）；待编码特征整合成矩阵后，将特征与前一时间序列的隐层状态 结合，作为 层特征输入，用式（）计算时刻的输入特征向量权重（），（），（）；借助 还原特征，通过式（），利用激活函数 不断对还原特征进行调整和归一，实现向量特征自动调参；将