基于Nadam优化器的全连接神经网络在水泥3 d及28 d抗压强度预测中的应用实践.pdf

2023.No.8-65-0引言水泥抗压强度值是衡量水泥质量的一个重要指标，也是确定水泥标号的一个主要依据，在实际的生产过程中起到重要的作用，它是一个典型的非线性、多变量、不确定、多时滞的复杂系统。目前，国内外学者对水泥抗压强度预测进行了多方面的研究，崔运美1通过线性回归分析及非线性回归分析建立了1 d抗压强度和28 d抗压强度模型；张大鹏2等通过多元回归分析方法建立28 d抗压强度模型；林远煌3通过使用BP神经网络建立了水泥配料各组分掺入量与28 d抗压强度的模型。由于该系统的非线性、多变量、多时滞等特性，导致传统的预测方法准确性较差，难以在实际生产过程中普遍推广和应用。近些年来一些研究者将人工智能算法应用到了水泥强度预测方面，取得了一定的效果。随着深度学习技术近些年的快速发展，在非线性回归分析中得到了较好的效果，针对以上水泥抗压强度预测存在的问题，本文基于TensorFlow深度学习框架，采用Python编程语言，使用Nadam优化器的全连接神经网络深度学习算法，实现了对水泥3 d抗压强度和28 d抗压强度的预测。1TensorFlow及Keras深度学习框架TensorFlow是Google开源的基于数据流图的机器学习框架，支持Python和C+语言。广泛应用在图像分类、物体检测、模型预测等领域。Keras是基于TensorFlow和Theano的深度学习库，包括由Python编写而成的高级神经网络API，使用Keras可以快速实现对TensorFlow的再次封装，大幅减少纯粹使用TensorFlow实现深度学习的代码量。本 文 中 的 环 境 包 括Anaconda及Pycharm，在Anaconda中配置了Python3.7虚拟环境供Pycharm使用，TensorFlow版本为2.3.0。Pycharm是由JetBrains打造的一款Python IDE，本文采用Pycharm 2020.3，其环境设置见图1。图1Python 虚拟环境2特征参数选取及数据预处理水泥强度的影响因素较多，其主要影响因素有熟料的质量、SO3含量、混合材的掺入量及粉磨细度等。熟料的矿物组成及其结构决定了熟料的质量，对水泥强度的增长起决定性作用，水泥28 d强度基本依赖于C3S的含量，C3S含量高早期强度增长率高，在28 d时已基本发挥出最高强度的绝大部分；C2S主要影响水泥后期强度；C3A主要对1 d、3 d等早期强度影响大；C4AF对水泥强度无较大的影响。因此，合理、稳定的矿物组成是确保水泥强度及其增长率的重要因素。水泥中SO3含量主要来源于石膏，其含量的变基于Nadam优化器的全连接神经网络在水泥3 d及28 d抗压强度预测中的应用实践张宏图（合肥水泥研究设计院有限公司，安徽合肥230051）摘要：本文基于TensorFlow+Keras深度学习框架建立了水泥3 d及28 d抗压强度全连接神经网络数据驱动模型，采用基于Nadam优化器对模型进行训练，与SGD随机梯度下降相比，鲁棒性更好，精度更高。测试数据3 d抗压强度预测相对误差小于7.47%，28 d抗压强度预测相对误差小于3.57%，可满足实际生产需求。关键词：TensorFlow；Keras；Python；水泥强度；Nadam；SGD；sklearn；归一化中图分类号：TQ172.12文献标志码：B文章编号：1002-9877（2023）08-0065-04DOI：10.13739/11-1899/tq.2023.08.021基金项目：安徽省科技重大专项(202203f07020009)；安徽省重点研究与开发计划项目（202104a05020054）；中国建材集团揭榜挂帅项目（2021YCJS01）-66-2023.No.8化影响硅酸盐水泥的水化，尤其是C3A的早期水化。混合材的掺入量对水泥性能有一定的影响，采用烧失量取代石灰石掺入量作为特征较直观。粉磨细度对水泥各龄期强度有一定的影响，粉磨越细、颗粒级配越窄，水泥水化反应速度越快，强度越高，尤其对早期强度的影响最为显著。样本数据包括某厂12个月759组P O 42.5数据，部分数据见表1。表1样本原始数据序号细度/%标准稠度用水量/%比表面积/（m2/kg）初凝/min终凝/min烧失量/%CaO/%MgO/%SO3/%K2O/%Na2O/%碱含量/%Cl-/%1 d强度/MPa3 d强度/MPa28 d强度/MPa15.227.63512183253.3957.592.372.170.690.200.650.03610.328.245.525.227.33572043113.4657.782.382.260.700.210.670.03411.028.045.035.227.43552273293.7257.322.192.260.650.200.630.03211.0127.245.37598.026.53432122933.1658.342.102.210.630.220.630.02011.227.246.9模型选取细度、比表面积、初凝、终凝、烧失量、CaO、SO3、1 d抗压强度共计8个参数作为输入特征参数，3 d抗压强度及28 d抗压强度分别作为3 d及28 d强度预测神经网络输出特征进行模型辨识。数据预处理主要包括误差处理和数据变换，由于样本数据有不同的工程单位，且在数值上相差很大，直接使用这些未经过数据变换（归一化）的原始数据容易引起计算误差增大和计算的不确定，影响学习速度及精度，为了加快神经网络的学习速度和模型精度，样本数据必须经过归一化处理才能作为训练样本输入。归一化使用sklearn的MinMaxScaler函数进行0，1区间的归一。需要重点说明数据归一化在深度学习中在实践过程中发现十分关键，直接影响模型精度，不可忽视。计算公式如下：Xstd=XX.max0.min0XX(axisaxis=).min0(axis=()XXscaledstd=+(maxminmin)3神经网络模型训练及预测Momentum（动量）算法是计算梯度的指数加权平均数，并利用该值来更新参数值，可有效解决局部最优问题（如鞍点问题）。RMSProp（Root Mean Square Prop）算法是在对梯度进行指数加权平均的基础上，引入平方和平方根，有助于减少抵达最小值路径上的摆动，并允许使用一个更大的学习率，从而加快算法学习速度。Adam是 一 种 可 以 替 代 传 统 随 机 梯 度 下 降过程的一阶优化算法，它能基于训练数据迭代地 更 新 神 经 网 络 权 重，可 以 看 作 是 修 正 后 的Momentum+RMSProp算法，相对传统的SGD随机梯度下降优化器，Adam对超参数的鲁棒性更好。Nadam类似于带有Nesterov动量项的Adam。公式如下：g t=1gtti=1i mmgttttt=+1(1)m t=1mtti=+11i nv nvgttt=+1(1)2 nmgmtttttt=+1ntvt()1+1=tn mtt+一般而言，在想使用带动量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果。全连接神经网络包括输入层、隐含层及输出层，具备前向传播计算损失及反向传播更新参数的特性，其结构图如图2所示。x1x2x3x4（1）f1（1）f2（1）f3（2）f1（2）f2y反向传播更新参数前向传播计算损失激活函数损失函数图2全连接神经网络结构图全连接神经网络具有前向传播与反向传播性能，前向传播每层经过线性计算和激活函数计算网络输出，反向传播采用优化算法进行模型参数更新，相对于BP网络采用梯度下降（SGD）算法进行模型参2023.No.8-67-张宏图：基于Nadam优化器的全连接神经网络在水泥3 d及28 d抗压强度预测中的应用实践数更新带来的梯度爆炸或消失（即在梯度函数上出现的以指数级递增或者递减的情况）等问题，本文采用Relu激活函数及Nadam优化算法可有效解决上述问题。基于Nadam优化器的水泥强度预测全连接神经网络模型包括一个输入层（8节点）、隐含层1（256个节点）、BN层、隐含层2（128个节点）、BN层、隐含层3（128个节点）、DropOut（128个节点）、输出层（1个节点）。隐含层使用Relu作为激活函数，输出层使用Linear作为激活函数，模型损失函数采用mse（均方误差），学习率设置为0.001，迭代次数设置为5 000。将数据集的90%用于训练，10%用于测试。训练结果见图3。图3模型训练结果3 d抗压强度训练集数据预测曲线如图4所示。3 d抗压强度/MPa0 100 200 300 400 500 600 700292827262524predictactual图4基于Nadam优化器的训练集数据3 d强度预测曲线3 d抗压强度测试集数据预测曲线如图5所示。28.528.027.527.026.526.025.025.5706050403020100predictionactual3 d抗压强度/MPa图5基于Nadam优化器的测试集数据3 d强度预测曲线模 型 的 损 失（均 方 误 差）分 别 为：训 练 集=0.000 59，测试集=0.048。测试集数据预测绝对误差在0.0172.14之间，测试集数据预测相对误差在0.061%7.47%之间。28 d抗压强度训练集数据预测曲线如图6所示。0 100 200 300 400 500 600 7004948474645predictactual28 d抗压强度/MPa图6基于Nadam优化器的训练集数据28 d强度预测曲线28 d抗压强度测试集数据预测曲线如图7所示。48.548.047.547.046.546.045.570605040302010028 d抗压强度/MPapredictionactual图7基于Nadam优化器的测试集数据28 d强度预测曲线模型的损失（均方误差）分别为：训练集=0.000 73，测试集=0.048。测试集数据预测绝对误差在0.021.62之间，测试集数据预测相对误差在0.04%3.57%之间。采用SGD随机梯度优化器的28 d抗压强度预测模型训练及测试结果见图8及图9。0 100 200 300 400 500 600 70048474645predictactual28 d抗压强度/MPa图8基于SGD优化器的训练集数据28 d强度预测曲线48.548.047.547.046.546.045.5706050403020100predictionactual28 d抗压强度/MPa图9基于SGD优化器的测试集数据28 d强度预测曲线-68-2023.No.8Nadam与SGD优化器28 d强度预测模型对比见表2，由于训练集模型均方误差分别为0.000 73及0.021，可见Nadam模型精度明显优于SGD模型。表2Nadam与SGD优化器28 d强度预测模型数据对比优化器训练集模型损失测试集模型损失测试集绝对误差最小值测试集绝对误差最大值测试集相对误差最小值测试集相对误差最大值Nadam0.000 730.0480.021.620.043.57SGD0.0210.0640.012.270.034.984结束语本文基于TensorFlow+Keras深度学习框架建立了水泥强度预测全连接神经网络数据驱动模型，采用Nadam优化器对模型进行了训练，并将模型用于水泥3 d及28 d抗压强度预测，测试集数据3 d抗压强度预测相对误差小于7.47%，测试集数据28 d抗压强度预测相对误差小于3.57%，可满足实际生产需求。参考文献：1崔运美.Excel在建立水泥28 d抗压强度预测方程中的应用J.水泥，2008（7）：44-46.2张大鹏，王军龙，陶涛，等.多变量回归方程在水泥28 d抗压强度预测的应用J.水泥技术，2021（3）：63-68.3林远煌.基于神经网络的水泥强度预测模型J.广东建材，2013（2）：22-24.（编辑胡如进）水泥 杂志2023年选题与征稿启事水泥 杂志由中国建筑材料联合会主管，建筑材料工业技术情报研究所主办，1974年创刊，以“面向生产，注重实用”为宗旨，适合于水泥及相关企业、大专院校、科研院所及设计单位的技术人员阅读参考。发行量居全国建材科技期刊前列。水泥 杂志获得的荣誉和奖项有：第二届、第三届连续两届国家期刊奖百种重点期刊、全国优秀科技期刊、中文核心期刊(2008版)、中国科技核心期刊、全国建材优秀期刊、美国(CA)收录期刊、中国期刊方阵“双效”期刊、中国核心期刊(遴选)数据库期刊、入选“中华人民共和国成立70周年精品期刊展”。多年以来，水泥 杂志以其学术性、创新性、实用性在促进水泥科技进步、指导水泥生产实践、宣贯国家有关方针政策、推进行业科技交流、推广新设备、新技术等方面一直不懈努力，同时，感谢多年来大家对 水泥 杂志的支持与厚爱，欢迎大家一如既往地关注 水泥 杂志！为了及时报道行业先进技术与装备，及时报道企业先进经验，便于作者捕捉信息、紧扣时代脉搏，我们特推出下列主题，欢迎大家围绕这些课题撰文投稿。2023年重点选题（但不限于）：水泥工业碳达峰、碳中和，碳减排，碳捕集、利用及封存技术，低碳生产技术，碳市场交易介绍等；5G技术与机器人等智能控制、物联网、互联网+在水泥行业的应用；水泥窑协同处置技术应用实践（包括协同处置医疗垃圾、生活垃圾、市政污水污泥、污染土壤、垃圾焚烧底灰及飞灰等）；高性能水泥及特种水泥的生产与相关标准（如核电水泥、超轻水泥、大坝水泥及一些重大工程专用水泥等）；绿色工厂建设、生态水泥生产技术及绿色工厂评价等；脱硫、脱硝、除尘等超低排放技术在水泥厂的应用实践；国内外新技术、新装备、新工艺介绍；科研院所的新的研究成果及探索实践，优秀的毕业论文等；新开辟“双碳专题”栏目，优先报道有关双碳主题，氢能源、太阳能等清洁能源利用，碳捕集、利用及封存技术等方面的文章。稿件要求：来稿须提供摘要（一般包括目的、方法、结果、结论等，仅供参考）和关键词，最好有3条以上参考文献，并在正文中标识。网上投稿：，如果是第一次给本刊投稿，请先完成作者注册，再选择“网上投稿”。欢迎投稿！欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋欋