基于bReLU激活函数改进...承故障CNN-LSTM模型_项璇.pdf

收稿日期：基金项目：北京市自然基金和北京市教委联合项目（）；大兴区科技发展计划项目（）；北京印刷学院科研项目（，）。通讯作者：杨彦红第 卷 第 期.北 京 印 刷 学 院 学 报 年 月 基于 激活函数改进的滚动轴承故障 模型项 璇，曹少中，杨彦红（北京印刷学院 信息工程学院，北京）摘 要：针对基于修正线性单元（）的滚动轴承故障诊断方法导致分类不准确的问题，本文提出了一种基于 激活函数改进的卷积神经网络（）和长短时记忆神经网络（）的滚动轴承故障模型。该网络模型首先在 网络使用 激活函数完成自适应特征提取，并在卷积层和激活函数之间加入批量标准化层（），最后叠加 网络对时序特征进行学习。该模型在凯斯西储大学的故障数据集的准确率可以达到以上，较于其它类型的 故障模型准确率更高，训练时长减少.。实验表明所提出的模型更加适用于工业设备轴承的故障诊断。关键词：滚动轴承；故障诊断；卷积神经网络；长短时记忆网络中图分类号：.；.文献标识码：文章编号：（）目前机械设备正处于高速发展阶段，向着自动化、智能化转型，滚动轴承在机械设备上发挥着重要作用，其健康状态是设备正常运行的关键。如果在实际使用中发生故障会损伤设备并产生巨大经济损失，因此实时对轴承健康状态进行监测和故障诊断，就可以及时采取措施以避免不必要的损失，进而延长机械设备的使用寿命，提高运作效率。将神经网络与轴承故障诊断结合顺应智能制造的发展趋势，可以改善基于人工经验故障诊断方法的缺陷。目前各种深度学习网络模型已被广泛应用于轴承健康状态诊断，尤其是卷积神经网络和循环神经网络，并且由它们衍生出了各种新的网络结构。卷积神经网络具有强大的特征学习能力，是轴承故障诊断使用最多的模型，曲建岭等对原始信号进行自适应层级化提取，提出端到端的一维卷积神经网络故障诊断算法。等将原始信号转换为二维图像，并利用卷积神经网络自动实现对图像的特征提取和故障诊断。邓佳林等基于一维卷积神经网络并增加特征通过权重获取全局信息，以此增强特征自适应提取能力。长短时记忆网络利用其对时序数据的处理优势，在故障诊断方面也得到了越来越多的应用。等将 网络应用于轴承早期故障检测。庄雨璇等将长短时记忆网络应用到端到端的轴承故障诊断中。赵志宏等实现了自动提取故障特征的双向长短期记忆滚动轴承故障诊断模型。虽然上述工作均可以完成对滚动轴承的故障诊断，但也存在一定的问题：基于卷积神经网络的模型能够很好地学习特征，但其准确率有待提高；基于长短时记忆网络的模型适用于时序数据，但训练时间过长；目前的激活函数存在均值偏移问题，大多数激活函数在负半轴硬饱和，整体输出均值大于，使得故障分类率不高。针对以上问题本文提出了一种改进的 滚动轴承故障诊断模型，首先对 激活函数进行改进并将其应用于 网络，解决激活函数的偏移问题；其次通过 自动提取轴承故障特征，加入 层加快模型训练速度；然后利用 处理时序数据的优势进行特征学习，提高分类准确率。依据凯斯西储大学的公开数据集进行实验分析，结果证明该诊断方法可以在提高准确率的同时简化模型复杂度，减少训练时长。DOI:10.19461/ki.1004-8626.2023.03.011 改进的 滚动轴承故障诊断模型设计 本文的故障诊断模型主要改进有：（）提出改进的 激活函数，将其应用在卷积神经网络 层；（）优化网络结构并减少参数，提高诊断精度的同时减少其训练时长。.改进的 激活函数卷积神经网络中通常采用的激活函数为 函数，它的一般形式为：（），（）但由于 函数设定了 作为阈值，大于零值的输入被激活，反之则输出为零，从而使处于负半轴的神经元坏死，迭代次数的增多导致权重无法更新，发生均值偏移。滚动轴承数据为振动加速度，在正半轴和负半轴均有分布，如图（）所示，而 函数在负半轴的硬饱和特性，使得输出均值始终在正半轴。图 标准化前后数据对比 为了避免因为激活函数的均值偏移导致训练结果失真，首先对振动数据进行标准化预处理，避免异常数据带来的影响并使数据在一个规范的区间。再对 激活函数进行改进，具体方法是改变函数的阈值，通过选取不同的负值作为阈值，保留有效的负值信息，使得在负半轴的神经元可以进行迭代，以此消除均值偏移，提高诊断精度。定义此改进函数为：（），（）其中 为可调参数，不同的数据集可以选取不同的 值。将 函数引入卷积神经网络中进行特征提取，计算过程为（）（）式中 为第 层的第 个元素，是第 层的第 个卷积核，代表卷积运算，是偏置量。.批量标准化层在卷积层和激活函数层之间加入批量标准化 层（），加快网络的训练和收敛；每层卷积操作之后，均进入 层进行批量归一化处理，这可以减少层和层之间的关联和耦合，将输入限定在一个范围内，避免产生比较大的误差，从而加快网络的训练和收敛。（）（）（）（）（）式中：和 分别是每个批量标准化层的输入和输出，为每个批次样本的数量，是计算均值，是计算方差，是一个趋近 的常数，目的是为了防止方差为 产生无效计算，是在进行标准化处理，而 和 是两个可训练的参数，对规范化后的数据进行线性变换。.网络结构及参数整体网络结构如图 所示：在提出的基于 激活函数的改进 故障诊断模型中，原始数据进入模型前需要进行标准差标准化及重叠采样预处理。经过预处理的数据接下来通过 层进行特征学习，首先通过卷积层，由卷积核遍历整个输入序列数据，第 期项 璇，曹少中，杨彦红：基于 激活函数改进的滚动轴承故障 模型图 基于 激活函数的改进 网络结构示意图利用卷积运算从输入信号中提取相关特征，并且卷积具有权值共享特性可以防止参数过多而造成过拟合，经过卷积计算后的特征数据在激活函数的作用下转换为非线性的输出特征。在卷积层提取特征后，进行池化操作，这里选用最大池化进行降维采样，可以避免特征参数过多造成计算缓慢。在此过程中利用批量梯度下降法不断更新权重矩阵和偏置项来训练模型，提高模型准确率。由于轴承的振动数据是在一定的转速条件下进行采样，并且转速恒定，数据可以看作按照一定的时间周期排序，适用于时序数据的处理，并且被证明在故障诊断方面有较好的效果。通过一维卷积神经网络特征提取后的数据利用 含有门结构的记忆模块对该时序数据进行模式识别即分类诊断。层的激活函数选用 函数；使用 层压平数据，再通过一个基于 激活函数的全连接层；利用基于 函数的全连接层完成对滚动轴承故障特征的多标签分类；优化算法选用 算法，通过优化交叉熵损失函数达到提高计算效率的目的；最终实现故障诊断。数据集与实验过程实验应用凯斯西储大学（，）公开的轴承数据集对改进的 滚动轴承故障诊断模型进行实验验证和分析。本文实验环境所用 为英特尔，内存，为 ，操作系统为，深度学习框架为。.轴承故障数据集运用 轴承数据集对提出的改进模型进行验证。选择数据的采样频率为，轴承的故障是人为地在内圈、滚动体和外圈的表面上依次加工出损伤直径大小不同的单点凹槽，模拟滚动轴承在实际运行中出现的磨损。根据损伤位置不同故障有三种类型，并且每种类型的故障有不同损伤程度，根据受损直径的大小分为九类，再加一种正常的类型，可制作十种标签。并且这些数据是在四种（不同转速）负载条件下记录的：、和，根据负荷状态将样本分为、和 四组数据集。.激活函数改进效果针对本文所提出的基于 改进 网络结构进行实验，将公式（）中提出的改进激活函数 与 函数进行对比。并通过设置不同 激活函数阈值，将准确率和损失函数值作为评价指标选取 函数最佳阈值。时模型准确率达到.，高于其他阈值对应的准确率，并且损失函数值也最小，所以选取 作为 激活函数的阈值。为证明 时 激活函数的效果，利用 模型进行对照实验。表 基于 网络 和 激活函数的比较网络激活函数准确率 损失函数值.（）.（）.可以看出基于 的激活函数 的效果也优于。根据表 实验结论，针对于该数据集，激活函数的 值可以设为。.层网络优化效果表 层效果准确率 损失函数值有 层.无 层.通过将不含 层的模型作为对照组，含有 层的模型作为实验组，在其他参数都相同的情况下进行对比实验，结果表明含有 层的模型性能更好，说明 层可以对改进的 网络进行优化。北 京 印 刷 学 院 学 报 年 结果分析与对比根据上文.中的网络模型参数设置，分别将 四个不同负载数据集的 用作训练集，用于训练改进的 故障诊断模型，剩下的 作为测试集验证模型效果。在四个数据集上的平均准确率和训练时间见表。表 在四个数据集上的表现数据集准确率 训练时间.训练后此网络在四个数据集上的平均准确率在 以上，说明本文提出的改进 故障诊断模型可以较为准确地对十种轴承健康状况进行分类诊断，以数据集 为例，训练和测试曲线如图 所示。可以看出模型在迭代过程中损失函数值逐渐降低，最终接近，准确率也稳定在 以上。图 基于 的训练和验证曲线为比较本文模型与其他故障诊断方法，在相同实验环境下和数据集下，与基于 激活函数的 模型、单层 和双层，以及含有 个卷积层和 个池化层的 模型进行对比，并将本文的方法与参考文献中批标准化 诊断方法进行比较，使用准确率、损失函数值和时间作为评价指标，结果如表 所示。表 不同模型在 上的诊断结果故障诊断模型平均准确率 损失函数值 训练时间 改进.基于 的.单层.双层.批标准化.图 基于 不同模型平均准确率对比 虽然本文方法在测试刚开始时损失函数会有上升的波动，但能较快地收敛，相较于其他模型，具有更高的故障诊断准确率，训练用时也明显减少，证明基于 的改进 方法在稳定、快速、准确地对故障类型进行诊断时更具有优势。结语本文提出一种改进的 的滚动轴承故障诊断深度网络模型。首先提出了一种 激活函数，解决了激活函数均值偏移的问题，提高了模型诊断正确率；然后利用 自动提取轴承故障特征，利用 进行特征学习，并简化模型结构，实现了端对端的故障识别，同时加快模型训练速度。经实验验证：在轴承故障诊断领域常用的 四个不同负载的数据集上准确率均达到以上，与、等其他方法相比提高.，与其他 方法相比训练时间能减少.左右，本文提出的方法具有较高的分类精度和稳定性，有利于实现故障诊断向实际应用的推广。参考文献：张海燕，张明龙，徐卓飞，等印刷机设备状态监测与故障诊断研究进展包装工程，（）：，陈志强，陈旭东，等深度学习在设备故障预测与健康管理中的应用仪器仪表学报，（）：曲建岭，余路，袁涛，等基于一维卷积神经网络的滚动轴承自适应故障诊断算法 仪器仪表学报，（）：，第 期项 璇，曹少中，杨彦红：基于 激活函数改进的滚动轴承故障 模型 ，（）：邓佳林，邹益胜，张笑璐，等一种改进 在轴承故障诊断中的应用现代制造工程，（）：，（）：庄雨璇，李奇，杨冰如，等基于 的轴承故障诊断端到端方法噪声与振动控制，（）：赵志宏，赵敬娇，魏子洋基于 的滚动轴承故障诊断研究振动与冲击，（）：张焕，张庆，于纪言激活函数的发展综述及其性质分析西华大学学报（自然科学版），（）：，：.，田科位，董绍江，姜保军，等基于改进深度残差网络的轴承故障诊断方法振动与冲击，（）：张伟基于卷积神经网络的轴承故障诊断算法研究哈尔滨：哈尔滨工业大学，周飞燕，金林鹏，董军卷积神经网络研究综述计算机学报，（）：（）（）：汪友明，程琳改进的 轴承故障诊断方法西安邮电大学学报，（）：沈涛，李舜酩针对滚动轴承故障的批标准化 诊断方法计算机集成制造系统，（）：，（，）：（），（）（），（），.：；（）；（）（责任编辑：周宇）北 京 印 刷 学 院 学 报 年