基于Borges差分的RM...积神经网络参数训练中的应用_高哲.pdf

收稿日期：基金项目：辽宁省教育厅基础研究项目（）；辽宁省自然科学基金项目（）；兴辽英才计划项目（）；沈阳市中青年科技创新人才支持计划项目（）作者简介：高哲（），男，辽宁沈阳人，工学博士，教授，研究方向：分数阶控制系统 通讯作者：高哲：辽宁大学学报 自然科学版第 卷 第 期 年 基于 差分的 算法及在卷积神经网络参数训练中的应用高 哲，剪 静（辽宁大学 轻型产业学院，辽宁 沈阳；辽宁大学 数学与统计学院，辽宁 沈阳）摘 要：针对 算法存在梯度消失和局部最优的问题，本文提出了一种基于 差分的 算法并应用到卷积神经网络参数训练方法 根据 分形导数的定义，本文给出了 差分的定义；将 差分与 算法相结合，提出了基于 差分的 优化算法，提高了图像识别的精度和学习收敛速度；给出了一种基于梯度信息的自适应的调整阶次的方法 本文以 数据集为例，分析了阶次对网络参数训练结果的影响，验证了本文提出的算法提高卷积神经网络的识别精度和学习收敛速度的有效性关键词：卷积神经网络；算法；差分；分形导数；反向传播中图分类号：文献标志码：文章编号：（），（，；，）：，DOI:10.16197/ki.lnunse.2023.01.012 ，：；引言深度学习是一种实现人工智能的强大技术，已经在图像视频处理、语音处理、自然语言处理等领域获得了大量成功的应用，并对学术界和工业界产生了非常广泛的影响 卷积神经网络是深度学习算法中较为重要的模型，有效地实现了图像分类、识别和检索 年以来，卷积神经网络受到很多学者的关注，并被广泛应用于实现游戏智能网络、围棋程序、语音识别和机器翻译等领域，促进了人工智能的飞速发展神经网络模型有很多类型，实现不同的功能，其中应用最广泛的有 神经网络、波尔兹曼机以及多层感知器 卷积神经网络受到视觉系统的神经机制启发，针对二维形状的卷积神经网络设计的一种生物物理模型 卷积神经网络可以看作是一种特殊的多层感知器或前馈神经网络 标准的卷积神经网络一般由输入层、交替的卷积层和池化层、全连接层和输出层构成 一般采用反向传播的方法训练神经网络，使用随机梯度下降方法对卷积神经网络优化过程中的参数进行更新 近年来，很多学者提出了一些重要的神经网络优化算法，如 算法、算法、算法、算法和 算法等以提高卷积神经网络的学习效率分数阶导数不仅可以构造不同种类的分数阶神经网络模型，同时也可以实现不同神经网络参数优化算法 文献提出了一种 意义下的分数阶梯度优化算法，将该优化算法应用到卷积神经网络参数训练中，通过调整分数阶阶次，增加了参数优化的灵活性 文献根据 定义，提出了一种分数阶 神经网络，用于网络模型参数的更新，以提高算法的精度 此外，许多学者对分数阶神经网络模型的稳定性以及分数阶梯度神经网络的优化算法进行了广泛的研究 但是，对于分数阶卷积神经网络和分数阶动量优化算法的研究才刚刚起步和基于整数阶算子的网络模型参数优化效果相比，采用分数阶算子可以减少网络模型优化的计算时间，提高神经网络参数优化的计算速度和精度 分数阶算子具有记忆，因此对历史信息的处理增加了计算复杂度 分形导数可以描述时间相关性，和 算子相比，减少了计算时间，因此可应用于神经网络模型参数的优化 分形导数也广泛应用于实际物理系统的建模，如黏弹性材料、核磁共振和宏观经济模型等复杂的动力学行为 由于分数阶微积分的记忆特性，分数阶模型也能够更好地描述现实系统的复杂动力学，在神经网络建模中也得到了广泛的应用 分数阶微积分也应用于图像处理，如保存图像纹理和减少噪声影响分形导数有很多种形式，如 导数和 导数 大多数分形导数都是衍生于 阶导数 如果阶次设置为，那么分形导数就退化为 阶导数 相比于其他分数阶导数的定义，分形导数这种局部分数阶导数的应用，可以有效地降低计算复杂度 分形导数是 阶导数的变形，如果阶数设为，则退化为整数 阶导数 分形导数是整数阶的泛在表示形式，而且没有记忆性，辽宁大学学报 自然科学版 年 因此可以代替整数阶用来描述更加复杂动态过程系统的模型 应用 分形导数也可以提高神经网络的适应性和灵活性，进一步提高神经网络的优化速度 分形差分也用阶次作为超参数 通过调整阶次的大小，可以加快神经网络的优化速度 为了更好地优化神经网络的性能，本文将 分形导数衍生的 差分与卷积神经网络相结合，提出了一种基于 差分的卷积神经网络的参数训练方法本文研究了基于 差分的 算法，用于卷积神经网络参数的优化过程，主要的创新点如下：）由 分形导数的定义给出了对应的 差分的定义，并将 差分与 算法相结合，提出了基于 差分的 优化算法，提高了 算法设计的自由度）为了加快网络参数训练的收敛速度，提出了基于梯度信息的一种非线性自适应调整分数阶阶次的方法，实现神经网络参数的自适应整定）为了保证提出算法的稳定性和可行性，讨论了优化算法中阶次的取值范围，以及阶次的选取对反向传播中的权值和偏置的影响）所提出的基于 差分的 算法相较于整数阶的 算法提高了图像的识别精度和学习收敛速度 问题描述 卷积神经网络的随机梯度下降法随机梯度下降法中第 次迭代的权重和偏置的更新如下：（），（）（），（）（），（）（）（）（）（）（）（）（）（）（），（）（）（），（），（）（）（）（）其中：（），（）表示在第 次迭代的第 层的第 个特征图映射的第 个区域的权重；（）（）表示第 次迭代的第 层的第 个特征图所对应的偏置；表示学习率；（）是第 次迭代的目标函数；（），（）和（）（）分别是目标函数关于权重和偏置第 次迭代的第 层的梯度信息梯度下降法在更新系数时，不是所有的样本参与计算，而是从众多样本中随机抽取一个样本参与计算 随机梯度下降法每次更新所需要的时间很少，但是需要迭代很多次才会收敛 卷积神经网络的 算法 算法设置梯度积累为指数加权移动平均，可以优化模型参数的学习率 算法使用指数衰减平均以丢弃历史信息令参数（，），那么有（），（）（），（）（）（），（）（）（）（）（）（）（）（）（）（）基于 算法的网络参数更新公式如下：（），（）（），（）（），（）（），（）（）第 期 高 哲，等：基于 差分的 算法及在卷积神经网络参数训练中的应用（）（）（）（）（）（）（）（）（）算法通过增加一个衰减系数 来控制历史信息的获取，是一个无穷小的正数 算法设置了全局学习率，使得每个参数的学习率可以动态调整 在参数空间更为平缓的方向上，加速训练速度 差分对于可微函数（），导数作为分形导数的一种，其定义如下：（）（）（），且 是变形算子，定义为 （），其中 （），为阶次根据上述方程，导数可以表示为（）（）（）因此，对应 差分可以构造为（）（）（）（）（）当 时，差分公式转化为 阶差分，即（）（）（）（）由于 差分涵盖了 阶 差分公式，因此由 差分构造的 算法也涵盖了 阶 算法 通过调节阶次，可以使网络参数获得更好的优化效果 主要内容 差分的动量法当 时，整数阶的 算法转化为了基于 差分的分数阶 算法 构造如下的计算公式：（），（）（）（），（）（）（），（），（）（）（）（）（）（）（）（）根据 差分的定义，可得 （）（），（）（），（）（）（），（）（）（），（），（）（）（）（）（）（）（）（）（）（）（）整理可得（），（）（）（），（）（）（），（）（）（）（）（）（）（）（）（）（）（）如果阶次设置为，则等式（）将转换为等式（）也可以说等式（）是等式（）的特例，而等式 辽宁大学学报 自然科学版 年 （）是等式（）的推广 本文讨论了基于 差分的卷积神经网络优化问题，并通过引入超参数阶次来调整权重和偏置基于 差分的 算法的权重和偏置的更新公式如下所示：（），（）（），（）（），（）（），（）（）（）（）（）（）（）（）（）（）（）可以通过调节参数 和 值来控制权重和偏置的变化率，通过对式（）和式（）中的阶次 的调节，增强 算法设计的自适应性当 时，有（），（）（），（）（）（），（），（）（）（）（）（）（）（），此时动量作用最大，并且基于 差分的 算法的权重和偏置的更新公式转化为动量作用下的最大的动量的权重和偏置的更新公式设置阶次 ，则基于 差分的动量算法将转换为整数阶动量算法 这表明阶次 可以调整动量信息 理想的设置是在权重更新的优化初始阶段，权重的变化率相对较大，以加快收敛速度，而在优化的最终阶段，权重的变化率预计相对较小 因此，需要相对较小的动量来加快收敛速度，从而在网络训练的早期阶段保持稳定性；在网络训练的最后阶段，需要一个相对较大的动量来提高图像识别的精度本文设置变量（）和（），分别为（）（）和（）（），再简化等式（）和（）变量（）表示动量因子对历史信息的影响，（）表示梯度对当前信息的影响 考虑到阶次（，和变量（）（，）的情况，本节设置不同阶次 ，来研究 在（，的影响 当（）和（）的阶次为 ，时，曲线如图 和图 所示图 （）关于，的曲线图图 （）关于 ，的曲线图 从图 和图 可以看出，（）随着 的减少而增加，（）随着 的减少而减少 因此，如果 相对较小的值在网络训练的早期阶段，应选择 阶次在（，范围内相对较大的值，以加快参数更新速度 如果在网络训练的后期阶段，是相对较大的值，阶次 在（，范围内，应选择为相对较小的值以提高识别精度和收敛速度 第 期 高 哲，等：基于 差分的 算法及在卷积神经网络参数训练中的应用 非线性调节方法由于在参数训练前期，参数的变化趋势较大，需要选择一个较大的阶次 来加速参数优化的过程 类似地，在训练后期，参数的变化趋势很小，需要选择一个相对较小的阶次 来提高优化结果的精度 为了研究阶次和梯度信息之间的关系，分别定义（），（）为第 次迭代的第 层的第 个特征图映射的第 个区域的阶次，（）（）表示第 次迭代的第 层的第 个特征图所对应的阶次，并规定（），（）（），（）（）（）（）（）（）（）（）（）其中 ，和 分别是（），（）或者（）（）的在合理选择区间的最大值和最小值分别取 ，和 ，则式（）描述的非线性方程对应的函数曲线如图 所示图 （），（）随（），（）变化的曲线从图 所描述的曲线可知，当 （），（）为 时，（），（）为取值范围内的最小值，当（），（）趋向正无限大时，（），（）趋向取值范围内的最大值 同理，当（）（）为 时，（）（）为，当（）（）趋向正无限大时，（）（）趋向 算法 基于 差分的 优化算法的实施步骤如下：）对 卷积神经网络模型进行初始化，设定训练轮次和批次；）设置初始迭代次数为 ；）用非线性调节方法对权重和偏置的梯度信息进行训练；）梯度信息在迭代过程中进行 差分的 算法的反向求导；）更新迭代权重和偏置信息；）重复步骤），到训练轮次结束为止 实验模型步骤本实验采用改进的 卷积神经网络模型，验证所提出的基于 差分的 优化算法的有效性 采用 数据集作为验证算法有效性的数据集，数据集是一个 ，大小为 幅灰度图像集，包括 个类别 数据集中 张图片作为训练集和 张图像作为测试集针对 数据集，给出如下卷积神经网络模型的设置）输入层：数据集的输入图像大小为 ）卷积层：卷积核数为，卷积核矩阵大小为 ，无零填充，选择 函数作为激活函数，偏置设置为 辽宁大学学报 自然科学版 年 ）卷积层：卷积核的数目为，卷积核矩阵的大小为 ，无零填充，激活函数是 函数，偏置设置为）池化层：卷积核数为，卷积核矩阵大小为 ，无零填充，激活函数为 函数，偏置为）池化层：卷积核数为，卷积核矩阵大小为 ，无零填充，激活函数为 函数，偏置为）全连接层：包含 个神经元，即 个卷积特征图，激活函数为 函数，偏置为）全连接层：包含神经元 ，激活函数是 函数和偏置为）输出层：包含 个神经元，每个神经元代表一个类别，所有神经元都与全连接层相连 激活函数为 函数，偏置为 本实验以 数据集为输入样本，利用 卷积神经网络模型进行图像分类 设置学习率 ，训练轮次为，比较基于 差分的 优化算法与阶数为 的整数阶 优化算法的识别精度 实验结果分析图 为 算法的训练识别精度和验证识别精度数据对比，选取实验中的 数据集，结果表明未出现拟合和欠拟合的情况，所以选取的卷积神经网络结构和数据集