GRU稳定性研究及在声波反散射中的应用.pdf

长春理工大学学报（自然科学版）Journal of Changchun University of Science and Technology（Natural Science Edition）Vol.46No.2Apr.2023第46卷第2期2023年4月王欣羽，等：GRU稳定性研究及在声波反散射中的应用收稿日期：2021-12-15基金项目：吉林省自然科学基金（JJKH20210797KJ）作者简介：王欣羽（1995-），女，硕士研究生，E-mail：通讯作者：孟品超（1978-），女，硕士，教授，E-mail：GRU 稳定性研究及在声波反散射中的应用王欣羽，孟品超，尹伟石（长春理工大学数学与统计学院，长春130022）摘要：针对门控循环单元网络（GRU）的理论研究问题，考虑将 GRU 与微分方程建立联系，从微分方程的稳定性理论推导神经网络的稳定性。首先，通过 GRU 网络结构得到网络的动力系统表达形式，用连续方程的前向 Euler 离散格式解释门控循环单元网络的传播过程。其次，基于 Krasovskii 方法框架证明离散格式的稳定性，说明单层无输入 GRU的稳定性只依赖于候选激活状态下的权重矩阵，并证明 GRU 的稳定性定理。最后，将 GRU 应用于求解声波障碍反散射问题，从数值实验角度说明该网络在求解不适定问题时仍能得到稳定的反演效果。关键词：动力系统；稳定性；门控循环单元网络；反散射问题中图分类号：O242.1文献标志码：A文章编号：1672-9870（2023）02-0136-08Stability of GRU and its Application inInverse Scattering Problem of Acoustic WavesWANG Xinyu，MENG Pinchao，YIN Weishi（School of Mathematics and Statistics，Changchun University of Science and Technology，Changchun 130022）Abstract：Aiming at the theoretical research problem of Gated Recurrent Unit Network（GRU），consider the connectionbetween GRU and differential equations，and derive the stability of neural networks from the stability theory of differentialequations.First，obtain the dynamic system expression form of the network through the GRU network structure，and usethe forward Euler discrete format of the continuous equation to explain the propagation process of the gated recurrent unitnetwork；Secondly，based on the Krasovskii method framework，the stability of the discrete format is proved，indicating thatthe stability of a single-layer GRU without input depends only on the weight matrix in the candidate activation state，andthe stability theorem of GRU is proved.Finally，GRU is applied to solve the backscattering problem of acoustic obstacles.From the perspective of numerical experiments，it shows that the network can still obtain stable inversion results whensolving ill-posed problems.Key words：dynamic system；stability；gated recurrent unit network；inverse scattering problem近年来深度神经网络已经成为人工智能的核心框架，神经网络的理论分析也成为学术研究的热点问题之一。Weinan1研究发现残差神经网络（ResNet）中的残差结构与连续（离散）动力系统存在某些一致性，把 ResNet 解释为一阶非线性常微分方程。随后，这种思想被应用到深度神经网络（DNN），更一般地，机器学习可以看作由函数的表示、损失函数和训练动力学构成的一个连续公式，这使得许多机器学习模型被证明可以转化为不同连续方程的特定离散化，如随机特征模型、双层神经网络模型和残差神经网络模型等2。神经网络能够用微分方程解释，就能够利用微分方程解的稳定性来分析神经网络的稳定性。在常微分方程理论启发下，Haber E 和 Ruthotto L3通过使 Jacobi 矩阵特征值实部足够小，来构造能够保持稳定性的网络框架。除此之外，也可以利用方程的数值方法设计新的网络结构，以此提高网络的稳定性和泛化能力4-6。门控循环单元网络（GRU）是一种循环神经网络（RNN），在解决各类实际问题中表现出较好的能力，尤其在学习长序列时，能够解决梯度爆炸和梯度消失的问题7-8。通过研究 RNN 引起的动力系统行为，发现在没有输入数据的情况下，GRU 表现出混沌动力学9-10。但在各类实际应用中，GRU 在训练和测试中都保持了稳定性，本文给出并证明了 GRU 稳定性的定理。1GRU 及其动力学表示单层 GRU 结构如图 1 所示，每个节点的运算结 构 代 表 一 个 门 控 单 元 的 运 算 过 程，节 点t()t=1,2,T的输入xt与节点t-1的输出ht-1合并后，经过门控单元的运算，得到节点t的状态ht，将其传入下一个节点t+1。这里节点t的输入xt和输出ht分别表示为：xt=()x1t,x2t,xntT，ht=()h1t,h2t,hmtT。门控单元主要包括更新门和重置门。更新门zt+1是 通 过 节 点t+1的 输 入 数 据：xt+1n()t=0,1,T-1与节点t的隐含层状态ht m，利用激活函数作用生成：zt+1=()Wzh ht+Wzx xt+1（1）更新门用于控制前一节点的状态信息被带入到当前状态中的程度，其值越大说明前一个节点保留下的信息越多。图 1GRU 结构图重置门rt+1用来控制忽略前一节点的状态信息的程度，其值越小说明忽略的信息越多。rt+1=()Wrh ht+Wrx xt+1（2）在将节点t的信息传递到节点t+1时，还需要利用重置门信息对前一节点状态ht进行忽略，再与输入xt+1作用得到候选激活状态ht+1，表示为：ht+1=tanh()Whh()rt+1ht+Whh xt+1（3）其中，代表矩阵乘积；代表 Hadamard 积；权重矩阵Wzx、Wrx、Whh m m；Wzx、Wrx、Whx m m。从而，GRU 节点t+1的输出ht+1可表示为：ht+1=()1-zt+1ht+zt+1ht+1=ht+zt+1()ht+1-ht（4）其中，ht+1的第i项可写为：hit+1=hit+zit+1()hit+1-hit（5）每个节点t+1的状态ht+1只与上一节点的状态ht和当前节点的输入值xt+1有关。为了用离散动力系统逼近 GRU，下面讨论GRU 的动力学表示。将式（4）看作连续微分方程dhdt=G()h的向前 Euler 离散形式，即：ht+1=ht+G()ht,xt+1,()t=0,1,T-1（6）其中，映射关系G()ht,xt+1满足：G()ht,xt+1=zt()tanh()Whh()rt+1ht+Whx xt+1-ht（7）因此，单层 GRU 在给定一个初值h0时，都能得到一个近似解ht，使得该方程在每个节点的解都是连续方程在节点的近似解，当计算到方程王欣羽，等：GRU稳定性研究及在声波反散射中的应用第2期137长春理工大学学报（自然科学版）2023年在节点T的解时，就相当于 GRU 完成了前向传播过程。特别地，无输入的单层 GRU 也可看作连续微分方程dhdt=G()h的一种向前 Euler离散形式：ht+1=ht+g()ht,()t=0,1,T-1（8）映射关系满足：()ht=()Wz ht()tanh()Wh()Wc htht-ht（9）由此得到无输入 GRU 的动力系统表达式为：ht+1=ht+()Wz ht(tanh(Wh(Wc ht)ht)-ht)（10）可见系统中()ht不显含变量t。因此，可以得出以下结论：定理 1：单层无输入的 GRU 系统是一种自治非线性动力系统。因此，可以用动力学系统的理论来判断单层无输入 GRU 的稳定性。2GRU 的稳定性一般地，通过微分方程的平衡解或零解随时间变化的程度，来判断方程的解的稳定性。这里首先给出 Lyapunov 意义下微分方程解的稳定性的定义和 Krasovskii 方法。定义 1：设f()t,x满足解的存在唯一性定理的条件，且微分方程初值问题dxdt=f()t,x,x()t0=x0,x n的解x()t=x()t,t0,x0在()-,+存在，f(t,x)还满足f()t,0=0，即x()t=0是方程的解，称x()t=0为方程的零解。定理 1给出 GRU 系统是一种非线性系统，这种非线性系统的稳定性可以通过 Lyapunov 稳定性判定方法中 Krasovskii 方法来判断。引理 1：（Krasovskii 方法）对于非线性系统：dxdt=f()x,f()0=0（11）若系统满足如下条件：（1）平衡解为x=0。（2）f(x)对状态变量x是连续可微的，即存在矩阵J()x=f()xxT，使J()x为负定矩阵，其中J()x=J()x+JT()x，那么系统（11）渐近稳定。由此给出n维单层无输入 GRU 的局部稳定性条件。定理 2：若n阶权重矩阵Wh的所有n个特征值i()Wh()i=1,2,n都小于 2，则单层无输入的GRU 在原点处是局部渐近稳定的。证明：由公式（10）单层无输入的 GRU 网络可以表示为：ht+1=ht+()Wz ht()tanh()Wh ct+1-htct+1=()Wc htht,()t=0,1,T（12）式中，T是 GRU 单元个数；ct为中间变量。其对应的连续方程形式为：dhdt=f()h=()Wz h()tanh()Wh c-hh()0=h0（13）其中，h=()h1,h2,hnT。该微分方程的解h在()-,+存在，满足存在唯一性定理，且f()h满足f(0)=0，故h=0为方程的零解，进一步得到h=c=0。由引理 1，要判断系统的稳定性，只需计算f()h的 Jacobi 矩阵，并判断在h=0处 Jacobi 矩阵J()h的特征值。令f()h=()f1()h,f2()h,fn()hT，c=()c1,c2,cnT其中：fi()h=()Wiz h tanh()j=1nWijh cj-hi（14）ci=()Wic h hi,()i=0,1,n（15）记权重矩阵Wz、Wh、Wc表示为：Wh=W11hW1nhWn1hWnnh=W1hWnh138Wz=W1zWnz，Wc=W1cWnc那么 Jacobi 矩阵为：J()h=jijn n=f1()hh1f1()hhnfn()hh1fn()hhn先求出中间变量ci对hj()j=1,2,n的偏导数dij：当i=j时：dii=cihi=()Wic h()1-()Wic hWiic hi+()Wi