人工神经网络第七章.pptx

第7章 循环网络,主要内容Hopfield网络实现的自相联存储稳定性分析统计Hopfield网与Boltzmann机根本双联存储器(BAM)的结构与训练几种相联存储网络用Hopfield网解决TSP问题。,3/10/2022,1,第一页，共七十三页。,第7章 循环网络,重点Hopfield网络实现的自相联存储根本双联存储器的结构与训练。难点稳定性分析用Hopfield网解决TSP问题,3/10/2022,2,第二页，共七十三页。,第7章 循环网络,7.1 循环网络的组织 7.2 稳定性分析 7.3 统计Hopfield网与Boltzmann机 7.4 双联存储器的结构 7.5 异相联存储 7.6 其它的双联存储器 7.7 Hopfield网用于解决TSP问题,3/10/2022,3,第三页，共七十三页。,第7章 循环网络,循环网络称为Hopfield网,循环网络对输入信号的处理是一个逐渐“修复、“加强的过程。,强烈变化,较弱的变化,不变化,3/10/2022,4,第四页，共七十三页。,7.1 循环网络的组织,网络结构,3/10/2022,5,第五页，共七十三页。,7.1 循环网络的组织,联接：神经元之间都是互联的wij，每个神经元都没有到自身的联接wii=0。神经元个数h，输入向量维数n，输出向量维数m。hn，hm，n1，m1。神经元：输入、输出、隐藏状态变化：非同步、同步输入向量：X=(x1，x2，xn)输出向量：O=(o1，o2，om),3/10/2022,6,第六页，共七十三页。,7.1 循环网络的组织,神经元的网络输入：,阈值函数：oj=,1if netjj,0if netjj,ojif netj=j,3/10/2022,7,第七页，共七十三页。,最根本的Hopfield网,n=m=h,3/10/2022,8,第八页，共七十三页。,最根本的Hopfield网,希望网络的联接矩阵存放的是一组这样的样本，在联想过程中实现对信息的“修复和“加强，要求：它的输入向量和输出向量是相同的向量，即，X=Y 样本集：S=Y1，Y2，Ys,3/10/2022,9,第九页，共七十三页。,最根本的Hopfield网,wii=01inW是一个对角线元素为0的对称矩阵：W=Y1T Y1+Y2TY2+YsTYs-W0W是各个样本向量自身的外积的和网络实现的是自相联映射。,权矩阵：wij=,ij,3/10/2022,10,第十页，共七十三页。,最根本的Hopfield网,3/10/2022,11,第十一页，共七十三页。,3/10/2022,12,第十二页，共七十三页。,由式7一3知，对任意的i和j(ij),所以，W是一个对角线元素为0的对称矩阵。,与前面遇到过的训练方法不同，在这里是根据样本集直接地计算出网络的联接矩阵。显然，这种训练方法效率要高许多。另外，由于W是各个样本向量自身的外积的和，所以，有时称该网络实现的是自相联映射。,3/10/2022,13,第十三页，共七十三页。,最根本的Hopfield网,激活函数：改为S形函数后，系统就成为一个连续系统 多级循环网络除输出向量被反响到输入层外，其它各层之间的信号传送均执行如下规定：第i-1层神经元的输出经过第i个连接矩阵被送入第i层。一般不考虑越层的信号传送、中间的信号反响和同层的神经元之间进行信号的直接传送,3/10/2022,14,第十四页，共七十三页。,网络的异步工作方式 网络的异步工作方式是一种串行方式。网络运行时每次只有一个神经元i按下式进行状态的调整计算，其他神经元的状态均保持不变，即,3/10/2022,15,第十五页，共七十三页。,神经元状态的调整次序可以按某种规定的次序进行，也可以随机选定。每次神经元在调整状态时，根据其当前净输入值的正负决定下一时刻的状态，因此其状态可能会发生变化，也可能保持原状。下次调整其他神经元状态时，本次的调整结果即在下一个神经元的净输入中发挥作用。网络的同步工作方式 网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即 xj(t+1)sgnnetj(t)j1，2,n,3/10/2022,16,第十六页，共七十三页。,7.2 稳定性分析,网络的稳定性是与收敛性不同的问题 Cohen和Grossberg1983年:Hopfield网络的稳定性定理 如果Hopfield网络的联接权矩阵是对角线为0的对称矩阵，那么它是稳定的 用著名的Lyapunov函数作为Hopfield网络的能量函数 网络的稳定性与吸引子,3/10/2022,17,第十七页，共七十三页。,反响网络是一种能存储假设干个预先设置的稳定点(状态)的网络。运行时，当向该网络作用一个起原始推动作用的初始输入模式后，网络便将其输出反响回来作为下次的输入。经假设干次循环(迭代)之后，在网络结构满足一定条件的前提下，网络最终将会稳定在某一预先设定的稳定点。设X(0)为网络的初始激活向量，它仅在初始瞬间t0时作用于网络，起原始推动作用。X(0)移去之后，网络处于自激状态，即由反响回来的向量X(1)作为下一次的输入取而代之。反响网络作为非线性动力学系统，具有丰富的动态特性，如稳定性、有限环状态和混沌(chaos)状态等。,3/10/2022,18,第十八页，共七十三页。,1网络的稳定性 由网络工作状态的分析可知，DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始，假设能经有限次递归后，其状态不再发生变化，即X(t+1)X(t)，那么称该网络是稳定的,3/10/2022,19,第十九页，共七十三页。,如果网络是稳定的，它可以从任一初态收敛到一个稳态，如图62(a)所示；假设网络是不稳定的，由于DHNN网每个节点的状态只有1和-l 两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络，图62(b)给出了它的相图。如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混沌，其相图如图62(c)所示。对于DHNN网，由于网络的状态是有限的，因此不可能出现混沌现象。,3/10/2022,20,第二十页，共七十三页。,网络的稳定性与下面将要介绍的能量函数密切相关，利用网络的能量函数可实现优化求解功能。网络的能量函数在网络状态按一定规那么变化时，能自动趋向能量的极小点。如果把一个待求解问题的目标函数以网络能量函数的形式表达出来，当能量函数趋于最小时，对应的网络状态就是问题的最优解。网络的初态可视为问题的初始解，而网络从初态向稳态的收敛过程便是优化计算过程，这种寻优搜索是在网络演变 过程中自动完成的。,3/10/2022,21,第二十一页，共七十三页。,2吸引子与能量函数 网络到达稳定时的状态X，称为网络的吸引子。一个动力学系统的最终行为是由它的吸引子决定的，吸引子的存在为信息的分布存储记忆和神经优化计算提供了根底。如果把吸引子视为问题的解，那么从初态朝吸引子演变的过程便是求解计算的过程。假设把需记忆的样本信息存储于网络不同的吸引子，当输入含有局部记忆信息的样本时，网络的演变过程便是从局部信息寻找全部信息，即联想回忆的过程。,3/10/2022,22,第二十二页，共七十三页。,下面给出DHNN网吸引子的定义和定理。定义71 假设网络的状态X满足Xf(WX T)，那么称X为网络的吸引子。能使网络稳定在同一吸引子的所有初态的集合，称为该吸引子的吸引域。下面给出关于吸引域的两个定义。定义72 假设Xa是吸引子，对于异步方式，假设存在一个调整次序，使网络可以从状态X演变到Xa，那么称X弱吸引到Xa；假设对于任意调整次序，网络都可以从状态X演变到 Xa，那么称X强吸引到Xa。,3/10/2022,23,第二十三页，共七十三页。,定义73 假设对某些X，有X弱吸引到吸引子Xa，那么称这些X的集合为Xa的弱吸引域；假设对某些X，有X强吸引到吸引子Xa，那么称这些X的集合为Xa的强吸引域。欲使反响网络具有联想能力，每个吸引子都应该具有一定的吸引域。只有这样，对于带有一定噪声或缺损的初始样本，网络才能经过动态演变而稳定到某一吸引子状态，从而实现正确联想。反响网络设计的目的就是要使网络能落到期望的稳定点(问题的解)上，并且还要具有尽可能大的吸引域，以增强联想功能。,3/10/2022,24,第二十四页，共七十三页。,例62 有一DHNN网，n4，Tj0，jl，2，3，4，向量Xa、Xb和权值矩阵W分别为,检验Xa和Xb是否为网络的吸引子，并考察其是否具有联想记忆能力。,3/10/2022,25,第二十五页，共七十三页。,解 本例要求验证吸引子和检查吸引域，下面分两步进行。检验吸引子 由吸引子定义,3/10/2022,26,第二十六页，共七十三页。,所以Xa是网络的吸引子，因为XbXa，由吸引子的性质1知，Xb也是网络的吸引子。考察联想记忆能力 设有样本Xl(1，1，1，1)T、X2(1，1，1，1)T、X3(1，1，1，1)T，试考察网络以异步方式工作时两个吸引子对3个样本的吸引能力。令网络初态X(0)X1(1，1，1，1)T。设神经元状态调整次序为1234，有 X(0)(1，1，1，1)TX(1)(1，1，1，1)TXa 可以看出该样本比较接近吸引子Xa，事实上只按异步方式调整了一步，样本X1即收敛于Xa。,3/10/2022,27,第二十七页，共七十三页。,令网络初态X(0)X2(1，1，1，1)T。设神经元状态调整次序为1234，有X(0)(1,1,1,1)TX(1)(1,1,1,1)TXb 可以看出样本X2比较接近吸引子Xb，按异步方式调整一步后，样本X2收敛于Xb。令网络初态X(0)X3(1,1,1,1)T，它与两个吸引子的海明距离相等。假设设神经元状态调整次序为1234，有 X(0)(1,1,1,1)TX(1)(1,1,1,1)T X(2)(l,1,l,1)TXb,3/10/2022,28,第二十八页，共七十三页。,假设将神经元状态调整次序改为3412，那么有 X(0)=(1,1,1,1)TX(1)(1,1,1,1)TX(2)(1,1,l,1)TXa 从本例可以看出，当网络的异步调整次序一定时，最终稳定于哪个吸引子与其初态有关；而对于确定的初态，网络最终稳定于哪个吸引子与其异步调整次序有关。,3/10/2022,29,第二十九页，共七十三页。,定理71 对于DHNN网，假设按异步方式调整网络状态，且连接权矩阵W为对称阵，那么对于任意初态，网络都最终收敛到一个吸引子。下面通过对能量函数的分析对定理71进行证明。定义网络的能量函数为：,3/10/2022,30,第三十页，共七十三页。,3/10/2022,31,第三十一页，共七十三页。,3/10/2022,32,第三十二页，共七十三页。,Lyapunov函数能量函数,作为网络的稳定性度量wijoioj：网络的一致性测度。xjoj：神经元的输入和输出的一致性测度。joj：神经元自身的稳定性的测度。,3/10/2022,33,第三十三页，共七十三页。,当ANk的状态从ok变成ok,1、ANk是输入神经元,3/10/2022,34,第三十四页，共七十三页。,当ANk的状态从ok变成ok,wkk=0,3/10/2022,35,第三十五页，共七十三页。,=-(netk-k)ok,ANk状态的变化：ok=(ok-ok)ok=0，=0,ok0，ok=1&ok=0，ok由0变到1，netkk，netk-k0所以，-(netk-k)ok0故0,结论：网络的目标函数总是下降,ok0,ok=0&ok=1，ok由1变到0netkk，netk-k0-(netk-k)ok0故0,3/10/2022,36,第三十六页，共七十三页。,当ANk的状态从ok变成ok,2、ANk不是输入神经元,3/10/2022,37,第三十七页，共七十三页。,当ANk的状态从ok变成ok,无论ANk的状态是如何变化的，总有 0,3/10/2022,38,第三十八页，共七十三页。,7.3 统计Hop