人工神经元模型介绍.ppt

人工神经元模型 MP模型、感知器模型及其训练学习算法 树突树突（Dendrite）胞体胞体(Soma)轴突（轴突（Axon）突触（突触（Synapse）大脑皮层，每立方毫米中，神经元超过104个，连接长度超过几公里 大脑神经元的工作原理大脑神经元的工作原理 二、人工神经网络的历史二、人工神经网络的历史 早期阶段（1960s）1943 McCulloch和和Pitts 提出神经元的数学模型（提出神经元的数学模型（MP模型）模型）1949 Hebb 提出权重加强的学习机理 1957 Rosenblatt 感知机（perceptron）有认知学习功能 1969 Mingsky 专著“perceptron”证明线性（单层）感知 机不能解决XOR问题，ANN进入低潮 二、人工神经网络的历史二、人工神经网络的历史 过渡期（1970s）低潮中，许多学者深入研究ANN理论、模型。MIT的Marr提出视觉模型 Boston Univ的Grossbery全面研究ANN理论，提出ART1，ART2，ART3自适应谐振理论模型。甘利俊一 ANN的数学理论 Fuknshima 神经认知网络理论 芬兰的Kohonen 自组织联想记忆 二、人工神经网络的历史二、人工神经网络的历史 高潮（1980）1982 加州理工 Hopfield提出结点全互联ANN模型（Hop模型），用单层ANN解决了TSP问题 1987.6 ICNN（International Conference on NN）召开 1987 加州理工 Abnmostafa，Psaitis 2D联想存储输入残缺图案也可识别 1988 AT&T Bell lab 120*120元件的ANN 1989 三菱 光学ANN芯片，32个神经元识别26个字母 1989 日立 5“硅片集成576个神经元 1990 Bell Lab 黄庭钰 数字光学处理器 1990 IBM AS400 提供ANN仿真开发环境 1992 SGI 将ANN用于航天飞机控制臂 ANN已在专家系统、智能控制等领域广泛应用 神经元建模的六点假定 神经元模型是在以下六条假设的基础上建立的：神经元模型是在以下六条假设的基础上建立的：每个神经元都是一个多输入单输出的信息处理单元 神经元输入分兴奋性输入和一致性输入两种类型 神经元具有空间整合特性和阈值特性 神经元输入与输出间有固定的时滞，主要取决于突触延搁 忽略时间整合作用和不应期 神经元本身是非时变的，即其突触时延和突触强度均为常数 假设1：多输入单输出 图(a)表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许多的输入信号，图中每个输入的大小用确定数值xi表示，它们同时输入神经元j，神经元的单输出用oj表示。假设2：输入类型：兴奋性和抑制性 生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。假设3：空间整合特性和阈值特性 作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图(c)表示组合输人信号的“总和值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时,神经元才被激活而发放脉冲,否则神经元不会产生输出信号。神经元的输出 图(d)人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元输出，则输出与输入之间的对应关系可用图(d)中的某种非线性函数来表示，这种函数一般都是非线性的。神经元模型示意图 神经元模型示意图 x1,x2,.,xn是来自其它人工神经元的信息作为该人工神经元的输入，权值w1,w2,.,wn表示各输入的连接强度。是神经元兴奋时的内部阈值，当神经元输入的加权和大于时，神经元处于兴奋状态。该输出为1或0取决于其输入之和大于或小于内部阈值 即0时，该神经元被激活，进入兴奋状态，f()=1,当0 0 ET，I=0 0 E0 0 MP模型的逻辑表示 MP模型可以表示布尔逻辑关系（与 或 非）例如逻辑与：设设T=2，I=0，E=x1W+x2W=x1+x2 当当x1=1，x2=1，E=1+1=2，触发触发y=1 当当x1=1，x2=0，E=1+0=1，不触发不触发y=0 当当x1=0，x2=1，E=0+1=1，不触发不触发y=0 当当x1=0，x2=0，E=0+0=0，不触发不触发y=0 满足y=x1.x2逻辑与关系。MP模型的逻辑表示 逻辑或：令令T=1，I=0，E=x1+x2（二个兴奋性输入二个兴奋性输入）当当x1=1,x2=1,E=1+1=2,触发触发 y=1 当当x1=1,x2=0,E=1+0=1,触发触发 y=1 当当x1=0,x2=1,E=0+1=1,触发触发 y=1 当当x1=0,x2=0,E=0+0=0,不触发不触发 y=0 满足y=x1+x2逻辑或关系 MP模型的逻辑表示 逻辑非：令令T=0，E=0，I=xW=x（一个抑制性输入一个抑制性输入）当当x=1，I=10,不触发不触发y=0 当当x=0，I=0，触发触发y=1 满足逻辑非关系 MP模型 能够构成逻辑与、或、非，就可进而组成任意复杂的逻辑关系，因此，MP模型是按一定方式组织起来，可以构成具有逻辑功能的神经网络。MP模型是最简单的网络，但是由于生物神经元本质上是模拟过程，过早地把物理量抽象为0和1，会丢失许多有用信息，因此神经计算应当将模拟的和数字的技术结合起来。从最简化的观点看，仍具有一定指导意义。MP模型应用 MP模型应用：可用于实现分类、模式识别等，当前已经有许多成功的基于M-P神经元模型的神经网络得到应用，如BP算法，这种算法是实现人脸识别的主要算法之一。感知器（Perceptron）模型 1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的神经网络，成为Perceptron,即为感知器。感知器是一种前馈网络，同层内无互连，不同层间无反馈，由下层向上层传递。其输入、输出均为离散值，神经元对输入加权求和后，由阈值函数决定其输出。单层感知器的结构与功能都非常简单，但却是要就其他网络的基础。感知器模型 o1 oj om W1 Wj Wm x1 x2 xi xnj=1,2,m Tni21,.,x,.x,xx)(XTmi21,.,o,.o,oo)(OTnjijj2j1j,.,w,.w,ww)(W 设定输入向量X=(x1,x2)T 输出：则由方程：w1jx1+w2jx2-Tj=0 可以确定平面上的一条直线 感知器模型 设定输入向量X=(x1,x2,x3)T 输出：则由方程：w1jx1+w2jx2+w3jx3-Tj=0 可以确定三维空间上的一个分界平面 感知器模型 感知器的功能 感知器在线性神经元中加入了阈值函数，也称为线性阈值元。它可接受实数型信号，而输出二值离散量(0,1)。即：一个单计算节点感知器具有分类功能。v3v1v2w0w1w2w3输入输入输出输出阈值阈值u例例 用感知器实现逻辑“与”功能用感知器实现逻辑“与”功能 x1 x2 y 0 0 0 0 1 0 1 0 0 1 1 1 逻辑“与”真值逻辑“与”真值表表 感知器结构感知器结构 x1 0.5 0.5 y x2 0.75 -1wix1+w2x2-T=0 0.5x1+0.5x2-0.75=0 例例 用感知器实现逻辑“与”功能用感知器实现逻辑“与”功能 感知器的学习算法 感知器的学习算法 感知器学习规则的训练步骤：(1)对各权值w0j(0),w1j(0),wnj(0)，j=1,2,m （m为计算层的节点数）赋予较小的非零随机数；(2)输入样本对Xp,dp，其中Xp=(-1,x1p,x2p,xnp)，dp为期望的输出向量（教师信号），上标p代表 样本对的模式序号，设样本集中的样本总数为P，则p=1,2,P；(3)计算各节点的实际输出ojp(t)=sgnWjT(t)Xp,j=1,2,.,m；(4)调整各节点对应的权值，Wj(t+1)=Wj(t)+djp-ojp(t)Xp,j=1,2,m,其中 为学习率，用于控制调整速度，太大 会影响训练的稳定性，太小则使训练的收敛速度变慢，一般取01；(5)返回到步骤(2)输入下一对样本，周而复始直到对所有 样本，感知器的实际输出与期望输出相等。感知器学习规则的训练步骤：（1）权值初始化（2）输入样本对（3）计算输出（4）根据感知器学习规则调整权值（5）返回到步骤(2)输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期望输出相等。谢谢！谢谢！