人工神经网络.ppt

1 第第3讲讲 人工神经网络人工神经网络 欧阳柳波 2/65 人工神经网络的进展 初创阶段（二十世纪四十年代至六十年代）:1943年，美国心理学家W.S.Mcculloch和数理逻辑学家 和数理逻辑学家W.Pitts 提出了神经元的数学模型，即MP（Mcculloch-Pitts）模型 以数学逻辑为研究手段，探讨了客观事件在神经网络的形式问题 1960年，威德罗和霍夫率先把神经网络用于自动控制研究。过渡阶段（二十世纪六十年代初至七十年代）M.Minsky和S.Papert于1969 年出版Perceptron Perceptron 从理论上证明了以单层感知机为代表的网络系统在某些能力方面的局限性。60年代末期至 80年代中期，神经网络控制与神经网络进入低潮 3/65 人工神经网络的进展(续)高潮阶段（二十世纪八十年代）1982和1984年，美国加州理工学院的生物物理学J.J.Hopfield在美国科学院院刊发表的两 篇文章，有力地推动了人工神经网络的研究与应用，并引发了研究神经网络的一次热潮。80年代后期以来，随着人工神经网络研究的复苏和发展，对神经网络控制的研究也十分活跃。研究进展主要在神经网络自适应控制和模糊神经网络控制及其在机器人控制中的应用上。平稳发展阶段（二十世纪九十年代以后）和相关学科交叉融合 4/65 ANN 人工神经网络人工神经网络 概述 基本原理 前向型神经网络 自组织竞争神经网络 神经网络的应用 与人工智能原理的结合 BP神经网络 5/65 概述概述 什么叫人工神经网络 采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。为什么要研究神经网络 用计算机代替人的脑力劳动。计算机速度为纳秒级，人脑细胞反应时间是毫秒级。而计算机不如人。长期以来人类的梦想，机器既能超越人的计算能力，又有类似于人的识别、分析、联想等能力。6/65 概述概述 人工智能与神经网络 共同之处：研究怎样使用计算机来模仿人脑工作过程，学习实践再学习再实践。不同之处：人工智能研究人脑的推理、学习、思考、规划等思维活动，解决需人类专家才能处理的复杂问题。神经网络企图阐明人脑结构及其功能，以及一些相关学习、联想记忆的基本规则（联想、概括、并行搜索、学习和灵活性）7/65 例如：人工智能专家系统是制造一个专家，几十年难以培养的专家。神经网络是制造一个婴儿，一个幼儿，一个可以学习，不断完善，从一些自然知识中汲取智慧的生命成长过程。同样是模仿人脑，但所考虑的角度不同。成年人和婴儿 学习过程不一样 8/65 概述概述 人工智能 神经网络 研究目的 人脑推理、学习、思考、规划等思维活动，解决需人类专家才能处理的复杂问题。阐明有关人脑结构及其功能以及相关学习、联想记忆的基本规律。研究内容 推理方法、知识表示、机器学习 生物的生理机制、信息的存储、传递、处理方式 知识表示方法 人懂机器懂人懂 图像等机器图像等 知识储存方式 知识库中有事实和规则，随时添加而增大，一条出了毛病有可能出错。在网的结构之中，一条出问题不会触大错，网络结构不会随知识增加变化很大 信息传递方式 符号 脉冲形式，以频率表示 信息处理方式 树、网等，一条一条执行，并行处理较难 原理上是并行结构，与生物信息处理机制一致 9/65 ANN 人工神经网络人工神经网络 概述 基本原理 前向型神经网络 自组织竞争神经网络 神经网络的应用 与人工智能原理的结合 BP神经网络 10/65 基本原理基本原理 11/65 12/65 13/65 生物神经元生物神经元 细胞核 细胞质 树突 突触 来自其他细胞 细胞膜 轴突 神经末梢 神经元由神经元由细胞体、细胞体、树突树突和和轴突轴突组成。细胞体是神经元的主体组成。细胞体是神经元的主体,它由细胞核、细胞质和细胞膜三部分构成它由细胞核、细胞质和细胞膜三部分构成.从细胞体向外延伸从细胞体向外延伸出许多突起出许多突起,其中大部分突起呈树状其中大部分突起呈树状,称为称为树突树突.树突起感受作树突起感受作用用,接受来自其他神经元的传递信号接受来自其他神经元的传递信号.由细胞体伸出的一条最长的突起由细胞体伸出的一条最长的突起,用来传出细胞体产生的输出用来传出细胞体产生的输出信号信号,称之为称之为轴突轴突;轴突末端形成许多细的分枝轴突末端形成许多细的分枝,叫做叫做神经末梢神经末梢;每一条神经末梢可以与其他神经元形成功能性接触每一条神经末梢可以与其他神经元形成功能性接触,该接触部该接触部位称为位称为突触突触。所谓。所谓功能性接触功能性接触是指非永久性接触是指非永久性接触,它是神经元它是神经元之间信息传递的奥秘之处。之间信息传递的奥秘之处。14/65 一个神经元把来自不同树突的兴奋性或抑制性输入信号一个神经元把来自不同树突的兴奋性或抑制性输入信号(突触后膜电位突触后膜电位)累加求和累加求和的过程，称为整合。考虑到输入的过程，称为整合。考虑到输入信号的影响要持续一段时间信号的影响要持续一段时间(毫秒级毫秒级),),因此因此,神经元的整合神经元的整合功能是一种时空整合。当神经元的时空整合产生的膜电位功能是一种时空整合。当神经元的时空整合产生的膜电位超过超过阈值阈值电位时电位时,神经元处于神经元处于兴奋状态兴奋状态,产生兴奋性电脉冲产生兴奋性电脉冲,并经轴突输出并经轴突输出;否则否则,无电脉冲产生无电脉冲产生,处于处于抑制状态抑制状态。15/65 16/65 图图2 一种简化神经元结构一种简化神经元结构 17/65 人工神经元模型人工神经元模型 每一个细胞处于两种状态。突触联接有强度。多输入单输出。实质上传播的是脉冲信号，信号的强弱与脉冲频率成正比。yi si x1 x2 xn ui i 图3 人工神经元的结构模型 一般地,人工神经元的结构模型如图3所示。它是一个多输入单输出的非线性阈值器件。其中 x1，x2，xn表示神经元的n个输入信号量；w1，w2，wn表示对应输入的权值,它表示各信号源神经元与该神经元的连接强度；U表示神经元的输入总和,它相应于生物神经细胞的膜电位,称为激活函数;y为神经元的输出;表示神经元的阈值。18/65 19/65 于是，人工神经元的输入输出关系可描述为：于是，人工神经元的输入输出关系可描述为：1()niiiyf UUx 函数函数y=f(U)称为特性函数称为特性函数(亦称作用亦称作用、传递传递、激活激活、活活化化、转移函数转移函数)。特性函数可以看作是神经元的数学模型特性函数可以看作是神经元的数学模型。20/65 1.阈值型阈值型 ()yf A1000AA 2.S型型 这类函数的输入输出特性多采用指数、对数或这类函数的输入输出特性多采用指数、对数或双曲正切等双曲正切等S型函数表示。例如型函数表示。例如 1()1Ayf AeS型特性函数反映了神经元的非线性输出特性。型特性函数反映了神经元的非线性输出特性。常见的特性函数有以下几种常见的特性函数有以下几种:21/65 3 3.分段线性型分段线性型 神经元的输入输出特性满足一定的区间线性关系神经元的输入输出特性满足一定的区间线性关系,0001kkAyKAAAAA式中，式中，K、Ak均表示常量。均表示常量。22/65 人工神经元模型人工神经元模型 以上三种特性函数的图像依次如下图中的(a)、(b)、(c)所示 神经细胞的输出对输入的反映。典型的特性函数是非线性的。f(u)f(u)f(u)111000uuu(a)(b)(c)23/65 基本原理基本原理网络结构网络结构 人脑神经网络：人脑中约有亿个神经细胞 根据Stubbz的估计这些细胞被安排在约个主要模块内，每个模块上有上百个神经网络，每个网络约有万个神经细胞。如果将多个神经元按某种的拓扑结构连接起来，就构成了神经网络。根据连接的拓扑结构不同根据连接的拓扑结构不同，神经网络可分为四大类：神经网络可分为四大类：分层前向网络分层前向网络、反馈前向网络反馈前向网络、互互连连前向网络前向网络、广广泛互连网络泛互连网络。24/65 基本原理基本原理网络模型网络模型 分层前向网络分层前向网络：每层只与前层相联接 网络由若干层神经元组成，一般有输入层、中间层（又称隐层，可有一层或多层）和输出层，各层顺序连接；且信息严格地按照从输入层进，经过中间层，从输出层出的方向流动。x1 x2 xn y1 y2 yn 25/65 基本原理基本原理网络模型网络模型 反馈前向网络反馈前向网络：输出层上存在一个反馈回路，将信号反馈到输入层。而网络本身还是前向型的。反馈的结果形成封闭环路，具有反馈的单元称为隐单元，其输出称为内部输出。x1 x2 xn y1 y2 yn 26/65 基本原理基本原理网络模型网络模型 互连前向网络互连前向网络：外部看还是一个前向网络，内部有很多自组织网络在层内互连着。同一层内单元的相互连接使它们之间有彼此牵制作用。x1 x2 xn y1 y2 yn 27/65 基本原理基本原理网络模型网络模型 广泛互连网络广泛互连网络：所有计算单元之间都有连接，即网络中任意两个神经元之间都可以或可能是可达的。如：Hopfield网络、波尔茨曼机模型 反馈型局部连接网络反馈型局部连接网络：特例，每个神经元的输出只与其周围的神经元相连，形成反馈网络。28/65 基本原理基本原理 网络分类网络分类 分类 前向型（前馈型）；反馈型；自组织竞争；随机网络 其它 具体来讲，神经网络至少可以实现如下功能：数学上的映射逼近。通过一组映射样本(x1，y1)(x2，y2)，(xn，yn)，网络以自组织方式寻找输入与输出之间的映射关系：yi=f(xi)。数据聚类、压缩。通过自组织方式对所选输入模式聚类。联想记忆。实现模式完善、恢复，相关模式的相互回忆等。优化计算和组合优化问题求解。利用神经网络的渐进稳定态，特别是反馈网络的稳定平衡态，进行优化计算或求解组合优化问题的近似最优解。29/65 模式分类。现有的大多数神经网络模型都有这种分类能力。概率密度函数的估计。根据给定的概率密度函数，通过自组织网络来响应在空间Rn中服从这一概率分布的一组向量样本X1，X2，Xk。30/65 31/65 基本原理基本原理基本属性基本属性 基本属性：非线性：自然界的普遍特性 大脑的智慧就是一种非线性现象 人工神经元处于激活或抑制两种不同的状态，在数学上表现为一种非线性。非局域性：一个神经网络通常由多个神经元广泛连接而成 一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定 通过单元之间的大量连接模拟大脑的非局域性 联想记忆是非局域性的典型例子。32/65 基本原理基本原理 基本属性基本属性 非定常性 人工神经网络具有自适应、自组织、自学习能力 神经网络不但处理的信息有各种各样，而且在处理信息的同时，非线性动力系统本身也在不断变化 经常采用迭代过程描写动力系统的演化过程。非凸性：系统演化的多样性 一个系统的演化方向，在一定条件下，将取决于某个特定的状态函数，如能量函数，它的极值相应于系统比较稳定的状态 非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。33/65 基本原理基本原理优缺点优缺点 评价 优点：并行性；分布存储；容错性；学习能力 缺点：不适合高精度计算；学习问题没有根本解决，慢；目前没有完整的设计方法，经验参数太多。神经网络学习神经网络学习 学习学习(亦称训练亦称训练)是神经网络的最重要特征之一是神经网络的最重要特征之一。神经网络神经网络能够通过学习能够通过学习,改变其内部状态改变其内部状态,使输入使输入输出呈现出某种输出呈现出某种规律性规律性。网络学习一般是利用一组称为网络学习一般是利用一组称为样本样本的数据的数据,作为网络的输作为网络的输入入(和输出和输出),),网络按照一定的训练规则网络按照一定的训练规则(又称学习规则或学又称学习规则或学习算法习算法)自动调节神经元之间的连接强度或拓扑结构自动调节神经元之间的连接强度或拓扑结构,当网当网络的实际输出满足期望的要求络的实际输出满足期望的要求,或者趋于稳定时或者趋于稳定时,