人工神经网络PPT.ppt

人工神经网络人工神经网络 Artificial Neural Networks 概述 1.1 什么是人工神经网络 人工神经网络：是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。简单来说,大脑是由大量神经细胞或神经元组成的。每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。这种神经元网络中各神经元之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。现已明确大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，而大脑处理信息的结果则由神经元的状态表现出来。由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。需要指出，尽管人工神经网络是对大脑结构的模仿，但这种模仿目前还处于极低的水平。按美国神经网络学者Nielsen的定义 人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元具有局部内存，可以完成局部操作，即它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。每个处理单元有一个单一的输出联接，输出信号可以是任何需要的数学模型。人工神经网络与一般计算机的区别 在一般的计算机中，通常有一个中央处理器，它可访问其存储器。该处理器可取一条指令和该指令所需的数据，并执行该指令，最后将计算结果存入指定的存储单元中。任何动作都按照确定的操作程序，以串行方式执行。在人工神经网络中，操作既不是串行的，也不是预先确定的，它根本没有确定的存储器，而是由许多互连的简单处理单元组成。每个处理单元的处理功能只是求其所有输入信号的加权和，当该和值超过某一阈值时，输出呈现兴奋状态（高电平），否则低于阈值时呈现抑制状态（低电平）。人工神经网络并不执行指令序列，它对并行加载的输入信号也按并行方式来处理和响应，结果也不存储在特定的存储单元中。当它达到某种平衡状态后，网络的整个状态就是所求的结果。目前还没有用硬件真正实现的并行处理的人工神经网络，对它的实现还是基于一般计算机的软件模拟，这显然并没有真正发挥出人工神经网络并行快速的特点。人工神经网络的两种操作过程 训练学习 训练时，把要教给神经网络的信息（外部输入）作为网络的输入和要求的输出，使网络按某种规则（称为训练算法）调节各处理单元间的连接权值，直至加上给定输入，网络就能产生给定输出为止。这时，各连接权已调接好，网络的训练就完成了。正常操作（回忆操作）对训练好的网络输入一个信号，它就可以正确回忆出相应输出，得到识别结果。文本（英文）朗读机实例 输入装置是一个阅读窗口，当它沿文本的一行移动时，每次前移一个字母，但每个瞬间输入七个相邻的字母（包括空格和句号）信息。由于英文字母的发音与其前后字母有关，所以训练人工神经网络时，只要求每次七个字母的中间字母发音（靠人工神经网络的输出相应状态驱动一个语音综合发生器）。训练时，将一篇有1024个字的文本一行一行通过阅读窗口，并要求对应每个字母时人工神经网络的输出结点能输出相应音素的状态值。这样通过十遍阅读（训练），可以达到输出可理解的语音。通过50遍阅读（训练），可以达到95%的精确度。训练过程中听上去像小孩学说话一样，由不清楚到清楚。训练完成后，再阅读从未见过的课文，朗读精度仍可达78%，完全可以听懂。人脸识别实例 用10个人的照片，每个人都在不同的角度照5张照片，共有50张照片的输入信息。对人工神经网络进行训练，每个照片信息作为输入时，代表10个人的10个结点中相应的一个结点输出最大，每个人的5张照片都对应着同一个结点的最大输出。经过训练后，再对原来的10个人中的一个从不同角度拍照（尺寸不变），进行识别，结果是他本人对应的结点的输出比其它9个结点的输出都高得多。总结和讨论 传统计算机采用的是串行处理方式，限制了大量信息的快速传输和处理，即使用了多个处理器并行工作，还是会把许多时间浪费在完成串行操作上，而且问题的并行化分解和并行程序的编写也是一个难题。虽然至今开发出的超型计算机，其速度和容量都大得惊人，但仍不能很好地完成诸如小孩可以做到的事情，如认识面孔、学习说话、识别图像等。尽管人工神经网络还是生物大脑的极低水平的模仿，但在图像识别、语音识别、记忆、预测以及优化等方面表现出了良好的智能特性和应用前景，可以完成传统计算机不易实现的智能性工作。1.1.3 人工神经网络的特点 固有的并行结构和并行处理 人工神经网络与人类的大脑类似，不但结构上是并行的，其处理顺序也是并行的和同时的。在同一层内的处理单元都是同时工作的，即神经网络的计算功能分布在多个处理单元上，而传统的计算机通常只有一个处理单元，其处理顺序是串行的。目前的神经网络功能常常用一般计算机的串行工作方式来模拟，所以显得很慢，真正意义上的神经网络将会大大提高处理速度，实现快速处理。知识的分布存储 在神经网络中，知识不是存储在特定的存储单元，而是分布在整个系统中，要存储多个知识就需要很多连接。在计算机中，只要给定一个地址就可以得到一个或一组数据，在神经网络中，要获得存储的知识则采用“联想”的办法，这类似于人类和动物的记忆。1.1.3 人工神经网络的特点 容错性 人类大脑具有很强的容错能力，这正是由于大脑中知识是存储在很多处理单元和它们的连接上的。每天大脑的一些细胞都可能会自动死亡，但这并没有影响人们的记忆和思考能力。人工神经网络可以从不完善的数据和图形进行学习和做出决定 由于知识存在整个系统中，而不是在一个存储单元内，因此一定比例的结点不参与运算，对整个系统的性能不会产生重大影响。神经网络中承受硬件损坏的能力比一般计算机要强得多。1.1.4 人工神经网络的基本原理 人工神经网络(Artificial Neural Networks,or ANN)是对人类大脑系统一阶特性的一种描述。简单的讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能的一种方法。什么是人工智能？人工智能（Artificial Intelligence,or AI）最初是在1956年被引入的，它研究怎样用计算机，模拟人脑从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题，简单的说，人工智能就是让计算机模仿人脑进行工作。联接主义观点：在现代神经科学的研究成果基础上，人们提出了一种观点认为：智能的本质是联接机制。神经网络是一个由大量简单的处理单元，组成的高度复杂的大规模非线性自适应系统。人工智能的代表学派 一、符号主义（或逻辑主义）学派 二、连接主义(或并行分布处理主义）学派 三、进化主义（或行动/响应)学派 典型生物的神经元 生物神经元结构与功能特点 生物神经元在结构上由四部分组成：细胞体（cell body）树突（dendrite）轴突（Axon）突触（synapse）用来完成神经元间信息的接收、传递和处理。人类大脑皮层约有100亿个神经元，60亿突触以及它们的连接体。一、MP模型 MP模型属于一种阈值元件模型，它是提出的最早神经元模型之一。MP模型是大多数神经网络模型的基础。1.2 人工神经网络基本模型 MP模型 感知器模型 自适应线性神经元 图2 不带激活的人工神经元 神经元的数学模型 激活函数（Activation Function）线性函数（Liner Function）非线性斜面函数（Ramp Function）阈值函数（Threshold Function）S型函数（Squaing Function）etc 激活函数：执行对该神经元所获得的网络 输入的变换，也可以称为激励函数、活化 函数：o=f（net）人工神经网络的基本构成 人工神经元模拟生物神经元的人工神经元模拟生物神经元的一阶特性一阶特性。输入：输入：X=（x1，x2，xn）联接权：联接权：W=（w1，w2，wn）T 网络输入：网络输入：net=xiwi 向量形式：向量形式：net=XW x2 w2 f o=f（net）xn wn net=XW x1 w1 2.2.2 激活函数激活函数(Activation Function)1、线性函数（、线性函数（Liner Function）f（net）=k*net+c net o o c 2、非线性斜面函数、非线性斜面函数(Ramp Function)if net f（net）=k*net if|net|0为一常数，被称为饱和值，为该神经元为一常数，被称为饱和值，为该神经元的最大输出。的最大输出。2、非线性斜面函数（、非线性斜面函数（Ramp Function）-net o 3、阈值函数（、阈值函数（Threshold Function）阶跃函数）阶跃函数 if net f（net）=-if net 、均为非负实数均为非负实数，为阈值为阈值 二值形式：二值形式：1 if net f（net）=0 if net 双极形式：双极形式：1 if net f（net）=-1 if net 3、阈值函数（、阈值函数（Threshold Function）阶跃函数）阶跃函数 -o net 0 2.2.4 人工神经网络处理单元 符号函数（sgn()）硬限幅函数的一种 4、S形函数形函数 a+b o(0,c)net a c=a+b/2 3.2 人工神经网络基础 3.2.2 人工神经网络处理单元 Sigmoid函数 S型函数的一种 y=F(s)=1/(1+e-s)3.2 人工神经网络基础 可以把该型函数看作为处理单元定义了一个非线性增益，增益的大小决定于曲线在给定s点的斜率。当s由负无穷增到0时，增益由0增至最大；当s由0增到正无穷时，增益又由最大返回到0。发现，用该函数可使同一网络既能处理小信号，也能处理大信号。该函数的中间高增益区解决了处理小信号的问题；伸向两边的低增益区正好适合于处理大的激励信号；这种现象正像生物神经元在输入电平范围很大的情况下能正常工作一样。人工神经网络处理单元是生物神经元的简单近似，在模仿生物神经网络时，具备了生物神经元的某些特性。至于模仿效果，还需进一步研究，修改模型。人工神经网络处理单元忽略了生物神经元的很多特征。它没有考虑影响系统动态特性的时间延迟，而认为一个输入立即产生一个输出。它没有包括同步机能和神经元的频率调制功能的影响。其它未知的生物神经元的功能和特性。人工神经网络的拓扑结构 虽然单个处理单元可以处理简单的图形检测功能，但更强的识别处理能力是来自多个结点“连成”的网络，即人工神经网络。这里的“连成”，是靠输入至结点或者结点至结点间的信号传输通路实现的，这一通路相当于生物神经系统中的轴突和突触，它们影响着输入信号。以后我们把这种信号传输通路称为“连接”，每一个连接都具有一个加权值，称为“连接权”，反映连接的强度。单层网络 最简单的网络是把一组结点形成一层。左边的黑色圆点只起着分配输入信号的作用，没有计算作用，不看作是网络的一层。右边用圆圈表示的一组结点被看作一层。输入信号表示为行向量：x=(x1,x2,xN)，其中每一分量通过加权连接到各结点。每一个结点均可产生一个加权和。输入和结点间采用全连接，并且都是前馈连接。实际的人工神经网络和生物神经网络中有些连接可能不存在。在这种单层网络中，可把各加权表示为加权矩阵W。矩阵的维数是N x n，N是输入信号向量（也称输入图形）的分量数，n是该层内的结点数。由第三个输入连接到第二个结点的连接权表示为W32。单层网络 输入信号的加权和表示为：s是各结点加权