ding-神经网络.ppt

《ding-神经网络.ppt》由会员分享，可在线阅读，更多相关《ding-神经网络.ppt（42页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 人工神经网络（人工神经网络（Artificial Neural Network-ANN）常常简称为神经网络）常常简称为神经网络（NN），是以计算机网络系统模拟生物），是以计算机网络系统模拟生物神经网络的智能计算系统，神经网络的智能计算系统，是对人脑或自是对人脑或自然神经网络的若干基本特性的抽象和模拟。然神经网络的若干基本特性的抽象和模拟。生物神经元的结构与功能特性生物神经元的结构与功能特性 1.1.生物神经元的结构生物神经元的结构 神经细胞是构成神经系统的基本单元，称之为生物神经元称之为生物神经元，简称神经元神经元。神经元主要由三部分构成构成：（1）细胞体;（2）轴突;（3）树突。神经元之间

2、通过突触突触传递信息 生物神经元结构2.2.生物神经元的工作过程生物神经元的工作过程 一个神经元通常有许多突触，其中有些是兴奋性的，有些是抑制性的。如果兴奋性突触活动强度总和超过抑制性突触活动强度总和，并达到一定阈值，就能使该神经元的轴突起始段发生动作电位，产生神经冲动。出现神经冲动时，则该神经元呈现兴奋，反之，则表现为抑制 3.六个基本特征：1）神经元及其联接；2）神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；4）信号可以是起兴奋兴奋作用的，也可以是起抑制作用的；5）一个神经元接受的信号的累积效果决定该神经元的状态；6)每个神经元可以有一个“阈值”。人工

3、神经网络基本知识及模型人工神经网络基本知识及模型人工神经元模型是以大脑神经细胞的活动规律为原理的，反映了大脑神经细胞的某些基本特征，但不是也不可能是人脑细胞的真实再现，从数学的角度而言，它是对人脑细胞的高度抽象和简化的结构模型 1.人工神经网络的组成与结构人工神经网络的组成与结构简单神经元模型相当于一个多输入单输出的非线性阀值元件，X1，X2，Xn表示神经元的n个输入，W1，W2，Wn表示神经元之间的连接强度，称为连接权，称为神经元的激活值，O表示这个神经元的输出，每个神经元有一个阀值，如果神经元输入信号的加权和超过，神经元就处于兴奋状态 典型的具有R维输入的神经元模型五大组成五大组成：1.输

4、入2.网络权值和阈值3.求和单元4.传递函数5.输出神经元模型的缩略形式黑色矩形块代表神经元的输入矢量，R为输入矢量的维数；+代表加权求和运算单元；f为传递函数运算单元。该图描述了神经元的结构特性及其对输入信号的处理过程 大量简单神经元的相互连结即构成了神经网络典型的具有R维输入、S个神经元的单层神经网络模型在单层神经网络基础上可以构造多层神经网络典型的三层神经网络模型神经网络的输出为2.人工神经网络的基本特征人工神经网络的基本特征(1)结构特征并行处理、分步式存储与容错性(2)能力特征自学习、自组织与自适应性 自适应性自适应性是指一个系统能改变自身的性能以适应环境变化的能力，神经网络的自学习

5、自学习是指当外界环境发生变化时，经过一段时间的训练或 感知，神经网络能通过自动调整网络结构参数，使得对于结定输入能产 生期望的输出，训练是神经网络学刁的途径，因此经常将学习与训练两 个词混用。神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐 构建起神经网络，这一构建过程称为网络的自组织自组织(或称重构)。3.神经网络的基本功能神经网络的基本功能联想记忆联想记忆非线性映射非线性映射许多系统的输入与输出之间存在复杂的非线性关系，设计合理的神经网络通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性映射。神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型

6、分类与识别分类与识别对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。客观世界中许多事物在样本空间上的区域分割曲面是十分复杂的，神经网络可以很好地解决对非线性曲面的逼近，因此具有很好的分类与识别能力优化计算优化计算知识处理知识处理4.4.人工神经网络的分类人工神经网络的分类 神经网络的基本概念及组成特性常见的两种分类方法是，按网络连接的拓扑结构分类和按网络内部的信息流向分类1.按网络拓扑结构类型网络拓扑结构类型(神经元之间的连接方式)分类层次型结构层次型结构：将神经元按功能分成若干层，如输入层、中间层(也称为隐层)和输出层，各层顺序相连互连型网络结构互连型

7、网络结构：任意两个节点之间都可能存在连接路径层次型结构层次型结构有3种典型的结合方式结合方式单单纯纯层层次次型型网网络络结结构构输输出出层层到到输输入入层层有有连连接接的的层层次次型型网网络络结结构构层层内内有有互互连连的的层层次次型型网网络络结结构构根据网络中节点的互连程度将互连型互连型网络结构网络结构细分为3种情况。全互连型：全互连型：网络中的每个节点均与所有其他节点连接局部互连型：局部互连型：网络中的每个节点只与其邻近的节点有连接稀疏连接型：稀疏连接型：网络中的节点只与少数相距较远的节点相连1.按网络信息流向类型网络信息流向类型(神经网络内部信息传递方向)分类:上面介绍的分类方法、结构形

8、式和信息流向只是对目前常见的网络结构的概括和抽象。实际应用的神经网络可能同时兼有其中一种或几种形式前馈型网络前馈型网络:网络信息处理的方向是从输入层到各隐层再到 输出层逐层进行反馈型网络反馈型网络5.人工神经网络的转移函数人工神经网络的转移函数神经网络的各种不同数学模型的主要区别在于采用了不同的转移函数转移函数，从而使神经网络具有不同的信息处理特性。神经元的转移函数反映了神经元输出与其激活状态之间的关系最常用的转移函数有以下4种形式：阈值函数阈值函数又称阶跃函数，这是神经元模型中最简单的一种。线性函数线性函数，其输入与输出之间足简单的纯比例关系。S型函数型函数是一个有最大输出值的非线性函数，其

9、输出值是在某个范围内连续取值的。以它为激发函数的神经元也具有饱和特性。双曲正切型函数双曲正切型函数实际只是一种特殊的S型函数，其饱和值是1和1。几种典型的神经元传传递递函函数数形式6.神经网络的学习与训练神经网络的学习与训练学习特性是神经网络的基本特性基本特性学习学习可定义为：根据与环境的相互作用而发生的行为改变，其结果导致对外界刺激产生反应的新模式的建立学习过程离不开训练，学习过程就是一种经过训练而使个体在行为上产生较为持久改变的过程学习效果随着训练量的增加而提高，这就是学习的进步人工神经网络的功能特性由其连接的拓扑结构和突触连接强度，即连接权值决定神经网络能够通过对样本的学习训练，不断改变

10、网络的连接权值以及拓扑结构，以使网络的输出个断地接近期望的输出，这一过程称为神经网络的学习或训练神经网络的学习或训练，其本质本质是对可变权值的动态调整神经网络的学习方式神经网络的学习方式是决定神经网络信息处理性能的要素之一改变权值的规则称为学习规则或学习算法学习规则或学习算法(亦称训练规则或训练算法)神经网络的学习算法归纳为三类：一类是有导师学习有导师学习，二类为无导师学习无导师学习，三类是死记式学习死记式学习有导师学习有导师学习也称为有监督学习，这种学习模式采用的是纠错规则。在学习训练过程中需要不断给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为“教师信号”。将神经网络的实际输出

11、同期望输出进行比较，当网络的输出与期望的教师信号不符时，根据差错的方向和大小按一定的规则调整权值，以便下一次网络的输出更接近期望结果。对于有导师学习，网络在执行仿真工作任务之前必须先经过学习，当网络对于各种结定的输入均能产生所期望的输出时，即认为网络已经在导师的训练下“学会”了训练数据集中包含的知识和规则，可以用来进行仿真工作了。无导师学习无导师学习也称为无监督学习。在学习过程中，需要不断地给网络提供动态输入信息。网络能根据特有的内部结构和学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入信息调整权值，这个过程称为网络的自组织，其结果是使网络能对属于同一类的模式进

12、行自动分类。在这种学习模式中，网络的权值调整不取决于外来教师信号的影响，可以认为网络的学习评价标准隐含于网络的内部。在有导师学习中，提供给神经网络学习的外部指导信息超多，神经网络学会并掌握的知识越多，解决问题的能力也就超强。但是，有时神经网络所解决的问题的先验信息很少，甚至没有，这种情况下无导师学习就显得更有实际意义死记式学习死记式学习是指网络事先设计成能记忆特定的例子，以后当给定有关该例子的输入信息时，例子便被回忆起来。死记式学习中网络的权值一旦设计好了就不再变动，因此其学习是一次性的，而不是一个训练过程 常用学习规则一览表常用学习规则一览表7.人工神经网络的仿真人工神经网络的仿真网络的运行

13、一般分为训练和仿真训练和仿真两个阶段。训练的目的是为了从训练数据中提取隐含的知识和规律，并存储于网络中供仿真工作阶段使用神经网络的仿真过程神经网络的仿真过程实质上是神经网络根据网络输入数据，通过数值计算得出相应网络输出的过程通过仿真，我们可以及时了解当前神经网络的性能从而决定是否对网络进行进一步的训练8.典型的神经网络模型：典型的神经网络模型：感知器、线性神经网络、BP网络、径向基函数网络、竞争学习网络 反馈神经网络等感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络的研究从纯理论探讨引向了从工程上的实现

14、。Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。感知器特别适合于简单的模式分类问题，也可用于基于模式分类的学习控制和多模态控制中 感知器神经网络采用阈值函数作为神经元的传递函数传递函数是感知器神经元的典型特征感知器神经网络的学习规则学习规则函数1earnp是在感知器神经网络学习过程中计算网络权值和阈值修正量最基本的规则函数p为输入矢量，学习误差e为目标矢量t和网络实际输出矢量a之间的差值感知器神经网络的训练感知器神经网络的训练 感知器的训练主要是反复对感知器神经网络进行仿真和学习，最终得到最优的网络阀值和权值 1）确定我们所解决的问题的输入向量P、目

15、标向量t，并确定 各向量的维数，以及网络结构大小、神经元数目。2）初始化：权值向量w和阀值向量b分别赋予1,+1之间的 随机值，并且给出训练的最大次数。3）根据输入向量P、最新权值向量w和阀值向量b，计算网络 输出向量a。4）检查感知器输出向量与目标向量是否一致，或者是否达到 了最大的训练次数，如果是则结束训练，否则转入（5）。5）根据感知器学习规则调查权向量，并返回3）。感知器神经网络应用举例感知器神经网络应用举例 两种蠓虫Af和Apf已由生物学家W.L.Grogan与w.w.Wirth(1981)根据它们触角长度和翼长中以区分。见下表中9Af蠓和6只Apf蠓的数据。根据给出的触角长度和翼长

16、可识别出一只标本是Af还是Apf。1给定一只Af或者Apf族的蒙，你如何正确地区分它属于哪一族？2将你的方法用于触角长和翼中分别为（1.24,1.80）、（1.28,1.84）、(1.40,2.04)的三个标本 Af触重长1.241.361.381.3781.381.401.481.541.56翼 长1.721.741.641.821.901.701.701.822.08Apf触角长1.141.181.201.261.281.30翼 长1.781.961.862.002.001.96输入向量为：p=1.24 1.36 1.38 1.378 1.38 1.40 1.48 1.54 1.56 1.

17、14 1.18 1.20 1.26 1.28 1.30;1.72 1.74 1.64 1.82 1.90 1.70 1.70 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96 目标向量为：t=1 1 1 1 1 1 1 1 1 0 0 0 0 0 0图形显示，目标值1对应的用“+”、目标值0对应的用“o”来表示：plotpv(p，t)为解决该问题，利用函数newp构造输入量在0，2.5之间的感知器神经网络模型：net=newp(0 2.5；0 2.5，1)初始化网络：net=init(net)利用函数adapt调整网络的权值和阀值，直到误差为0时训练结束：net,

18、y,e=adapt(net,p,t)训练结束后可得如左图的分类方式，可见感知器网络将样本正确地分成两类Neural Network Toolbox感知器网络训练结束后，可以利用函数sim进行仿真，解决实际的分类问题：p1=1.24;1.80 a1=sim(net,p1)p2=1.28;1.84 a2=sim(net,p2)p3=1.40;2.04 a3=sim(net,p3)网络仿真结果为：a1=0 a2=0 a3=0 线性神经网络线性神经网络：线性神经网络的主要用途主要用途是线性逼近一个函数表达式，具有联想功能。另外，它还适用于信号处理滤波、预测、模式识别和控制等方面。R维输入的单层(包含S

19、个神经元)线性神经网络模型线性神经网络权值和阐值的学习规则学习规则采用的是基于最小二乘原理的Widrow-Hoff学习算法BP神经网络神经网络：主要用于函数逼近、模式识别、分类以及数据压缩等方面 具有单隐层的BP神经网络模型输入维数为2，隐层含有4个神经元几种典型的快速学习算法学习算法性能的比较径向基函数网络径向基函数网络：模型中采用高斯函数radbas作为径向基神经元的传递函数传递函数；学习算法学习算法常用的有两种：一种是无导师学习，另一种便是有导师学习 竞争学习网络竞争学习网络：Kohoneo学习规则学习规则模块c表示竞争传递传递函数函数，其输出矢量由竞争层各神经元的输出组成，除在竞争中获

20、胜的神经元外，其余神经元的输出都为零。竞争传递函数输入矢量n中的最大元素所对应的神经元是竞争中的获胜者，其输出固定为1E1man反馈网络反馈网络：主要用于信号检测和预测等方面,网络在训练时采用基于误差反向传播算法的学习函数学习函数，如trainlm、trainbfg、trainrp、traingd等模块D表示时延环节HopfieId反馈网络反馈网络：主要用于联想记忆、聚类和优化计算等方面，神经元传递函数传递函数为对称饱和线性函数satlins模块 表示时延环节DTransfer Functions、Training Functions、Learning FunctionsNetwork Use

21、 FunctionsNeural Network ToolboxGraphical Interface Functions 图形用户界面图形用户界面 nntoollAND function 输入向量为：p=0 0 1 1;0 1 0 1目标向量为：t=0 0 0 1 range p epochs=100l蠓虫：输入向量为：p=1.24 1.36 1.38 1.378 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 1.30;1.72 1.74 1.64 1.82 1.90 1.70 1.70 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96 目标向量为：t=1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 range0 2.5;0 2.5 epochs=1000p1=1.24;1.80 a1=sim(net,p1)p2=1.28;1.84 a2=sim(net,p2)p3=1.40;2.04 a3=sim(net,p3)网络仿真结果为：a1=0 a2=0 a3=0 例：感知器神经网络