神经网络3学习.pptx

《神经网络3学习.pptx》由会员分享，可在线阅读，更多相关《神经网络3学习.pptx（57页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、一、引例一、引例 1981年生物学家格若根（W Grogan）和维什（WWirth）发现了两类蚊子(或飞蠓midges)他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼长 触角长 类别1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af第1

2、页/共57页问：如果抓到三只新的蚊子，它们的触角长和翼长分别为(l.24,1.80);(l.28，1.84)；（1.40，2.04）问它们应分别属于哪一个种类？解法一：把翼长作纵坐标，触角长作横坐标；那么每个蚊子的翼长和触角决定了坐标平面的一个点.其中 6个蚊子属于 APf类；用黑点“”表示；9个蚊子属 Af类；用小圆圈“。”表示得到的结果见图1 图1飞蠓的触角长和翼长 一、引例一、引例 第2页/共57页思路：作一直线将两类飞蠓分开 例如；取A（1.44，2.10）和 B(1.10，1.16)，过A B两点作一条直线：y 1.47x -0.017其中X表示触角长；y表示翼长 分类规则：设一个蚊

3、子的数据为（x,y）如果y1.47x -0.017，则判断蚊子属Apf类；如果y1.47x -0.017；则判断蚊子属Af类 一、引例一、引例 第3页/共57页分类结果：(1.24，1.80)，(1.28，1.84)属于Af类；(1.40，2.04）属于 Apf类图2 分类直线图 一、引例一、引例 第4页/共57页缺陷：根据什么原则确定分类直线？若取A=(1.46,2.10),B=(1.1,1.6)不变，则分类直线变为 y=1.39x+0.071分类结果变为：(1.24,1.80)，(1.40,2.04)属于Apf类；(1.28,1.84)属于Af类 哪一分类直线才是正确的呢？因此如何来确定这

4、个判别直线是一个值得研究的问题一般地讲，应该充分利用已知的数据信息来确定判别直线一、引例一、引例 第5页/共57页再如，如下的情形已经不能用分类直线的办法：新思路：将问题看作一个系统，飞蠓的数据作为输入，飞蠓的类型作为输出，研究输入与输出的关系。一、引例一、引例 第6页/共57页二、人工神经网络的生物学基础二、人工神经网络的生物学基础人类大脑大约包含有1.41011个神经元，每个神经元与大约103105个其它神经元相连接，构成一个极为庞大而复杂的网络，即生物神经网络。第7页/共57页二、人工神经网络的生物学基础二、人工神经网络的生物学基础 神经生理学和神经解剖学的研究结果表明，神经元是脑组织的

5、基本单元，是神经系统结构与功能的单位。第8页/共57页二、人工神经网络的生物学基础二、人工神经网络的生物学基础生物神经元在结构上由：细胞体(Cell body)树突(Dendrite)轴突(Axon)突触(Synapse)四部分组成。用来完成神经元间信息的接收、传递和处理。第9页/共57页二、人工神经网络的生物学基础二、人工神经网络的生物学基础生物神经元的信息处理机理 神经元间信息的产生、传递和处理是一种电化学活动。信息的传递与接收第10页/共57页二、人工神经网络的生物学基础二、人工神经网络的生物学基础信息的整合空间整合：同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变

6、化的代数和。时间整合：各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积。第11页/共57页二、人工神经网络的生物学基础二、人工神经网络的生物学基础信息输入信息传播与处理信息传播与处理（整合）信息传播与处理结果：兴奋与抑制信息输出第12页/共57页二、人工神经网络的生物学基础二、人工神经网络的生物学基础 突触是神经元之间相互连接的接口部分，即一个神经元的神经末梢与另一个神经元的树突相接触的交界面，位于神经元的神经末梢尾端。突触是轴突的终端。神经元的功能特性神经元的功能特性 （1）时空整合功能。（2）神经元的动态极化性。（3）兴奋与抑制状态。（4）结构的可塑性。（5）脉冲与

7、电位信号的转换。（6）突触延期和不应期。（7）学习、遗忘和疲劳。第13页/共57页二、人工神经网络的生物学基础二、人工神经网络的生物学基础生物神经网络 由多个生物神经元以确定方式和拓扑结构相互连接即形成生物神经网络。生物神经网络的功能不是单个神经元信息处理功能的简单叠加。神经元之间的突触连接方式和连接强度不同并且具有可塑性，这使神经网络在宏观呈现出千变万化的复杂的信息处理能力。第14页/共57页 人工神经网络是集脑科学、神经心理学和信息科学等多学科的交叉研究领域，是近年来高科技领域的一个研究热点。它的研究目标是通过研究人脑的组成机理和思维方式，探索人类智能的奥秘，进而通过模拟人脑的结构和工作模

8、式，使机器具有类似人类的智能。它已在模式识别、机器学习、专家系统等多个方面得到应用，成为人工智能研究中的活跃领域。三、人工神经网络概述三、人工神经网络概述人工神经元 模拟 生物神经元人工神经网络 模拟 生物神经网络第15页/共57页人工神经网络研究的兴起与发展人工神经网络研究的兴起与发展人工神经网络的研究经历了不少的曲折，大体上可分为四个阶段:产生时期(20世纪50年代中期之前)高潮时期(20世纪50年代中期到20世纪60年代末期)低潮时期(20世纪60年代末到20世纪80年代初期)蓬勃发展时期(20世纪80年代以后)第16页/共57页神经网络的作用神经网络的作用（1 1）蚂蚁群 一个蚂蚁有5

9、0个神经元，单独的一个蚂蚁不能做太多的事；甚至于不能很好活下去但是一窝蚂蚁；设有 10万个体，那么这个群体相当于500万个神经元（当然不是简单相加，这里只为说明方便而言）；那么它们可以觅食、搬家、围攻敌人等等（2）网络说话 人们把一本教科书用网络把它读出来（当然需要通过光电，电声的信号转换）；开始网络说的话像婴儿学语那样发出“巴、巴、巴”的声响；但经过BP算法长时间的训练竟能正确读出英语课本中 90的词汇从此用神经网络来识别语言和图象形成一个新的热潮。第17页/共57页神经元的人工模型神经元的人工模型人工神经网络的组成与结构人工神经网络的组成与结构人工神经网络的组成 人工神经网络（简称ANN）

10、是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单元我们把它称作人工神经元。人工神经网络（ANN）可看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在此有向图中，人工神经元就是对生物神经元的模拟，而有向弧则是轴突突触树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。第18页/共57页神经元的人工模型神经元的人工模型第19页/共57页人工神经元的工作过程人工神经元的工作过程 对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元）i的信息为Xi，它们与本处理单元的互相作用强度即连接权值为Wi,i=0,1,n-1,。那么本处

11、理单元（神经元）的输入为而处理单元的输出为式中，xi为第i个元素的输入，wi为第i个处理单元与本处理单元的互联权重。f称为激发函数或传递函数，它决定节点（神经元）的输出。神经元的人工模型神经元的人工模型第20页/共57页神经元的传递函数(1)阈值型传递函数 1 x0f(x)=0 x0 阈值型函数又称阶跃函数，它表示激活值和其输出f()之间的关系。阈值型函数为激发函数的神经元是一种最简单的人工神经元。第21页/共57页神经元的传递函数(2)S型传递函数 S型函数是一个有最大输出值的非线性函数，其输出值是在某个范围内连续取值的。以它为传递函数的神经元也具有饱和特性。第22页/共57页神经元的传递函

12、数(3)分段线性转移函数 0 x0f(x)=cx 0 0 xxc 1 xc x 线性分段函数可以看作是一种最简单的非线性函数，它的特点是将函数的值域限制在一定的范围内，其输入、输出之间在一定范围内满足线性关系，一直延续到输出为最大域值为止。但当达到最大值后，输出就不再增大。第23页/共57页(4)概率型转移函数温度参数神经元的传递函数第24页/共57页人工神经元信息处理单元人工神经元信息处理单元第25页/共57页人工神经元信息处理单元人工神经元信息处理单元信息输入信息输入第26页/共57页人工神经元信息处理单元人工神经元信息处理单元信息传播与处理：加权求和信息传播与处理：加权求和第27页/共5

13、7页人工神经元信息处理单元人工神经元信息处理单元信息传播信息传播第28页/共57页人工神经元信息处理单元人工神经元信息处理单元信息传播与处理：非线性信息传播与处理：非线性第29页/共57页人工神经元信息处理单元人工神经元信息处理单元信息输出信息输出第30页/共57页人工神经网络的分类人工神经网络的分类 按性能分：连续型和离散型网络，或确定型和随机型网络。按拓扑结构分：有反馈网络和无反馈网络。按学习方法分：有教师的学习网络和无教师的学习网络。按连接突触性质分：一阶线性关联网络和高阶非线性关联网络。第31页/共57页人工神经网络的基本特点人工神经网络的基本特点（1）可处理非线性（2）并行结构对神经

14、网络中的每一个神经元来说；其运算都是同样的这样的结构最便于计算机并行处理（3）具有学习和记忆能力一个神经网络可以通过训练学习判别事物；学习某一种规律或规则神经网络可以用于联想记忆（4）对数据的可容性大在神经网络中可以同时使用量化数据和质量数据（如好、中、差、及格、不及格等）（5）神经网络可以用大规模集成电路来实现如美国用 256个神经元组成的神经网络组成硬件用于识别手写体的邮政编码 (6)容错特性。第32页/共57页网络拓扑结构类型 层次型结构层次型结构单纯层次型结构人工神经网络模型人工神经网络模型第33页/共57页网络拓扑结构类型 层次型结构层次型结构输出层到输入层有连接人工神经网络模型人工

15、神经网络模型第34页/共57页网络拓扑结构类型 层次型结构层次型结构层内有连接层次型结构人工神经网络模型人工神经网络模型第35页/共57页网络拓扑结构类型 互连型结构互连型结构全互连型结构人工神经网络模型人工神经网络模型第36页/共57页网络拓扑结构类型 互连型结构互连型结构局部互连型网络结构人工神经网络模型人工神经网络模型第37页/共57页网络信息流向类型前馈型网络人工神经网络模型人工神经网络模型第38页/共57页网络信息流向类型反馈型网络人工神经网络模型人工神经网络模型第39页/共57页神经网络学习 神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地

16、接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。第40页/共57页 神经网络的学习类型：神经网络学习神经网络学习有导师学习(有监督学习)无导师学习(无监督学习)死记式学习第41页/共57页神经网络学习神经网络学习第42页/共57页反向传播模型及其网络结构反向传播模型及其网络结构反向传播模型也称B-P模型，是一种用于前向多层的反向传播学习算法。之所以称它是一种学习方法，是因为用它可以对组成前向多层网络的各人工神经元之间的连接权值进行不断的修改，从而使该前向多层网络能够将输入它的信息变换成所期望的输出信息。之所以将其称作为反向学习算法，是因为在修改各人工神经元的连接权

17、值时，所依据的是该网络的实际输出与其期望的输出之差，将这一差值反向一层一层的向回传播，来决定连接权值的修改。四、反向传播模型及其学习算法四、反向传播模型及其学习算法第43页/共57页B-P算法的网络结构是一个前向多层网络，如图所示。四、反向传播模型及其学习算法四、反向传播模型及其学习算法第44页/共57页第45页/共57页反向传播网络的学习算法反向传播网络的学习算法B-P算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能得到所期望的输出。学习过程由正向传播和反向传播组成。正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果。反向传播用于逐层传递

18、误差，修改神经元间的连接权值，以使网络对输入信息经过计算后所得到的输出能达到期望的误差要求。四、反向传播模型及其学习算法四、反向传播模型及其学习算法第46页/共57页B-P算法的学习过程如下：（1）选择一组训练样例，每一个样例由输入信息和期望的输出结果两部分组成。（2）从训练样例集中取一样例，把输入信息输入到网络中。（3）分别计算经神经元处理后的各层节点的输出。（4）计算网络的实际输出和期望输出的误差。（5）从输出层反向计算到第一个隐层，并按照某种能使误差向减小方向发展的原则，调整网络中各神经元的连接权值。（6）对训练样例集中的每一个样例重复（3）（5）的步骤，直到对整个训练样例集的误差达到要

19、求时为止。四、反向传播模型及其学习算法四、反向传播模型及其学习算法第47页/共57页 在以上的学习过程中，第（5）步是最重要的，如何确定一种调整连接权值的原则，使误差沿着减小的方向发展，是B-P学习算法必须解决的问题。四、反向传播模型及其学习算法四、反向传播模型及其学习算法第48页/共57页B-P算法的优缺点：优点：理论基础牢固，推导过程严谨，物理概念清晰，通用性好等。所以，它是目前用来训练前向多层网络较好的算法。缺点：（1）该学习算法的收敛速度慢；（2）网络中隐节点个数的选取尚无理论上的指导；（3）从数学角度看，B-P算法是一种梯度最速下降法，这就可能出现局部极小的问题。当出现局部极小时，从

20、表面上看，误差符合要求，但这时所得到的解并不一定是问题的真正解。所以B-P算法是不完备的。四、反向传播模型及其学习算法四、反向传播模型及其学习算法第49页/共57页简单网络的简单网络的B-P算法算法第50页/共57页误差反向传播误差反向传播误差反向传播是网络学习时联结权调整的计算过程，神经元的误差值和联结权的修正量的计算从输出层开始，通过网络反向传播到输入层为止。对于输出层的神经元j，其误差为tj神经元的目标值，aj为神经元j的实际输出值；f(x)为S形函数的导数，Sj为神经元j之输入的加权和。第51页/共57页对于隐层的神经元j，其误差为误差反向传播误差反向传播第52页/共57页误差反向传播

21、误差反向传播联结权可用神经元的误差来调整，即一个联结权可利用通过该联结获得输入信号的神经元的误差来调整。第53页/共57页五、应用举例五、应用举例1问题描述 在金属成形过程设计中，需要知道施于工件与模具之间的润滑剂的摩擦特性以及工件材料的流动应力，以优化成形过程。金属环锻压实验是测定介面摩擦特性和材料流动应力的最简单的试验方法。用上界法绘制不同摩擦因素条件下的标定曲线族，曲线自变量为环内径减小的百分比（）和环高度缩减的百分比（），应变量是摩擦因素（m）和流动应力（）。第54页/共57页应用举例应用举例1用神经网络测定 训练样本1600个，四层反向传播网络，分别用2、12、12、2个神经元。学习规则用改进的规划。第55页/共57页应用举例应用举例1第56页/共57页感谢您的观看！第57页/共57页