神经网络基本理论-(2)学习PPT教案.pptx

《神经网络基本理论-(2)学习PPT教案.pptx》由会员分享，可在线阅读，更多相关《神经网络基本理论-(2)学习PPT教案.pptx（78页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 人工神经网络是一个由许多简单的并行工作的人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。连接强度以及各单元的处理方式。 人工神经网络是一种旨在模仿人脑结构及其功能人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统的信息处理系统。 神经网络是由多个非常简单的处理单元彼此按神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。其状态对外部输入信息的动态响应来处理信息

2、的。4.1 人工神经元模型人工神经元模型 联联想想记记忆忆功功能能4.1 人工神经元模型人工神经元模型 4.1 人工神经元模型 非线性映射功能非线性映射功能输输入入样样本本 神神经经网网络络 输输出出样样本本 自自动动提提取取 非非线线性性映映射射规规则则分类与识别功能分类与识别功能 传统分类能力传统分类能力 ANN 分类能力分类能力4.1 人工神经元模型 优化计算功能优化计算功能4.1 人工神经元模型 知识处理功能知识处理功能 问问 题题 解解 答答 知知 识识 分分 布布 式式 表表 示示 由由 同同 一一 知知 识识 获获 取取 、 知知 识识 库库 神神 经经 网网 平平 行行 推推

3、理理 络络 实实 现现 输输 入入 数数 据据 变变 量量 变变 换换 求求 解解 的的 问问 题题 神神 经经 网网 络络 专专 家家 系系 统统 的的 构构 成成4.1 人工神经元模型人工神经元模型 v生物神经元v人工神经元模型4.1 人工神经元模型人工神经元模型 生物神经元：生物神经元：人类大脑大约包含有人类大脑大约包含有1.4 1011个个神经元，神经元，每个神经元与大约每个神经元与大约10103 310105 5个其它神经个其它神经元相连接，构成一个极为庞大而复杂的元相连接，构成一个极为庞大而复杂的网络，即生物神经网络。网络，即生物神经网络。4.1 人工神经元模型人工神经元模型 4.

4、1 人工神经元模型人工神经元模型 神经生理学和神经解剖学的研究神经生理学和神经解剖学的研究结果表明结果表明，神经元，神经元(Neuron)(Neuron)是脑组织是脑组织的基本单元，是人脑信息处理系统的的基本单元，是人脑信息处理系统的最小单元。最小单元。生物神经元的结构生物神经元的结构 生物神经元在结构上由生物神经元在结构上由 细胞体细胞体(Cell body) 树突树突(Dendrite) 轴突轴突(Axon) 突触突触(Synapse) 四部分组成。用来完成神经元间信息的接收、四部分组成。用来完成神经元间信息的接收、传递和处理。传递和处理。4.1 人工神经元模型人工神经元模型 4.1 人工

5、神经元模型人工神经元模型 人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。 n生物神经元模型生物神经元模型生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若代数和超过某个阈值，神经元将产生冲动。 4.1 人工神经元模型 信息的产生信息的产生 神经元间信息的产生、传递和处理是一神经元间信息的产生、传递和处理是一种电化学活动。种电化学活动。神经元状态：膜电位：4.1 人工神经元模型人工神经元模型 4.1 人工神经元模型人工神经元模型 信信

6、息息的的传传递递与与接接收收4.1 人工神经元模型人工神经元模型 空间整合：同一时刻产生的刺激所引起的膜电空间整合：同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变位变化，大致等于各单独刺激引起的膜电位变化的代数和。化的代数和。时间整合：时间整合：各各输入脉冲输入脉冲抵达神经元的时间先后抵达神经元的时间先后不一样。不一样。总的突触后膜电位为一段时间内的累总的突触后膜电位为一段时间内的累积。积。4.1 人工神经元模型人工神经元模型 由多个生物神经元以确定方式和拓扑结构由多个生物神经元以确定方式和拓扑结构 相互连接即形成生物神经网络。相互连接即形成生物神经网络。 生物神经网络

7、的功能不是单个神经元信息生物神经网络的功能不是单个神经元信息 处理功能的简单叠加。处理功能的简单叠加。 神经元之间的突触连接方式和连接强度不神经元之间的突触连接方式和连接强度不 同并且具有可塑性，这使神经网络在宏观同并且具有可塑性，这使神经网络在宏观 呈现出千变万化的复杂的信息处理能力。呈现出千变万化的复杂的信息处理能力。4.1 人工神经元模型人工神经元模型 4.1 人工神经元模型人工神经元模型 x1 x1 w1j o oj j wij o oj j xi xi wnj xn xn (a)多多输输入入单单输输出出 (b)输输入入加加权权 x1 w1j x1 w1j wij o oj j wij

8、 o oj j xI xI f wnj wnj xn xn (c)输输入入加加权权求求和和 (d)输输入入-输输出出函函数数神神经经元元模模型型示示意意图图4.1 人工神经元模型人工神经元模型4.1 人工神经元模型人工神经元模型n人工神经元模型人工神经元模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型x1,xnT为输入向量，为输入向量，y为输出，为输出，f()为激发函数，为激发函数，为阈值。为阈值。 Wi为神经元与其它为神经元与其它神经元的连接强度，也称权值。神经元的连接强度，也称权值。神神经经元元的的数数

9、学学模模型型)()(jn1iijiijjTtxwftoij 输入输出间的突触时延；输入输出间的突触时延； Tj 神经元神经元j的阈值；的阈值； wij 神经元神经元i到到 j 的突触连接系数或称的突触连接系数或称 权重值；权重值； f ()神经元转移函数。神经元转移函数。)()(jn1iiijjTtxwf1to(4-1)(4-2)4.1 人工神经元模型人工神经元模型n1iiijjtxwttne)()(4-3) netnetj j= =W Wj jT TX X (4-4)(4-4) W Wj j=(=(w1 w2 wn) )T T X= X=( (x1 x2 xn) )T T 令令x0=-1，w

10、0=Tj，则有则有-Tj=x0w0神神经经元元的的数数学学模模型型4.1 人工神经元模型人工神经元模型XWTjn0iiijjjjxwnetTtne(4-5) oj=f(netj)=f (W Wj jT TX X) (4-6)(4-6)神神经经元元的的数数学学模模型型4.1 人工神经元模型人工神经元模型4.1 人工神经元模型人工神经元模型常用的激发函数f 的种类 ：1）阈值型函数）阈值型函数0 x00 x1f(x)0 x10 x1f(x)4.1 人工神经元模型人工神经元模型2）饱和型函数）饱和型函数k1x1k1xk1kxk1x1f(x)3）双曲函数）双曲函数arctan(x)f(x) 4.1 人

11、工神经元模型人工神经元模型4）S型函数型函数0,x)exp(11f(x)5）高斯函数）高斯函数)bxexp(f(x)224.2 神经网络的定义和特点神经网络的定义和特点 神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。统。n 定义定义n 特点特点（1）非线性映射逼近能力。非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。任意精度加以逼近。（2）自适应性和自组织性自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接神

12、经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。（3） 并行处理性。并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。处理方式是大规模并行的，可以大大加快对信息处理的速度。（4）分布存储和容错性。分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储

13、多种信息的部分内容。网络的每部分对信息的存储具有等势作用，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。能。（5）便于集成实现和计算模拟。便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合，神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模集成电路实现。特别适合于用大规模集成电路实现。 4.3 神经网络的构成和分类神经网络的构成和分类n 构成构成 l拓扑结构：通常所说的网络结构，主要是指它的

14、联接方式。神经网络从拓拓扑结构：通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构上来说，主要分为层状和网状结构扑结构上来说，主要分为层状和网状结构l激发函数描述每个神经元的输入、输出、权值间的函数关系。激发函数描述每个神经元的输入、输出、权值间的函数关系。l学习方式学习方式l 学习方程（学习算法）：描述权值应该怎样修正。神经网络通过修正这些学习方程（学习算法）：描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，从而调整整个神经网络的输入输出关系。权值来进行学习，从而调整整个神经网络的输入输出关系。 4.3 神经网络的构成和分类神经网络的构成和分类层状结构层状结构：网络由若干

15、层组成，每层中有一定数量的神经元，相邻层中神经网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内神经元不能联接。元单向联接，一般同层内神经元不能联接。前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。每个神经元从前一层接收输入，发送输出给下一层。每个神经元从前一层接收输入，发送输出给下一层。 4.3 神经网络的构成和分类神经网络的构成和分类网状结构：网络中任何两个神经元之间都可能双向联接。反馈网络：从输出层到输入层有反馈，反馈网络：从输出层到输入层有反馈，每一个神经元同时接收外来输

16、入和来自其每一个神经元同时接收外来输入和来自其它神经元的反馈输入，其中包括神经元输它神经元的反馈输入，其中包括神经元输出信号引回自身输入的自环反馈。出信号引回自身输入的自环反馈。 混合型网络：前向网络的同一层神经混合型网络：前向网络的同一层神经元之间有互联的网络。元之间有互联的网络。4.3 神经网络的构成和分类神经网络的构成和分类（2）从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等 （3）从网络的学习方式上划分有导师学习神经网络有导师学习神经网络为神经网络提供样本数据，对网络进行训练，使网络的

17、输入输出关系逼为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼近样本数据的输入输出关系。近样本数据的输入输出关系。无导师学习神经网络无导师学习神经网络不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提取出来。取出来。 3 灌输式学习灌输式学习（4）从学习算法上来划分：）从学习算法上来划分：基于BP算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。4.4多层感知器与多层感知器与BP算法算法感知器感知器(Perceptron)是由美国学者是由美国学者F.Rosenblatt于于1

18、957年提出的，它是一个具有单年提出的，它是一个具有单层计算单元的神经网络，并由线性阈值元件组成。层计算单元的神经网络，并由线性阈值元件组成。l 激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为1，否，否则为则为0或或-1。l它的权系它的权系W可变，这样它就可以学习。可变，这样它就可以学习。 n感知器的结构感知器的结构 o1 oj om W1 Wj Wm x1 x2 xi xnj=1,2, ,m Tni21,.,x,.x,xx)(XTmi21,.,o,.o,oo)(OTnjijj2j1j,.,w,.w,ww)(W(1)

19、感知器模型感知器模型4.4多层感知器与BP算法净输入：净输入：niiijjxwtne1输出：输出：)(sgn)(sgn)sgn()(sgn0XWTjniiijjjjjxwnetTtneo(1)感知器模型感知器模型4.4多层感知器与BP算法设输入向量设输入向量X=(x1 ,x2)T0Txwxw10Txwxw1oj2j21j1j2j21j1j输出：则由方程则由方程 w1jx1+w2jx2-Tj=0 确定了二维平面上的一条分界线。确定了二维平面上的一条分界线。ojx1-1x2(2)感知器的功能感知器的功能4.4多层感知器与BP算法 x1 * * * * O * * O * * O O * O x2

20、* * O O O O(2)感知器的功能感知器的功能w1jx1+w2jx2-Tj=04.4多层感知器与BP算法设输入向量设输入向量X=(x1, x2, x3)T0101332211332211jjjjjjjjjTxwxwxwTxwxwxwo输出：则由方程则由方程 w1jx1+w2jx2+w3j Tj=0 确定了三维空间上的一个分界平面。确定了三维空间上的一个分界平面。 x2ojx1x3-1(2)感知器的功能感知器的功能4.4多层感知器与BP算法 x1 * * * * O * * O * * O O * O x2 * * O O O x3(2)感知器的功能感知器的功能w1jx1+w2jx2+w3

21、j Tj=04.4多层感知器与BP算法设输入向量设输入向量X=(x1，x2,，xn)T则由方程则由方程 w1jx1+w2jx2+wnjxn Tj=0确定了确定了n维空间上的一个分界平面。维空间上的一个分界平面。 净输入：w1jx1+w2jx2+wnj xnTj(2)感知器的功能感知器的功能4.4多层感知器与BP算法 一个最简单的单计算节点感知器具有一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储分类功能。其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分权向量确定的分类判决界面将输入模式分为

22、两类。为两类。(2)感知器的功能感知器的功能3.1.4.1 感知器感知器4.4多层感知器与BP算法问题：能否用感知器实现问题：能否用感知器实现“异或异或”功能？功能？“异或异或”的真值表的真值表x1x2y000011101110 x1 O O x2(3)感知器的局限性感知器的局限性3.1.4.1 感知器感知器4.4多层感知器与BP算法(4)多层感知器多层感知器 o T3 y1 y2 -1 w1 1 w2 1 w2 2 T1 T2 w12 -1 x1 x2 双层感知器双层感知器 x1 S1 O S2 O x2 “异或异或”问题分类问题分类用两计算层感知器解决用两计算层感知器解决“异或异或”问题。

23、问题。“异或异或”的真值表的真值表x1 x2y1 y2 o 0 01 1 00 11 011 00 111 11 1 04.4多层感知器与BP算法 感知器结构 异或问题 复杂问题 判决域形状 判决域 无隐层 半平面 单隐层 凸 域 双隐层 任意复杂 形状域具有不同隐层数的感知器的分类能力对比具有不同隐层数的感知器的分类能力对比4.4多层感知器与BP算法基于基于BP算法的多层前馈网络模型算法的多层前馈网络模型 o1 ok ol W1 Wk Wl y1 y2 yj ym y0=-1 V1 Vm x0=-1 x1 x2 xi xn-1 xn 4.4多层感知器与BP算法输入向量：输入向量： X=(x1

24、,x2,xi,xn)T隐层输出向量：隐层输出向量： Y=(y1,y2,yj,ym)T输出层输出向量：输出层输出向量： O=(o1,o2,ok,ol)T期望输出向量：期望输出向量：d=(d1, d2,dk,dl)T输入层到隐层之间的权值矩阵：输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm)隐层到输出层之间的权值矩阵用：隐层到输出层之间的权值矩阵用：W=(W1,W2,Wk,Wl)基于基于BP算法的多层前馈网络模型算法的多层前馈网络模型4.4多层感知器与BP算法)(kknetfo对于输出层：对于输出层：k=1,2,l (4-14)m0jjjkkywnetk=1,2,l (4-15)对于隐层

25、：对于隐层：j=1,2,m (4-16)j=1,2,m (4-17)(jjnetfyn0iiijjxvnet基于基于BP算法的多层前馈网络模型算法的多层前馈网络模型4.4多层感知器与BP算法单极性单极性Sigmoid函数：函数：xe11xf)(4-18)基于基于BP算法的多层前馈网络模型算法的多层前馈网络模型Sigmoid函数的导函数为：函数的导函数为：)(1)()(xfxfxf(4-19)4.4多层感知器与BP算法输出误差输出误差E定义为：定义为：(4-20)221E)(Od l1k2kkod21)(将以上误差定义式展开至隐层：将以上误差定义式展开至隐层：l1k2kknetfd21E)(l1

26、k2m0jjjkkywfd21)(4-21)BP学习算法的权值调整思路学习算法的权值调整思路4.4多层感知器与BP算法进一步展开至输入层：进一步展开至输入层：l1k2m0jjjkknetfwfd21E)(l1k2m0jn0iiijjkkxvfwfd21)(4-22)BP学习算法的权值调整思路学习算法的权值调整思路4.4多层感知器与BP算法权值调整思路；权值调整思路；jkjkwEwj=0,1,2,m; k=1,2,l (4-23a)ijijvEvi=0,1,2,n; j=1,2,m (4-23b)式中负号表示梯度下降，常数式中负号表示梯度下降，常数(0,1)表示比例系数。表示比例系数。在全部推导

27、过程中，对输出层有在全部推导过程中，对输出层有j=0,1,2,m; k=1,2,l 对隐层有对隐层有 i=0,1,2,n; j=1,2,mBP学习算法的权值调整思路学习算法的权值调整思路4.4多层感知器与BP算法对于输出层，式对于输出层，式(4-23a)可写为可写为jkkkjkjkwnetnetEwEw(4-24a)对于隐层，式对于隐层，式(3-23b)可写为可写为(4-24b)ijjjijijvnetnetEvEv对输出层和隐层各定义一个误差信号，令对输出层和隐层各定义一个误差信号，令 koknetE(4-25a)jyjnetE(4-25b)BP学习算法推导学习算法推导4.4多层感知器与BP

28、算法综合应用式综合应用式(4-15)和和(4-25a)，可将式，可将式 (4-24a)的权值调整的权值调整式改写为式改写为综合应用式综合应用式(4-15)和和(4-25b)，可将式，可将式 (4-24b)的权值调的权值调整式改写为整式改写为(4-26a)jokjkyw（4-26b)iyjijxv可以看出，只要计算出式可以看出，只要计算出式(4-26)中的误差信号中的误差信号 o和和 y，权值调整量的计算推导即可完成。下面继续推导如何权值调整量的计算推导即可完成。下面继续推导如何求求误差信号误差信号 o和和 y 。4.4多层感知器与BP算法对于输出层，对于输出层， o可展开为可展开为对于隐层，对

29、于隐层， y可展开为可展开为下面求式下面求式(4-27)中网络误差对各层输出的偏导。中网络误差对各层输出的偏导。(4-27a)( kkkkkkoknetfoEnetooEnetE（4-27b)( jjjjjjyjnetfyEnetyyEnetE4.4多层感知器与BP算法对于输出层，利用式对于输出层，利用式(4-20)：对于隐层，利用式对于隐层，利用式(4-21)：l1k2kkod21E)(4-28a)(kkkodoE可得：可得：(4-28b)l1kjkkkkjwnetfodyE)()(可得：可得：l1k2m0jjjkkywfd21E)(4.4多层感知器与BP算法将以上结果代入式将以上结果代入式

30、(4-27)，并应用式，并应用式(4-19)：xexf11)()1 ()(kkkkokoood（4-29a)得到：得到：（4-29b)()()(jl1kjkkkkyjnetfwnetfod)1 ()(1jjlkjkok-yyw至此两个误差信号的推导已完成。至此两个误差信号的推导已完成。4.4多层感知器与BP算法三层前馈网的三层前馈网的BP学习算法权值调整计算公式为：学习算法权值调整计算公式为：jkkkkjokjkyooodyw)1 ()( ijjlkjkokiyjijxyywxv)1 ()(1 (4-30a)(4-30b)(3) BP学习算法推导学习算法推导4.4多层感知器与BP算法)(kkn

31、etfom0jjjkkywnet)(jjnetfyn0iiijjxvnetxe11xf)(l1k2kkod21E)(l1k2kknetfd21)(l1k2m0jjjkkywfd21)(l1k2m0jjjkknetfwfd21)(l1k2m0jn0iiijjkkxvfwfd21)(koknetEjkkkjkjkwnetnetEwEwijjjijijvnetnetEvEvjyjnetEjokjkywiyjijxv初始化 V、W、Emin,、q=1，p=1,E=0输入样本，计算各层输出：m21jfyTjj,.,),(XVl21kfoTjk,.,),(YW计算误差： P1pl1k2kkod21E)(计

32、算各层误差信号：l21koo1odkkkk,.,)(okm21jyy1wjjl1kjkokyj,.,)(调整各层权值：m10jl21kjyokjkwjkw,.,.,n10 xm21jxvviyjijij,.,., Y p 增 1,q 增 1 pP？ N N E=0,p=1 EEmin Y 结束BP算法的程序实现算法的程序实现1)初始化；初始化； P1ppP1RMEEE4)计算各层误差信号；计算各层误差信号； 5)调整各层权值；调整各层权值； 6)检查是否对所有样本完成一次检查是否对所有样本完成一次 轮训；轮训； 7)检查网络总误差是否达到精检查网络总误差是否达到精 度要求。度要求。 2)输入训

33、练样本对输入训练样本对X Xp、d dp计算各层输出；计算各层输出；3)计算网络输出误差；计算网络输出误差；4.4多层感知器与BP算法BP算法的程序实现算法的程序实现初始化 V、W计数器 q=1，p=1输入第一对样本计算各层输出计算误差：P1pl1k2kkod21E)( Y p 增 1 pP？ N用 E 计算各层误差信号 调整各层权值 q 增 1 N ErmsEmin E=0,p=1 Y 结束然后根据总误差计算各层的误差然后根据总误差计算各层的误差信号并调整权值。信号并调整权值。P1pl1k2pkpkod21E)(总 另一种方法是在所有样本输另一种方法是在所有样本输入之后，计算网络的总误差：入

34、之后，计算网络的总误差：4.4多层感知器与BP算法(5)标准标准BP算法的改进算法的改进标准的标准的BP算法在应用中暴露出不少内在的缺陷：算法在应用中暴露出不少内在的缺陷： 易形成局部极小而得不到全局最优；易形成局部极小而得不到全局最优； 训练次数多使得学习效率低，收敛速度慢；训练次数多使得学习效率低，收敛速度慢； 隐节点的选取缺乏理论指导；隐节点的选取缺乏理论指导； 训练时学习新样本有遗忘旧样本的趋势。训练时学习新样本有遗忘旧样本的趋势。 针对上述问题，国内外已提出不少有效的改进算法，针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中下面仅介绍其中3种较常用的方法。种较常用的方法。

35、4.4多层感知器与BP算法1) 增加动量项增加动量项)1()(ttWXW为动量系数，一般有为动量系数，一般有( (0 0，1 1) )2) 自适应调节学习率自适应调节学习率 设一初始学习率，若经过一批次权值调整后使设一初始学习率，若经过一批次权值调整后使总误差总误差，则本次调整无效，且，则本次调整无效，且 = = ( (11 )。(5)标准标准BP算法的改进算法的改进4.4多层感知器与BP算法3) 引入陡度因子引入陡度因子 实现这一思路的实现这一思路的具体作法是，在原转具体作法是，在原转移函数中引入一个陡移函数中引入一个陡度因子度因子/11neteo o 1 =1 1 21 net 0(5)标

36、准标准BP算法的改进算法的改进4.4多层感知器与BP算法例例4.1 多层前向多层前向BP网络训练网络训练训练样本训练样本SISO：SampleInput=0 0.1 0.2 0.3 0.4;SampleOutput=4 2 2 2 2;网络结构：网络输入输出关系：网络输入输出关系：)(2iiiizfwy)exp(11)(iiiizzfiiixwz1需训练的量：需训练的量：iiiiww,21训练算法：训练算法：515125122)()(kiikikkkkikizfkewyyJwJwJ51221515111)()exp()()()(kiiiiiiiiiiikiikkkkikixzfzwkewzzz

37、fzfyyJwJwJ51225151)()exp()()()(kiiiiiiiiikiikkkkikizfzzwkezfzfyyJJJ51225151)()exp()()()(kiiiiiiiiiiikiikkkkikizfzwkezzzfzfyyJJJ25151251)()( (2121kykyeJJkkkkk1111iiiwJww2222iiiwJwwiiiJ3iiiJ4训练初始参数：训练初始参数：W1=rand(1,5);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;Lear

38、ningRate3=0.2;LearningRate4=0.2;训练后参数：训练后参数：W1-0.4059 8.5182 -0.5994 -0.1153 -1.1916;W2=0.6245 2.8382 0.6632 0.5783 3.5775;Beta=1.6219 -4.9403 1.6041 1.5145 -0.3858;Theta=1.5832 0.1900 1.5406 1.6665 -0.1441;训练训练1000次目标函数的变化曲线：次目标函数的变化曲线：训练结束后神经网络的输出与样本的拟和情况训练结束后神经网络的输出与样本的拟和情况4.1 人工神经元模型 非线性映射功能非线性映

39、射功能输输入入样样本本 神神经经网网络络 输输出出样样本本 自自动动提提取取 非非线线性性映映射射规规则则分类与识别功能分类与识别功能 传统分类能力传统分类能力 ANN 分类能力分类能力4.1 人工神经元模型 4.1 人工神经元模型人工神经元模型 神经生理学和神经解剖学的研究神经生理学和神经解剖学的研究结果表明结果表明，神经元，神经元(Neuron)(Neuron)是脑组织是脑组织的基本单元，是人脑信息处理系统的的基本单元，是人脑信息处理系统的最小单元。最小单元。 x1 x1 w1j o oj j wij o oj j xi xi wnj xn xn (a)多多输输入入单单输输出出 (b)输输

40、入入加加权权 x1 w1j x1 w1j wij o oj j wij o oj j xI xI f wnj wnj xn xn (c)输输入入加加权权求求和和 (d)输输入入-输输出出函函数数神神经经元元模模型型示示意意图图4.1 人工神经元模型人工神经元模型4.1 人工神经元模型人工神经元模型n人工神经元模型人工神经元模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型x1,xnT为输入向量，为输入向量，y为输出，为输出，f()为激发函数，为激发函数，为阈值。为阈值。 Wi为神经元与其它为神经元与其它神经元

41、的连接强度，也称权值。神经元的连接强度，也称权值。4.3 神经网络的构成和分类神经网络的构成和分类网状结构：网络中任何两个神经元之间都可能双向联接。反馈网络：从输出层到输入层有反馈，反馈网络：从输出层到输入层有反馈，每一个神经元同时接收外来输入和来自其每一个神经元同时接收外来输入和来自其它神经元的反馈输入，其中包括神经元输它神经元的反馈输入，其中包括神经元输出信号引回自身输入的自环反馈。出信号引回自身输入的自环反馈。 混合型网络：前向网络的同一层神经混合型网络：前向网络的同一层神经元之间有互联的网络。元之间有互联的网络。设输入向量设输入向量X=(x1，x2,，xn)T则由方程则由方程 w1jx

42、1+w2jx2+wnjxn Tj=0确定了确定了n维空间上的一个分界平面。维空间上的一个分界平面。 净输入：w1jx1+w2jx2+wnj xnTj(2)感知器的功能感知器的功能4.4多层感知器与BP算法初始化 V、W、Emin,、q=1，p=1,E=0输入样本，计算各层输出：m21jfyTjj,.,),(XVl21kfoTjk,.,),(YW计算误差： P1pl1k2kkod21E)(计算各层误差信号：l21koo1odkkkk,.,)(okm21jyy1wjjl1kjkokyj,.,)(调整各层权值：m10jl21kjyokjkwjkw,.,.,n10 xm21jxvviyjijij,.,., Y p 增 1,q 增 1 pP？ N N E=0,p=1 EEmin Y 结束BP算法的程序实现算法的程序实现1)初始化；初始化； P1ppP1RMEEE4)计算各层误差信号；计算各层误差信号； 5)调整各层权值；调整各层权值； 6)检查是否对所有样本完成一次检查是否对所有样本完成一次 轮训；轮训； 7)检查网络总误差是否达到精检查网络总误差是否达到精 度要求。度要求。 2)输入训练样本对输入训练样本对X Xp、d dp计算各层输出；计算各层输出；3)计算网络输出误差；计算网络输出误差；4.4多层感知器与BP算法