人工神经元网络控制论网络模型精选PPT.ppt

《人工神经元网络控制论网络模型精选PPT.ppt》由会员分享，可在线阅读，更多相关《人工神经元网络控制论网络模型精选PPT.ppt（102页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、人工神经元网络控制论网络模型人工神经元网络控制论网络模型1第1页，此课件共102页哦4.1 引言4.2 前向神经网络模型4.6 神经网络控制基础4.7 非线性动态系统的神经网络辨识4.8 神经网络控制的学习机制4.9 神经网络控制器的设计4.3 动态神经网络模型 4.10 单一神经元控制法目录目录2第2页，此课件共102页哦4.1 引言引言v人工神经网络就是模拟人脑细胞的分布式工作人工神经网络就是模拟人脑细胞的分布式工作特点和自组织功能，且能实现并行处理、自学特点和自组织功能，且能实现并行处理、自学习和非线性映射等能力的一种系统模型。习和非线性映射等能力的一种系统模型。3第3页，此课件共102

2、页哦发展历史发展历史v1943年，心理学家年，心理学家McCmloch和数学家和数学家Pitts合作提出形合作提出形式神经元数学模型式神经元数学模型(MP)，揭开了神经科学理论的新时代。，揭开了神经科学理论的新时代。v1944年年Hebb提出了改变神经元连接强度的提出了改变神经元连接强度的Hebb规则。规则。v1957年年Rosenblatt首次引进了感知器概念（首次引进了感知器概念（Perceptron)。v1976年，年，Grossberg提出了自适应共振理论。提出了自适应共振理论。v1982年，美国加州工学院物理学家年，美国加州工学院物理学家Hopfield提出了提出了HNN模型，模型，

3、他引入了他引入了“计算能量函数计算能量函数”的概念，给出了网络的稳定性判据。的概念，给出了网络的稳定性判据。v1986年，年，Rumelhart等等PDP研究小组提出了多层前向传研究小组提出了多层前向传播网络的播网络的BP学习算法。学习算法。4第4页，此课件共102页哦主要内容主要内容5第5页，此课件共102页哦4.1 引言引言4.1.1 神经元模型4.1.2 神经网络的模型分类4.1.3 神经网络的学习算法 4.1.4 神经网络的泛化能力 6第6页，此课件共102页哦4.1.1 神经元模型神经元模型 v神经元模型是生物神经元的抽象和模拟。可看作多神经元模型是生物神经元的抽象和模拟。可看作多输

4、入输入/单输出的非线性器件单输出的非线性器件。ui 神经元的内部状态，i 阀值，xi 输入信号，j=1,2,n;wij 表示从单元uj 到单元ui 的连接权值;si外部输入信号7第7页，此课件共102页哦数学模型数学模型v通常直接假设通常直接假设yi=f(Neti)vf为激励函数为激励函数，有，有4种类型。种类型。8第8页，此课件共102页哦激励函数类型激励函数类型1v阈值型阈值型 9第9页，此课件共102页哦激励函数类型激励函数类型2v分段线性型分段线性型 10第10页，此课件共102页哦激励函数类型激励函数类型3v Sigmoid 函数型函数型11第11页，此课件共102页哦激励函数类型激

5、励函数类型4v Tan函数型函数型 12第12页，此课件共102页哦4.1 引言引言4.1.1 神经元模型4.1.2 神经网络的模型分类4.1.3 神经网络的学习算法 4.1.4 神经网络的泛化能力 13第13页，此课件共102页哦4.1.2 神经网络的模型分类神经网络的模型分类123414第14页，此课件共102页哦网络结构图网络结构图15第15页，此课件共102页哦4.1 引言引言4.1.1 神经元模型4.1.2 神经网络的模型分类4.1.3 神经网络的学习算法 4.1.4 神经网络的泛化能力 16第16页，此课件共102页哦4.1.3 神经网络的学习算法神经网络的学习算法 ab17第17

6、页，此课件共102页哦学习规则学习规则18第18页，此课件共102页哦相关学习相关学习v仅仅根据连接间的激活水平改变权系数。它常用仅仅根据连接间的激活水平改变权系数。它常用于自联想网络于自联想网络。v最常见的学习算法是最常见的学习算法是Hebb规则。规则。v表示学习步长表示学习步长19第19页，此课件共102页哦纠错学习纠错学习v有导师学习方法有导师学习方法，依赖关于输出节点的外部反，依赖关于输出节点的外部反馈改变权系数。它常用于感知器网络、多层前馈改变权系数。它常用于感知器网络、多层前向传播网络和向传播网络和Boltzmann机网络。其学习的方机网络。其学习的方法是梯度下降法。法是梯度下降法

7、。v最常见的学习算法有最常见的学习算法有规则、模拟退火学习规则。规则、模拟退火学习规则。20第20页，此课件共102页哦无导师学习无导师学习v学习表现为自适应实现输入空间的检测规则。学习表现为自适应实现输入空间的检测规则。它常用于它常用于ART、Kohonen自组织网络。自组织网络。v在这类学习规则中在这类学习规则中,关键不在于实际节点的输出关键不在于实际节点的输出怎样与外部的期望输出相一致，而在于调整参怎样与外部的期望输出相一致，而在于调整参数以反映观察事件的分布。数以反映观察事件的分布。v例如例如Winner-Take-All 学习规则学习规则。21第21页，此课件共102页哦4.1 引言

8、引言4.1.1 神经元模型4.1.2 神经网络的模型分类4.1.3 神经网络的学习算法 4.1.4 神经网络的泛化能力 22第22页，此课件共102页哦4.1.4 神经网络的泛化能力神经网络的泛化能力 v当输入矢量与样本输入矢量存在差异时，其神当输入矢量与样本输入矢量存在差异时，其神经网络的输出同样能够准确地呈现出应有的输经网络的输出同样能够准确地呈现出应有的输出。这种能力就称为神经网络的泛化能力。出。这种能力就称为神经网络的泛化能力。v在有导师指导下的学习中，泛化能力可以定义为训在有导师指导下的学习中，泛化能力可以定义为训练误差和测试误差之差。练误差和测试误差之差。v与输入矢量的个数、网络的

9、节点数和权值与训与输入矢量的个数、网络的节点数和权值与训练样本集数目之间存在密切的关系。练样本集数目之间存在密切的关系。23第23页，此课件共102页哦4.1 引言4.2 前向神经网络模型4.6 神经网络控制基础4.7 非线性动态系统的神经网络辨识4.8 神经网络控制的学习机制4.9 神经网络控制器的设计4.3 动态神经网络模型 4.10 单一神经元控制法目录目录24第24页，此课件共102页哦4.2 前向神经网络模型前向神经网络模型4.2.1 网络结构 4.2.2 多层传播网络的BP学习算法4.2.3 快速的BP改进算法25第25页，此课件共102页哦4.2.1 网络结构网络结构 单一神经元

10、12326第26页，此课件共102页哦单一神经元单一神经元 w0 为阈值，wj 决定第j个输入的突触权系数。27第27页，此课件共102页哦单层神经网络结构单层神经网络结构 x0=128第28页，此课件共102页哦多层神经网络结构多层神经网络结构 v以单隐含层网络为例：以单隐含层网络为例：Oj为隐含层的激励29第29页，此课件共102页哦4.2 前向神经网络模型前向神经网络模型4.2.1 网络结构 4.2.2 多层传播网络的BP学习算法4.2.3 快速的BP改进算法30第30页，此课件共102页哦4.2.2 多层传播网络的多层传播网络的BP学习算法学习算法v基本思想基本思想v单层网络的学习算法

11、单层网络的学习算法v多层前向网络学习算法多层前向网络学习算法31第31页，此课件共102页哦1.有导师学习的基本思想有导师学习的基本思想 v性能指标为性能指标为v（）是一个正定的、可微的凸函数）是一个正定的、可微的凸函数，常取，常取 32第32页，此课件共102页哦2.单层网络的学习算法单层网络的学习算法 v激励函数为线性函数时，可通过最小二乘法来激励函数为线性函数时，可通过最小二乘法来 学学习。习。v激励函数为非线性函数时，可采用激励函数为非线性函数时，可采用Delta规则，规则，即梯度法，有即梯度法，有是学习因子 33第33页，此课件共102页哦4.多层前向网络学习算法多层前向网络学习算法

12、v针对多层前向网络针对多层前向网络v有导师学习有导师学习34第34页，此课件共102页哦网络模型网络模型v第第r1个隐含层：个隐含层：v输出层输出层35第35页，此课件共102页哦v采用梯度法：采用梯度法：v其中：其中：v定义广义误差定义广义误差：v可得：可得：BP学习算法学习算法36第36页，此课件共102页哦反向误差传播反向误差传播v输出层时，有：输出层时，有：v隐含层时，有：隐含层时，有：37第37页，此课件共102页哦例例3-1 v假设对于期望的输入。假设对于期望的输入。网络权系数的初始值见图。网络权系数的初始值见图。v试用试用BP算法训练此网络（本例中只给出一步迭算法训练此网络（本例

13、中只给出一步迭代学习过程）。代学习过程）。v这里，取神经元激励函数：这里，取神经元激励函数：学习步长为学习步长为38第38页，此课件共102页哦图图31539第39页，此课件共102页哦当前输出当前输出40第40页，此课件共102页哦计算广义误差计算广义误差 41第41页，此课件共102页哦连接权系数更新连接权系数更新 42第42页，此课件共102页哦学习流程学习流程43第43页，此课件共102页哦(1)初始化初始化v设置学习因子设置学习因子0。n较大时，收敛快，但易振荡。n较小时，反之。v最大容许误差最大容许误差Emax。用于判断学习是否结束。用于判断学习是否结束。v随机赋网络初始权值。随机

14、赋网络初始权值。一般选择比较小的随机数。一般选择比较小的随机数。44第44页，此课件共102页哦增量型学习累积型学习(2)学习方式学习方式45第45页，此课件共102页哦收敛性收敛性46第46页，此课件共102页哦(3)学习速率学习速率v激励函数，如用激励函数，如用Sigmoid函数，应增大斜率，减少函数，应增大斜率，减少饱和的情况。饱和的情况。v调节学习因子调节学习因子v增加增加Momentum项项 47第47页，此课件共102页哦例例3-2:非线性函数逼近非线性函数逼近v目标函数：目标函数：48第48页，此课件共102页哦学习设置学习设置v采用传统的采用传统的BP学习算法学习算法n激励函数

15、都为Sigmoid函数。n初始权系数阵由（0，1）之间的随机数组成。n学习步长=0.09。v学习样本取学习样本取20点，即：点，即：v校验样本取校验样本取30点，即：点，即：49第49页，此课件共102页哦两种两种MLP模型的学习效果模型的学习效果50第50页，此课件共102页哦4.2 前向神经网络模型前向神经网络模型4.2.1 网络结构 4.2.2 多层传播网络的BP学习算法4.2.3 快速的BP改进算法51第51页，此课件共102页哦1.快速快速BP算法算法vFahlman在在1988年首先提出年首先提出v当问题满足以下条件时：当问题满足以下条件时：n误差表面呈抛物面、极值点附近凹面向上；

16、n某一权系数的梯度变化与其它权系数变化无关。v可采取如下的更新公式可采取如下的更新公式52第52页，此课件共102页哦2.共轭梯度学习算法共轭梯度学习算法v共轭梯度算法是一种经典优化方法共轭梯度算法是一种经典优化方法v共轭梯度学习算法共轭梯度学习算法特点：使用二阶导数信息，但不计算特点：使用二阶导数信息，但不计算Hessian矩阵矩阵53第53页，此课件共102页哦目标函数的二阶近似目标函数的二阶近似v目标函数：目标函数：vTaylor展开展开：v其中：其中：54第54页，此课件共102页哦最佳权系数求取最佳权系数求取v函数取极小值时，最佳权系数可求解函数取极小值时，最佳权系数可求解获得。获得

17、。v由最优化理论可知，解决由最优化理论可知，解决H逆矩阵的计算问题逆矩阵的计算问题方法之一是利用共轭梯度来间接地构成方法之一是利用共轭梯度来间接地构成H的逆的逆矩阵值。矩阵值。55第55页，此课件共102页哦共轭方向共轭方向 v如果如果 diHdjT=0 对于所有的对于所有的 ij,i,j,=1,2,.,n。则称则称d1，d2，.，dn是是H共轭的。共轭的。v可见可见d1，d2，.，dn是线性无关的是线性无关的，因此可作为，因此可作为一组基。一组基。56第56页，此课件共102页哦最优矩阵的间接求解最优矩阵的间接求解v记记W*是极值点的权系数矢量，则有：是极值点的权系数矢量，则有：令令 Wk=

18、Wk-1+kdk，则，则n次迭代后可得次迭代后可得W*。57第57页，此课件共102页哦共轭梯度学习算法共轭梯度学习算法 v注意到注意到v则则58第58页，此课件共102页哦共轭矢量的递推求取共轭矢量的递推求取v定义第一个矢量定义第一个矢量d1为初始点的负梯度矢量，即为初始点的负梯度矢量，即 d1=-g1。v根据根据gTk+1dk=0（线性无关），可得（线性无关），可得dk+1=-gk+1+kdk k=gk+1HdkT/(dkHdkT)v注意到注意到(gk+1-gk)T=H(Wk+1-Wk)T=kHdkT 所以所以 k=gk+1(gk+1-gk)T/dk(gk+1-gk)T k 可通过一维步长

19、最优搜索得到可通过一维步长最优搜索得到59第59页，此课件共102页哦4.1 引言4.2 前向神经网络模型4.6 神经网络控制基础4.7 非线性动态系统的神经网络辨识4.8 神经网络控制的学习机制4.9 神经网络控制器的设计4.3 动态神经网络模型 4.10 单一神经元控制法目录目录60第60页，此课件共102页哦4.3 动态神经网络模型动态神经网络模型 动动态态神神经经网网络络带时滞的多层感知器网络 Hopfield网络 回归神经网络 61第61页，此课件共102页哦4.4.1 带时滞的多层感知器网络带时滞的多层感知器网络有两种实现：有两种实现：n无输出反馈 n有输出反馈 62第62页，此课

20、件共102页哦带时滞的多层感知器网络带时滞的多层感知器网络1 图图3-20 时滞神经网络结构时滞神经网络结构63第63页，此课件共102页哦带时滞的多层感知器网络带时滞的多层感知器网络2 图图3-21 带反馈时滞神经网络结构带反馈时滞神经网络结构64第64页，此课件共102页哦4.4.2 Hopfield神经网络神经网络 v具有相互连接的反馈型神经网络模型具有相互连接的反馈型神经网络模型 v将其定义的将其定义的“能量函数能量函数”概念引入到神经网络研概念引入到神经网络研究中，给出了网络的稳定性判据。究中，给出了网络的稳定性判据。v用模拟电子线路实现了所提出的模型，并成功地用模拟电子线路实现了所

21、提出的模型，并成功地用神经网络方法实现了用神经网络方法实现了4位位A/D转换。转换。65第65页，此课件共102页哦类型类型1266第66页，此课件共102页哦1.二值型的二值型的Hopfield网络网络v全连接单层网络全连接单层网络v神经元模型神经元模型yi取值通常为0和1或-1和1 67第67页，此课件共102页哦例例3-4：状态转移关系：状态转移关系v假设一个假设一个3节点的离散节点的离散Hopfield神经网络，已知网神经网络，已知网络权值与阈值如图络权值与阈值如图3-23(a)所示。所示。v采取随机异步更新策略，求计算状态转移关系。采取随机异步更新策略，求计算状态转移关系。68第68

22、页，此课件共102页哦状态转移图状态转移图69第69页，此课件共102页哦动力学特征：能量井动力学特征：能量井v能量函数能量函数v能量井能量井：能量极小状态（与网络的稳定状态一一对：能量极小状态（与网络的稳定状态一一对应）应）v用途：联想记忆、优化用途：联想记忆、优化70第70页，此课件共102页哦能量井设计能量井设计v能量井的分布是由连接权值决定的。能量井的分布是由连接权值决定的。n一是根据求解问题的要求直接计算出所需要的连接权值。这种方法为静态产生方法，一旦权值确定下来就不再改变；n二是通过提供一种学习机制来训练网络，使其能够自动调整连接权值，产生期望的能量井。这种方法为动态产生方法。71

23、第71页，此课件共102页哦（1）权值的静态设计方法：例）权值的静态设计方法：例3-6 v如下图如下图3节点节点DHNN模型为例要求设计的能量井为模型为例要求设计的能量井为状态状态y1y2y3=010和和111。权值和阈值可在。权值和阈值可在-1,1区间取区间取值，确定网络权值和阈值。值，确定网络权值和阈值。72第72页，此课件共102页哦解解v对于状态对于状态A，当系统处于稳态时，当系统处于稳态时，有有 W12+10 W23+30 W12+W23+20 W23+W13+30 73第73页，此课件共102页哦特解特解v W12=0.5,W13=0.4,W23=0.1,1=-0.7,2=0.2,

24、3=-0.4.v W12=-0.5,W13=0.5,W23=0.4,1=0.1,2=0.2,3=-0.7.v出现了假能量井出现了假能量井100 74第74页，此课件共102页哦（2）基于学习规则的设计方法）基于学习规则的设计方法vHebb学习规则（主要方法）学习规则（主要方法）v学习规则学习规则 75第75页，此课件共102页哦Hebb学习规则学习规则 v原则为：若原则为：若i与与j两个神经元同时处于兴奋状态，则两个神经元同时处于兴奋状态，则它们之间的连接应加强，即：它们之间的连接应加强，即：.76第76页，此课件共102页哦外积规则外积规则 v对于一给定的需记忆的样本向量对于一给定的需记忆的

25、样本向量t1,t2,.,tN,如果如果初始权值为初始权值为0，tk的状态值为的状态值为+1或或-1，则其连接权，则其连接权系数的学习可以利用系数的学习可以利用“外积规则外积规则”，即：，即：v标量形式：标量形式：v活跃值为活跃值为1或或0时时：77第77页，此课件共102页哦2.网络的稳定性网络的稳定性v定理定理3-2：令令S=（W，）代表神经网络，代表神经网络，W为一为一对称矩阵。则有：对称矩阵。则有：n如果S工作在串行模式，W的对角元素非负（包括对角元为0的情况），则网络总是收敛于稳定状态。（即在状态空间没有极限环存在）；n如果S工作在并行模式时，网络总是收敛于稳定状态或Hamming距离

26、小于2的极限环。78第78页，此课件共102页哦证明证明v定义能量函数为：定义能量函数为：v将将E(k)在在Y(k)展开展开Talyor级数，有：级数，有：v其中，其中，79第79页，此课件共102页哦v不失一般性，假设阈值函数不失一般性，假设阈值函数f()为符号函数为符号函数sgn()。则则 其中：其中：80第80页，此课件共102页哦v显然显然 v在串行工作方式下，在串行工作方式下，81第81页，此课件共102页哦例例3-7：v 假设神经元的阈值矢量假设神经元的阈值矢量=0，网络输出只取两，网络输出只取两值值0，1。要求。要求Hopfield网络记忆如下稳定网络记忆如下稳定状态，状态，t1

27、=(1 0 1 0)T。设采取并行更新，并对。设采取并行更新，并对以下三种初始状态下的网络行为作出评价。以下三种初始状态下的网络行为作出评价。ny1（0）=(1 0 0 1)T，ny2（0）=(1 0 0 0)T，ny3（0）=(0 0 0 1)T。82第82页，此课件共102页哦步骤步骤1：权值设计：权值设计v根据根据v得得83第83页，此课件共102页哦步骤步骤2：稳定性分析：稳定性分析v对于对于y1(0)有：有：1,0,0,1T 0,0,0,0T 0,0,0,0T,因此因此 y1=0,0,0,0T,是一个稳定态。是一个稳定态。v对于对于y2(0)有：有：1,0,0,0T 0,0,1,0T

28、 1,0,0,0T,所以初始状态所以初始状态2不属于此不属于此Hopfield网络记忆范围。无法实现联想。网络记忆范围。无法实现联想。v对于对于y3(0)有：有：0,0,0,1T 0,1,0,0T 0,0,0,1T,也不属于此也不属于此Hopfield区的记忆范围。区的记忆范围。84第84页，此课件共102页哦4.应用：联想记忆功能应用：联想记忆功能 v必须具备两个基本条件：必须具备两个基本条件：n能够收敛于稳定状态，利用此稳态来记忆样本信息；n具有回忆能力，能够从某一局部输入信息回忆起与其相关的其它记忆，或者由某一残缺的信息回忆起比较完整的记忆。85第85页，此课件共102页哦举例：数字识别

29、举例：数字识别X=x1,x2,.,xNT、X-1,1N，N=1012=120 86第86页，此课件共102页哦存在的问题存在的问题v假能量井现象假能量井现象v并非任何一组样本经训练都可构成一组稳定的状态。并非任何一组样本经训练都可构成一组稳定的状态。v给定一个偏离样本的初始状态，最终不一定收敛到与给定一个偏离样本的初始状态，最终不一定收敛到与其其Hamming距离最近的标准样本状态。距离最近的标准样本状态。v各样本之间的各样本之间的Hamming距离分布对联想记忆功能的正距离分布对联想记忆功能的正确实现有重要影响。若样本之间相互正交确实现有重要影响。若样本之间相互正交(dH=N/2)效效果最好

30、。反之，若样本特征相近则易出现错误识别。果最好。反之，若样本特征相近则易出现错误识别。v样本数样本数M越小，联想记忆功能出现的错误的可能性越越小，联想记忆功能出现的错误的可能性越小。仿真研究表明，取小。仿真研究表明，取M=0.15N时，联想的正确率较时，联想的正确率较高。高。87第87页，此课件共102页哦4.连续型的连续型的Hopfield网络网络 v与二值型的与二值型的Hopfield网络模型具有相同的拓扑结构网络模型具有相同的拓扑结构 v神经元的状态神经元的状态oj满足满足：v N为网络中神经元的个数；为网络中神经元的个数；v oj 为神经元为神经元j的状态；的状态；v cj 为常数且大

31、于为常数且大于0；v Rj 为正数；为正数；v xj 为外部输入；为外部输入；v yi 为神经元为神经元i的输出，满足的输出，满足 yi=f(oi)。88第88页，此课件共102页哦稳定性稳定性v引入一个能量函数引入一个能量函数E：v定理定理3-3：若：若f-1 为单调递增且连续，为单调递增且连续，,则沿系统轨道有：则沿系统轨道有：且当且仅当且当且仅当 时，时，89第89页，此课件共102页哦证明证明v因为因为v且当且当 时，时，90第90页，此课件共102页哦5.优化问题的应用：优化问题的应用：TSP问题问题v旅行商最优路径问题旅行商最优路径问题(Travelling Salesman Pr

32、oblem,简称简称TSP)91第91页，此课件共102页哦能量函数能量函数v设计如下能量函数：设计如下能量函数：v式中式中 A、B、C、D均为正常数。均为正常数。v第一项表示当且仅当每一城市行只包含一个第一项表示当且仅当每一城市行只包含一个“1”时取极小值时取极小值0；v第二项表示当且仅当每一旅行位置只包含一个第二项表示当且仅当每一旅行位置只包含一个“1”时取极小值时取极小值0；v第三项表示当且仅当置换矩阵中第三项表示当且仅当置换矩阵中“1”之和为之和为n时取极小值时取极小值0；v第四项表示路径长度信息，它随着路径长度的减小而减小。第四项表示路径长度信息，它随着路径长度的减小而减小。92第9

33、2页，此课件共102页哦化作标准型化作标准型vf呈硬限幅特性呈硬限幅特性，则有，则有v其中其中93第93页，此课件共102页哦网络模型网络模型94第94页，此课件共102页哦算例算例vA=B=D=500，C=200，RakCak=1,O0=0.02v微分方程的初值选为：微分方程的初值选为：Oak=O00+Oak 其中：其中：O00为常数项，满足在为常数项，满足在t=0时，时，以利于收敛；以利于收敛；Oak是扰动项，其取值范围为：是扰动项，其取值范围为：-0.1O0 Oak0.1O0 95第95页，此课件共102页哦优化结果优化结果96第96页，此课件共102页哦4.4.3 回归（回归（Recu

34、rrent）神经网络）神经网络 v与与Hopfield神经网络非常相似。神经网络非常相似。v保留了部分前向传播网络的特性又具备部分保留了部分前向传播网络的特性又具备部分Hopfield网络的动态联想记忆能力。网络的动态联想记忆能力。vPineda在在1987年首先将传统的年首先将传统的BP学习算法引入学习算法引入到回归神经网络中来，并提出回归反向传播算到回归神经网络中来，并提出回归反向传播算法。法。97第97页，此课件共102页哦离散型回归神经网络离散型回归神经网络(DTRNN)v神经元模型：神经元模型：v其中：其中：N是神经网络的输出节点数，M是输入矢量X的维数 98第98页，此课件共102页哦网络结构网络结构99第99页，此课件共102页哦学习方法学习方法1v展成多层前向网络展成多层前向网络100第100页，此课件共102页哦学习方法学习方法2v迭代学习算法迭代学习算法 梯度下降法实现梯度下降法实现101第101页，此课件共102页哦流程流程v权系数矩阵权系数矩阵W初始化初始化,置置k=1;v取下一组训练样本集，置取下一组训练样本集，置 所有状态为零，所有所有状态为零，所有 v迭代：迭代：102第102页，此课件共102页哦