神经网络控制大全ppt课件.ppt
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《神经网络控制大全ppt课件.ppt》由会员分享,可在线阅读,更多相关《神经网络控制大全ppt课件.ppt(67页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用神经网络控制神经网络控制经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用人工神经元网络模型与控制引言前向神经网络模型动态神经网络模型神经网络神经网络PID控制控制小结经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用第一节 引言 模糊控制解决了人类语言的描述和推理问题,为模拟人脑的感知推理等智能行为迈了一大
2、步。但是在数据处理、自学习能力方面还有很大的差距。人工神经网络就是模拟人脑细胞的分布式工作特点和自组织功能实现并行处理、自学习和非线性映射等能力。1943年,心理学家McCmloch和数学家Pitts合作提出里神经元数学模型(MP);1944年,Hebb提出的改变神经元连接强度的Hebb规则;1957年,Rosenblatt引进感知概念;1976年,Grossberg基于生理和心理学的经验,提出了自适应共振理论;1982年,美国加州工学院物理学家Hopfield提出了HNN模型;1986年,Rummelhart等PDF研究小组提出了多层前向传播网络的BP学习算法。研究神经元网络系统主要有三个方
3、面的内容:神经元模型、神经网络结构、神经网络学习方法。从神经元模型来分有:线性处理单元、非线性处理单元;从网络结构来分有:前向网络、反馈网络和自组织网络。经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用神经元网络的特点:1)非线性2)分布处理3)学习并行和自适应4)数据融合5)适用于多变量系统6)便于硬件实现经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用人工神经网络前向网络反馈网络自组织网络CMACMLPHopfieldRNNKo
4、honenARTBoltzman Machine图4-1 神经网络结构分类示意图经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用 人脑大约包含1012个神经元,分成约1000种类型,每个神经元大约与102104个其他神经元相连接,形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单,但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式。同时,如此大量的神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。一、神经元模型一、神经元模型经营者提供商品或者服务有欺诈行为的,
5、应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用 从生物控制论的观点来看,神经元作为控制和信息处理的基本单元,具有下列一些重要的功能与特性:时空整合功能 兴奋与抑制状态 脉冲与电位转换 神经纤维传导速度 突触延时和不应期 学习、遗忘和疲劳 经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用图4-2 神经元结构模型X1X2XnWi1Wi2Win
6、UiyiSi神经元是生物神经系统的基本单元。神经元模型是生物神经元的抽象和模拟。神经元一般是多输入-三输出的非线性器件。经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用图中 为神经元内部状态;为阀值;为输入信号,j=1,2,3,.n;表示从单元 到单元 的连接系数,为外部输入信号。图4-2 神经元结构模型X1X2XnWi1Wi2WinUiyiSi经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用假如,即 ,常用的神经元非线性特性有四种
7、:(1)、阀值型(2)、分段线性型(3)、Sigmoid函数型经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用(4)、Tan函数型二、神经网络的模型分类(1)、神经元层次模型 研究由单个神经元的动态特性和自适应特性;(2)、组合式模型由几种互相补充、互相协作的神经元组成,完成特定的任务;(3)、网络层次模型由众多相同的神经元相互连接而成的网络,研究神经网络的整体性能;(4)、神经系统层次模型一般有多个神经网络构成,以模拟生物神经系统更复杂、更抽象的特性。典型的神经网络有:BP网、Hopfield网络、CMAC小脑
8、模型、ART自适应共振理论、BAM双向联想记忆、SOM自组织网络、Blotzman机网络和Madaline网络等等经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用根据联结方式分:(1)、前向网络神经元分层排列,组成输入层、隐含层和输出层。每层只能够接受前一层神经元的输入。(2)、反馈网络在输入层到输出层存在反馈。(3)、相互结合型网络相互结合网络属于网络结构。任意两个神经元之间可能有连接。(4)、混合型网络层次形型网络和网状结构网络的一种结合。输入输出输入输出(a)(b)(c)(d)经营者提供商品或者服务有欺诈行
9、为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用三、神经网络的学习算法学习的实质就是针对一组给定输入Xp使网络产生相应的期望的输出的过程。网络学习分两大类:1、有导师学习存在一个期望的网络输出。期望输出和实际输出之间的距离作为误差度量并用于调整权值。2、无导师学习没有直接的误差信息,需要建立一个间接的评价函数,以对网络的某种行为进行评价。学习规则根据连接权系数的改变方式分:(1)、相关学习根据连接之间的激活水平改变权系数。(2)、纠错学习依赖关于输出节点的外部反馈改变权系数。(3)、无导师学习学习表现为自动实现输入空间的检测和分类。经营者提供
10、商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用第二节 前向神经网络模型 前向神经网络是由一层或者多层非线性处理单元组成的。相邻层之间通过突触权连接起来。由于前一层的输出作为下一层的输入,因此,称此类网络结构为前向神经网络。一、单一人工神经元1X1X2Xny图4-11 单一人工神经元示意图经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用图4-12 只含二次项的神经元结构示意图经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受
11、到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用二、单层神经网络结构图2-13 单层前向传播网络结构示意图三、多层神经网络结构(a)经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用(b)图4-14 多层前向传播网络结构示意图(a)含一个隐含层前向传播网络结构示意图(b)含L+1个隐含层前向传播网络结构示意图经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用四、多层传播网络学习算法前向传播网络实质上表示的是一种从输入空间输
12、出空间的映射。网络的训练实质上是对突触权阵的调整,以满足当输入为Xp时其输出应为Tp.对于一组给定的权系数,网络对当前输入Xp的响应为:突触权系数的调整是通过对样本p=1,2,3,.,N的误差指标达到极小的方法来实现的。对于N个样本集,性能指标为:对于具有n0个输出的单元网络,每一个期望输出矢量Tp和实际的输出矢量Yp之间的误差函数可以用平方差和来表示,即经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用 一般说,前向神经网络是通过期望输出与实际输出之间的误差平方的极小来进行权阵的学习和训练。通常一个周期一个周期进
13、行训练,一个周期对所有的样本集,完成后下一个周期对此样本集进行重复训练,直到性能指标E满足要求为止。对于多层前向传播网络(b)图4-14 多层前向传播网络结构示意图(b)含L+1个隐含层前向传播网络结构示意图设输入模式Xp,则相应的隐含单元的输出为经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用根据L层网络结构可知,网络输出为:第r+1个隐含层的输入是第r个隐含层的输出,所以:多层前向传播网络的权系数训练算法是利用著名的误差反向传播学系算法得到的BP算法因为:其中定义为广义误差则经营者提供商品或者服务有欺诈行为的
14、,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用要使E安梯度下降,就必须按下式进行权值的调整式中:上标变量表示第r个隐含层,r=1,2,L;为第r-1层第i个单元到第r层的第j单元的连接系数;为学习步长。因为若r=L为输出单元层,则:若 为输出单元层,则:经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用BP学习算法步骤:给定P组样本(X1,T1;X2,T2;,Xp,Tp)。其中Xi为ni维输入矢量,T维n0维期望的输出矢量I=1,2,.,p。假如矢量y和0分别表示网
15、络的输出层和隐含层的输出矢量。则训练过程为:1)、选 ,作为最大容许误差,并将权系数 ,初始化成某小的随机权矩阵。2)、训练开始,计算出各隐含层神经元的激励输出;计算各输出层神经的激励输出:按按经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用3)、计算误差4)、按下式计算广义误差按下式计算广义误差5)、调整权阵系数6)、7)、经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用实际上,对训练过程有较大影响的有:权系数的初值、学习方式、激
16、励函数、学习速率等(1)、权系数的初值 权系数通常初始化成小的初始值,尽可能覆盖整个权阵的空间域,避免出现初始阵系数相同的情况。(2)、学习方式 学习方式不同,训练的效果也不同(3)、激励函数 激励函数的选择对训练有较大的影响。(4)、学习速率 一般来说,学习速率越快,收敛越快,但容易产生震荡;学习速率越小,收敛越慢。BP学习算法本质上是属于一次收敛的学习算法。所以BP算法不可避免存在局部极小问题,且学习速度很慢,在极点附近出现震荡现象,而且不能够平滑趋于最优解。为了减小这种现象,一般采用平滑的权值更新公式,即:经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加
17、赔偿的金额为消费者购买商品的价款或接受服务的费用例3-1 如图3-15所示的多层前向传播神经网络结构。假设对于期望的输入 。网络权系数的初始值见图,试用BP算法训练此网络。这里神经元激励函数为 ,学习步长为图3-15 神经网络结构图x1x211203-2-1o1o2110-21-23y1y2解:1)、输入最大容许逼近误差值 和最大迭代学习次数 设初始迭代学习次数 2)、计算当前输入状态下、当前网络的连接权系数下的神经网络输出。经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用3)、判断神经网络逼近误差要求或者迭代学
18、习到最大容许值否?若上述不等式中有一个满足,则退出学习.否则进入4)。4)、计算广义误差。经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用5)连接权系数更新iterate=iterate+1;继续迭代计算直至满足终止条件为止。经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用例3-2 利用多层前向传播神经网络来逼近非线性函数解:xxyy经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者
19、购买商品的价款或接受服务的费用从图中可以看到,增加隐含层的数目并不一定意味着能够改善逼近精度经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用第三节 动态神经网络模型前向传播网络的特点:1、结构简单、易于编程;2、是一种静态非线性映射,不注重非线性动态性能的研究,缺乏丰富的动力学行为;反馈型神经网络:具有丰富的非线性动力学特性,如稳定性、极限环、奇异吸引子(混沌现象)反馈动力学神经网络系统具有以下特性:1、系统有若干稳定状态,如果从某一初始状态开始运动,系统总可以进入某一稳定状态。(将神经网络稳定状态当作记忆,实际
20、上神经网络由任一初始状态向稳态的演化过程,实质上寻找记忆的过程。稳定是神经网络的一个重要特性,能量函数是判断网络稳定性的基本概念。2、系统的稳定状态可以通过改变相连单元的权值而产生。网络稳定性?经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用定义4-1 神经网络从任一初始状态 X(0)开始运动,若存在某一有限的时刻 ,从 以后神经网络的状态不再发生变化,即 ,则称网络稳定。处于稳定时刻的网络状态叫稳定状态,又称定点吸引子。神经动力学系统具有以下一些共性:(1)、非常大的自由度 仿真系统的神经元数限于 。人脑的神经
21、细胞个数(2)、非线性非线性是神经东西学系统的主要特征。任何由现行单元组成的神经网络都可以退化成一个等效的单层神经网络。(3)、消耗性消耗性指的是随时间的推移系统状态收敛于某一个流形域。(4)、节点方程微分方程或者差分方程,不是简单的非线性方程。动态神经网络的类型:1、带时滞的多层感知器网络2、回归神经网络3、Hopfield网络经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用1、带时滞的多层感知器网络多层感知器网络抽头时滞环节X(k)X(k-1)X(k-n)X(k)y(k)图4-18 时滞的多层感知器网络2、回
22、归神经网络多层感知器网络抽头时滞环节X(k)X(k-1)X(k-n)X(k)y(k)图4-19 带反馈的时滞的多层感知器网络抽头时滞环节y(k-m)y(k-2)y(k-1)1、将时间作为一维信号同时加入到神经网络的输入端实现利用静态网络来逼近动态时滞的时间序列系统。经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用3、Hopfield网络1982年和1984年Hopfield发表了两篇著名的文章:1、Neural network and physical systems with emergerent collec
23、tive computation ability;2、Neurons with graded response have collective computation properties like those of two state neurons。第一次将能量函数引入到神经网络中,给出了稳定性的判据;利用模拟电子线路实现了提出的模型,成功用神经网络实现了4位A/D转换;用一组耦合的非线性微分方程来表示Hopfield网络;Hopfield网络在任何初始状态下都能够趋于稳定态;Hopfield网络稳定态是由神经元的连接权数决定的;Hopfield网络主要贡献在于成功实现了联想记忆和快速优化
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络 控制 大全 ppt 课件
![提示](https://www.taowenge.com/images/bang_tan.gif)
限制150内