ch6神经网络理论基础-oknew.ppt
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《ch6神经网络理论基础-oknew.ppt》由会员分享,可在线阅读,更多相关《ch6神经网络理论基础-oknew.ppt(45页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第6章 神经网络理论基础神经网络理论基础 以冯以冯诺依曼型计算机为中心的信息诺依曼型计算机为中心的信息处理技术的高速发展,计算机在信息化处理技术的高速发展,计算机在信息化社会中起着十分重要的作用。社会中起着十分重要的作用。但是,当用它来解决某些人工智能问但是,当用它来解决某些人工智能问题时却遇到了很大的困难。题时却遇到了很大的困难。模糊控制从人的经验出发,解决了模糊控制从人的经验出发,解决了智能控制中人类语言描述和推理问题,智能控制中人类语言描述和推理问题,但在处理数值数据、自学习能力等方面但在处理数值数据、自学习能力等方面远未达到人脑境界远未达到人脑境界 从人脑生理、心理学着手,模拟人从人脑
2、生理、心理学着手,模拟人脑工作机理脑工作机理 大脑是由生物神经元构成的巨型网大脑是由生物神经元构成的巨型网络,它在本质上不同于计算机,是一种络,它在本质上不同于计算机,是一种大规模的并行处理系统,它具有学习、大规模的并行处理系统,它具有学习、联想记忆、综合等能力,并有巧妙的信联想记忆、综合等能力,并有巧妙的信息处理方法。息处理方法。人工神经网络是模拟人脑思维方式人工神经网络是模拟人脑思维方式的数学模型,从微观结构和功能上对人的数学模型,从微观结构和功能上对人脑进行抽象和简化,模拟人类智能脑进行抽象和简化,模拟人类智能 人工神经网络人工神经网络(简称神经网络简称神经网络)也是由也是由大量的、功能
3、比较简单的形式神经元互大量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统,用它可相连接而构成的复杂网络系统,用它可以模拟大脑的许多基本功能和简单的思以模拟大脑的许多基本功能和简单的思维方式。维方式。6.1 神经网络发展史 1 启蒙期(启蒙期(1890-1969)对大脑神经元研究表明,当其处于兴奋状对大脑神经元研究表明,当其处于兴奋状态时,输出侧的轴突就会发出脉冲信号,每个态时,输出侧的轴突就会发出脉冲信号,每个神经元的树状突起与来自其它神经元轴突的互神经元的树状突起与来自其它神经元轴突的互相结合部相结合部(此结合部称为此结合部称为Synapse,即突触即突触)接接收由轴突传来的信号。
4、如果收由轴突传来的信号。如果神经元所接收到神经元所接收到的信号的总和超过了它本身的的信号的总和超过了它本身的“阈值阈值”,则该,则该神经元就会处于兴奋状态,并向它后续连接的神经元就会处于兴奋状态,并向它后续连接的神经元发出脉冲信号。神经元发出脉冲信号。1890年,年,W.James发表心理学,发表心理学,讨论脑结构和功能讨论脑结构和功能1943年,年,W.S.McCulloch和和W.Pitts提出了描述脑提出了描述脑神经细胞动作的数学模型,即神经细胞动作的数学模型,即MP模型。模型。19491949年,年,D.O.HebbD.O.Hebb提出了神经元的学习法则,即提出了神经元的学习法则,即H
5、ebbHebb法则。法则。50年代末,年代末,E.Rosenblatt提出了描述信息在人脑提出了描述信息在人脑中存储和记忆的数学模型中存储和记忆的数学模型,即感知机即感知机(Perceptron)模型。模型。感知机是现代神经计算的出发点。感知机是现代神经计算的出发点。Block于于1962年用解析法证明了感知机的学习收敛定理。年用解析法证明了感知机的学习收敛定理。正是由于这一定理的存在,才使得感知机的理正是由于这一定理的存在,才使得感知机的理论具有实际的意义,并引发了论具有实际的意义,并引发了60年代以感知机年代以感知机为代表的第一次神经网络研究发展的高潮。为代表的第一次神经网络研究发展的高潮
6、。1961年,年,ERCaianiello提出了能实现记忆和提出了能实现记忆和识别的神经网络模型,它由学习方程式和记忆识别的神经网络模型,它由学习方程式和记忆方程式两部分组成。方程式两部分组成。1962年,年,MMinsky和和S.Papert进一步发展了感进一步发展了感知机的理论,他们把感知机定义为一种逻辑函知机的理论,他们把感知机定义为一种逻辑函数的学习机数的学习机。BWidraw在稍后于感知机一些时候提出了在稍后于感知机一些时候提出了Adline分类学习机。它在结构上与感知机相似,分类学习机。它在结构上与感知机相似,但在学习法则上采用了最小二乘平均误差法。但在学习法则上采用了最小二乘平均
7、误差法。2.低潮期(1969-1982年)神经网络理论研究水平的限制神经网络理论研究水平的限制计算机发展的冲击计算机发展的冲击1969年,年,Grossberg提出迄今为止最复杂提出迄今为止最复杂的的ART神经网络神经网络1972年,年,Kohonen提出自组织映射的提出自组织映射的SOM模型模型3.复兴期复兴期 1982年,美国物理学家年,美国物理学家Hopfield对神经网络对神经网络的动态特性进行了研究,提出了的动态特性进行了研究,提出了Hopfield神经神经网络模型,引入能量函数,实现问题优化求解网络模型,引入能量函数,实现问题优化求解 1986 1986年,以年,以Rumelhar
8、t为首的为首的PDP(Parallel Distributed Processing)并行分布处理研究集团并行分布处理研究集团对联结机制对联结机制(connectionist)进行了研究,提进行了研究,提出了著名的多层神经网络模型,即出了著名的多层神经网络模型,即BPBP网络,至网络,至今为止应用最普遍。今为止应用最普遍。TJSejnowski等人还研究了神经网络语等人还研究了神经网络语音信息处理装置。音信息处理装置。这些成功的研究对第二次神经网络研究高这些成功的研究对第二次神经网络研究高潮的形成起了决定性的作用。潮的形成起了决定性的作用。Hopfield模型的动作原理是模型的动作原理是:只要
9、由神经元兴奋的算法和神经元之只要由神经元兴奋的算法和神经元之间的结合强度所决定的神经网络的状态间的结合强度所决定的神经网络的状态在适当给定的兴奋模式下尚未达到稳定,在适当给定的兴奋模式下尚未达到稳定,那么该状态就会一直变化下去,直到预那么该状态就会一直变化下去,直到预先定义的一个必定减小的能量函数达到先定义的一个必定减小的能量函数达到极小值时,状态才达到稳定而不再变化。极小值时,状态才达到稳定而不再变化。19851985年年,HopfieldHopfield和和D DW WTankTank用用上上述述模模型型求求解解了了古古典典的的旅旅行行推推销销商商问问题题(Traveling Travel
10、ing Salesman Salesman Problem)Problem),简简称称TSPTSP问题。问题。1983年,年,SEFarmann和和Hiton提出了波提出了波尔兹曼机尔兹曼机BM(Boltzmann Machine),该神经网该神经网络模型中使用了概率动作的神经元,把神经元络模型中使用了概率动作的神经元,把神经元的输出函数与统计力学中的波尔兹曼分布联系的输出函数与统计力学中的波尔兹曼分布联系起来。起来。1985年,年,WOHillis发表了称为联结机发表了称为联结机(connection)的超级并行计算机。他把的超级并行计算机。他把65536个个lbit的微处理机排列成起立方体
11、的互连形式,的微处理机排列成起立方体的互连形式,每个微处理机还带有每个微处理机还带有4kbit的存贮器。的存贮器。误差反向传播神经网络误差反向传播神经网络BP(Error Back Propagation Neural Network)是是1986年由年由Rumelhart和和Hinton提出的,提出的,4.新连接机制时期(新连接机制时期(1986年年-)神经网络从理论神经网络从理论应用(神经网络芯应用(神经网络芯片、神经计算机)片、神经计算机)模式识别与图象处理、控制与优化、预模式识别与图象处理、控制与优化、预测与管理、通信领域测与管理、通信领域并行分布处理理论 1986年,年,Rumelh
12、art和和McClelland发发表了并行分布处理表了并行分布处理认知微结构探认知微结构探索一书。索一书。(Parallel Distributed Processing)系统地总结了系统地总结了PDP的概念、理论、数的概念、理论、数学方法、产生的背景和发展前景。著名学方法、产生的背景和发展前景。著名的的BP神经网络学习法则就是在本书中由神经网络学习法则就是在本书中由Rumelhart提出的。提出的。神经网络的研究概况神经网络的研究主要可分为以下三个方面:神经网络的研究主要可分为以下三个方面:1大脑和神经系统的信息处理原理。大脑和神经系统的信息处理原理。2构造能实现信息处理的神经网络模型。构造
13、能实现信息处理的神经网络模型。3能能实实现现信信息息处处理理基基本本原原理理的的技技术术研研究究一一神神经经计算机。计算机。美国军方,认为神经网络技术是比原子弹美国军方,认为神经网络技术是比原子弹工程更重要的技术。美国国防部工程更重要的技术。美国国防部(DARPA)曾宣布曾宣布执行一项总投资为执行一项总投资为4亿美元的八年计划,其主要亿美元的八年计划,其主要研究目标为:连续语音信号识别、声纳信号识研究目标为:连续语音信号识别、声纳信号识别、目标识别及跟踪等。别、目标识别及跟踪等。日本通产省早在日本通产省早在1988年也提出了年也提出了 所谓人类尖端科学计划所谓人类尖端科学计划(Human Fr
14、ontier Science Program),即所谓的第六代计算机计划,研制即所谓的第六代计算机计划,研制能模拟人类智能行为的计算机系统。能模拟人类智能行为的计算机系统。到目前为止,已经发表了多达几十种的到目前为止,已经发表了多达几十种的 神神经经网网络络模模型型,它它们们具具备备不不同同的的信信息息处处理理能能力力,典典型型的神经网络模型如表的神经网络模型如表1.2所示。所示。1987年年6月月21至至24日在美国加州圣地亚哥日在美国加州圣地亚哥(San Diego)召开的第一届神经网络国际会议召开的第一届神经网络国际会议;1988年,我国在北京召开了神经网络的国际研究年,我国在北京召开了
15、神经网络的国际研究工作会议,并出版了论文集。工作会议,并出版了论文集。关于神经网络的主要国际性杂志有:关于神经网络的主要国际性杂志有:(1)(1)Neural Networks(Neural Networks(国际神经网络协会会刊国际神经网络协会会刊)(2)(2)IEEE Transactions on Neural NetworksIEEE Transactions on Neural Networks(3)IEEE Transactions on Parallel(3)IEEE Transactions on Parallel Distributed SystemDistributed S
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- ch6 神经网络 理论基础 oknew
![提示](https://www.taowenge.com/images/bang_tan.gif)
限制150内