神经网络 第一章精品文稿.ppt

《神经网络 第一章精品文稿.ppt》由会员分享，可在线阅读，更多相关《神经网络 第一章精品文稿.ppt（46页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、神经网络 第一章第1页，本讲稿共46页n课时安排:48学时,116周。n参考书目：n 最新中文书籍；n Neural Networks:A Comprehensive Foundation(Second Edition)Simon.Haykin 清华大学出版社,2001;n 相关刊物。第2页，本讲稿共46页第一章 概述nArtificial Neural Network,简记ANN;nConnectionism Model,连接机制模型nParallal Distributed Model,并行分布处理模型第3页，本讲稿共46页1.1 人工神经网络概念的提出 现代计算机有很强的计算、信息处理能

2、力，但是解决像模式识别、感知、评判和决策等复杂问题的能力却远不如人；只能按人事先编好的程序机械地执行，缺乏向环境学习适应环境的能力。第4页，本讲稿共46页n人脑n 生物进化的最高产物；n 最复杂、最完善和最有效的信息处理系统；n高级精神活动（智能、思维和情绪等）的物质基础；n人类认识较少的领域之一人类认识较少的领域之一。n根据19世纪末创建的神经元学说：n人脑由大约10111012 神神经经元元和10141015个突突触触组成的巨系统。第5页，本讲稿共46页人脑的固有特征：1.并行分布处理 单个神经细胞反应速度:10-3s 电子元件计算速度:10-9s决策过程只需1秒：记忆回溯、语言理解、直觉

3、推理、图像识别等；从部分信息构造人和物的图像。100步程序长度（J.A.Feldman）:串行工作模式没有这么快的反应能力。第6页，本讲稿共46页n2.可塑性和自组织性:突触的信息传递特性可变，细胞间联接是柔 软的。n3.系统性:n相互作用;n调节。n4.系统的恰当退化：少量神经元损伤（或正常死亡），网络总 体功能继续有效。第7页，本讲稿共46页n人脑与计算机信息处理能力的比较n1.记忆与联想能力n2.学习与认知能力n3.信息加工能力n4.信息综合能力n5.信息处理速度第8页，本讲稿共46页n人脑与计算机信息处理机制的比较n1.系统结构n2.信号形式n3.信息存储n4.信息处理机制第9页，本讲

4、稿共46页n从大脑组织结构和运行机制的绝妙特点，追求新型的信号处理系统：n超越人的计算能力，探寻新的信息表表示示、存存储储和处理处理方式，设计全新的计算处理结构模型计算处理结构模型；n类似于人的识识别别、判判断断、联联想想和决决策策的能力，解决传统的冯诺依曼计算机难以解决的问题。第10页，本讲稿共46页n对神经网络的分析和研究：n揭示人脑的工作机理；n了解神经系统进行信息处理的本质。n目的：设计类似人脑某些功能的智能系统。n微观（结构）：与生物神经网络拓扑一致；n宏观功能：与人类智能行为恰当对应。n用机器代替人脑的部分劳动是当今科学技术发展的重要标志。n仅用人工的机械系统完全模拟人脑是不可能的

5、！仅用人工的机械系统完全模拟人脑是不可能的！第11页，本讲稿共46页n以人脑的组织结构和功能特征为原型，设法构建设法构建与人脑结构和功能拓扑对应拓扑对应的人造智能系统来模拟模拟人类智能行为。原则上讲，是智能模拟中一个很有前途的发展方向。n智能模拟研究的两条不同途径：1.心理学派：人类的智能行为本质上是以思维为主要特征的一 系列心理活动的结果。这一模式的典型：人工智能学科人工智能学科第12页，本讲稿共46页n智能模拟方式：n传统的冯 诺依曼(Von Neumann)计算机体现机构为基础;n逻辑推理和符号操作为特征。n在模拟实现人的学习能力、联想记忆能力和人脑大规模并行处理能力等功能时，遇到困难。

6、第13页，本讲稿共46页n2.生理学模式:n 典型:人工神经网络,当前被认为是很有发展 前途的另一种智能模拟方法。n 人们通过对人脑神经系统的初步认识，尝试 构造人工神经元，组成人工神经网络系统，对人的智能、思维行为进行研究，试图从理 性角度阐明人脑的高级功能。第14页，本讲稿共46页nHecht Nielsen关于人工神经网络的定义:“神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统,该系统是靠其状态对外部输入信息的动态响应来处理信息的”n美国国防高级研究计划局关于人工神经网络的解释是:“人工神经网络是一种由许多简单的并行工作的处理单元组成的系统,其功能取决于网络的结

7、构、连接强度以及各单元的处理方式。”n综合人工神经网络的来源、特点及各种解释，可以简单表述为：人工神经网络是一种旨在模仿人脑结构及其功人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。能的信息处理系统。第15页，本讲稿共46页n目前有上百种ANN模型：n基本处理单元：人工神经元-对生物神经元的近似仿真。n人工神经元有不同的模型：算法在不同程度上或多或少地接近神经信息处理的原则。第16页，本讲稿共46页n输出信号的强度大小：反映该单元对相邻单元影响的强弱。n人工神经元之间通过互相联接形成网络：人工神经网络（ANN）。第17页，本讲稿共46页nANN是由大量高度互连的信号或信息处理单元（人

8、工神经元）组成的计算系统：用于模拟人脑行为的复杂网络系统，反映人脑功能的许多基本特征。n1.对人脑神经系统的某种简化、抽象和模拟；n2.理论化的人脑神经网络的数学模型。n目前ANN的构造大体采用如下原则：n1.一定数量的基本单元分层联接;n2.每个单元的输入、输出信号以及综合处理内容比 较简单；n3.网络的学习和知识存储体现在各单元之间的联接 强度上。第18页，本讲稿共46页nANN的固有特征：n1.信息的处理和记忆分布在整个网络上,把硬 件与软件在结构上分开是困难的；n2.高度的并行性：大量简单处理单元并行活动。n3.高度的非线性全局作用：n网络之间互相制约和互相影响，实现从输入空间到输出状

9、态空间的非线性映射;n网络整体性能不是网络局部性能的简单迭加。第19页，本讲稿共46页4.良好的容错性与联想记忆功能：记忆的信息存储在神经元之间的联接（权值）中；分布式的存储方式。5.处理单元（神经元）包含典型的非线性激活 函数;6.鲁棒性:高度冗余的并行结构表现出很高的非敏感性。第20页，本讲稿共46页7.自适应、自学习功能：联接模式：神经元之间相互联接的方式。相互之间联接度通过联结权重体现。ANN中,改变信息处理过程及其能力,实际上就是修改网络权值的过程。神经元的重要方面：突触（联接）按照自适应改变。第21页，本讲稿共46页n至今提出的真实生物神经网络的人工模型是很简单的，只是真实生物结构

10、的粗略近似。n人工神经网络结构问题仍是一个困难的尚未解人工神经网络结构问题仍是一个困难的尚未解决的问题！决的问题！n是否有必要尽可能精确模拟生物构造？是否有必要尽可能精确模拟生物构造？n是否能通过不完全对应于真实生物神经系统的是否能通过不完全对应于真实生物神经系统的模型，取得期望的性质？模型，取得期望的性质？第22页，本讲稿共46页 1.2 人工神经网络的发展 人工神经网络是一门高度综合高度综合的交叉学交叉学科科,其发展大致分为四个时期:n探索时期;n第一次研究热潮时期;n低潮时期;n第二次研究热潮时期.第23页，本讲稿共46页n一.探索时期:(40年代)n1890年,William Jame

11、s发表了第一部详细论述人脑结构及功能的专著:Principles of Psychology(心理学原理)对相关学习、联想记忆的基本原理做了开创性研究：n当一个基本的脑细胞曾经一起或相继被激活过，其中一个受刺激重新激活时会将刺激传播到另一个；n神经细胞激活是细胞所有输入叠加的结果。第24页，本讲稿共46页1943年，神经元理论建模；二值神经元模型：神经细胞视为二值 （MP模型）开关元件，细胞按 不同方式组合联接 来实现。模型过于简单。第25页，本讲稿共46页W.C.McCulloch and W.A.Pitts A Logical Calculations of the Ideas Lmman

12、ent in Nervous Activity Bulletin of mathematical Biophysics,Vol.5:115 133,1943第26页，本讲稿共46页1949年，Hebb学习法则；脑细胞活动时细胞间的联系被加强-通过调节神经元之间的联接强度来实现ANN的学习功能。D.O.Hebb The Orgnization of Behavior John Wiley,New York,1949第27页，本讲稿共46页n二.第一次研究热潮时期:(50年代末60年代初)n1958年：感知器（Perceptron）：模拟人脑的 感知和学习能力，主要用于模式分类。n1959年：自适

13、应线性元件（Adaptive Linear Element Adaline）：感知器的变化 形式。n从工程实际出发，在计算机上模拟了这种ANN；n硬件实现，第一个用于解决实际问题的ANN。第28页，本讲稿共46页1962年，Rosenblatt著作：The Principle of Neurodynamic 详细介绍感知器网络。模型比较简单，但显示与当时流行的冯 诺依曼(Von Neumann)计算机的一些不同性质：可学习性；分布式存储；连续计算。感知器应用研究：学习记忆；文字识别；声音识别；声纳信号识别。第29页，本讲稿共46页F.Rosenblatt The Perceptron:a Pr

14、obabilistied Model for Information Storage and Organization in TL Brain Psychological Review,Vol.65:386408,1958B.Widrow and E.Hoff Adaptive Switching Circuit,IRE WESCON Convention Record Part 4,Computers,Man-Machine Systems:96 104,1960第30页，本讲稿共46页三.低潮时期:(60年代末70年代)理论上:计算机技术正处于迅速发展阶段,掩盖 了发展ANN理论的必要性和

15、迫切性;技术条件:硬件实现ANN非常困难;人为因素。M.Minsky and S.Papert Perceptrons MIT Press,1969其它研究:神经网络动态过程的数理分析；自组织理 论研究；联想记忆。第31页，本讲稿共46页四.第二次研究热潮时期:(80年代至今)1.Hopfield网络模型：用于联想记忆和优化计算的 反馈互连网络。网络稳定性的明确判据；电子模拟电路实现：神经网络执行的运算，不同于布尔代数运算-由此兴起新一代电子神经计算机的研究。2.BP网络：（Back Propagation）解决了感知器不能解决的问题；找到了Minsky提出的问题的解决方法。第32页，本讲稿共

16、46页J.J.Hopfield Neural Networks and Physical Systems with Emergent Collective Computational Abilities Proc.Natl.Acad.Sci.,U.S.A.Vol.79:25542558,1982Neurons with Graded Response have Collective Computational Properties Like Those of Two-state neurous Proc.Natl.Acad.Sci.,U.S.A.Vol.81:30883092,1984第33页

17、，本讲稿共46页D.E.Rumelhart and D.E.McClelland Parallel Distributed Processing:Explorations in the Microstructure of Cognition MIT Press,Cambridge MA,19861987年6月:IEEE(国际电气和电工工程师协会)在San Diego召开“第一届神经网络国际学术讨论会”;IEEE Transation on Neural networks 同年,国际神经网络学会(INNS)成立 Neural Networks 第34页，本讲稿共46页n迄今为止的ANN研究，大体

18、上分为三个方向：n探求人脑神经网络的生物结构和机制；n用微电子学或光学器件形成特殊功能网络；nNN理论作为解决某些问题的手段和方法。第35页，本讲稿共46页n我国的NN研究起步于己于1988年；n1992年在北京召开-国际网络学会和IEEE神经网络委员会联合学术会议（IJCNN）n总体上，我国的研究领域、论文数量，与国外有相当大的差距。nIEEE-INNS-ENNS:International Joint Conference on Neural Networks,7.247.27,2000,Italyn论文：526，大陆：10 监督学习 24 多层感知器 17 进化计算 17时序预测 16

19、模式识别 14 人脸识别 14 医疗应用 20 系统监别 15 机器 15 硬件实现 24 通信 18第36页，本讲稿共46页n新的动向：n1.神经计算的基础理论框架以及生理层面的研究仍需 深入;n2.监督学习:仍有很多研究的问题;非监督学习:起步较晚,发展空间大;n3.新的模型和结构:现有网络：多层感知机、径向基函数网络、自组织特征映射网络、自适应谐振理论 网络、模糊神经网络、循环神经网络等。第37页，本讲稿共46页 脉冲神经网络(Spiking Neural Network)支持向量机(Support Vector Machine)4.增强ANN的可理解性研究:神经计算和机器学习界的研究热

20、点。5.神经计算技术与其它技术,尤其是进化计算技术 的结合;混合方法和混合系统是研究的热点。6.应用领域的不断扩大。第38页，本讲稿共46页1.3 人工神经网络研究的意义n神经科学研究n长期目标：揭示人脑的工作机制，了解思维的本质；n近期目标：研究和利用大脑神经网络的一些特性，设计出具有类似的某些大脑功能的智能系统。第39页，本讲稿共46页n 神经网络的理论研究是一门新兴的边缘和交叉学科，它的产生和发展一方面受其他学科的影响，反过来 又势必影响其他学科的发展。n数学、物理学、信息科学、心理学、神经生理学、认知科学、计算机科学、微电子学甚至哲学等的前沿在进行研究课题；n为信息论、系统论、控制论、

21、协同论和耗散结构理论等学科提出许多新问题，推动学科理论和其他方面的发展。第40页，本讲稿共46页n神经网络研究的侧重点在于从另一条途径模拟和实现人的认知过程中的感知觉过程、形象思维、直觉顿悟、分布式学习和自学习及自组织过程。这是当代研究智能的焦点部分。n在ANN领域内任何一项基础理论上的进展，必将对计算机科学和智能学科产生实际的影响，它的应用会大大提高工程方面的智能水平。第41页，本讲稿共46页n神经网络研究对于脑科学和心理学有重大的影响。促进脑科学的研究向定量、精确和理论化方向发展。n使学术界对计算的概念和作用有了更全面深刻的认识相理解。n人工神经元网络的研究内容是极其丰富的，涉及的面宽而又

22、有相当深的理论有待于进一步研究。第42页，本讲稿共46页研究内容大体上有基本理论、模型、算法、应用和实现等五大方面。每个方面都有很多问题尚未解决或者完美地得到解决，需要用各种方法从各方面开展对ANN进行深入研究，并与现行的各种技术进行组合应用，取长补短。第43页，本讲稿共46页1.4 人工神经网络的应用领域信息领域1.信号处理2.模式识别3.数据压缩第44页，本讲稿共46页n自动化领域n1.系统辨识n2.神经控制器n3.智能检测n工程领域n1.汽车工程n2.军事工程n3.化学工程n4.水利工程第45页，本讲稿共46页n医学领域n1.检测数据分析n2.生物活性研究n3.医学专家系统n经济领域n1.信贷分析n2.市场预测第46页，本讲稿共46页