(精品)05神经网络原理及应用.ppt

《(精品)05神经网络原理及应用.ppt》由会员分享，可在线阅读，更多相关《(精品)05神经网络原理及应用.ppt（120页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第5 5章章 人工神经网络人工神经网络原理及应用原理及应用人工神经网络概述人工神经网络概述人工神经网络基础人工神经网络基础前馈人工神经网络前馈人工神经网络5.1 概述概述5.1.1 5.1.1 什么是人工神经网络什么是人工神经网络所谓人工神经网络就是所谓人工神经网络就是基于模仿生物大脑的结构和功能基于模仿生物大脑的结构和功能而构成的一种信息处理系统而构成的一种信息处理系统（计算机计算机）。）。人是地球上具有最高智慧的动物，人是地球上具有最高智慧的动物，而人的指挥均来自大而人的指挥均来自大脑，人类靠大脑进行思考、联想、记忆和推理判断等，脑，人类靠大脑进行思考、联想、记忆和推理判断等，这些功能是

2、任何被称为这些功能是任何被称为“电脑电脑”的一般计算机所无法取的一般计算机所无法取代的。代的。长期以来，许多科学家一直致力于人脑内部结构和功能长期以来，许多科学家一直致力于人脑内部结构和功能的探讨和研究，并试图建立模仿人类大脑的计算机，的探讨和研究，并试图建立模仿人类大脑的计算机，虽虽然到目前对大脑的内部工作机理还不甚完全清楚，但对然到目前对大脑的内部工作机理还不甚完全清楚，但对其结构已有所了解。其结构已有所了解。5.1.1 5.1.1 什么是人工神经网络什么是人工神经网络粗略地讲，粗略地讲，大脑是由大量神经细胞或神经元组成的大脑是由大量神经细胞或神经元组成的。每个神经元可看作是一个小的处理单

3、元，这些神经元按每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。某种方式连接起来，形成大脑内部的生理神经元网络。这种神经元网络中这种神经元网络中各神经元之间联结的各神经元之间联结的强弱强弱，按外部的按外部的激励信号激励信号做自适应变化做自适应变化，而每个神经元又随着所接收到而每个神经元又随着所接收到的多个接收信号的的多个接收信号的综合大小综合大小而呈现而呈现兴奋兴奋或或抑制抑制状态。状态。现已明确大脑的学习过程就是神经元之间连接强度随外现已明确大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，而大脑处理信息的结部激励信息做自适

4、应变化的过程，而大脑处理信息的结果则由神经元的状态表现出来。果则由神经元的状态表现出来。5.1 概述概述5.1.1 5.1.1 什么是人工神经网络什么是人工神经网络由于我们建立的信息处理系统实际上是模仿生由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为理神经网络，因此称它为人工人工神经网络。神经网络。需要指出，尽管人工神经网络是对大脑结构的需要指出，尽管人工神经网络是对大脑结构的模仿，但模仿，但这种模仿目前还处于极低的水平。这种模仿目前还处于极低的水平。5.1 概述概述5.1.1 5.1.1 什么是人工神经网络什么是人工神经网络人工神经网络的人工神经网络的两种操作过程两种操作过程

5、训练学习训练学习训练时，把训练时，把要教给神经网络的信息要教给神经网络的信息（外部输入外部输入）作为）作为网络网络的输入的输入和和要求的输出要求的输出，使网络按某种规则使网络按某种规则（称为（称为训练算法训练算法）调节各处理单元间的连接权值调节各处理单元间的连接权值，直至直至加上给定输入，网络加上给定输入，网络就能产生给定输出为止。就能产生给定输出为止。这时，各连接权已调接好，网络的训练就完成了。这时，各连接权已调接好，网络的训练就完成了。正常操作（回忆操作）正常操作（回忆操作）对训练好的网络输入一个信号，它就可以正确回忆出相应对训练好的网络输入一个信号，它就可以正确回忆出相应输出，得到识别结

6、果。输出，得到识别结果。5.1 概述概述5.1 概述概述5.1.2 5.1.2 人工神经网络的发展人工神经网络的发展 -初始（萌发）期初始（萌发）期 MPMP模型模型的提出和人工神经网络的的提出和人工神经网络的兴起。兴起。19431943年，美国神经生理学家年，美国神经生理学家Warren Warren MccullochMcculloch和和数学家数学家Walter PittsWalter Pitts合写了一篇关于神经元如何工作的合写了一篇关于神经元如何工作的开拓性文章：开拓性文章：“A Logical Calculus of Ideas A Logical Calculus of Idea

7、s Immanent in Nervous ActivityImmanent in Nervous Activity”。该文指出，该文指出，脑细胞的活动像断脑细胞的活动像断/通开关通开关，这些细这些细胞可以按各种方式相互结合，进行各种逻辑运算胞可以按各种方式相互结合，进行各种逻辑运算。按此想法，他们用电路构成了简单的神经网络模型，按此想法，他们用电路构成了简单的神经网络模型，并预言大脑的所有活动最终将被解释清楚。并预言大脑的所有活动最终将被解释清楚。虽然问虽然问题并非如此简单题并非如此简单，但它给，但它给人们一个信念人们一个信念，即，即大脑的大脑的活动是靠脑细胞的组合连接实现的。活动是靠脑细胞

8、的组合连接实现的。19491949年，心理学家年，心理学家DonalaDonala HebbHebb写了一本书：写了一本书：“The Organization of Behavior”The Organization of Behavior”。在该书中，在该书中，他强调了心理学和生理学间的联系和他强调了心理学和生理学间的联系和沟通，指出脑细胞间的通路每当通过参与某种活沟通，指出脑细胞间的通路每当通过参与某种活动时将被加强动时将被加强，这就是后来的，这就是后来的HebbHebb学习规则学习规则。目前有些神经网络模型仍然采用这种学习规则。目前有些神经网络模型仍然采用这种学习规则。5.1 概述概述5

9、.1.2 5.1.2 人工神经网络的发展人工神经网络的发展第一次高潮期第一次高潮期感知器模型感知器模型和人工神经网络和人工神经网络19571957年年，计算机专家计算机专家Frank RosenblattFrank Rosenblatt开始从事开始从事感知器感知器的研究，并制成硬件，通常被认为是最早的神经网络模的研究，并制成硬件，通常被认为是最早的神经网络模型。型。19591959年年，两位电机工程师两位电机工程师Bernard Bernard WidrowWidrow和和MarcianMarcian HaffHaff开发出一种叫作开发出一种叫作自适应线性单元自适应线性单元（ADALINEAD

10、ALINE）的网络的网络模型，并在他们的论文模型，并在他们的论文“Adaptive Switching Adaptive Switching Circuits”Circuits”中描述了该模型和它的学习算法（中描述了该模型和它的学习算法（Widrow-Widrow-HaffHaff算法算法）。）。该网络通过训练，可以成功用于抵消通信中的回波和噪该网络通过训练，可以成功用于抵消通信中的回波和噪声，也可用于天气预报，成为第一个用于实际问题的神声，也可用于天气预报，成为第一个用于实际问题的神经网络。经网络。5.1 概述概述5.1.2 5.1.2 人工神经网络的发展人工神经网络的发展第一次高潮期第一次

11、高潮期 感知器模型感知器模型和人工神经网络和人工神经网络19621962年年，RosenblattRosenblatt出版了一本书出版了一本书“The Principles of The Principles of NeurodynamicsNeurodynamics”，详述了他的感知器模型详述了他的感知器模型。该感知器具有输入层、输出层和中间层，通过实验可以模该感知器具有输入层、输出层和中间层，通过实验可以模仿人的某些特性，并断言它可以学会任何它可以表示的功仿人的某些特性，并断言它可以学会任何它可以表示的功能。能。在这一时期，由于感知器的某些进展和对神经网络的宣传，在这一时期，由于感知器的某

12、些进展和对神经网络的宣传，人们乐观地认为几乎已经找到了实现智能的关键，许多部人们乐观地认为几乎已经找到了实现智能的关键，许多部门开始大批地投入此项研究，希望尽快占领制高点，形成门开始大批地投入此项研究，希望尽快占领制高点，形成了研究人工神经网络的第一次高潮。了研究人工神经网络的第一次高潮。由于当时对神经网络的乐观情绪的影响，人们夸大了神经由于当时对神经网络的乐观情绪的影响，人们夸大了神经网络的潜力（网络的潜力（有人甚至担心制造机器人的人类会很快受到有人甚至担心制造机器人的人类会很快受到机器人的攻击机器人的攻击）。5.1 概述概述5.1.2 人工神经网络的发展人工神经网络的发展反思期反思期神经网

13、络的低潮神经网络的低潮19691969年年，Marvin Marvin MinskyMinsky和和Seymour Seymour PapertPapert合著了一本合著了一本书书“PerceptionPerception”，分析了当时的简单感知器，分析了当时的简单感知器，指出它指出它有非常严重的局限性有非常严重的局限性，甚至不能解决简单的，甚至不能解决简单的“异或异或”问问题，题，为为RosenblattRosenblatt的感知器判了的感知器判了“死刑死刑”。此时，批评的声音高涨，导致了停止对人工神经网络研此时，批评的声音高涨，导致了停止对人工神经网络研究所需的大量投资。究所需的大量投资。

14、不少研究人员把注意力转向了人工智能，不少研究人员把注意力转向了人工智能，导致对人工神导致对人工神经网络的研究陷入低潮。经网络的研究陷入低潮。5.1 概述概述5.1.2 5.1.2 人工神经网络的发展人工神经网络的发展反思期反思期 神经网络的低潮神经网络的低潮虽然如此，二十世纪虽然如此，二十世纪7070年代到年代到8080年代早期，年代早期，仍有一些仍有一些坚信神经网络的人坚持他们的工作坚信神经网络的人坚持他们的工作，为人工神经网络，为人工神经网络的复苏做准备。的复苏做准备。神经生理学家神经生理学家James AndersonJames Anderson开发的盒中脑模型开发的盒中脑模型（Brai

15、n-State-in-a-BoxBrain-State-in-a-Box，BSBBSB）。）。日本学者日本学者KunihikKunihik Fukushima Fukushima开发的用于视觉图形识开发的用于视觉图形识别的认知器模型（别的认知器模型（NeocognitronNeocognitron）。）。电气工程师电气工程师TeuvoTeuvo KohonenKohonen开发的与开发的与BSBBSB类似的网络类似的网络模型。模型。GrossbergGrossberg,RumelhartRumelhart,McClelland,Marr,McClelland,Marr,AmariAmari和和

16、CooperCooper等人的工作。等人的工作。5.1 概述概述5.1.2 5.1.2 人工神经网络的发展人工神经网络的发展第二次高潮期第二次高潮期HopfieldHopfield网络模型的出现和人工网络模型的出现和人工神经网络的复苏神经网络的复苏19821982年年，John HopfieldJohn Hopfield向美国科学院递交了有关神向美国科学院递交了有关神经网络的报告经网络的报告，主要内容就是，主要内容就是建议收集和重视以前对建议收集和重视以前对神经网络的工作神经网络的工作，其中，其中特别强调了每种模型的实用性。特别强调了每种模型的实用性。根据对神经网络的数学分析和深入理解，根据对

17、神经网络的数学分析和深入理解，HopfieldHopfield揭示了以往的网络是如何工作的，可以做些什么揭示了以往的网络是如何工作的，可以做些什么，并，并提出了他自己的模型，提出了他自己的模型，能从失真的或不完善的数据图能从失真的或不完善的数据图像中获得完整的数据图像，引起了美国军方的兴趣。像中获得完整的数据图像，引起了美国军方的兴趣。当时，人工智能对自动制导车的研究失败，当时，人工智能对自动制导车的研究失败，而利用神而利用神经网络有可能解决这个问题经网络有可能解决这个问题，从而使人们的注意力重，从而使人们的注意力重新投向人工神经网络，新投向人工神经网络，导致了人工神经网络的第二次导致了人工神

18、经网络的第二次高潮。高潮。5.1 概述概述5.1.2 5.1.2 人工神经网络的发展人工神经网络的发展第二次高潮期第二次高潮期HopfieldHopfield网络模型的出现和人工网络模型的出现和人工神经网络的复苏神经网络的复苏19841984年年，HopfieldHopfield设计研制了后来被人们称为设计研制了后来被人们称为HopfieldHopfield网的电路网的电路，较好地解决了较好地解决了TCPTCP问题问题，找到了，找到了最佳解的近似解，引起了较大轰动。最佳解的近似解，引起了较大轰动。19851985年年，HintonHinton、SejnowskySejnowsky、Rumelh

19、artRumelhart等研究者在等研究者在HopfieldHopfield网络中引入随机机制，提出了所谓的网络中引入随机机制，提出了所谓的BolzimanBolziman机。机。19861986年年，RumelhartRumelhart等研究者等研究者独立地提出多层网络的独立地提出多层网络的学习算法学习算法BPBP算法算法，较好地解决了多层网络的学习问较好地解决了多层网络的学习问题。题。19901990年年1212月，国内首届神经网络大会在北京举行。月，国内首届神经网络大会在北京举行。5.1 概述概述5.1.2 人工神经网络的发展人工神经网络的发展再认识与应用研究期再认识与应用研究期主要研究

20、内容主要研究内容开发现有模型的应用开发现有模型的应用，并在应用中，并在应用中根据实际运行根据实际运行情况对模型、算法加以改造，以提高网络的情况对模型、算法加以改造，以提高网络的训练训练速度速度和和运行的准确度运行的准确度。充分发挥每种技术各自的优势，寻找更有效的解充分发挥每种技术各自的优势，寻找更有效的解决方法。决方法。希望在理论上寻找新的突破，建立新的专用或通希望在理论上寻找新的突破，建立新的专用或通用模型和算法。用模型和算法。进一步对生物神经系统进行研究，不断丰富对人进一步对生物神经系统进行研究，不断丰富对人脑的认识。脑的认识。5.1 概述概述5.1.3 人工神经网络的特点人工神经网络的特

21、点容错性容错性人类大脑具有很强的容错能力人类大脑具有很强的容错能力，这正是，这正是由于大脑中知由于大脑中知识是存储在很多处理单元和它们的连接上的。识是存储在很多处理单元和它们的连接上的。每天大脑的一些细胞都可能会自动死亡，但这并没有影响人们每天大脑的一些细胞都可能会自动死亡，但这并没有影响人们的记忆和思考能力。的记忆和思考能力。人工神经网络可以从不完善的数据和图形进行学习和人工神经网络可以从不完善的数据和图形进行学习和做出决定做出决定由于知识存在整个系统中，而不是在一个存储单元内由于知识存在整个系统中，而不是在一个存储单元内，因此一因此一定比例的结点不参与运算，对整个系统的性能不会产生重大影定

22、比例的结点不参与运算，对整个系统的性能不会产生重大影响。响。神经网络中承受硬件损坏的能力比一般计算机要强得多。神经网络中承受硬件损坏的能力比一般计算机要强得多。5.1 概述概述5.1.3 5.1.3 人工神经网络的特点人工神经网络的特点自适应性自适应性人类有很强的适应外部的学习能力人类有很强的适应外部的学习能力小孩在周围环境的熏陶下可以学会很多事情，如通小孩在周围环境的熏陶下可以学会很多事情，如通过学习可以认字、说话、走路、思考、判断等。过学习可以认字、说话、走路、思考、判断等。5.1.3 5.1.3 人工神经网络的特点人工神经网络的特点自适应性自适应性人工神经网络也具有学习能力人工神经网络也

23、具有学习能力有指导的训练有指导的训练：将输入样本加到网络输入并给出相应将输入样本加到网络输入并给出相应的输出，通过多次训练迭代获得连接权值。的输出，通过多次训练迭代获得连接权值。好像告诉网络：好像告诉网络：“当你看到这个图形（比如当你看到这个图形（比如5 5）时，请给我）时，请给我指示指示5”5”。无指导的训练无指导的训练：网络通过训练自行调节连接加权，从网络通过训练自行调节连接加权，从而对输入样本分类而对输入样本分类。在网络训练时，有时只能给出大量的输入图形，没有指定它在网络训练时，有时只能给出大量的输入图形，没有指定它们的输出，网络就自行按输入图形的特征对它们进行分类。们的输出，网络就自行

24、按输入图形的特征对它们进行分类。如小孩通过大量观察可以分辨出哪是狗、哪是猫一样。如小孩通过大量观察可以分辨出哪是狗、哪是猫一样。5.1.3 5.1.3 人工神经网络的特点人工神经网络的特点自适应性自适应性人工神经网络也具有学习能力人工神经网络也具有学习能力综合推理的能力综合推理的能力：网络具有正确响应和分辨从网络具有正确响应和分辨从未见过的输入样本的能力未见过的输入样本的能力。进行数字图形的识别时，对于不完善的数字图形或进行数字图形的识别时，对于不完善的数字图形或失真的数字图形仍能正确辨认。失真的数字图形仍能正确辨认。5.1.3 人工神经网络的特点人工神经网络的特点人工神经网络的局限性人工神经

25、网络的局限性人工神经网络不适于高精度的计算人工神经网络不适于高精度的计算正像很多人不善于直接计算类似资金的问题一样，人工神正像很多人不善于直接计算类似资金的问题一样，人工神经网络不用于计算资金方面的问题。经网络不用于计算资金方面的问题。人工神经网络的学习和训练往往是一个艰难的过程人工神经网络的学习和训练往往是一个艰难的过程网络的设计没有严格确定的方法（一般凭经验），所以选网络的设计没有严格确定的方法（一般凭经验），所以选择训练方法和所需网络结构没有统一标准。择训练方法和所需网络结构没有统一标准。脱机训练往往需要很长时间，为了获得最佳效果，常常要脱机训练往往需要很长时间，为了获得最佳效果，常常要

26、重复试验多次。重复试验多次。网络收敛性的问题。网络收敛性的问题。5.1.3 人工神经网络的特点人工神经网络的特点人工神经网络的局限性人工神经网络的局限性正确的训练数据的收集正确的训练数据的收集大量有代表性样本的采集大量有代表性样本的采集正确的预处理正确的预处理总之总之，人工神经网络是基于人类大脑的结构和功人工神经网络是基于人类大脑的结构和功能建立起来的学科能建立起来的学科，尽管它只是大脑的低级近似，尽管它只是大脑的低级近似，但它的许多特点和人类的智能特点类似，但它的许多特点和人类的智能特点类似，有着较有着较强的识别能力和广泛的应用前景。强的识别能力和广泛的应用前景。5.2 人工神经网络基础人工

27、神经网络基础目前出现的各种各样的人工神经网络模目前出现的各种各样的人工神经网络模型，尽管在性能和结构上各有特点，但型，尽管在性能和结构上各有特点，但它们存在很多共同之处。它们存在很多共同之处。人工神经网络的基本术语人工神经网络的基本术语常用表示符号常用表示符号描述人工神经网络的基本数学概念描述人工神经网络的基本数学概念5.2.1 人工神经网络的生物原型人工神经网络的生物原型大脑大脑简单的神经元简单的神经元5.2 人工神经网络基础人工神经网络基础5.2.1 5.2.1 人工神经网络的生物原型人工神经网络的生物原型大脑大脑简单的神经元简单的神经元神经元就是神经细胞，它是动物的重要特征之一，在人神经

28、元就是神经细胞，它是动物的重要特征之一，在人体内从大脑到全身存在大约体内从大脑到全身存在大约10101010个神经元。个神经元。神经元的组成神经元的组成细胞体细胞体：它是神经元的本体，内有细胞核和细胞质，完成普通：它是神经元的本体，内有细胞核和细胞质，完成普通细胞的生存功能。细胞的生存功能。树突树突：它有大量的分枝，多达：它有大量的分枝，多达10103 3数量级，长度较短（通常不超数量级，长度较短（通常不超过过1 1毫米），用以接收来自其它神经元的信号。毫米），用以接收来自其它神经元的信号。轴突轴突：它用以输出信号，有些较长（可达：它用以输出信号，有些较长（可达1 1米以上），轴突的远米以上）

29、，轴突的远端也有分枝，可与多个神经元相连。端也有分枝，可与多个神经元相连。突触突触：它是一个神经元与另一个神经元相联系的特殊部位，通：它是一个神经元与另一个神经元相联系的特殊部位，通常是一个神经元轴突的端部靠化学接触或电接触将信号传递给常是一个神经元轴突的端部靠化学接触或电接触将信号传递给下一个神经元的树突或细胞体。下一个神经元的树突或细胞体。5.2 人工神经网络基础人工神经网络基础5.2.1 人工神经网络的生物原型人工神经网络的生物原型大脑大脑神经元间信号的传递神经元间信号的传递神经元间的信号通过突触传递神经元间的信号通过突触传递。通过它，一个神通过它，一个神经元内传送的冲击信号将在下一个神

30、经元内引起经元内传送的冲击信号将在下一个神经元内引起响应，使下一个神经元兴奋，或阻止下一个神经响应，使下一个神经元兴奋，或阻止下一个神经元兴奋。元兴奋。5.2 人工神经网络基础人工神经网络基础5.2.1 5.2.1 人工神经网络的生物原型人工神经网络的生物原型大脑大脑神经元的基本工作机制神经元的基本工作机制一个神经元有两种状态一个神经元有两种状态兴奋兴奋和和抑制抑制平时处于抑制状态的神经元，当接收到其它神经元经平时处于抑制状态的神经元，当接收到其它神经元经由突触传来的冲击信号时，由突触传来的冲击信号时，多个输入在神经元中以代多个输入在神经元中以代数和的方式叠加。数和的方式叠加。进入突触的信号会

31、被加权，起兴奋作用的信号为正，起抑制作进入突触的信号会被加权，起兴奋作用的信号为正，起抑制作用的信号为负。用的信号为负。如果叠加总量超过某个阈值，神经元就会被激发进入如果叠加总量超过某个阈值，神经元就会被激发进入兴奋状态，发出输出脉冲，并由轴突的突触传递给其兴奋状态，发出输出脉冲，并由轴突的突触传递给其它神经元。它神经元。神经元被触发后有一个不应期，在此期间内不能被触神经元被触发后有一个不应期，在此期间内不能被触发，然后阈值逐渐下降，恢复原来状态。发，然后阈值逐渐下降，恢复原来状态。5.2 人工神经网络基础人工神经网络基础5.2.1 人工神经网络的生物原型人工神经网络的生物原型大脑大脑神经元的

32、基本工作机制神经元的基本工作机制神经元是按照神经元是按照“全或无全或无”的原则工作的，只有的原则工作的，只有兴奋和抑制两种状态兴奋和抑制两种状态，但也不能认为神经元只但也不能认为神经元只能表达或传递二值逻辑信号。能表达或传递二值逻辑信号。神经元兴奋时往往不是只发一个脉冲，而是发神经元兴奋时往往不是只发一个脉冲，而是发出一串脉冲，如果把一串脉冲看成是一个调频出一串脉冲，如果把一串脉冲看成是一个调频信号，脉冲的密度是可以表达连续量的。信号，脉冲的密度是可以表达连续量的。5.2 人工神经网络基础人工神经网络基础5.2.1 5.2.1 人工神经网络的生物原型人工神经网络的生物原型大脑大脑大脑及大脑皮层

33、的结构大脑及大脑皮层的结构研究证明，大脑中大约有研究证明，大脑中大约有10001000个不同的模块，每个模块包含有个不同的模块，每个模块包含有50*1050*106 6个神经元。个神经元。我们可以假设每个模块就是众多神经网络中的一类我们可以假设每个模块就是众多神经网络中的一类。大脑的主要计算机构是大脑皮层，在其断面上一般有大脑的主要计算机构是大脑皮层，在其断面上一般有3636层神经细层神经细胞排列，大约胞排列，大约1010万个神经元组成一组。万个神经元组成一组。在一个典型的脑模型中，大约有在一个典型的脑模型中，大约有500500个神经网络进行计算工作，平个神经网络进行计算工作，平均一个神经元向

34、其它神经元发出均一个神经元向其它神经元发出20002000个突触。个突触。不同层间神经元的连接方式有平行型、发散型、收敛型和反馈型，不同层间神经元的连接方式有平行型、发散型、收敛型和反馈型，这些连接的强度是随机的，随着对外部世界的响应而逐渐形成。这些连接的强度是随机的，随着对外部世界的响应而逐渐形成。5.2 人工神经网络基础人工神经网络基础5.2.1 5.2.1 人工神经网络的生物原型人工神经网络的生物原型大脑大脑总之，大脑中神经网络的结构是极其复杂的，其总之，大脑中神经网络的结构是极其复杂的，其工作机理仍未完全搞清。工作机理仍未完全搞清。认知器模型的发明者认知器模型的发明者KunihikoK

35、unihiko Fukushima Fukushima描述了描述了建立人工神经网络模型的原则：建立人工神经网络模型的原则：“我们试图忠实地遵循生理的证据。我们分析或模拟所我们试图忠实地遵循生理的证据。我们分析或模拟所建模型的性能，并将它与大脑的某种性能进行比较。如建模型的性能，并将它与大脑的某种性能进行比较。如果我们发现模型与大脑在性能方面的差异，我们就变化果我们发现模型与大脑在性能方面的差异，我们就变化我们的初始假设和修改模型我们的初始假设和修改模型，并重复这一过程直到，并重复这一过程直到模型的性能与大脑的性能具有相同的方式。模型的性能与大脑的性能具有相同的方式。”5.2 人工神经网络基础人

36、工神经网络基础5.2.2 5.2.2 人工神经网络处理单元人工神经网络处理单元处理单元（处理单元（PEPE）就是人工神经元，也称为结就是人工神经元，也称为结点，通常用圆圈表示。点，通常用圆圈表示。5.2 人工神经网络基础人工神经网络基础5.2.2 人工神经网络处理单元人工神经网络处理单元处理单元的结构和功能与生物神经元有类似之处，处理单元的结构和功能与生物神经元有类似之处，可以说是生物神经元的简单近似。可以说是生物神经元的简单近似。处理单元只模拟了生物神经元所能执行的处理单元只模拟了生物神经元所能执行的150150多个处理多个处理功能中的若干个。功能中的若干个。处理单元的功能处理单元的功能对每

37、个输入信号进行处理以确定其强度（加权）；对每个输入信号进行处理以确定其强度（加权）；确定所有输入信号的组合效果（求和）；确定所有输入信号的组合效果（求和）；确定其输出（转移特性）。确定其输出（转移特性）。5.2 人工神经网络基础人工神经网络基础5.2.2 5.2.2 人工神经网络处理单元人工神经网络处理单元对生物神经元的模拟对生物神经元的模拟就像生物神经元中有很多输入（激励）一样，处理单元就像生物神经元中有很多输入（激励）一样，处理单元也有很多输入信号，并且同时加到处理单元上，处理单也有很多输入信号，并且同时加到处理单元上，处理单元以输出作为响应。元以输出作为响应。处理单元的输出像实际神经元一

38、样，处理单元的输出像实际神经元一样，输出响应不但受输输出响应不但受输入信号的影响，同时也受内部其它因素的影响。入信号的影响，同时也受内部其它因素的影响。内部因素内部因素：内部阈值或一个额外输入（称为偏置项）内部阈值或一个额外输入（称为偏置项）5.2 人工神经网络基础人工神经网络基础5.2.2 5.2.2 人工神经网络处理单元人工神经网络处理单元处理单元的基本结构和功能处理单元的基本结构和功能5.2 人工神经网络基础人工神经网络基础5.2.2 人工神经网络处理单元人工神经网络处理单元处理单元的基本结构和功能处理单元的基本结构和功能输入信号输入信号来自外部（用黑色圆点表示输入端点）来自外部（用黑色

39、圆点表示输入端点）或别的处理单元的输出或别的处理单元的输出，在数学上表示为行向量在数学上表示为行向量x x x x=(=(x x1 1,x x2 2,x xN N)其中其中x xi i为第为第i i个输入的激励电平，个输入的激励电平，N N表示输入数目。表示输入数目。5.2 人工神经网络基础人工神经网络基础5.2.2 5.2.2 人工神经网络处理单元人工神经网络处理单元处理单元的基本结构和功能处理单元的基本结构和功能连接到结点连接到结点j j的加权表示为加权向量的加权表示为加权向量W Wj j=(W=(W1j1j,W,W2j2j,W WNjNj)其中其中W Wijij表示从结点表示从结点i i

40、（或第或第i i个输入点）到结点个输入点）到结点j j的加权，或称的加权，或称i i与与j j结点之间的连接强度。结点之间的连接强度。5.2 人工神经网络基础人工神经网络基础5.2.2 5.2.2 人工神经网络处理单元人工神经网络处理单元处理单元的基本结构和功能处理单元的基本结构和功能考虑到内部阈值考虑到内部阈值j j，用，用x x0 0=-1=-1的固定偏置输入点的固定偏置输入点表示，其连接强度取表示，其连接强度取W W0j0j=j j。于是，可得输入于是，可得输入的加权和为的加权和为5.2 人工神经网络基础人工神经网络基础5.2.2 5.2.2 人工神经网络处理单元人工神经网络处理单元处理

41、单元的基本结构和功能处理单元的基本结构和功能如果向量如果向量x x和和W Wj j分别包含了分别包含了x x0 0和和W W0j0j，则有则有x x=(=(x x0 0,x x1 1,x xN N)W Wj j=(W=(W0j0j,W,W1j1j,W WNjNj)5.2 人工神经网络基础人工神经网络基础5.2.2 5.2.2 人工神经网络处理单元人工神经网络处理单元处理单元的基本结构和功能处理单元的基本结构和功能于是于是s sj j可表示为可表示为x x和和W Wj j的的点积点积或或内积内积 sj=xWj这一结果是标量，它由两个向量的内积得到，这一结果是标量，它由两个向量的内积得到，可以作为

42、两个向量相似程度的测量可以作为两个向量相似程度的测量。如果如果向量处于相同的方向向量处于相同的方向，则其，则其内积最大内积最大；如果如果向量处于相反的方向向量处于相反的方向，则其，则其内积最小内积最小。5.2 人工神经网络基础人工神经网络基础5.2.2 5.2.2 人工神经网络处理单元人工神经网络处理单元处理单元的基本结构和功能处理单元的基本结构和功能处理单元的激励电平处理单元的激励电平s sj j通过一个转移函通过一个转移函数数F(F()，得到处理单元的最后输出值得到处理单元的最后输出值y yj j5.2 人工神经网络基础人工神经网络基础5.2.2 5.2.2 人工神经网络处理单元人工神经网

43、络处理单元转移函数转移函数转移函数转移函数F(F()也称也称激励函数激励函数、传输函数传输函数或或限幅函数限幅函数，其，其作用就是将可能的无限域变换到一指定的有限范围内输作用就是将可能的无限域变换到一指定的有限范围内输出，这类似于生物神经元具有的非线性转移特性。出，这类似于生物神经元具有的非线性转移特性。常用的转移函数常用的转移函数线性函数线性函数斜坡函数斜坡函数阶跃函数阶跃函数符号函数符号函数SigmoidSigmoid函数函数双曲正切函数双曲正切函数5.2 人工神经网络基础人工神经网络基础5.2.2 5.2.2 人工神经网络处理单元人工神经网络处理单元线性函数线性函数最简单的转移函数最简单

44、的转移函数y=y=F(sF(s)=)=ksks其中其中y y为输出值为输出值，s s为输入信号的加权和为输入信号的加权和，k k是一个常数，表示直线的斜率。是一个常数，表示直线的斜率。5.2 人工神经网络基础人工神经网络基础5.2.2 人工神经网络处理单元人工神经网络处理单元斜坡函数斜坡函数5.2 人工神经网络基础人工神经网络基础斜坡函数斜坡函数当线性函数值限定在当线性函数值限定在(-r r)的范围内时，线性的范围内时，线性函数就变为非线性斜坡函数。函数就变为非线性斜坡函数。r和和-r分别是处理单元的最大值和最小值，分别是处理单元的最大值和最小值，称为饱和值，一般称为饱和值，一般|r|=1。5

45、.2.2 人工神经网络处理单元人工神经网络处理单元阶跃函数阶跃函数硬限幅函数硬限幅函数的一种的一种5.2.2 人工神经网络处理单元人工神经网络处理单元符号函数（符号函数（sgnsgn()）硬限幅函数的一种硬限幅函数的一种5.2.2 人工神经网络处理单元人工神经网络处理单元Sigmoid函数函数S型函数的一种型函数的一种y=F(s)=1/(1+e-s)Grossberg在在19731973年发现，用该函数可使年发现，用该函数可使同一网络同一网络既能处理小信号，也能处理大既能处理小信号，也能处理大信号。信号。该函数的该函数的中间高增益区解决了处理小信号中间高增益区解决了处理小信号的的问题；问题；伸

46、向两边的低增益区正好适合于处理大的激伸向两边的低增益区正好适合于处理大的激励信号；励信号；这种现象正像生物神经元在输入电平范围很这种现象正像生物神经元在输入电平范围很大的情况下能正常工作一样。大的情况下能正常工作一样。5.2.2 人工神经网络处理单元人工神经网络处理单元双曲正切函数双曲正切函数S型函数的一种型函数的一种 y=tand(s)=(es-e-s)/(es+e-s)相对于相对于SigmoidSigmoid函数，它是原点对称的。函数，它是原点对称的。当当s=0s=0时有时有y=0y=0，即同时具有双级输出。即同时具有双级输出。当要求输出当要求输出(-1 1)(-1 1)范围的信号时，它常

47、被采用。范围的信号时，它常被采用。5.2.3 人工神经网络的拓扑结构人工神经网络的拓扑结构虽然单个处理单元可以处理简单的图形检测功虽然单个处理单元可以处理简单的图形检测功能，但能，但更强的识别处理能力是来自多个结点更强的识别处理能力是来自多个结点“连成连成”的网络的网络，即，即人工神经网络人工神经网络。这里的这里的“连成连成”，是靠输入至结点或者结点至是靠输入至结点或者结点至结点间的信号传输通路实现的结点间的信号传输通路实现的，这一通路相当，这一通路相当于生物神经系统中的轴突和突触，它们影响着于生物神经系统中的轴突和突触，它们影响着输入信号。输入信号。以后我们把这种信号传输通路称为以后我们把这

48、种信号传输通路称为“连接连接”，每一个连接都具有一个加权值，称为每一个连接都具有一个加权值，称为“连接权连接权”，反映连接的强度。反映连接的强度。5.2.3 人工神经网络的拓扑结构人工神经网络的拓扑结构单层网络单层网络最简单的网络是把一组结点形成一层最简单的网络是把一组结点形成一层。左边的黑色圆点只起着分配输入信号的作用，左边的黑色圆点只起着分配输入信号的作用，没有计算作用，不看作是网络的一层。没有计算作用，不看作是网络的一层。右边用圆圈表示的一组结点被看作一层。右边用圆圈表示的一组结点被看作一层。5.2.3 人工神经网络的拓扑结构人工神经网络的拓扑结构单层网络单层网络输入信号表示为行向量：输

49、入信号表示为行向量：x x=(=(x x1 1,x x2 2,x xN N)，其其中每一分量通过加权连接到各结点。中每一分量通过加权连接到各结点。每一个结点均可产生一个加权和。每一个结点均可产生一个加权和。输入和结点间采用全连接，并且都是前馈连接。输入和结点间采用全连接，并且都是前馈连接。在这种单层网络中可把各加权表示为加权矩阵在这种单层网络中可把各加权表示为加权矩阵W W。矩阵的维数是矩阵的维数是N x n，N是输入信号向量的分量数，是输入信号向量的分量数，n n是该层内的结点数。是该层内的结点数。由第三个输入连接到第二个结点的连接权表示为由第三个输入连接到第二个结点的连接权表示为W W32

50、32。5.2.3 人工神经网络的拓扑结构人工神经网络的拓扑结构单层网络单层网络输入信号的加权和表示为：输入信号的加权和表示为：s s是各结点加权和的行向量，是各结点加权和的行向量，s=(ss=(s1 1,s,s2 2,s sn n)。输出向量输出向量 y=(yy=(y1 1,y,y2 2,y yn n)，其中其中y yj j=F(sF(sj j)。5.2.3 人工神经网络的拓扑结构人工神经网络的拓扑结构多层网络多层网络一般来说，一般来说，大而复杂的网络能提供更强的计算大而复杂的网络能提供更强的计算能力。能力。虽然目前已构成了很多网络模型，但虽然目前已构成了很多网络模型，但它们的结它们的结点都是