第四章神经网络的基本理论精选文档.ppt

1本讲稿第一页，共九十七页 模模糊糊控控制制从从人人的的经经验验出出发发，解解决决了了智智能能控控制制中中人人类类语语言言的的描描述述和和推推理理问问题题，尤尤其其是是一一些些不不确确定定性性语语言言的的描描述述和和推推理理问问题题，从从而而在在机机器器模模拟拟人人脑脑的的感感知知、推推理理等等智智能能行行为为方方面面迈迈出出了了重重大大的的一一步。步。模模糊糊控控制制在在处处理理数数值值数数据据、自自学学习习能能力力等等方方面面还还远远没没有有达达到到人人脑脑的的境境界界。人人工工神神经经网网络络从从另另一一个个角角度度出出发发，即即从从人人脑脑的的生生理理学学和和心心理理学学着着手手，通通过过人人工工模模拟拟人人脑脑的的工工作作机机理理来来实实现现机器的部分智能行为。机器的部分智能行为。引言引言2本讲稿第二页，共九十七页 人人工工神神经经网网络络（简简称称神神经经网网络络，Neural Network）是是模模拟拟人人脑脑思维方式的数学模型。思维方式的数学模型。神神经经网网络络是是在在现现代代生生物物学学研研究究人人脑脑组组织织成成果果的的基基础础上上提提出出的的，用用来来模模拟拟人人类类大大脑脑神神经经网网络络的的结结构构和和行行为为。神神经经网网络络反反映映了了人人脑脑功功能能的的基本特征，如并行信息处理、学习、联想、模式分类、记忆等。基本特征，如并行信息处理、学习、联想、模式分类、记忆等。20世世纪纪80年年代代以以来来，人人工工神神经经网网络络（ANN，Artificial NeuralNetwork）研研究究取取得得了了突突破破性性进进展展。神神经经网网络络控控制制是是将将神神经经网网络络与与控控制制理理论论相相结结合合而而发发展展起起来来的的智智能能控控制制方方法法。它它已已成成为为智智能能控控制制的的一一个个新新的的分分支支，为为解解决决复复杂杂的的非非线线性性、不不确确定定、未未知知系系统统的的控控制制问问题题开开辟了新途径。辟了新途径。引言引言3本讲稿第三页，共九十七页神神经经生生理理学学和和神神经经解解剖剖学学的的研研究究表表明明，人人脑脑极极其其复复杂杂，由由一一千千多多亿亿个个神神经经元元交交织织在在一一起起的的网网状状结结构构构构成成，其其中中大大脑脑皮皮层层约约140亿个神经元，小脑皮层约亿个神经元，小脑皮层约1000亿个神经元。亿个神经元。人人脑脑能能完完成成智智能能、思思维维等等高高级级活活动动，为为了了能能利利用用数数学学模模型型来模拟人脑的活动，导致了神经网络的研究。来模拟人脑的活动，导致了神经网络的研究。神神经经系系统统的的基基本本构构造造是是神神经经元元(神神经经细细胞胞)，它它是是处处理理人人体体内各部分之间相互信息传递的基本单元。内各部分之间相互信息传递的基本单元。生物神经元生物神经元4本讲稿第四页，共九十七页单个神经元的解剖图单个神经元的解剖图单个神经元的解剖图单个神经元的解剖图生物神经元生物神经元每个神经元都由一个细胞体，一个连接其他神经元的每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支轴突和一些向外伸出的其它较短分支树突组成。树突组成。5本讲稿第五页，共九十七页轴轴突突功功能能是是将将本本神神经经元元的的输输出出信信号号(兴兴奋奋)传传递递给给别别的的神神经经元元，其其末末端端的的许许多多神神经经末末梢梢使使得得兴兴奋奋可可以以同同时时传传送送给给多多个神经元。个神经元。生物神经元生物神经元树突的功能是接受来自其它神经元的兴奋。树突的功能是接受来自其它神经元的兴奋。神神经经元元细细胞胞体体将将接接收收到到的的所所有有信信号号进进行行简简单单地地处处理理后后，由由轴轴突突输出。输出。神经元的轴突与另外神经元神经末梢相连的部分称为突触。神经元的轴突与另外神经元神经末梢相连的部分称为突触。6本讲稿第六页，共九十七页神经元的构成：神经元的构成：（1）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；（2）树突：用于为细胞体传入信息；）树突：用于为细胞体传入信息；（3）轴轴突突：为为细细胞胞体体传传出出信信息息，其其末末端端是是轴轴突突末末梢梢，含含传传递递信息的化学物质；信息的化学物质；（4）突触：是神经元之间的接口（）突触：是神经元之间的接口（104105个个/每个神经元）。每个神经元）。通过树突和轴突，神经元之间实现了信息的传递。通过树突和轴突，神经元之间实现了信息的传递。生物神经元生物神经元7本讲稿第七页，共九十七页神神经经元元之之间间的的联联系系主主要要依依赖赖其其突突触触的的联联接接作作用用。这这种种突突触触的的联联接接是是可可塑塑的的，也也就就是是说说突突触触特特性性的的变变化化是是受受到到外外界界信信息息的的影影响响或或自自身身生长过程的影响。生理学的研究归纳有以下几个方面的变化：生长过程的影响。生理学的研究归纳有以下几个方面的变化：(1)突突触触传传递递效效率率的的变变化化。首首先先是是突突触触的的膨膨胀胀以以及及由由此此产产生生的的突突触触后后膜膜表表面面积积扩扩大大，从从而而突突触触所所释释放放出出的的传传递递物物质质增增多多，使使得得突突触触的的传传递递效效率率提提高高。其其次次是是突突触触传传递递物物质质质质量量的的变变化化，包包括括比比例成分的变化所引起传递效率的变化。例成分的变化所引起传递效率的变化。(2)突突触触接接触触间间隙隙的的变变化化。在在突突触触表表面面有有许许多多形形状状各各异异的的小小凸芽，调节其形状变化可以改变接触间隙，并影响传递效率。凸芽，调节其形状变化可以改变接触间隙，并影响传递效率。生物神经元生物神经元8本讲稿第八页，共九十七页(3)突突触触的的发发芽芽。当当某某些些神神经经纤纤维维被被破破坏坏后后，可可能能又又会会长长出出新新芽芽，并并重重新新产产生生附附着着于于神神经经元元上上的的突突触触形形成成新新的的回回路路。由由于于新新的的回回路路的的形形成成，使使得得结结合合模模式式发发生生变变化化，也也会会引引起起传传递效率的变化。递效率的变化。(4)突突触触数数目目的的增增减减。由由于于种种种种复复杂杂环环境境条条件件的的刺刺激激等等原原因因，或或者者由由于于动动物物本本身身的的生生长长或或衰衰老老，神神经经系系统统的的突突触触数数目目会会发发生变化，并影响神经元之间的传递效率。生变化，并影响神经元之间的传递效率。生物神经元生物神经元9本讲稿第九页，共九十七页神经元对信息的接受和传递都是通过突触来进行的。神经元对信息的接受和传递都是通过突触来进行的。单单个个神神经经元元可可以以从从别别的的细细胞胞接接受受多多个个输输入入。由由于于输输入入分分布布于于不不同同的的部部位位，对对神神经经元元影影响响的的比比例例(权权重重)是是不不相相同同的的。另另外外，各各突突触触输输入入抵抵达达神神经经元元的的先先后后时时间间也也不不一一祥祥。因因此此，一一个个神神经经元元接接受受的的信信息息，在在时时间间和和空空间间上上常常呈呈现现出出一一种种复复杂杂多多变变的的形形式式，需需要要神神经经元元对对它它们们进进行行积积累累和和整整合合加加工工，从从而而决决定定其其输输出出的的时时机机和和强强度度。正正是是神神经经元元这这种种整整合合作作用用，才才使使得得亿亿万万个个神神经经元元在在神神经经系系统统中中有有条条不不紊紊、夜夜以以继继日日地地处处理理各各种种复复杂杂的的信信息息，执执行行着着生生物物中中枢枢神神经经系系统统的的各种信息处理功能。各种信息处理功能。多多个个神神经经元元以以突突触触联联接接形形成成了了一一个个神神经经网网络络。研研究究表表明明，生生物物神神经经网网络络的的功功能能决决不不是是单单个个神神经经元元生生理理和和信信息息处处理理功功能能的的简简单单叠叠加加，而而是是一一个个有有层层次次的的、多单元的动态信息处理系统。多单元的动态信息处理系统。它它们们有有其其独独特特的的运运行行方方式式和和控控制制机机制制，以以接接受受生生物物内内外外环环境境的的输输入入信信息息，加加以综合分折处理，然后调节控制机体对环境作出适当的反应。以综合分折处理，然后调节控制机体对环境作出适当的反应。生物神经元生物神经元10本讲稿第十页，共九十七页突触的信息处理突触的信息处理v生物神经元传递信息的过程为多输入生物神经元传递信息的过程为多输入、单输出单输出v神经元各组成部分的功能来看，信息的处理与传递神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近主要发生在突触附近v当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质放神经传递的化学物质v突触有两种类型，兴奋性突触和抑制性突触。前者产突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位生正突触后电位，后者产生负突触后电位生物神经元生物神经元11本讲稿第十一页，共九十七页神经元具有如下功能：神经元具有如下功能：v(1)兴兴奋奋与与抑抑制制：如如果果传传入入神神经经元元的的冲冲动动经经整整合合后后使使细细胞胞膜膜电电位位升升高高，超超过过动动作作电电位位的的阈阈值值时时即即为为兴兴奋奋状状态态，产产生生神神经经冲冲动动，由由轴轴突突经经神神经经末末梢梢传传出出。如如果果传传入入神神经经元元的的冲冲动动经经整整合合后后使使细细胞胞膜膜电电位位降降低低，低低于于动动作作电电位位的的阈阈值值时时即即为为抑抑制制状状态态，不不产产生生神经冲动神经冲动。v(2)学学习习与与遗遗忘忘：由由于于神神经经元元结结构构的的可可塑塑性性，突突触触的的传传递递作作用用可增强和减弱，因此神经元具有学习与遗忘的功能。可增强和减弱，因此神经元具有学习与遗忘的功能。生物神经元生物神经元12本讲稿第十二页，共九十七页以上是从宏观上分析了人脑信息处理特点。从信息系统研究的观点以上是从宏观上分析了人脑信息处理特点。从信息系统研究的观点出发，对于出发，对于人脑人脑这个智能信息处理系统，有如下一些固有特征：这个智能信息处理系统，有如下一些固有特征：(1)并行分布处理的工作模式。并行分布处理的工作模式。实际上大脑中单个神经元的信息处理速度是很慢的，每次约实际上大脑中单个神经元的信息处理速度是很慢的，每次约1毫秒毫秒(ms)，比通常的电子门电路要慢几个数量级。每个神经元，比通常的电子门电路要慢几个数量级。每个神经元的处理功能也很有限，估计不会比计算机的一条指令更复杂。的处理功能也很有限，估计不会比计算机的一条指令更复杂。但是人脑对某一复杂过程的处理和反应却很快，一般只需几但是人脑对某一复杂过程的处理和反应却很快，一般只需几百毫秒。例如要判定人眼看到的两个图形是否一样，实际上约需百毫秒。例如要判定人眼看到的两个图形是否一样，实际上约需400ms，而在这个处理过程中，与脑神经系统的一些主要功能，而在这个处理过程中，与脑神经系统的一些主要功能，如视觉、记亿、推理等有关。按照上述神经元的处理速度，如果如视觉、记亿、推理等有关。按照上述神经元的处理速度，如果采用串行工作模式，就必须在几百个串行步内完成，这实际上是采用串行工作模式，就必须在几百个串行步内完成，这实际上是不可能办到的。因此只能把它看成是一个由众多神经元所组成的不可能办到的。因此只能把它看成是一个由众多神经元所组成的超高密度的并行处理系统。例如在一张照片寻找一个熟人的面超高密度的并行处理系统。例如在一张照片寻找一个熟人的面孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现有的技术，是不可能在短时间内完成的。由此可见，大脑信息处有的技术，是不可能在短时间内完成的。由此可见，大脑信息处理的并行速度已达到了极高的程度。理的并行速度已达到了极高的程度。生物神经元生物神经元13本讲稿第十三页，共九十七页v(2)神经系统的可塑性和自组织性。神经系统的可塑性和自组织性。v神经系统的可塑性和自组织性与人脑的生长发育过神经系统的可塑性和自组织性与人脑的生长发育过程有关。例如，人的幼年时期约在程有关。例如，人的幼年时期约在9岁左右，学习语言的能岁左右，学习语言的能力十分强，说明在幼年时期，大脑的可塑性和柔软性特别良力十分强，说明在幼年时期，大脑的可塑性和柔软性特别良好。从生理学的角度看，它体现在突触的可塑性和联接状态好。从生理学的角度看，它体现在突触的可塑性和联接状态的变化，同时还表现在神经系统的自组织特性上。例如在某的变化，同时还表现在神经系统的自组织特性上。例如在某一外界信息反复刺激下接受该信息的神经细胞之间的突触一外界信息反复刺激下接受该信息的神经细胞之间的突触结合强度会增强。这种可塑性反映出大脑功能既有先天的制结合强度会增强。这种可塑性反映出大脑功能既有先天的制约因素，也有可能通过后天的训练和学习而得到加强。约因素，也有可能通过后天的训练和学习而得到加强。神经神经网络的学习机制就是基于这种可塑性现象，并通过修正突触网络的学习机制就是基于这种可塑性现象，并通过修正突触的结合强度来实现的。的结合强度来实现的。生物神经元生物神经元14本讲稿第十四页，共九十七页v(3)信息处理与信息存贮合二为一。信息处理与信息存贮合二为一。v大脑中的信息处理与信息存贮是有机结合在一起的，大脑中的信息处理与信息存贮是有机结合在一起的，而不像现行计算机那样存贮地址和存贮内容是彼此分开的。而不像现行计算机那样存贮地址和存贮内容是彼此分开的。由于大脑神经元兼有信息处理和存贮功能，所以在进行回亿由于大脑神经元兼有信息处理和存贮功能，所以在进行回亿时，不但不存在先找存贮地址而后再调出所存内容的问题，时，不但不存在先找存贮地址而后再调出所存内容的问题，而且还可以由一部分内容恢复全部内容。而且还可以由一部分内容恢复全部内容。v(4)信息处理的系统性信息处理的系统性v大脑是一个复杂的大规模信息处理系统，单个的元大脑是一个复杂的大规模信息处理系统，单个的元件件“神经元神经元”不能体现全体宏观系统的功能。实际上，可以不能体现全体宏观系统的功能。实际上，可以将大脑的各个部位看成是一个大系统中的许多子系统。各个将大脑的各个部位看成是一个大系统中的许多子系统。各个子系统之间具有很强的相互联系，一些子系统可以调节另一子系统之间具有很强的相互联系，一些子系统可以调节另一些子系统的行为。例如，视觉系统和运动系统就存在很强的些子系统的行为。例如，视觉系统和运动系统就存在很强的系统联系，可以相互协调各种信息处理功能。系统联系，可以相互协调各种信息处理功能。生物神经元生物神经元15本讲稿第十五页，共九十七页v(5)能接受和处理模糊的、模拟的、随机的信息。能接受和处理模糊的、模拟的、随机的信息。v(6)求满意解而不是精确解。求满意解而不是精确解。人类处理日常行为时，往往都不是一定要按最优人类处理日常行为时，往往都不是一定要按最优或最精确的方式去求解，而是以能解决问题为原或最精确的方式去求解，而是以能解决问题为原则，即求得满意解就行了。则，即求得满意解就行了。v(7)系统的恰当退化和冗余备份系统的恰当退化和冗余备份(鲁棒性和容错性鲁棒性和容错性)。生物神经元生物神经元16本讲稿第十六页，共九十七页决定神经网络模型性能三大要素为：决定神经网络模型性能三大要素为：v(1)神经元（信息处理单元）的特性；神经元（信息处理单元）的特性；v(2)神经元之间相互连接的形式神经元之间相互连接的形式拓扑结构；拓扑结构；v(3)为适应环境而改善性能的学习规则。为适应环境而改善性能的学习规则。生物神经元生物神经元17本讲稿第十七页，共九十七页4.1人工神经网络模型人工神经网络模型人工神经网络的数学模型人工神经网络的数学模型人工神经网络的数学模型人工神经网络的数学模型人工神经网络是在结构和功能上对生物神经网络的某种人工神经网络是在结构和功能上对生物神经网络的某种程度的模拟和逼近。程度的模拟和逼近。v直观理解直观理解 神经网络是一个并行和分布式的信息处理网络结构神经网络是一个并行和分布式的信息处理网络结构它一般由大量神经元组成它一般由大量神经元组成每个神经元只有一个输出，可以连接到很多其他的神经每个神经元只有一个输出，可以连接到很多其他的神经元元每个神经元输入有多个连接通道，每个连接通道对应每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数于一个连接权系数18本讲稿第十八页，共九十七页一、一、MP模型模型MP模模型型属属于于一一种种阈阈值值元元件件模模型型，它它是是由由美美国国McCulloch和和Pitts提提出出的的最最早早神神经经元元模模型型之之一一。MP模模型型是大多数神经网络模型的基础。是大多数神经网络模型的基础。人工神经网络基本模型人工神经网络基本模型4.1人工神经网络模型人工神经网络模型19本讲稿第十九页，共九十七页yx1x2x nw1w2w nq q标准标准MP模型模型4.1人工神经网络模型人工神经网络模型20本讲稿第二十页，共九十七页wij代代表表神神经经元元i与与神神经经元元j之之间间的的连连接接强强度度(模模拟拟生生物物神神经元之间突触连接强度经元之间突触连接强度)，称之为，称之为连接权连接权；ui代表神经元代表神经元i的活跃值，即的活跃值，即神经元状态神经元状态；xj代表神经元代表神经元j的输出，即是神经元的输出，即是神经元i的一个的一个输入输入；i代表神经元代表神经元i的的阈值阈值。函数函数f表达了神经元的输入输出特性。在表达了神经元的输入输出特性。在MP模型中，模型中，f定定义为阶跃函数义为阶跃函数/激发函数：激发函数：4.1人工神经网络模型人工神经网络模型21本讲稿第二十一页，共九十七页如果把阈值如果把阈值i看作为一个特殊的权值，则可改写为看作为一个特殊的权值，则可改写为:其中，其中，w0i-i，v01为为用用连连续续型型的的函函数数表表达达神神经经元元的的非非线线性性变变换换能能力力，常常采用采用s型函数型函数:该函数的图像如下图所示该函数的图像如下图所示4.1人工神经网络模型人工神经网络模型22本讲稿第二十二页，共九十七页4.1人工神经网络模型人工神经网络模型23本讲稿第二十三页，共九十七页MP模模型型在在发发表表时时并并没没有有给给出出一一个个学学习习算算法法来来调调整整神神经经元元之之间间的的连连接接权权。但但是是，我我们们可可以以根根据据需需要要，采采用用一一些些常常见见的的算算法法来来调调整整神神经经元元连连接接权权，以以达达到到学学习习目目的的。下下面面介介绍绍的的Hebb学学习习规规则则就就是是一一个个常常见见学学习习算算法。法。Hebb学学习习规规则则神神经经网网络络具具有有学学习习功功能能。对对于于人人工工神神经经网网络络而而言言，这这种种学学习习归归结结为为神神经经元元连连接接权权的的变变化化。调调整整wij的的原原则则为为：若若第第i和和第第j个个神神经经元元同同时时处处于于兴兴奋奋状状态态，则它们之间的连接应当加强，即：则它们之间的连接应当加强，即：wijuivj这这一一规规则则与与“条条件件反反射射”学学说说一一致致，并并已已得得到到神神经经细细胞学说的证实。胞学说的证实。是表示学习速率的比例常数。是表示学习速率的比例常数。4.1人工神经网络模型人工神经网络模型24本讲稿第二十四页，共九十七页4.2神经网络的定义和特点神经网络的定义和特点神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为模拟人类大脑神经网络的结构和行为，它从微观结构和功能，它从微观结构和功能上对人脑进行抽象和简化，是模拟人类智能的一条重要途径，上对人脑进行抽象和简化，是模拟人类智能的一条重要途径，反映了人脑功能的若干基本特征，如并行信息处理、学习、联反映了人脑功能的若干基本特征，如并行信息处理、学习、联想、模式分类、记忆等。想、模式分类、记忆等。n定义定义神经网络系统是由大量的神经元，通过广泛地互相连接而形成的神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。复杂网络系统。25本讲稿第二十五页，共九十七页n特点特点（1）非线性映射逼近能力。非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以任意任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。精度加以逼近。（2）自适应性和自组织性自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接强神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。求。（3）并行处理性。并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。处理方式是大规模并行的，可以大大加快对信息处理的速度。（4）分布存储和容错性。分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，而信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。想记忆功能。（5）便于集成实现和计算模拟。便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合，神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模集成电路实现。特别适合于用大规模集成电路实现。4.2神经网络的定义和特点神经网络的定义和特点26本讲稿第二十六页，共九十七页4.3感知器模型感知器模型感感 知知 器器 是是 一一 种种 早早 期期 的的 神神 经经 网网 络络 模模 型型，由由 美美 国国 学学 者者F.Rosenblatt于于1957年年提提出出.感感知知器器中中第第一一次次引引入入了了学学习习的的概概念念，使使人人脑脑所所具具备备的的学学习习功功能能在在基基于于符符号号处处理理的的数数学学到到了了一定程度的模拟，所以引起了广泛的关注。一定程度的模拟，所以引起了广泛的关注。1.简单感知器简单感知器简单感知器模型实际上仍然是简单感知器模型实际上仍然是MP模型模型的结构，但是它的结构，但是它通过采用监督学习来逐步增强模式划分的能力，达到所通过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。谓学习的目的。27本讲稿第二十七页，共九十七页其结构如下图所示其结构如下图所示感知器处理单元对感知器处理单元对n个输入进行加权和操作个输入进行加权和操作v即：即：其中，其中，Wi为第为第i个输入到处理单元的连接权值个输入到处理单元的连接权值为为阈值。阈值。f取阶跃函数取阶跃函数.yx1x2x nw1w2w nq q4.3感知器模型感知器模型28本讲稿第二十八页，共九十七页感知器在形式上与感知器在形式上与MP模型差不多，它们之间的区别模型差不多，它们之间的区别在于神经元间连接权的变化。感知器的连接权定义为可在于神经元间连接权的变化。感知器的连接权定义为可变的，这样感知器就被赋予了学习的特性。变的，这样感知器就被赋予了学习的特性。利用简单利用简单感知器可以实现逻辑代数中的一些运算。感知器可以实现逻辑代数中的一些运算。Y=f(w1x1+w2x2-)(1)“与与”运算。当取运算。当取w1w21，1.5时，上式完成逻时，上式完成逻辑辑“与与”的运算。的运算。4.3感知器模型感知器模型29本讲稿第二十九页，共九十七页(2)“或或”运算，运算，当取当取wlw21，0.5时，上式完成逻辑时，上式完成逻辑“或或”的的运运算。算。(3)“非非”运算，运算，当取当取wl=-1，w20，-1时完成逻辑时完成逻辑“非非”的运算。的运算。4.3感知器模型感知器模型30本讲稿第三十页，共九十七页简单感知器引入的学习算法称之为误差学习算法。简单感知器引入的学习算法称之为误差学习算法。该算法是神经网络学习中的一个重要算法，并已被广该算法是神经网络学习中的一个重要算法，并已被广泛应用。现介绍如下：泛应用。现介绍如下：误差型学习规则：误差型学习规则：(1)选择一组初始权值选择一组初始权值wi(0)。(2)计算某一输入模式对应的实际输出与期望输出的计算某一输入模式对应的实际输出与期望输出的误差误差。4.3感知器模型感知器模型31本讲稿第三十一页，共九十七页(3)如果如果小于给定值，结束，否则继续。小于给定值，结束，否则继续。(4)更新权值更新权值(阈值可视为输入恒为阈值可视为输入恒为1的一个权值的一个权值)：wi（t+1）wi（t+1）-wi（t）dy(t)xi。式中式中为在区间为在区间(0，1)上的一个常数，称为学习步长，它的上的一个常数，称为学习步长，它的取值与训练速度和取值与训练速度和w收敛的稳定性有关；收敛的稳定性有关；通常通常不能太大，因为太大会影响不能太大，因为太大会影响wi（t）的稳定，）的稳定，也不也不能太小，因为太小会使能太小，因为太小会使wi（t）的收敛速度太慢；）的收敛速度太慢；d、y为神经元的期望输出和实际输出；为神经元的期望输出和实际输出；xi为神经元的第为神经元的第i个输入。个输入。(5)返回返回(2)，重复，直到对所有训练样本模式，网络输出，重复，直到对所有训练样本模式，网络输出均能满足要求。均能满足要求。4.3感知器模型感知器模型32本讲稿第三十二页，共九十七页 2.2.多层感知器多层感知器 如果在输入和输出层间加上一层或多层的神经元如果在输入和输出层间加上一层或多层的神经元(隐层隐层神经元神经元)，就可构成多层前向网络，这里称为多层感知器。，就可构成多层前向网络，这里称为多层感知器。4.3感知器模型感知器模型33本讲稿第三十三页，共九十七页4.4神经网络的分类神经网络的分类目前神经网络模型的种类相当丰富，已有数十种目前神经网络模型的种类相当丰富，已有数十种神经网络模型。神经网络模型。典型的神经网络有多层前向传播网络典型的神经网络有多层前向传播网络（BP网络网络）、）、Hopfield网络、网络、CMAC小脑模型小脑模型、ART网络、网络、BAM双向联想记忆网络、双向联想记忆网络、SOM自组织网络、自组织网络、Blotzman机机网络和网络和Madaline网络等网络等34本讲稿第三十四页，共九十七页4.4神经网络的分类神经网络的分类（1）根据神经网络的连接方式，神经网络可分为前向网络、反馈网络、自组织网络）根据神经网络的连接方式，神经网络可分为前向网络、反馈网络、自组织网络前向网络：前向网络：神经元分层排列，组成输入层、隐含层和输出层。每一层的神神经元分层排列，组成输入层、隐含层和输出层。每一层的神神经元分层排列，组成输入层、隐含层和输出层。每一层的神神经元分层排列，组成输入层、隐含层和输出层。每一层的神经元只接受前一层神经元的输入。输入模式经过各层的顺次变换后，由输出经元只接受前一层神经元的输入。输入模式经过各层的顺次变换后，由输出经元只接受前一层神经元的输入。输入模式经过各层的顺次变换后，由输出经元只接受前一层神经元的输入。输入模式经过各层的顺次变换后，由输出层输出。在各神经元之间不存在反馈。感知器和误差反向传播网络采用前向层输出。在各神经元之间不存在反馈。感知器和误差反向传播网络采用前向层输出。在各神经元之间不存在反馈。感知器和误差反向传播网络采用前向层输出。在各神经元之间不存在反馈。感知器和误差反向传播网络采用前向网络形式。网络形式。网络形式。网络形式。35本讲稿第三十五页，共九十七页4.4神经网络的分类神经网络的分类反馈网络：反馈网络：该网络结构在输出层到输入层存在反馈，即每一个输入节点都有可能接受来该网络结构在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种神经网络是一种反馈动力学系统，自外部的输入和来自输出神经元的反馈。这种神经网络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。它需要工作一段时间才能达到稳定。HopfieldHopfield神经网络是反馈网络中最简单且应用最广泛的模型，它具有联神经网络是反馈网络中最简单且应用最广泛的模型，它具有联想记忆的功能，如果将想记忆的功能，如果将LyapunovLyapunov函数定义为寻优函数，函数定义为寻优函数，HopfieldHopfield神经网络神经网络还可以解决寻优问题。还可以解决寻优问题。36本讲稿第三十六页，共九十七页4.4神经网络的分类神经网络的分类自组织网络：自组织网络：当神经网络在接受外界输入时，网络将会分成不同的区域，不同区域具当神经网络在接受外界输入时，网络将会分成不同的区域，不同区域具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的特征图，该图实际上是一种非线性映射。这种映从而形成一种拓扑意义上的特征图，该图实际上是一种非线性映射。这种映射是通过无监督的自适应过程完成的，所以也称为自组织特征图。射是通过无监督的自适应过程完成的，所以也称为自组织特征图。37本讲稿第三十七页，共九十七页4.4神经网络的分类神经网络的分类（2 2）从网络的学习方式上划分，神经网络可分为有导师学习网络和无导师学习网络。）从网络的学习方式上划分，神经网络可分为有导师学习网络和无导师学习网络。有导师学习神经网络，又称监督学习有导师学习神经网络，又称监督学习(supervisedlearning)网络的输出和期望的输出网络的输出和期望的输出(即导师信号）进行比较，然后根据两者之间的差异调即导师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终使差异变小。整网络的权值，最终使差异变小。38本讲稿第三十八页，共九十七页4.4神经网络的分类神经网络的分类无导师学习神经网络，又称无监督学习（无导师学习神经网络，又称无监督学习（unsupervisedlearning）或自组织学习）或自组织学习（self-organizedlearning）输入模式进入网络后，网络按照一种预先设定的规则（如竞争规则）自动调整权值，输入模式进入网络后，网络按照一种预先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类等功能。使网络最终具有模式分类等功能。39本讲稿第三十九页，共九十七页4.4神经网络的分类神经网络的分类神经网络分类标准不同，方法多样神经网络分类标准不同，方法多样40本讲稿第四十页，共九十七页4.5多层前向多层前向BP神经网络神经网络n多层前向神经网络的结构多层前向神经网络的结构一个输入层，一个输出层，多个隐层，信号沿输入，信号沿输入输出的方向逐层传递。输出的方向逐层传递。jpp1xp1x pnt pkt pmOp1O pnOp2隐层wj1wjn输入层输入层隐层隐层输出层输出层信息流pm41本讲稿第四十一页，共九十七页v激活函数激活函数必须处处可导必须处处可导一般都使用一般都使用S型函数型函数v使用使用S型激活函数时型激活函数时BP网络输入与输出关系网络输入与输出关系输入输入输出输出4.5多层前向多层前向BP神经网络神经网络42本讲稿第四十二页，共九十七页输出的导数根据根据S型激活函数的图形可知型激活函数的图形可知,对神经网络进行训练，应该将对神经网络进行训练，应该将net的值尽量控制在的值尽量控制在收敛比较快的范围内收敛比较快的范围内4.5多层前向多层前向BP神经网络神经网络43本讲稿第四十三页，共九十七页v学习的过程：学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权神经网络在外界输入样本的刺激下不断改变网络的连接权值值,以使网络的输出不断地接近期望的输出。以使网络的输出不断地接近期望的输出。v学习的本质：学习的本质：对各连接权值的动态调整对各连接权值的动态调整v学习规则：学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。变化所依据的一定的调整规则。4.5多层前向多层前向BP神经网络神经网络44本讲稿第四十四页，共九十七页BP网络的标准学习算法网络的标准学习算法-算法思想算法思想v学习的类型：有导师学习学习的类型：有导师学习v核心思想：核心思想：将输出误差将输出误差以某种形式以某种形式通过隐层向输入层逐层反传通过隐层向输入层逐层反传v学习的过程：学习的过程：信号的正向传播信号的正向传播误差的反向传播误差的反向传播将误差分摊给各层的所有将误差分摊给各层的所有单元各层单元的误单元各层单元的误差信号差信号修正各单元权值修正各单元权值45本讲稿第四十五页，共九十七页BP网络的标准学习算法网络的标准学习算法-学习过程学习过程v正向传播：正向传播：输入样本输入层各隐层输出层输入样本输入层各隐层输出层v判断是否转入反向传播阶段：判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符若输出层的实际输出与期望的输出（教师信号）不符v误差反传误差反传误差以某种形式在各层表示修正各层单元的权误差以某种形式在各层表示修正各层单元的权值值v网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止进行到预先设定的学习次数为止46本讲稿第四十六页，共九十七页BP网络的标准学习算法网络的标准学习算法v网络结构网络结构输入层有输入层有n个神经元，隐含层有个神经元，隐含层有p个神经元个神经元,输出层有输出层有q个神经元个神经元v变量定义变量定义输入向量输入向量;隐含层输入向量；隐含层输入向量；隐含层输出向量隐含层输出向量;输出层输入向量输出层输入向量;输出层输出向量输出层输出向量;期望输出向量期望输出向量;47本讲稿第四十七页，共九十七页BP网络的标准学习算法网络的标准学习算法输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：48本讲稿第四十八页，共九十七页BP网络的标准学习算法网络的标准学习算法v第一步，网络初始化第一步，网络初始化给各连接权值分别赋一个区间（给各连接权值分别赋一个区间（-1，1）内的随机数，设）内的随机数，设定误差函数定误差函数e，给定计算精度值，给定计算精度值和最大学习次数和最大学习次数M。v第二步第二步,随机选取第随机选取第k个输入样本及对应期望输出个输入样本及对应期望输出49本讲稿第四十九页，共九十七页BP网络的标准学习算法网络的标准学习算法v第三步，计算隐含层各神经元的输入和输出第三步，计算隐含层各神经元的输入和输出50本讲稿第五十页，共九十七页BP网络的标准学习算法网络的标准学习算法v第四步，利用网络期望输出和实际输出，计算误差第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数函数对输出层的各神经元的偏导数。51本讲稿第五十一页，共九十七页BP网络的标准学习算法网络的标准学习算法v第五步，利用隐含层到输出层的连接权值、输出第五步，利用隐含层到输出层的连接权值、输出层的层的和隐含层的输出计算误差函数对隐含层和隐含层的输出计算误差函数对隐含层各神经元的偏导数各神经元的偏导数。52本讲稿第五十二页，共九十七页BP网络的标准学习算法网络的标准学习算法53本讲稿第五十三页，共九十七页BP网络的标准学习算法网络的标准学习算法v第六步，利用输出层各神经元的第六步，利用输出层各神经元的和隐含层各神和隐含层各神经元的输出来修正连接权值经元的输出来修正连接权值。54本讲稿第五十四页，共九十七页BP网络的标准学习