神经网络基本原理精选课件.ppt

关于神关于神经网网络基本基本原理原理1第一页，本课件共有81页2人工神经网络（人工神经网络（ANN，Artificial Neural Network）也简称为也简称为神经网络神经网络（NN），是由大量的简单处理单元经广泛），是由大量的简单处理单元经广泛并行互连形成的一种网络系统。它是对人脑系统的简化、抽象并行互连形成的一种网络系统。它是对人脑系统的简化、抽象和模拟，具有人脑功能的许多基本特征。和模拟，具有人脑功能的许多基本特征。目前，人工神经网络已成为许多高科技领域的一个热门话目前，人工神经网络已成为许多高科技领域的一个热门话题。在人工智能领域，它已实际应用于决策支持、模式识别、题。在人工智能领域，它已实际应用于决策支持、模式识别、专家系统、机器学习等许多方面。专家系统、机器学习等许多方面。第二页，本课件共有81页3由于神经网络是多学科交叉的产物，各个相由于神经网络是多学科交叉的产物，各个相关的学科领域对神经网络都有各自的看法，因此，关的学科领域对神经网络都有各自的看法，因此，关于神经网络的定义，在科学界存在许多不同的关于神经网络的定义，在科学界存在许多不同的见解。目前使用得较广泛的是见解。目前使用得较广泛的是T.Koholen（芬兰赫尔辛芬兰赫尔辛基技术大学基技术大学）的定义，即）的定义，即神经网络是由具有适应性的神经网络是由具有适应性的简单单元简单单元组成的广泛组成的广泛并行互连并行互连的网络，它的组织能的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互够模拟生物神经系统对真实世界物体所作出的交互反应。反应。第三页，本课件共有81页4人脑的基本组成是脑神经细胞，大量脑神经人脑的基本组成是脑神经细胞，大量脑神经细胞相互联接组成人的大脑神经网络，完成各细胞相互联接组成人的大脑神经网络，完成各种大脑功能。而种大脑功能。而人工神经网络则是由大量的人工神经网络则是由大量的人工神经细胞（神经元）经广泛互连形成的人工神经细胞（神经元）经广泛互连形成的人工网络，以此模拟人类神经系统的结构和人工网络，以此模拟人类神经系统的结构和功能。功能。了解人脑神经网络的组成和原理，有助了解人脑神经网络的组成和原理，有助于对人工神经网络的理解。于对人工神经网络的理解。第四页，本课件共有81页5人工神经网络概述人体神经结构与特征人体神经结构与特征虽然神经元的形态各不相同，但是都由细胞体和突起两大部虽然神经元的形态各不相同，但是都由细胞体和突起两大部分组成，而突起又分树突和轴突。分组成，而突起又分树突和轴突。第五页，本课件共有81页6轴突轴突是由细胞体向外延伸出的所有纤维中最长的一条是由细胞体向外延伸出的所有纤维中最长的一条分枝，用来向外传递神经元产生的输出信号。每个神分枝，用来向外传递神经元产生的输出信号。每个神经元只发出一条轴突，短的仅几个微米，其最大长度经元只发出一条轴突，短的仅几个微米，其最大长度可达可达1m以上。以上。第六页，本课件共有81页7突触，突触，在轴突的末端形成了许多很细的分枝，这些分枝叫在轴突的末端形成了许多很细的分枝，这些分枝叫神经末梢。每一条神经末梢可以与其他神经元形成神经末梢。每一条神经末梢可以与其他神经元形成功能性功能性接触接触，该接触部位称为，该接触部位称为突触突触。每个神经元大约有每个神经元大约有103105个突触，换句话说，每个神经元大约与个突触，换句话说，每个神经元大约与103105个其它个其它神经元有连接，正是因为这些突触才使得全部大脑神经神经元有连接，正是因为这些突触才使得全部大脑神经元形成一个复杂的网络结构。元形成一个复杂的网络结构。所谓功能性接触，所谓功能性接触，突触的信息传递特性可变，因此突触的信息传递特性可变，因此细胞之间的连接强度可变，这是一种柔性连接，也称为神细胞之间的连接强度可变，这是一种柔性连接，也称为神经元结构的可塑性经元结构的可塑性，这正是神经元之间传递信息的奥秘，这正是神经元之间传递信息的奥秘之一。之一。第七页，本课件共有81页8树突树突是指由细胞体向外延伸的除轴突以外的其他所有分是指由细胞体向外延伸的除轴突以外的其他所有分支。不同的神经元其树突的数量也不同，长度较短，但支。不同的神经元其树突的数量也不同，长度较短，但数量很多，它是神经元的输入端，用于接受从其他神经数量很多，它是神经元的输入端，用于接受从其他神经元的突触传来的信号。元的突触传来的信号。细胞体细胞体是神经元的主体，胞体和树突表面是接受的其是神经元的主体，胞体和树突表面是接受的其他神经元传来的信号的主要部位。他神经元传来的信号的主要部位。第八页，本课件共有81页9 神经元中的细胞体相当于一个初等处理器，它对来自神经元中的细胞体相当于一个初等处理器，它对来自其他各个神经元的信号进行总体求和，并产生一个神经输其他各个神经元的信号进行总体求和，并产生一个神经输出信号。由于细胞膜将细胞体内外分开，因此，在细胞体出信号。由于细胞膜将细胞体内外分开，因此，在细胞体的内外具有不同的电位，通常是内部电位比外部电位低。的内外具有不同的电位，通常是内部电位比外部电位低。细胞膜内外的电位之差被称为细胞膜内外的电位之差被称为膜电位膜电位。在无信号输入时的。在无信号输入时的膜电位称为膜电位称为静止膜电位静止膜电位。当一个神经元的所有输入总效应。当一个神经元的所有输入总效应达到某个阈值电位时，该细胞变为活性细胞（激活），其膜达到某个阈值电位时，该细胞变为活性细胞（激活），其膜电位将自发地急剧升高产生一个电脉冲。这个电脉冲又会从电位将自发地急剧升高产生一个电脉冲。这个电脉冲又会从细胞体出发沿轴突到达神经末梢，并经与其他神经元连接的细胞体出发沿轴突到达神经末梢，并经与其他神经元连接的突触，将这一电脉冲传给相应的神经元。突触，将这一电脉冲传给相应的神经元。第九页，本课件共有81页10生物神经元的功能与特征生物神经元的功能与特征根据神经生理学的研究，生物神经元具有如下重要功能与特性。根据神经生理学的研究，生物神经元具有如下重要功能与特性。（1）时空整合功能）时空整合功能神经元对不同时间通过同一突触传入的神经冲动，具有神经元对不同时间通过同一突触传入的神经冲动，具有时间整合功时间整合功能能。对于同一时间通过不同突触传入的神经冲动，具有。对于同一时间通过不同突触传入的神经冲动，具有空间整合功空间整合功能能。两种功能相互结合，使生物神经元对由突触传入的神经冲动。两种功能相互结合，使生物神经元对由突触传入的神经冲动具有时空整合的功能。具有时空整合的功能。（2）兴奋与抑制状态）兴奋与抑制状态神经元具有神经元具有兴奋兴奋和和抑制抑制两种常规的工作状态。当传入冲动的时空整两种常规的工作状态。当传入冲动的时空整合结果使细胞膜电位升高，超过动作电位的阈值时，细胞进入兴奋合结果使细胞膜电位升高，超过动作电位的阈值时，细胞进入兴奋状态，产生神经冲动。相反，当传入冲动的时空整合结果使细胞膜状态，产生神经冲动。相反，当传入冲动的时空整合结果使细胞膜电位低于动作电位阈值时，细胞进入抑制状态，无神经冲动输出。电位低于动作电位阈值时，细胞进入抑制状态，无神经冲动输出。第十页，本课件共有81页11（3）脉冲与电位转换）脉冲与电位转换 突触界面突触界面具有脉冲具有脉冲/电位信号转化功能。沿神经纤维传递的信号为电位信号转化功能。沿神经纤维传递的信号为离散的电脉冲信号，而细胞膜电位的变化为连续的电位信号。这种在离散的电脉冲信号，而细胞膜电位的变化为连续的电位信号。这种在突触接口处进行的突触接口处进行的“数数/模模”转换，是通过神经介质以量子化学方式实转换，是通过神经介质以量子化学方式实现的如下过程：现的如下过程：电脉冲电脉冲神经化学物质神经化学物质膜电位膜电位（4）神经纤维传导速率）神经纤维传导速率 神经冲动沿神经纤维传导的速度在神经冲动沿神经纤维传导的速度在1m/s150m/s之间。其速之间。其速度差异与纤维的粗细、髓鞘度差异与纤维的粗细、髓鞘(包绕在包绕在神经元神经元的的轴突轴突外部的物质，起绝缘作用外部的物质，起绝缘作用)的的有无有关。一般来说，有髓鞘的纤维，其传导速度在有无有关。一般来说，有髓鞘的纤维，其传导速度在100ms以上，无以上，无髓鞘的纤维，其传导速度可低至每秒数米。髓鞘的纤维，其传导速度可低至每秒数米。第十一页，本课件共有81页12人脑神经系统的结构与特征人脑神经系统的结构与特征（1）记忆和存储功能）记忆和存储功能 人脑神经系统的记忆和处理功能是有机地结合在一人脑神经系统的记忆和处理功能是有机地结合在一起的。神经元既有存储功能，又有处理功能，它在进行起的。神经元既有存储功能，又有处理功能，它在进行回忆时不仅不需要先找到存储地址再调出所存内容，而回忆时不仅不需要先找到存储地址再调出所存内容，而且还可以由一部分内容恢复全部内容。尤其是当一部分且还可以由一部分内容恢复全部内容。尤其是当一部分神经元受到损坏（例如脑部受伤等）时，它只会丢失损神经元受到损坏（例如脑部受伤等）时，它只会丢失损坏最严重部分的那些信息，而不会丢失全部存储信息。坏最严重部分的那些信息，而不会丢失全部存储信息。第十二页，本课件共有81页13人脑神经系统的结构与特征人脑神经系统的结构与特征（2）高度并行性）高度并行性 人脑大约有人脑大约有10111012个神经元，每个神经元又个神经元，每个神经元又有有103105个突触，即每个神经元都可以和其他个突触，即每个神经元都可以和其他103105个神经元相连，这就提供了非常巨大的存储容量和并个神经元相连，这就提供了非常巨大的存储容量和并行度。例如，人可以非常迅速地识别出一幅十分复杂的行度。例如，人可以非常迅速地识别出一幅十分复杂的图像。图像。第十三页，本课件共有81页14（3）分布式功能）分布式功能 人们通过对脑损坏病人所做的神经心理学研究，没人们通过对脑损坏病人所做的神经心理学研究，没有发现大脑中的哪一部分可以决定其余所有各部分的活有发现大脑中的哪一部分可以决定其余所有各部分的活动，也没有发现在大脑中存在有用于驱动和管理整个智动，也没有发现在大脑中存在有用于驱动和管理整个智能处理过程的任何中央控制部分。人类大脑的各个部分能处理过程的任何中央控制部分。人类大脑的各个部分是协同工作、相互影响的，并没有哪一部分神经元能对是协同工作、相互影响的，并没有哪一部分神经元能对智能活动的整个过程负有特别重要的责任。智能活动的整个过程负有特别重要的责任。可见，在大脑中，不仅知识的存储是分散的，而且可见，在大脑中，不仅知识的存储是分散的，而且其控制和决策也是分散的。因此，大脑是一种分布式系其控制和决策也是分散的。因此，大脑是一种分布式系统。统。第十四页，本课件共有81页15（4）容错功能）容错功能 容错性是指根据不完全的、有错误的信息仍能容错性是指根据不完全的、有错误的信息仍能做出正确、完整结论的能力。大脑的容错性是非常做出正确、完整结论的能力。大脑的容错性是非常强的。例如，我们往往能够仅由某个人的一双眼睛、强的。例如，我们往往能够仅由某个人的一双眼睛、一个背影、一个动作或一句话的音调，就能辨认出一个背影、一个动作或一句话的音调，就能辨认出来这个人是谁。来这个人是谁。第十五页，本课件共有81页16（5）联想功能）联想功能 人脑不仅具有很强的容错功能，还有联想功能。善于人脑不仅具有很强的容错功能，还有联想功能。善于将不同领域的知识结合起来灵活运用，善于概括、类比和推将不同领域的知识结合起来灵活运用，善于概括、类比和推理。例如，一个人能很快认出多年不见、面貌变化较大的老理。例如，一个人能很快认出多年不见、面貌变化较大的老朋友。朋友。（6）自组织和自学习功能）自组织和自学习功能 人脑能够通过内部自组织、自学习能力不断适应人脑能够通过内部自组织、自学习能力不断适应外界环境，从而可以有效地处理各种模拟的、模糊的或外界环境，从而可以有效地处理各种模拟的、模糊的或随机的问题。随机的问题。第十六页，本课件共有81页17人工神经元及人工神经网络人工神经元的结构人工神经元的结构 如同生物学上的基本神经元，人工的神经网络也有基如同生物学上的基本神经元，人工的神经网络也有基本的神经元。本的神经元。人工神经元是对生物神经元的抽象与模拟。所人工神经元是对生物神经元的抽象与模拟。所谓谓抽象抽象是从数学角度而言的，所谓是从数学角度而言的，所谓模拟模拟是从其结构和功能是从其结构和功能角度而言的。角度而言的。从人脑神经元的特性和功能可以知道，神经元是一个从人脑神经元的特性和功能可以知道，神经元是一个多输入单输出多输入单输出的信息处理单元，的信息处理单元，其模型如下图所示：其模型如下图所示：神经元模型神经元模型x1x2xny12n第十七页，本课件共有81页18人工神经元及人工神经网络神经元模型神经元模型x1x2xny12n第十八页，本课件共有81页19人工神经元及人工神经网络M-P模型模型 M-P模型属于一种阈值元件模型，它是模型属于一种阈值元件模型，它是由美国心理学家由美国心理学家Mc Culloch和数学家和数学家Pitts提出提出的最早（的最早（1943）神经元模型之一。）神经元模型之一。M-P模型是大模型是大多数神经网络模型的基础。多数神经网络模型的基础。第十九页，本课件共有81页20在如图所示的模型中，在如图所示的模型中，x1，x2，xn表示某一神经元的表示某一神经元的n个个输入输入；i表示第表示第i个输入的连接强度，称为连接个输入的连接强度，称为连接权值权值；为神经元的为神经元的阈值阈值；y为神经元的为神经元的输输出出。可以看出，人工神经元是一个具有多输入，单输出的非线性器件。可以看出，人工神经元是一个具有多输入，单输出的非线性器件。神经元模型的输入是神经元模型的输入是 i*xi (i=1,2,n)输出是输出是 y=f()=f(i*xi )其中其中f 称之为称之为神经元功能函数（作用函数，转移函数，传递函数，激活函神经元功能函数（作用函数，转移函数，传递函数，激活函数）。数）。注：可以令注：可以令X0=-1，w0=，这样将阈值作为权值来看待。，这样将阈值作为权值来看待。神经元模型神经元模型x1x2xny12n第二十页，本课件共有81页21常用的人工神经元模型 功能函数f是表示神经元输入与输出之间关系的函数，根据功能函数的不同，可以得到不同的神经元模型。常用的神经元模型有以下几种。（1）阈值型（Threshold）这种模型的神经元没有内部状态，作用函数f是一个阶跃函数，它表示激活值和其输出f(）之间的关系，如图5-3所示。f()10图图 5-3 阈值型神经元的输入输出特性阈值型神经元的输入输出特性 第二十一页，本课件共有81页22 阈值型神经元是一种最简单的人工神经元。这种二值型神经元，其输出状态取值1或0，分别代表神经元的兴奋和抑制状态。任一时刻，神经元的状态由功能函数f 来决定。当激活值0时，即神经元输入的加权总和超过给定的阈值时，该神经元被激活，进入兴奋状态，其状态f()为1；否则，当0时，即神经元输入的加权总和不超过给定的阈值时，该神经元不被激活，其状态f()为0。第二十二页，本课件共有81页23（2）分段线性强饱和型（Linear Saturation）这种模型又称为伪线性，其输入输出之间在一定范围内满足线性关系，一直延续到输出为最大值1为止。但当达到最大值后，输出就不再增大。如图5-4所示。图图 5-4 分段分段线性饱和型神经元的输入输出特性线性饱和型神经元的输入输出特性 f()01第二十三页，本课件共有81页24（3）S型（Sigmoid）这是一种连续的神经元模型，其输出函数也是一个有最大输出值的非线性函数，其输出值是在某个范围内连续取值的，输入输出特性常用S型函数表示。它反映的是神经元的饱和特性，如图5-5所示。f()图图 5-5 S型神经元的输入输出特性型神经元的输入输出特性10第二十四页，本课件共有81页25（4）子阈累积型（SubthresholdSummation）这种类型的作用函数也是一个非线性函数，当产生的激活值超过T值时，该神经元被激活产生一个反响。在线性范围内，系统的反响是线性的，如图56所示。f()T01图图5-6 子阈累积型神经元的输入输出特性子阈累积型神经元的输入输出特性第二十五页，本课件共有81页26从生理学角度看，阶跃函数（从生理学角度看，阶跃函数（阈值型）最符合）最符合人脑神经元的特点，事实上，人脑神经元正是通人脑神经元的特点，事实上，人脑神经元正是通过电位的高低两种状态来反映该神经元的兴奋与过电位的高低两种状态来反映该神经元的兴奋与抑制。然而，由于阶跃函数不可微，因此，实际抑制。然而，由于阶跃函数不可微，因此，实际上更多使用的是与之相仿的上更多使用的是与之相仿的Sigmoid函数。函数。第二十六页，本课件共有81页27人工神经网络人工神经网络人工神经网络是对人类神经系统的一种模拟。尽管人类人工神经网络是对人类神经系统的一种模拟。尽管人类神经系统规模宏大、结构复杂、功能神奇，但其最基本的处神经系统规模宏大、结构复杂、功能神奇，但其最基本的处理单元却只有神经元。人工神经系统的功能实际上是通过大理单元却只有神经元。人工神经系统的功能实际上是通过大量神经元的广泛互连，以规模宏伟的并行运算来实现的。量神经元的广泛互连，以规模宏伟的并行运算来实现的。基于对人类生物系统的这一认识，人们也试图通过对人基于对人类生物系统的这一认识，人们也试图通过对人工神经元的广泛互连来模拟生物神经系统的结构和功能。工神经元的广泛互连来模拟生物神经系统的结构和功能。第二十七页，本课件共有81页28人工神经网络人工神经网络 人工神经元之间通过互连形成的网络称为人工神经网人工神经元之间通过互连形成的网络称为人工神经网络络。在人工神经网络中，神经元之间互连的方式称为。在人工神经网络中，神经元之间互连的方式称为连接模式连接模式或或连接模型连接模型。它不仅决定了神经元网络的。它不仅决定了神经元网络的互连结构，同时也决定了神经网络的信号处理方式。互连结构，同时也决定了神经网络的信号处理方式。第二十八页，本课件共有81页29人工神经网络的分类人工神经网络的分类目前，已有的人工神经网络模型至少有几十种，其分类方法目前，已有的人工神经网络模型至少有几十种，其分类方法也有多种。例如也有多种。例如:1)按网络拓扑结构可分为层次型结构和互连型结构按网络拓扑结构可分为层次型结构和互连型结构 2)按信息流向可分为前馈型网络与有反馈型网络；按信息流向可分为前馈型网络与有反馈型网络；3)按网络的学习方法可分为有教师的学习网络和无教师的学按网络的学习方法可分为有教师的学习网络和无教师的学习网络；习网络；4)按网络的性能可分为连续型网络与离散型网络，或分按网络的性能可分为连续型网络与离散型网络，或分为确定性网络与随机型网络；为确定性网络与随机型网络；第二十九页，本课件共有81页30神经元的模型确定之后，一个神经网络神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的的特性及能力主要取决于网络的拓扑结拓扑结构构及及学习方法学习方法第三十页，本课件共有81页31人工神经网络的互连结构及其学习机理人工神经网络的拓扑结构 建立人工神经网络的一个重要步骤是构造人工神经网建立人工神经网络的一个重要步骤是构造人工神经网络的拓扑结构，即确定人工神经元之间的互连结构。根据络的拓扑结构，即确定人工神经元之间的互连结构。根据神经元之间连接的拓扑结构，可将神经网络的互连结构分神经元之间连接的拓扑结构，可将神经网络的互连结构分为为层次型网络层次型网络和和互连型网络互连型网络两大类。层次型网络结构又两大类。层次型网络结构又可根据层数的多少分为可根据层数的多少分为单层单层、两层两层及及多层多层网络结构。网络结构。第三十一页，本课件共有81页32人工神经网络的互连结构及其学习机理简单单级网x1x2xno1o2onwnmw11w1mw2mwn1输出层输出层输入层输入层第三十二页，本课件共有81页33单层网络结构有时也称两层网络结构单层或两层神经网络结构是早期神经网络模型的互连模式，这种互连模式是最简单的层次结构。1）不允许属于同一层次间的神经元互连。2）允许同一层次间的神经元互连，则称为带侧抑制的连接（或横向反馈）。此外，在有些双层神经网络中，还允许不同层之间有反馈连接。输出层输出层x1o1w11w1mx2o2w2mxnomwn1输入层输入层V第三十三页，本课件共有81页34多层网络结构 通常把三层和三层以上的神经网络结构称为多层神经网络结构。所有神经元按功能分为若干层。一般有输入层、隐层（中间层）和输出层。输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn第三十四页，本课件共有81页35多层网络结构1）输入层节点上的神经元接受外部环境的输入模式，并由它传递给相连隐层上的各个神经元。2）隐层是神经元网络的内部处理层，这些神经元再在网络内部构成中间层，由于它们不直接与外部输入、输出打交道，故称隐层。人工神经网络所具有的模式变换能力主要体现在隐层的神经元上。3）输出层用于产生神经网络的输出模式。较有代表性的多层网络模型有：前向网络模型、多层侧抑制神经网络模型和带有反馈的多层神经网络模型等。第三十五页，本课件共有81页36多层前向神经网络多层前向神经网络模型如图5-8所示。输入模式：由输入层进入网络，经中间各层的顺序变换，最后由输出层产生一个输出模式，便完成一次网络更新。前向网络的连接模式不具有侧抑制和反馈的连接方式。图图5-8 多层前向神经网络模型多层前向神经网络模型第三十六页，本课件共有81页37多层侧抑制神经网同一层内有相互连接的多层前向网络，它允许网络中同一层上的神经元之间相互连接，如图5-9所示。这种连接方式将形成同一层的神经元彼此之间的牵制作用，可实现同一层上神经元之间的横向抑制或兴奋的机制。这样可以用来限制同一层内能同时激活神经元的个数，或者把每一层内的神经元分成若干组，让每组作为一个整体来动作。图图5-9 多层侧抑制神经网络多层侧抑制神经网络第三十七页，本课件共有81页38带有反馈的多层神经网络带有反馈的多层神经网络 这是一种允许输出层这是一种允许输出层-隐层，隐层中各层之间，隐层，隐层中各层之间，隐层隐层-输入层之间具有反馈连接的方式，反馈的结果将输入层之间具有反馈连接的方式，反馈的结果将构成封闭环路。构成封闭环路。x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn第三十八页，本课件共有81页39带有反馈的多层神经网络带有反馈的多层神经网络 这种神经网络和前向多层神经网络不同。多层前这种神经网络和前向多层神经网络不同。多层前向神经网络属于非循环连接模式，它的每个神经元向神经网络属于非循环连接模式，它的每个神经元的输入都没有包含该神经元先前的输出，因此可以的输入都没有包含该神经元先前的输出，因此可以说是没有说是没有“短期记忆短期记忆”的。但带反馈的多层神经网的。但带反馈的多层神经网络则不同，它的每个神经元的输入都有可能包含络则不同，它的每个神经元的输入都有可能包含有该神经元先前的输出反馈信息。因此，它的输有该神经元先前的输出反馈信息。因此，它的输出要由当前的输入和先前的输出两者来决定，这出要由当前的输入和先前的输出两者来决定，这有点类似于人类短期记忆的性质。有点类似于人类短期记忆的性质。第三十九页，本课件共有81页40人工神经网络的运行一般分为学习和工作两人工神经网络的运行一般分为学习和工作两个阶段。个阶段。第四十页，本课件共有81页41人工神经网络学习人工神经网络学习 人工神经网络最具有吸引力的特点是它的学习能力。人工神经网络最具有吸引力的特点是它的学习能力。人工神经网络学习和记忆的心理学基础人工神经网络学习和记忆的心理学基础 学习和记忆是人类智能的一个重要特征。有一种观点学习和记忆是人类智能的一个重要特征。有一种观点认为，人类的学习过程实际上是一种经过训练而使个体在认为，人类的学习过程实际上是一种经过训练而使个体在行为上产生较为持久改变的过程。按照这种观点，学习离行为上产生较为持久改变的过程。按照这种观点，学习离不开训练。不开训练。第四十一页，本课件共有81页42人工神经网络学习人工神经网络学习 学习和记忆同样也应该是人工神经网络的一个重学习和记忆同样也应该是人工神经网络的一个重要特征。要特征。人工神经网络的人工神经网络的学习过程就是它的训练过程学习过程就是它的训练过程。人工。人工神经网络的功能特性由其连接的神经网络的功能特性由其连接的拓扑结构拓扑结构和突触和突触连接强连接强度度（即连接权值）来确定。神经网络训练的实质是通过对（即连接权值）来确定。神经网络训练的实质是通过对样本集的输入样本集的输入/输出模式反复作用于网络，网络按照一定输出模式反复作用于网络，网络按照一定的学习算法自动调节神经元之间的连接强度的学习算法自动调节神经元之间的连接强度（阈值）（阈值）或拓或拓扑结构，当网络的实际输出满足期望要求，或者趋于稳定时，扑结构，当网络的实际输出满足期望要求，或者趋于稳定时，则认为学习圆满结束。则认为学习圆满结束。第四十二页，本课件共有81页43人工神经网络的学习算法人工神经网络的学习算法学习算法是人工神经网络研究中的核心问题学习算法是人工神经网络研究中的核心问题神经网络学习算法有很多，大体可分为神经网络学习算法有很多，大体可分为有导师学习有导师学习（Supervised Learning）、）、和和无导师学习无导师学习（Unsupervised Learning）两大两大类，另外还有一类死记式学习。类，另外还有一类死记式学习。第四十三页，本课件共有81页44 有导师学习有导师学习一般需要事先收集样本数据。将数据分为训一般需要事先收集样本数据。将数据分为训练集和检验集两部分，以保证所训练出的神经网络同时具有练集和检验集两部分，以保证所训练出的神经网络同时具有拟合精度和泛化能力。拟合精度和泛化能力。第四十四页，本课件共有81页45第四十五页，本课件共有81页46第四十六页，本课件共有81页47神经网络的学习规则神经网络的学习规则日本著名神经网络学者Amari于1990年提出一种神经网络权值训练的通用学习规则。是一正的常量，其值决定了学习的速率，也称为学习率或学习因子；t时刻权值的调整量与t时刻的输入量和学习信号r的乘积成正比。第四十七页，本课件共有81页48Hebb型学习Hebb型学习（HebbianLearning）的出发点是Hebb学习规则如果神经网络中某一神经元同另一直接与它连接的神经元如果神经网络中某一神经元同另一直接与它连接的神经元同时处于兴奋状态，那么这两个神经元之间的连接强度将同时处于兴奋状态，那么这两个神经元之间的连接强度将得到加强得到加强。第四十八页，本课件共有81页49Hebb型学习Hebb学习方式可用如下公式表示：ij(t+1)=ij(t)+xi(t)*xj(t)其中，ij（t1）表示对时刻t的权值修正一次后的新的权值；xi（t）、xj(t）分别表示t时刻神经元i（输入）和神经元j（输出）的状态。上式表明，权值的调整量与输入输出的乘积成正比。此时的学习信号即输出信号。这是一种纯前馈、无导师学习。该规则至今仍在各种神经网络模型中起着重要作用。第四十九页，本课件共有81页50Hebb学习规则举例：设有一具有4个输入，单个输出的神经元网络，为简化起见，取阈值=0，学习率=1。3个输入样本量和初始权向量分别为X1=（1，-2，1.5，0）T，X2=（1，-0.5，-2，-1.5）T，X3=（0，1，-1，1.5）T，W0=（1，-1，0，0.5）解：首先设激活函数为符号函数，即f(net)=sgn(net),第五十页，本课件共有81页51误差修正学习规则（也称感知器学习规则）误差修正学习（ErrorCorrection Learning）是一种有导师的学习过程，其基本思想是利用神经网络的期望输出与实际之间的偏差作为连接权值调整的参考，并最终减少这种偏差。最基本的误差修正规则规定：连接权值的变化与神经元希望输出和实际输出之差成正比。第五十一页，本课件共有81页52误差修正学习规则（也称感知器学习规则）该规则的连接权的计算公式为：ij(t+1)=ij(t)+dj(t)-yj(t)xi(t)其中，ij(t)表示时刻t的权值；ij(t+1)表示对时刻t的权值修正一次后的新的权值；dj(t)为时刻t神经元j的希望输出，yj(t)为与i直接连接的另一神经元j在时刻t的实际输出；dj(t)-yj(t)表示时刻t神经元j的输出误差。第五十二页，本课件共有81页53（Delta）学习规则学习规则学习规则很容易从输出值与希望值的最小平方误差导出来。举例：第五十三页，本课件共有81页54感知器模型及其学习（自学习模型）感知器是美国心理学家罗森勃拉特于感知器是美国心理学家罗森勃拉特于1958年为研究大脑的存年为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型。储、学习和认知过程而提出的一类具有自学习能力的神经网络模型。最初的感知器只有一个神经元，实际上仍然是最初的感知器只有一个神经元，实际上仍然是M-P模型的结构，模型的结构，但是它与但是它与M-P模型的区别在于神经元之间连接权的变化。通模型的区别在于神经元之间连接权的变化。通过采用监督学习来逐步增强模式划分的能力，达到所谓学习过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。的目的。感知器研究中首次提出感知器研究中首次提出 了自组织、自学习的概念，对神经网了自组织、自学习的概念，对神经网络的研究起到重要的推动作用，络的研究起到重要的推动作用，是研究其他网络的基础。是研究其他网络的基础。第五十四页，本课件共有81页55感知器模型及其学习（自学习模型）感知器模型感知器模型 感知器是一种感知器是一种具有分层结构的前向网络模型具有分层结构的前向网络模型，它它可分为单层、两层及多层结构可分为单层、两层及多层结构。感知器中的神经网络是感知器中的神经网络是线性阈值单元线性阈值单元。当输入。当输入信息的加权和大于或等于阈值时，输出为信息的加权和大于或等于阈值时，输出为1，否则，否则输出为输出为0或一或一1。神经元之间的连接权神经元之间的连接权i是可变的，这种可变性就保是可变的，这种可变性就保证了感知器具有学习的能力。证了感知器具有学习的能力。第五十五页，本课件共有81页56单层感知器单层感知器是一个由输入部分和输出层构成，是一个由输入部分和输出层构成，但但只有输出层可作为计算层的网络只有输出层可作为计算层的网络。在单层感知器中，输。在单层感知器中，输入部分入部分(也称为感知层也称为感知层)和输出层都可由多个神经元组和输出层都可由多个神经元组成，输入部分将输入模式传送给连接的输出单元；成，输入部分将输入模式传送给连接的输出单元；输出层对所有输入数据进行加权求和，经阈值型作输出层对所有输入数据进行加权求和，经阈值型作用函数产生一组输出模式。用函数产生一组输出模式。第五十六页，本课件共有81页57 单层感知器的两层神经元之间采用全互连方式单层感知器的两层神经元之间采用全互连方式，即输入部分各单元与输出层各单元之间均有连接。即输入部分各单元与输出层各单元之间均有连接。单层感知器模型单层感知器模型y1x2xnynx1输出层输出层输入部分输入部分权可调权可调第五十七页，本课件共有81页58多层感知器图图5-13 二层感知器二层感知器 y1yn输出层输出层x2xnx1输入部分输入部分权可调权可调权固定权固定隐含层隐含层第五十八页，本课件共有81页59感知器的功能感知器的功能 当激活函数取阶跃函数或符号函数时，由感知当激活函数取阶跃函数或符号函数时，由感知器的网络结构，可以看出单感知器的基本功能是将器的网络结构，可以看出单感知器的基本功能是将输入矢量转化成输入矢量转化成1或或0（一（一1）的输出。因此）的输出。因此单输出单输出节点的感知器具有分类功能。节点的感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面可以（包含了阈值）中，由权向量确定的分类判决界面可以将输入模式分为两类将输入模式分为两类。第五十九页，本课件共有81页60感知器的功能感知器的功能 利用感知器可以实现逻辑代数中的一些运算利用感知器可以实现逻辑代数中的一些运算（例）（例）第六十页，本课件共有81页61感知器的学习算法感知器的学习算法 感知器的学习是通过有导师的学习过程来实现的。感知器的学习是通过有导师的学习过程来实现的。罗森勃拉特提出的感知器学习算法是罗森勃拉特提出的感知器学习算法是:1)把连接权和阈值初始化为较小的非零随机数。把连接权和阈值初始化为较小的非零随机数。2)把有把有n个连接值元素的输入送入网络。调整连接权值，个连接值元素的输入送入网络。调整连接权值，以使网络对任何输入都能得到所希望的输出。以使网络对任何输入都能得到所希望的输出。第六十一页，本课件共有81页62（l）初始化连接权和阈值。初始化连接权和阈值。给给连接权值连接权值i(0)（i=1，2，n）及及输出节点中的阈值输出节点中的阈值分别赋予一个较小的非零随机数，作为它们的分别赋予一个较小的非零随机数，作为它们的初始值。初始值。（2）提供新的样本输入提供新的样本输入xi(0)（i=1，2，n）和期望输出和期望输出d（t）。）。（3）计算网络的实际输出计算网络的实际输出 y（t）=f(i(t)xi(t)-)（i=1，2，n）（4）经学习后，调整连接权值经学习后，调整连接权值 i(t+1)=i(t)+d(t)-y(t)xi(t)（i=1，2，n）其中，其中，0 1。通常。通常的值不能太大，也不能太小。如果的值不能太大，也不能太小。如果的值的值太大，会影响太大，会影响i(t)的收敛性；如果太小，又会使的收敛性；如果太小，又会使 i(t)的收敛速度太的收敛速度太慢。慢。5）返回（返回（2）。）。在（在（2）（）（5）间反复进行，直到对所有训练样本，网络输出误差）间反复进行，直到对所有训练样本，网络输出误差均能达到一定的精度要求。均能达到一定的精度要求。第六十二页，本课件共有81页63感知器学习算法举例感知器学习算法举例第六十三页，本课件共有81页64有关感知器XOR问题求解的讨论明斯基（Minsky）仔细从数学上分析了以感知器为代表的神经网络系统的功能和局限性，于1969年发表了Perceptron一书。书中指出感知器仅能解决一阶谓词逻辑问题，不能解决高阶谓词逻辑问题,并给出了一个简单的例子，即XOR（异或）问题，如下表所示，它是不能直接通过感知器算法来解决的。点输入x1输入x2输出y A1000 B1101 A2110 B2011XOR（异或）真值表第六十四页，本课件共有81页65点输入x1输入x2输出yA1000B1101A2110B2011由上表可以看出，只有当输入的两个值中有一个为1，且不同时为1时，输出的值才为1，否则输出值为0。由于单层感知器的输出：y=f(1*x1+2*x2-)可以看出，要用单层感知器解决异或问题，就必须存在1、2 和，满足如下方程，但是方程组无解(线性不可分)。1+2-0 1+0 -0 0 +0 -0 0 +2-0 第六十五页，本课件共有81页66感知器神经网络应用的局限性感知器神经网络应用的局限性感知器神经网络应用的局限性感知器神经网络应用的局限性 单层感知器只能对线性可分的向量集合进行分类。单层感知器只能对线性可分的向量集合进行分类。对于对于“异或异或”问题可以用两个计算层的感知器问题可以用两个计算层的感知器来解决。来解决。第六十六页，本课件共有81页67B-P网络及其学习误差反向传播（误差反向传播（Error Back Propagation）：美国加：美国加州大学的鲁梅尔哈特（州大学的鲁梅尔哈特（Rumelhart）和麦克莱兰）和麦克莱兰(Meclelland)等学者继续深入研究了感知器模型，他等学者继续深入研究了感知器模型，他们抓住信息处理中的并行性和分布性这两个本质概念，们抓住信息处理中的并行性和分布性这两个本质概念，19