人工智能PPT chapter5_2.pptx

《人工智能PPT chapter5_2.pptx》由会员分享，可在线阅读，更多相关《人工智能PPT chapter5_2.pptx（32页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第五章 知 识 学 习 内容提要：u知识学习概念、原理及分类 u神经网络学习 u神经网络模型 u知识发现与Agent技术v人工智能及其应用v1神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元 人工神经元(节点)。n从三个方面进行模拟：节点本身的信息处理能力(数学模型)节点与节点之间连接(拓扑结构)相互连接的强度(通过学习来调整)5.2.2 人工神经元v决定人工神决定人工神经网络整体性经网络整体性能的三大要素能的三大要素对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元）i的信息为Xi，它们与本处理单元的互相作用强度即连接权值为Wi,i=0,1,n-1,处

2、理单元的内部阈值为。v人工智能及其应用v35.2.2 人工神经元神经元的输入为：输出为：激发函数可以看成是神经元的数学模型神经元各种不同数学模型的主要区别在于采用了不同的激发函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。5.2.2 人工神经元常用的激发函数：常用的激发函数：(1)(1)阈值型（阈值型（MPMP模型）模型）(2)(2)分段线性型分段线性型(3)Sigmoid(3)Sigmoid函数型函数型(简称简称S S型型)(4)(4)双曲正切型双曲正切型 v人工智能及

3、其应用v55.2.2 人工神经元n阈值型函数又称阶跃函数，它表示激活值阈值型函数又称阶跃函数，它表示激活值和其输和其输出出f()f()之间的关系。阈值型函数为激发函数的神之间的关系。阈值型函数为激发函数的神经元是一种最简单的人工神经元，也就是我们前面经元是一种最简单的人工神经元，也就是我们前面提到的提到的M-PM-P模型。模型。n线性分段函数可以看作是一种最简单的非线性函数，线性分段函数可以看作是一种最简单的非线性函数，它的特点是将函数的值域限制在一定的范围内，其它的特点是将函数的值域限制在一定的范围内，其输入、输出之间在一定范围内满足线性关系，一直输入、输出之间在一定范围内满足线性关系，一直

4、延续到输出为最大域值为止。但当达到最大值后，延续到输出为最大域值为止。但当达到最大值后，输出就不再增大。输出就不再增大。v人工智能及其应用v65.2.2 人工神经元nS S型函数是一个有最大输出值的非线性函数，其输型函数是一个有最大输出值的非线性函数，其输出值是在某个范围内连续取值的。以它为激发函出值是在某个范围内连续取值的。以它为激发函数的神经元也具有饱和特性。数的神经元也具有饱和特性。n 双曲正切型函数实际只是一种特殊的双曲正切型函数实际只是一种特殊的S S型函数，型函数，其饱和值是其饱和值是1 1和和1 1。v人工智能及其应用v75.2.2 人工神经元5.2.3 人工神经网络人工神经网络

5、（简称人工神经网络（简称ANNANN）是由大量处理单元经广泛）是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和互连而组成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单元我们把它称作人工神经元。功能。而这些处理单元我们把它称作人工神经元。人工神经网络（人工神经网络（ANNANN）可看成是以人工神经元为节点，）可看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在此有向图中，人工用有向加权弧连接起来的有向图。在此有向图中，人工神经元就是对生物神经元的模拟，而有向弧则是轴突神经元就是对生物神经元的模拟，而有向弧则是轴突突触突触树突对的模拟。有向弧的权值表示相互连

6、接的两树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。下图为人工神经网络个人工神经元间相互作用的强弱。下图为人工神经网络的组成框架。的组成框架。v人工智能及其应用v8v人工智能及其应用v95.2.3 人工神经网络l按网络连接的拓扑结构分类层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连。互连型网络结构：网络中任意两个节点之间都可能存在连接路径.l按网络内部的信息流向分类前馈型网络：网络信息处理的方向是从输入层到各隐层再到输出层逐层进行。反馈型网络：在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外

7、界输出。5.2.3 人工神经网络层次型结构层次型结构5.2.3 人工神经网络输出层到输入层有连接输出层到输入层有连接5.2.3 人工神经网络层内有连接层次型结构层内有连接层次型结构5.2.3 5.2.3 人工神经网络人工神经网络v全互连型结构全互连型结构5.2.3 5.2.3 人工神经网络人工神经网络v局部互连型网络结构局部互连型网络结构5.2.3 5.2.3 人工神经网络人工神经网络v前馈型网络前馈型网络5.2.3 人工神经网络v反馈型网络反馈型网络5.2.3 5.2.3 人工神经网络人工神经网络 人工神经网络具有以下主要特征：（1）能较好的模拟人的形象思维。（2）具有大规模并行协同处理能力

8、。（3）具有较强的学习能力。（4）具有较强的容错能力和联想能力。（5）是一个大规模自组织、自适应的非线性动力系统。v人工智能及其应用v185.2.3 人工神经网络 5.2.4 代表性模型v自适应谐振理论自适应谐振理论 v双向联想存储器双向联想存储器 vHopfieldHopfield网网 v反向传播网络反向传播网络v对流传播网络对流传播网络 v人工智能及其应用v19v博尔茨曼机博尔茨曼机vM-AdalinM-Adalin算法算法 v认知机认知机v感知器感知器v自组织映射网自组织映射网v人工智能及其应用v20神经网络学习BP神经网络及算法 Hopfield神经网络及算法 5.3 神经网络学习 v

9、人工智能及其应用v21 学学习习（亦亦称称训训练练）是是神神经经网网络络的的最最重重要要特特征征之之一一。神神经经网网络络能能够够通通过过学学习习，改改变变其其内内部部状状态态，使使输输入入输输出出呈呈现现出出某某种种规规律律性性。网网络络学学习习一一般般是是利利用用一一组组称称为为样样本本的的数数据据，作作为为网网络络的的输输入入（和和输输出出），网网络络按按照照一一定定的的训训练练规规则则(又又称称学学习习规规则则或或学学习习算算法法)自自动动调调节节神神经经元元之之间间的的连连接接强强度度或或拓拓扑扑结结构构，当当网网络络的的实实际际输输出出满满足足期期望望的的要要求求，或或者者趋趋于于

10、稳定时，则认为学习成功。稳定时，则认为学习成功。学习方式 学习算法 学习特点神经网络学习 学习方式 v人工智能及其应用v22监督学习监督学习无监督学习无监督学习再励学习再励学习 学习方式v人工智能及其应用v23监监督督学学习习:需需要要外外界界输输入入一一个个“教教师师”信信号号，它它可可对对一一组组给给定定输输入入提提供供应应有有的的输输出出，这这组组已已知知的的输输入入输输出出数数据据称称为为训训练练样样本本集集，神神经经网网络络可可根根据据已已知知输输出出与与实实际际输输出出之之间间的的误误差值来调节系统参数。差值来调节系统参数。学习方式v人工智能及其应用v24无无监监督督学学习习:它它

11、不不存存在在外外部部教教师师信信号号，网网络络系系统统完完全全按按照照环环境境提提供供数数据据的的某某些些统统计计规规律律来来调调节节自自身身参参数数或或结结构构，以以表表示示出出外外部部输输入入的的某某种种固固有有特特性性，如如聚聚类类或或统统计计上上的的分分布特征。布特征。学习方式v人工智能及其应用v25再再励励学学习习:这这种种学学习习介介于于上上述述两两种种情情况况之之间间，外外部部环环境境对对系系统统输输出出只只给给出出评评价价信信息息而而不不是是正正确确答答案案。网网络络系系统统通通过强化那些被肯定的动作来改善自身的性能。过强化那些被肯定的动作来改善自身的性能。学习算法 v人工智能

12、及其应用v26误差纠正学习（误差纠正学习（delta学习）学习）Hebb学习学习竞争学习竞争学习 误差纠正学习v人工智能及其应用v27n误差纠正学习的目的：误差纠正学习的目的：使训练样本输出与实际输出间误差的目标函数最小。使训练样本输出与实际输出间误差的目标函数最小。n学习规则：学习规则：Hebb学习v人工智能及其应用v28n学习规则：学习规则：当某一突触两端的神经元同步激活当某一突触两端的神经元同步激活(或抑制或抑制)时，时，该连接的强度应增强，反之应减弱。该连接的强度应增强，反之应减弱。竞争学习v人工智能及其应用v29n学习规则：学习规则：各输出单元互相竞争，最后只有一个最强者被激活各输出

13、单元互相竞争，最后只有一个最强者被激活。n具有侧向抑制性连接的竞争学习网络：具有侧向抑制性连接的竞争学习网络：BP神经网络v人工智能及其应用v30BPBP网络结构图：网络结构图：vB-P模型，是一种用于前向多层的反向传播学习算法。之所以称它是一种学习方法，是因为用它可以对组成前向多层网络的各人工神经元之间的连接权值进行不断的修改，从而使该前向多层网络能够将输入它的信息变换成所期望的输出信息。之所以将其称作为反向学习算法，是因为在修改各人工神经元的连接权值时，所依据的是该网络的实际输出与其期望的输出之差，将这一差值反向一层一层的向回传播，来决定连接权值的修改。BP神经网络v人工智能及其应用v31

14、BPBP网络的学习算法网络的学习算法BP算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能得到所期望的输出。学习过程由正向传播和反向传播组成。正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果。反向传播用于逐层传递误差，修改神经元间的连接权值，以使网络对输入信息经过计算后所得到的输出能达到期望的误差要求。BP神经网络v人工智能及其应用v32nBPBP网络的学习过程：网络的学习过程：(1)(1)选择一组训练样例，样例由输入和期望输出组成选择一组训练样例，样例由输入和期望输出组成;(2)(2)取一样例，把输入信息输入网络；取一样例，把输入信息输入网络；(3)(3)计算神经元处理后的各层节点输出；计算神经元处理后的各层节点输出；(4)(4)计算实际输出和期望输出的误差，如果误差达到要计算实际输出和期望输出的误差，如果误差达到要求，则退出，否则继续；求，则退出，否则继续；(5)(5)从输出层反向计算到第一个隐层，并按照误差减小从输出层反向计算到第一个隐层，并按照误差减小原则，调整各神经元的连接权值；原则，调整各神经元的连接权值；(6)(6)对每个样例重复对每个样例重复(3)(3)(5)(5)，直到对整个训练样例集，直到对整个训练样例集的误差达到要求时为止。的误差达到要求时为止。