模式识别 第11章 人工神经网络以及在模式识别中的应用.ppt

《模式识别 第11章 人工神经网络以及在模式识别中的应用.ppt》由会员分享，可在线阅读，更多相关《模式识别 第11章 人工神经网络以及在模式识别中的应用.ppt（57页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第11章章 人工神经网络以及在模人工神经网络以及在模式识别中的应用式识别中的应用Chapter 11:Artificial neural networks and its application in pattern recognition本章主要内容本章主要内容11.1人工神经网络的发展历程人工神经网络的发展历程11.3人工神经元的基本概念及学习算法人工神经元的基本概念及学习算法11.2生物神经元的机理生物神经元的机理11.4前馈神经网络的类型与拓扑结构前馈神经网络的类型与拓扑结构 11.6径向基函数网络径向基函数网络11.7神经网络在模式识别中的应用神经网络在模式识别中的应用11.5前馈

2、神经网络的反向传播算法前馈神经网络的反向传播算法11.1人工神经网络的发展历程人工神经网络的发展历程11.1.1人类大脑的优势人类大脑的优势q 人类大脑具有智能，即具有感知、学习、理解、联想、决策等能力。q 人脑是由极大量的的“生物神经元”经过复杂的相互连接而成的一种非线性并行信息处理系统。q 尽管单个生物神经元的反应速度比构成计算机的基本单元逻辑门慢五六个数量级，但人脑中神经元数目巨大且连接复杂，因此对有些问题的处理速度比计算机还快。感知：获取外界信息，是智能的基础；学习：取得经验与积累知识，是人类不断发展的基本能力；理解：分析与解决问题，是智能的高级形式；11.1.2人工神经网络研究的必要

3、性人工神经网络研究的必要性q 计算机尽管有很高的计算速度与超大的存储容量，但它却缺乏感知、识别、联想、决策和适应环境等人脑具备的能力。q 计算机能否象人脑那样工作？人工神经网络做了一个有益的尝试。q 人工神经网络是对人类大脑功能的一种模拟；q 这种模拟粗略而简单，无论是在规模上还是功能上都与人脑差得太远，但这并不妨碍它在一些实际工程应用领域显示出威力。11.1.2人工神经网络研究的必要性（续）人工神经网络研究的必要性（续）相异点传统的人工智能技术 人工神经网络 基本实现方式 串行处理；由程序实现控制 并行处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控制 基本开发方法 设计规

4、则、框架、程序；用样本数据进行调试（由人根据已知的环境去构造一个模型）定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成学习自动从样本数据中抽取内涵（自动适应应用环境）适应领域 精确计算：符号处理，数值计算非精确计算：模拟处理，感觉，大规模数据并行处理模拟对象 左脑（逻辑思维）右脑（形象思维）q 人工神经网络与传统的人工智能技术思路迥然不同：11.1.3人工神经网络的研究历史人工神经网络的研究历史第一阶段：萌芽期（第一阶段：萌芽期（20世纪世纪40年代）年代）q 1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权模型，简称M-P模型，成为人工神经网络研

5、究的开端。q 1949年，心理学家D.O.Hebb提出神经元之间突触联系是可变的假说Hebb学习律，为神经网络奠定了基础。第二阶段：第一高潮期（第二阶段：第一高潮期（19501968年）年）q 1957年Rosenblatt提出了感知器，首次把神经网络的理论研究付诸工程实践，引起了人们的极大关注。q 人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。第三阶段：反思期（第三阶段：反思期（19691982年）年）11.1.3人工神经网络的研究历史（续）人工神经网络的研究历史（续）第四阶段：第二高潮期（第四阶段：第二高潮期（19831990年）年）q 19

6、90年12月在北京举行了国内首届神经网络大会；q 1969年Minsky出版感知器一书，对感知器提出了严厉的批评，认为它连最简单的线性不可分问题异或问题都解决不了；q 早期的人工智能研究取得了很大成就，掩盖了神经网络研究的重要性；q 1982年，J.Hopfield提出了循环网络的概念；q 1986年提出了多层感知器的反向传播算法，较好地解决了多层网络的学习问题。第五阶段：再认识与应用研究期（第五阶段：再认识与应用研究期（1991年年）11.1.3人工神经网络的研究历史（续）人工神经网络的研究历史（续）（1）局部极小问题；（1）希望在理论上寻找新突破，建立新的专用/通用网络和算法；（2）开发现

7、有网络应用，并在应用中根据实际运行情况对网络加以改造，以提高网络的训练速度和运行的准确度。（3）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。q 当前人工神经网络的研究任务：当前人工神经网络的研究任务：q 当前人工神经网络存在的主要问题：当前人工神经网络存在的主要问题：（2）模型选择问题；（3）计算速度和准确度问题；11.1.4人工神经网络的研究范围人工神经网络的研究范围网络模型感知器感知器误差误差反传网反传网径向基径向基函数网函数网自组织映射Hopfield网自适应共振网波尔茨曼机英文缩写BPRBFSOMARTBM提出时间1957198619881982198219871984学习方

8、式有监督有监督有监督无监督无监督无监督有监督拓扑结构前向前向前向前向反馈反馈反馈活动方式确定型确定型确定型确定型确定型确定型随机型有监督学习（有有监督学习（有教师学习）：预先已知训练样本集合中每个样本的类别标号教师学习）：预先已知训练样本集合中每个样本的类别标号无监督学习（无教师学习）：预先不知道训练样本集合中每个样本的类别标号无监督学习（无教师学习）：预先不知道训练样本集合中每个样本的类别标号11.2生物神经元的机理生物神经元的机理胞体胞体(Soma)枝蔓（枝蔓（Dendrite）胞体胞体(Soma)轴突（轴突（Axon）突触（突触（Synapse）11.2.1生物神经元的构成生物神经元的构

9、成q 胞体：是神经细胞的本体，用于普通细胞的生存；q 枝蔓(树突)：含有大量分支，用于接受其它神经元的信号；q 轴突：用于输出信号，可与多个神经元联结；q 突触：神经元联结的特殊部位，用于控制下一神经元的兴奋。11.2.2生物神经元的工作机制生物神经元的工作机制q 一个神经元有“兴奋”和“抑制”两种状态；q 平时处于“抑制”状态的神经元，其树突和胞体接收其它神经元传来的兴奋电位；q 如果输入兴奋总量超过某个阈值，神经元就会被激发进入兴奋状态，并发出输出脉冲；q 神经元之间的联接强度取决于“兴奋”程度的强弱；神经元A神经元B神经元A神经元B（抑制状态）（兴奋状态）11.3人工神经元的基本概念及学

10、习算法人工神经元的基本概念及学习算法是构成人工神经网络的最基本单元,是对生物神经元的模拟，它具备生物神经元的部分特征。11.3.1人工神经元的基本概念人工神经元的基本概念胞体(Soma)枝蔓（Dendrite）胞体(Soma)轴突（Axon）突触（Synapse）生物神经元生物神经元人工神经元人工神经元轴突胞体枝蔓人工神经元人工神经元:11.3.1人工神经元的基本概念（续）人工神经元的基本概念（续）输入：输出：连接权值：激活函数：激活阈值：输出：11.3.1人工神经元的基本概念（续）人工神经元的基本概念（续）激活函数：激活函数：对神经元输入的一种变换；连接权值：激活函数：激活阈值：（1 1）线

11、性函数线性函数netoocy=k*net+cy11.3.1人工神经元的基本概念（续）人工神经元的基本概念（续）连接权值：激活函数：激活阈值：（2 2）阶梯函数阶梯函数ynet当当11.3.1人工神经元的基本概念（续）人工神经元的基本概念（续）连接权值：激活函数：激活阈值：（3 3）Sigmoid函数函数ynet（1）非线性，单调增函数；（2）无限次可微函数；（3）当net很小时近似于线性函数；（4）当net很大时近似于阶梯函数；优点：例题：11.3.2人工神经元的学习规则人工神经元的学习规则q 学习规则是为了求取连接权值 ；HebbHebb规则：规则：如果神经网络中某一神经元与另一直接与其相连

12、的神经元同时处于兴奋状态，那么这两个神经元间的连接强度（权值）应增强。神经元i神经元jHebbHebb规则的定量描述：规则的定量描述：假设第i和第j个神经元的状态分别为 和 ，则两个神经元间的权值修正量为 为学习因子.11.3.2人工神经元的学习规则人工神经元的学习规则(续续)误差修正规则：误差修正规则：使网络中某一神经元的实际输出在均方意义上最逼近于期望输出。误差修正规则的定量描述：误差修正规则的定量描述：神经元i神经元j令第 个神经元的期望输出为 ，实际输出为 ，则第 个输入结点与第 个神经元间的权值修正量为：11.3.3用用人工神经元进行两类样本分类人工神经元进行两类样本分类测试：测试：

13、q 在第二次实验时会涉及；类类训练：训练：根据前面所讲的规则，对神经元进行训练，得到最佳的权值 。测试样本11.4前馈神经网络的类型与拓扑结构前馈神经网络的类型与拓扑结构 11.4.1前馈神经网络的拓扑结构前馈神经网络的拓扑结构前馈神经网络（感知器）（多层感知器，MLP）双层前馈网多层前馈网（误差反传网，BP）（输入层）（隐层）（输入层）（隐层）（输出层）q 双层前馈网（感知器）不能解决异或问题。异或问题(经典的线性不可分问题)（1）在第4章已经讲过感知器；11.4.2前馈神经网络的类型前馈神经网络的类型q 多层前馈网能解决异或问题。（2）1969年Minsky出版感知器一书，对感知器提出了严

14、厉的批评；感知器的学习算法感知器的学习算法感知器采用感知器学习规则进行训练感知器采用感知器学习规则进行训练,用用t表示学习步的序号表示学习步的序号,权权值看作值看作t的函数的函数.t=0对应学习开始前的初始状态对应学习开始前的初始状态(此时权值为初此时权值为初始值始值),训练过程如下训练过程如下:(1)对各初始权值对各初始权值w0j(0),w1j(0),wnj(0),j=1,2m(m为计算层为计算层的节点数的节点数)赋予较小的非零随机数赋予较小的非零随机数;(2)输入样本对输入样本对Xp,dp,其中其中Xp=-1x1px2pxnpT,dp为期望输为期望输出向量出向量(教师信号教师信号),下标下

15、标p代表样本对的模式序号代表样本对的模式序号,设样本集中设样本集中的样本总数为的样本总数为P,则则p=1,2,P;(3)计算各节点的实际输出计算各节点的实际输出yjp(t)=sgnWjT(t)Xp,j=1,2,m.(4)调整各节点对应的权值调整各节点对应的权值Wj(t+1)=Wj(t)+djp-yjp(t)Xpj=1,2,m学习率学习率,一般取一般取01,用于调整控制速度用于调整控制速度,太大影响训练稳太大影响训练稳定性定性,太小使训练的收敛性变慢太小使训练的收敛性变慢.(5)返回到步骤返回到步骤(2),输入下一对样本输入下一对样本,周而复始直到所有样本使周而复始直到所有样本使感知器的实际输出

16、与期望输出相等感知器的实际输出与期望输出相等(dp-yp=0,p=1,2,P).已经得到证明已经得到证明,如果输入样本线性可分如果输入样本线性可分,无论感知器的初始权向无论感知器的初始权向量如何取值量如何取值,经过有限次调整后经过有限次调整后,总能稳定到一个权向量总能稳定到一个权向量,该权向该权向量确定的超平面能将两类样本正确分开量确定的超平面能将两类样本正确分开.能够将样本正确分类的权向量并不唯一能够将样本正确分类的权向量并不唯一,一般初始权向量不同一般初始权向量不同,训练过程和所得到的结果也不同训练过程和所得到的结果也不同,但都可满足误差为零的要求但都可满足误差为零的要求.例例.单计算节点

17、感知器有单计算节点感知器有3个个输入输入,现给定现给定3对训练样本对训练样本:X1=-11-20Td1=-1;X2=-101.5-0.5Td2=-1;X3=-1-110.5Td3=1.设初始权向量设初始权向量W(0)=0.51-10T=0.1解解:第一步第一步,输入输入X1WT(0)X1=0.51-10-11-20T=2.5Y1(0)=sgn(2.5)=1W(1)=W(0)+d1-y1X1=0.51-10T+0.1(-1-1)-11-20T=0.70.8-0.60T第二步第二步,输入输入X2WT(1)X2=0.70.8-0.60-101.5-0.5T=-1.6Y2(1)=sgn(-1.6)=-

18、1W(2)=W(1)+d2-y2(1)X2=0.70.8-0.60T+0.1-1-(-1)-101.5-0.5T=0.70.8-0.60T第三步第三步,输入输入X3WT(2)X3=0.70.8-0.60-1-110.5T=-2.1Y3(2)=sgn(-2.1)=-1W(3)=W(2)+d3-y3(2)X3=0.50.6-0.40.1T第四步第四步,返回到第一步返回到第一步,继续训练继续训练,直到直到dp-yp=0p=1,2,311.5前馈神经网络的反向传播算法前馈神经网络的反向传播算法lRumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propag

19、ation)学习算法lBP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。J.McClelland David Rumelhart BP网络的标准学习算法l学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。l学习的本质：对各连接权值的动态调整l学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。BP网络的标准学习算法-算法思想l学习的类型：有导师学习l核心思想：将输出误差以某种形式通过隐层向输入层逐层反传l学

20、习的过程：信号的正向传播 误差的反向传播将误差分摊给各层的所有将误差分摊给各层的所有单元各层单元的误单元各层单元的误差信号差信号修正各单元权值修正各单元权值BP网络的标准学习算法-学习过程l正向传播：输入样本输入层各隐层输出层l判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符l误差反传误差以某种形式在各层表示修正各层单元的权值l网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止11.5.1反向传播算法的难点与基本思路反向传播算法的难点与基本思路多层前馈网的中间隐层不直接与外界连接，其误差无法估计。算法难点：算法难点：（1）从输入层经隐层逐层“前向”计算各单元的

21、输出；算法的两个阶段：算法的两个阶段：（2）由输出误差逐层“反向”计算隐层各单元的误差，并用此误差修正前层的权值。（输入层）（隐层）（输出层）前向反向11.5.2反向传播算法的计算步骤反向传播算法的计算步骤（输入层）（隐层）（输出层）（1）网络参数的初始值选择；（2）前向计算：求出所有神经元的输出（3）反向计算：求出各隐层的局部梯度（4）利用迭代公式更新网络权值：前向反向11.5.3反向传播算法的推导过程反向传播算法的推导过程实际输出期望输出误差推导采用的模型11.5.3反向传播算法的推导过程（续）反向传播算法的推导过程（续）第j个神经元的输出：11.5.3反向传播算法的推导过程（续）反向传播

22、算法的推导过程（续）BP神经网络的特点l非线性映射能力能学习和存贮大量输入能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由络进行学习训练，它便能完成由n维输入空间到维输入空间到m维输出空间的非维输出空间的非线性映射。线性映射。l泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完成由当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。输入空间向输出

23、空间的正确映射。这种能力称为泛化能力。l容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规律输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。影响很小。（1）多层前馈网的权值初值选择会影响收敛速度；（2）当多层前馈网的层数大于三层时，反向传播算法陷入局部极小点的可能性很大。由于不能保证算法收敛到全局最优点，需利用先验知识缩小搜索范围。11.5.4反向传播算法的缺陷反向传播算法的缺陷（输入层）（隐层）（输出层）（3）多层前馈网要解决的问题越复杂，需要的隐层结点数越多；但过多的结点会导致“过学习”或者说“过拟合”，从而使网络的泛化能力变差。“过拟合”实例？11.5.4反

24、向传播算法的缺陷（续）反向传播算法的缺陷（续）过拟合：为了得到一致假设而使假设变得过度复杂称为过拟过拟合：为了得到一致假设而使假设变得过度复杂称为过拟合。想像某种学习算法产生了一个过拟合的分类器，这个合。想像某种学习算法产生了一个过拟合的分类器，这个分类器能够百分之百的正确分类样本数据（即再拿样本中分类器能够百分之百的正确分类样本数据（即再拿样本中的文档来给它，它绝对不会分错），但也就为了能够对样的文档来给它，它绝对不会分错），但也就为了能够对样本完全正确的分类，使得它的构造如此精细复杂，规则如本完全正确的分类，使得它的构造如此精细复杂，规则如此严格，以至于任何与样本数据稍有不同的文档它全都认

25、此严格，以至于任何与样本数据稍有不同的文档它全都认为不属于这个类别！为不属于这个类别！泛化能力的定义泛化能力的定义l概括地说，所谓泛化能力（概括地说，所谓泛化能力（generalizationability）是指机器学习算法对新鲜样本的适应能力。学习的目是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律，对具有同一规律的是学到隐含在数据对背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。的输出，该能力称为泛化能力。l泛化能力的性质泛化能力的性质通常期望经训练样本训练的网络具

26、有较强的泛化能力，通常期望经训练样本训练的网络具有较强的泛化能力，也就是对新输入给出合理响应的能力。应当指出并非也就是对新输入给出合理响应的能力。应当指出并非训练的次数越多越能得到正确的输入输出映射关系。训练的次数越多越能得到正确的输入输出映射关系。网络的性能主要用它的泛化能力来衡量。网络的性能主要用它的泛化能力来衡量。反向传播算法（反向传播算法（BP）小结）小结基本思想：基本思想：是从后向前（反向）逐层传播输出层的误差，以间接算是从后向前（反向）逐层传播输出层的误差，以间接算出隐层误差。出隐层误差。算法分为两个阶段：算法分为两个阶段：第一阶段：正向过程，输入信息从输入层到隐层逐层计第一阶段：

27、正向过程，输入信息从输入层到隐层逐层计算各单元的输出值。算各单元的输出值。第二阶段：反向传播过程，输出误差逐层向前算出隐层第二阶段：反向传播过程，输出误差逐层向前算出隐层各单元的误差，并用此误差修正前层权值。各单元的误差，并用此误差修正前层权值。11.6径向基函数网络径向基函数网络径向基函数网络定义：径向基函数网络定义：只有一个隐层，隐层单元采用径向基函只有一个隐层，隐层单元采用径向基函数作为其输出特性，输入层到隐层之间的权数作为其输出特性，输入层到隐层之间的权值均固定为值均固定为1；输出节点为线性求和单元，；输出节点为线性求和单元，隐层到输出节点之间的权值可调，因此输出隐层到输出节点之间的权

28、值可调，因此输出为隐层的加权求和。为隐层的加权求和。11.6.1函数逼近问题函数逼近问题已知样本函数逼近问题示意图基函数解决逼近问题的一般解决思路：将被逼近函数表示成一组基函数的加权和 q 函数逼近问题可以和模式分类问题统一起来。是基函数的中心 为基函数的宽度 11.6.2用径向基函数网络解决函数用径向基函数网络解决函数逼近问题逼近问题基函数的加权和：径向基函数基函数的加权和：径向基函数网络的拓扑结构1111.6.3径向基函数网络待定参数的确定径向基函数网络待定参数的确定11待定参数：待定参数：是径向基函数的中心 为径向基函数的宽度 网络权值事先确定隐层单元的个数：是径向基函数的中心 为径向基函数的宽度 网络权值用最小二乘法确定通过聚类确定通过聚类确定11.7神经网络在模式识别中的应用神经网络在模式识别中的应用11.7.1用用人工神经元对两类样本分类人工神经元对两类样本分类q 在第二次实验时会涉及；类类测试样本输出：11.7.2用用多层前馈神经网络对样本分类多层前馈神经网络对样本分类把输入空间变换到由其隐层输出所张成的空间，然后在这个空间中进行线性分类。q 多层前馈网用于分类的实质：q 多层前馈网用于分类的一般做法 （教材P265）（1）网络的每一个输入节点对应样本的一个特征；（2）网络的输出节点数等于类别数；输入节点输出节点（输入层）（隐层）（输出层）