模式识别 与物联网.ppt

《模式识别 与物联网.ppt》由会员分享，可在线阅读，更多相关《模式识别 与物联网.ppt（33页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、人工神经网络及其用于分类 目录1.神经网络概念及优点2.神经网络数学模型3.神经网络分类4.神经网络的学习系统5.介绍神经网络分类和传统分类器6.神经网络的学习和泛化7.特征变量选择8.误分类代价什么是人工神经网络？什么是人工神经网络？国际著名的神经网络研究专家，第一家神经计算机公司的创国际著名的神经网络研究专家，第一家神经计算机公司的创立者与领导人立者与领导人Hecht Nielsen给人工神经网络下的定义就给人工神经网络下的定义就是：是：“人工神经网络是由人工建立的以有向图为拓扑结构的动态人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入状态进行信息处理。系统

2、，它通过对连续或断续的输入状态进行信息处理。”人工神经网络有什么优点？人工神经网络有什么优点？(1)可以充分逼近任意复杂的非线性关系；可以充分逼近任意复杂的非线性关系；(2)所有定量或定性的信息都等势分布贮存于网络内的各神所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性；经元，故有很强的鲁棒性和容错性；(3)采用并行分布处理方法，可以进行快速大量的运算；采用并行分布处理方法，可以进行快速大量的运算；(4)可学习和自适应不知道或不确定的系统；可学习和自适应不知道或不确定的系统；(5)能够同时处理定量、定性知识。能够同时处理定量、定性知识。优点表现？优点表现？第一，具

3、有自学习功能，预期未来第一，具有自学习功能，预期未来。第二，具有联想存储功能。第二，具有联想存储功能。第三，具有高速寻找优化解的能力第三，具有高速寻找优化解的能力。神经网络数学模型神经网络数学模型X1，X2，Xn是神经元的输入，即是来自前级是神经元的输入，即是来自前级n个神经个神经元的轴突的信息元的轴突的信息A是是i神经元的阎值；神经元的阎值；Wi1，Wi2，Win分别是分别是i神经元对神经元对X1，X2，Xn的权系数，的权系数，Yi是是i神经元的输出；神经元的输出；f是激发函数，它决定是激发函数，它决定i神经元受到输人神经元受到输人X1，X2，Xn的共同刺激达到阀值时以何种方式输的共同刺激达

4、到阀值时以何种方式输出。出。激发函数激发函数f有多种形式，其中最常见的有阶跃型、线性型和有多种形式，其中最常见的有阶跃型、线性型和S型三种形式：型三种形式：阶跃型激发函数，它的输出是电位脉冲，这种激发函数的神阶跃型激发函数，它的输出是电位脉冲，这种激发函数的神经元称离散输出模型。经元称离散输出模型。线性激发函数，它的输出是随输入的激发总量成正比的；这线性激发函数，它的输出是随输入的激发总量成正比的；这种神经元称线性连续型模型。种神经元称线性连续型模型。s型激发函数，它的输出是非线性的；这种神经元称非线性型激发函数，它的输出是非线性的；这种神经元称非线性连续型模型连续型模型。在人们提出的几十种神

5、经网络模型中，人们较多用的是在人们提出的几十种神经网络模型中，人们较多用的是Hopfield网络、网络、BP网络、网络、Kohonen网络和网络和ART(自适应共自适应共振理论振理论)网络。网络。uHopfield网络是最典型的反馈网络模型，它由相同的神经网络是最典型的反馈网络模型，它由相同的神经元构成的单层，并且具有学习功能的自联想网络。它需要元构成的单层，并且具有学习功能的自联想网络。它需要对称连接。这个网络通过学习以完成制约优化和联想记忆对称连接。这个网络通过学习以完成制约优化和联想记忆等功能。它是目前人们研究得最多的模型之一。等功能。它是目前人们研究得最多的模型之一。u BP网络是反向

6、传播网络是反向传播(Back Propagation)网络。它是一种网络。它是一种多层前向网络，采用最小均方差学习方式。这是一种最广多层前向网络，采用最小均方差学习方式。这是一种最广泛应用的网络。它可用于语言综合，识别和自适应控制等泛应用的网络。它可用于语言综合，识别和自适应控制等用途。用途。BP网络需有教师训练。网络需有教师训练。uKohonen网络是典型的自组织神经网络，这种网络也称为网络是典型的自组织神经网络，这种网络也称为自组织特征映射网络自组织特征映射网络SOM。它的输入层是单层单维神经元。它的输入层是单层单维神经元；而输出层是二维的神经元，神经元之间存在以；而输出层是二维的神经元，

7、神经元之间存在以“墨西哥墨西哥帽帽”形式进行侧向交互的作用。因而，在输出层中，神经形式进行侧向交互的作用。因而，在输出层中，神经元之间有近扬远抑的反馈特性；从而使元之间有近扬远抑的反馈特性；从而使Kohonen网络可网络可以作为模式特征的检测器。以作为模式特征的检测器。u ART网络也是一种自组织网络模型。这是一种无监督学网络也是一种自组织网络模型。这是一种无监督学习网络。它能够较好地协调适应性，稳定性和复杂性的要习网络。它能够较好地协调适应性，稳定性和复杂性的要求。在求。在ART网络中，通常需要两个功能互补的子系统相互网络中，通常需要两个功能互补的子系统相互作用作用ART网络主要用于模式识别

8、，它不足之处是在于对网络主要用于模式识别，它不足之处是在于对转换、失真和规模变化较敏感。转换、失真和规模变化较敏感。神经网络的学习规则可以粗略分成神经网络的学习规则可以粗略分成3类类:1.相关学习规则相关学习规则 这种规则只根据连接间的激活水平改变权系数。常用于自这种规则只根据连接间的激活水平改变权系数。常用于自联想网络，如联想网络，如Hopfield网络网络2.纠错学习规则纠错学习规则 这种规则根据输出节点的外部反馈改变权系数。按局部改这种规则根据输出节点的外部反馈改变权系数。按局部改善最大的方向一步步进行优化，从而最终找到全局优化值。善最大的方向一步步进行优化，从而最终找到全局优化值。感知

9、器学习就采用这种纠错学习规则例如感知器学习就采用这种纠错学习规则例如BP算法。用算法。用于统计性算法的模拟退火算法也属于这种学习规则。于统计性算法的模拟退火算法也属于这种学习规则。3.无监督学习规则。它是一种对输入测检进行自适应的学习无监督学习规则。它是一种对输入测检进行自适应的学习规则。规则。ART网络的自组织学习算法即属于这一类。网络的自组织学习算法即属于这一类。神经网络信息处理的数学过程神经网络信息处理的数学过程 这个过程可分为两个阶段；执行阶段和学习阶段。下面以前这个过程可分为两个阶段；执行阶段和学习阶段。下面以前向网络情况说明这两个阶段。向网络情况说明这两个阶段。1执行阶段执行阶段:

10、指神经网络对输入信息进行处理，并产生对应指神经网络对输入信息进行处理，并产生对应的输出过程。的输出过程。2学习阶段学习阶段:学习阶段是指神经网络自我完善的阶段；这时，网络按一学习阶段是指神经网络自我完善的阶段；这时，网络按一定的学习规则修改突触的权系数定的学习规则修改突触的权系数Wij，以使到结定的测度，以使到结定的测度函数函数E达到最小。达到最小。神经网络对信息的学习是为了取得对信息的适应特性，或神经网络对信息的学习是为了取得对信息的适应特性，或信息的特征；而神经网络对信息的执行过程是对特征的检信息的特征；而神经网络对信息的执行过程是对特征的检索或者是对信息的分类过程。索或者是对信息的分类过

11、程。神经网络学习系统框图神经网络学习系统框图输入部接收外来的输入样本输入部接收外来的输入样本X，由训练部进行网络的权系数，由训练部进行网络的权系数W调整，然后由输出部输出结果。在这个过程中，期望的调整，然后由输出部输出结果。在这个过程中，期望的输出信号可以作为教师信号输入，由该教师信号与实际输输出信号可以作为教师信号输入，由该教师信号与实际输出进行比较，产生的误差去控制修改权系数出进行比较，产生的误差去控制修改权系数W。感知器是有单层计算单元的神经网络，由线性元件及阀值元感知器是有单层计算单元的神经网络，由线性元件及阀值元件组成。感知器如图所示。件组成。感知器如图所示。感知器的最大作用就是可以

12、用于分类，可以用做分类器感知器的最大作用就是可以用于分类，可以用做分类器A 类类B类类上面感知器的传递函数是阶跃函数，它可以用作分类器。上面感知器的传递函数是阶跃函数，它可以用作分类器。由于感知器学习算法因其传递函数的简单而存在局限性。由于感知器学习算法因其传递函数的简单而存在局限性。存在问题：即如果函数不是线性可分时，则求不出结果；另存在问题：即如果函数不是线性可分时，则求不出结果；另外，不能推广到一般前馈网络中。外，不能推广到一般前馈网络中。解决办法：提出另一种算法解决办法：提出另一种算法梯度算法梯度算法(也即是也即是LMS法法)。为了能实现梯度算法，需把神经元的激发函数改为可微分函为了能

13、实现梯度算法，需把神经元的激发函数改为可微分函数，例如数，例如Sigmoid函数，函数，反向传播学习的反向传播学习的BP算法算法；感知机学习算法是一种单层网络的学习算法。在多层网络中感知机学习算法是一种单层网络的学习算法。在多层网络中它只能改变最后权系数。因此，感知机学习算法不能用它只能改变最后权系数。因此，感知机学习算法不能用于多层神经网络的学习。于多层神经网络的学习。BP算法是为了解决多层前向神经网络的权系数优化而提出来算法是为了解决多层前向神经网络的权系数优化而提出来的；所以，的；所以，BP算法也通常暗示着神经网络的拓扑结构是算法也通常暗示着神经网络的拓扑结构是一种无反馈的多层前向网络。

14、故而有时也称无反馈多层一种无反馈的多层前向网络。故而有时也称无反馈多层前向网络为前向网络为BP模型。模型。BP算法是目前最广泛用的神经网络算法是目前最广泛用的神经网络学习算法之一学习算法之一 BP算法是用于前馈多层网络的学习算法算法是用于前馈多层网络的学习算法，反向传播算法分二步进行，即正向传播和反向传播。反向传播算法分二步进行，即正向传播和反向传播。1正向传播正向传播输入的样本从输入层经过隐单元一层一层进行处理，通过所输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一

15、层神经元的状态产生影响。在一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。等于期望输出，则进入反向传播过程。2反向传播反向传播反向传播时，把误差信号按原来正向传播的通路反向传回，反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。信号趋向最小。传统的分类过程基于概率模型的贝叶斯决策理论，其局限性传统的分类过程基于概率模型的贝叶斯决策理论，其局限性是

16、只有当满足已知的概率条件时才能够取得很好的效果。是只有当满足已知的概率条件时才能够取得很好的效果。由于神经网络的优点，神经网络用于分类可以取代若干传由于神经网络的优点，神经网络用于分类可以取代若干传统的分类方法。在先验概率不知道的情况下，也可以取的统的分类方法。在先验概率不知道的情况下，也可以取的很好的效果。很好的效果。神经网络用于后验概率估计考虑一个映射函数考虑一个映射函数对函数对函数F应用最小均方估计理论，最小期望均方误差应用最小均方估计理论，最小期望均方误差 是给定是给定x，y的条件期望的条件期望 ，在分类，在分类问题中，输出问题中，输出y是二进制值向量，如果是二进制值向量，如果x属于第

17、属于第j类，那么类，那么第第j个基向量是个基向量是 F(x)的第的第j个元素个元素 由上得出，映射函数的最小二乘估计在分类问题中就是后由上得出，映射函数的最小二乘估计在分类问题中就是后验概率验概率神经网络和传统的分类器神经网络和传统的分类器统计模式分类是基于贝叶斯决策理论的后验概率，是线性统计模式分类是基于贝叶斯决策理论的后验概率，是线性的，而神经网络分类是非线性的，两者没有直接关系，但的，而神经网络分类是非线性的，两者没有直接关系，但是当神经网络采用阶梯函数的分类器时，神经网络分类器是当神经网络采用阶梯函数的分类器时，神经网络分类器的判决函数可以和贝叶斯后验概率分类器等价。的判决函数可以和贝

18、叶斯后验概率分类器等价。逻辑回归也是分类工具，实际上它是标准的统计方法，它逻辑回归也是分类工具，实际上它是标准的统计方法，它的性能优于判决分析。逻辑回归可以认为是后验概率。的性能优于判决分析。逻辑回归可以认为是后验概率。学习和泛化是神经网络研究的最重要的主题之一，学习通学习和泛化是神经网络研究的最重要的主题之一，学习通过数据的训练后输出近似于输入的能力，泛化是预测未知过数据的训练后输出近似于输入的能力，泛化是预测未知的能力。的能力。过拟合对训练样本的输出很好，但预测能力差，欠拟合预过拟合对训练样本的输出很好，但预测能力差，欠拟合预测能力强，但是和期望输出的误差大。简单的模型，比如测能力强，但是

19、和期望输出的误差大。简单的模型，比如线性分类器一般会欠拟合，复杂灵活的模型，比如神经网线性分类器一般会欠拟合，复杂灵活的模型，比如神经网络趋向于过拟合。络趋向于过拟合。欠拟合和过拟合可以通过预测错误偏差和协方差的分解来欠拟合和过拟合可以通过预测错误偏差和协方差的分解来分析。分析。对于一个确定的数据集，模型的偏差和协方差是矛盾的，对于一个确定的数据集，模型的偏差和协方差是矛盾的，一个减少，另一个就会增大，比较好的神经网络分类器一一个减少，另一个就会增大，比较好的神经网络分类器一般根据情况选择一个折中的办法。般根据情况选择一个折中的办法。不失一般性，设输入不失一般性，设输入x，输出为，输出为y，由

20、后验概率模型可知由后验概率模型可知，设训练数据集设训练数据集DN的尺寸为的尺寸为N，输出的实际值是，输出的实际值是f（x;DN），），那么均方误差错误那么均方误差错误均方估计误差对数据集很敏感，改变数据集或采样大小，都均方估计误差对数据集很敏感，改变数据集或采样大小，都会影响均方误差，会影响均方误差，模型的总体预测误差模型的总体预测误差ED表示样本大小为表示样本大小为N的所以可能随机样本的期望。右面第一的所以可能随机样本的期望。右面第一项项 独立于训练样本和基函数，它反映独立于训练样本和基函数，它反映了由于数据的固有噪声而产生的固有误差。右面第二项可以了由于数据的固有噪声而产生的固有误差。右面

21、第二项可以分解为分解为上面第一项是模型偏差的平方，第二项是模型协方差上面第一项是模型偏差的平方，第二项是模型协方差减少预测误差的方法：减少预测误差的方法：神经网络模型对于给定的训练数据一般输出的偏差很小，神经网络模型对于给定的训练数据一般输出的偏差很小，但是潜在的风险是其泛化的协方差比较大。但是潜在的风险是其泛化的协方差比较大。D和和K指出，指出，在机器学习背景下，协方差的指标性能比预测性能差的学在机器学习背景下，协方差的指标性能比预测性能差的学习偏差更重要。为此，我们要求找到一些减少协方差方法。习偏差更重要。为此，我们要求找到一些减少协方差方法。减少过拟合的方法减少过拟合的方法1.交叉验证法

22、交叉验证法 2.处罚训练法处罚训练法 3.权值衰减和节点变化法权值衰减和节点变化法多分类器结合使用，可以减少泛化错误。而且性能比单个多分类器结合使用，可以减少泛化错误。而且性能比单个分类器单独使用效果要好，条件是各个分类器是无偏且独分类器单独使用效果要好，条件是各个分类器是无偏且独立的。立的。结合多分类器方法：结合多分类器方法：不同网络结构不同网络结构相同网络结构，但相同网络结构，但1.算法不同，算法不同，2.初始权值不同，初始权值不同，3.分类器不同。分类器不同。结合多分类器可以减少误差主要是减少了模型的输出方差，结合多分类器可以减少误差主要是减少了模型的输出方差，而不是输出的偏差。分类器彼

23、此之间越不相关，结合后综而不是输出的偏差。分类器彼此之间越不相关，结合后综合效果越好合效果越好减少相关性的方法：减少相关性的方法：选择不同的特征变量（比相同特征变量不同结构效果好）选择不同的特征变量（比相同特征变量不同结构效果好）训练不同的数据集训练不同的数据集虽然结合分类器的方法比使用单个分类器要好，但还有一些虽然结合分类器的方法比使用单个分类器要好，但还有一些问题存在，包括：问题存在，包括：结合中分类器的选择结合中分类器的选择 结合规模大小结合规模大小 结合分类器的最佳方式结合分类器的最佳方式 上面这些问题还没有一个确定标准，都要凭借经验来确定。上面这些问题还没有一个确定标准，都要凭借经验

24、来确定。在建立神经网络模型和其它分类器中，特征变量的选择很在建立神经网络模型和其它分类器中，特征变量的选择很重要。特征变量选择的目的是寻找最小的特征集，使它可重要。特征变量选择的目的是寻找最小的特征集，使它可以满足预测性能。以满足预测性能。在模式识别里的一些关于统计特征选择标准和算法不能直在模式识别里的一些关于统计特征选择标准和算法不能直接用于神经网络分类器中，由于神经网络是非线性网络。接用于神经网络分类器中，由于神经网络是非线性网络。特征变量选择中一个比较流行的方法是主成分分析法特征变量选择中一个比较流行的方法是主成分分析法（PCA）,PCA是一个统计技术，它可以减少特征变量维数是一个统计技

25、术，它可以减少特征变量维数而不损失包含在原始数据中的固有信息。而不损失包含在原始数据中的固有信息。PCA是一个无监督学习过程，它不考虑输入变量和目标输是一个无监督学习过程，它不考虑输入变量和目标输出之间的关系，另外，出之间的关系，另外，PCA是一个线性维数减少的技术，是一个线性维数减少的技术，它不适于非线性的复杂结构。它不适于非线性的复杂结构。在大部分文献中，对误分类代价研究的比较少，一般都是在大部分文献中，对误分类代价研究的比较少，一般都是考虑误分类代价是相等的，最后找到总的最小误分类代价。考虑误分类代价是相等的，最后找到总的最小误分类代价。但是这个结果并不可靠。而实际应用中，比如银行破产预

26、但是这个结果并不可靠。而实际应用中，比如银行破产预测，信用危机分析，医疗诊断等，误分类错误在不同组的测，信用危机分析，医疗诊断等，误分类错误在不同组的不同类别中的代价显著不同。它们对分类结果和最后做出不同类别中的代价显著不同。它们对分类结果和最后做出最佳决策判定都有显著影响。最佳决策判定都有显著影响。当分组不均衡时，就容易发生不等的误分类代价。误分类当分组不均衡时，就容易发生不等的误分类代价。误分类对象在较小的组中代价较高。对象在较小的组中代价较高。小结：小结：首先介绍了一些神经网络方面的内容，首先介绍了一些神经网络方面的内容，然后回顾了神经网络用于分类问题中的一些重要的问题和然后回顾了神经网络用于分类问题中的一些重要的问题和进来的发展，包括后验概率估计，神经网络和传统分类器进来的发展，包括后验概率估计，神经网络和传统分类器的关系，神经网络分类中学习和泛化的关系，提高神经网的关系，神经网络分类中学习和泛化的关系，提高神经网络用于分类性能的问题。络用于分类性能的问题。Thanks