模式识别 与物联网精选文档.ppt

模式识别 与物联网本讲稿第一页，共三十三页目录1.神经网络概念及优点2.神经网络数学模型3.神经网络分类4.神经网络的学习系统5.介绍神经网络分类和传统分类器6.神经网络的学习和泛化7.特征变量选择8.误分类代价本讲稿第二页，共三十三页什么是人工神经网络？什么是人工神经网络？国际著名的神经网络研究专家，第一家神经计算机公司的创立者与领导国际著名的神经网络研究专家，第一家神经计算机公司的创立者与领导人人Hecht Nielsen给人工神经网络下的定义就是：给人工神经网络下的定义就是：“人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入状态进行信息处理。它通过对连续或断续的输入状态进行信息处理。”本讲稿第三页，共三十三页人工神经网络有什么优点？人工神经网络有什么优点？(1)可以充分逼近任意复杂的非线性关系；可以充分逼近任意复杂的非线性关系；(2)所有定量或定性的信息都等势分布贮存于网络内的各神经元，所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性；故有很强的鲁棒性和容错性；(3)采用并行分布处理方法，可以进行快速大量的运算；采用并行分布处理方法，可以进行快速大量的运算；(4)可学习和自适应不知道或不确定的系统；可学习和自适应不知道或不确定的系统；(5)能够同时处理定量、定性知识。能够同时处理定量、定性知识。本讲稿第四页，共三十三页优点表现？优点表现？第一，具有自学习功能，预期未来第一，具有自学习功能，预期未来。第二，具有联想存储功能。第二，具有联想存储功能。第三，具有高速寻找优化解的能力第三，具有高速寻找优化解的能力。本讲稿第五页，共三十三页神经网络数学模型神经网络数学模型X1，X2，Xn是神经元的输入，即是来自前级是神经元的输入，即是来自前级n个神经元的轴突个神经元的轴突的信息的信息A是是i神经元的阎值；神经元的阎值；Wi1，Wi2，Win分别是分别是i神经元神经元对对X1，X2，Xn的权系数，的权系数，Yi是是i神经元的输出；神经元的输出；f是激是激发函数，它决定发函数，它决定i神经元受到输人神经元受到输人X1，X2，Xn的共同的共同刺激达到阀值时以何种方式输出。刺激达到阀值时以何种方式输出。本讲稿第六页，共三十三页激发函数激发函数f有多种形式，其中最常见的有阶跃型、线性型和有多种形式，其中最常见的有阶跃型、线性型和S型型三种形式：三种形式：阶跃型激发函数，它的输出是电位脉冲，这种激发函数的神经阶跃型激发函数，它的输出是电位脉冲，这种激发函数的神经元称离散输出模型。元称离散输出模型。线性激发函数，它的输出是随输入的激发总量成正比的；这种神线性激发函数，它的输出是随输入的激发总量成正比的；这种神经元称线性连续型模型。经元称线性连续型模型。s型激发函数，它的输出是非线性的；这种神经元称非线性连续型模型型激发函数，它的输出是非线性的；这种神经元称非线性连续型模型。本讲稿第七页，共三十三页 在人们提出的几十种神经网络模型中，人们较多用的是在人们提出的几十种神经网络模型中，人们较多用的是Hopfield网络、网络、BP网络、网络、Kohonen网络和网络和ART(自适应共振理论自适应共振理论)网络。网络。Hopfield网络是最典型的反馈网络模型，它由相同的神经元构网络是最典型的反馈网络模型，它由相同的神经元构成的单层，并且具有学习功能的自联想网络。它需要对称连接。成的单层，并且具有学习功能的自联想网络。它需要对称连接。这个网络通过学习以完成制约优化和联想记忆等功能。它是目这个网络通过学习以完成制约优化和联想记忆等功能。它是目前人们研究得最多的模型之一。前人们研究得最多的模型之一。本讲稿第八页，共三十三页u BP网络是反向传播网络是反向传播(Back Propagation)网络。它是一种多层前网络。它是一种多层前向网络，采用最小均方差学习方式。这是一种最广泛应用的网络。它向网络，采用最小均方差学习方式。这是一种最广泛应用的网络。它可用于语言综合，识别和自适应控制等用途。可用于语言综合，识别和自适应控制等用途。BP网络需有教师训网络需有教师训练。练。uKohonen网络是典型的自组织神经网络，这种网络也称为自网络是典型的自组织神经网络，这种网络也称为自组织特征映射网络组织特征映射网络SOM。它的输入层是单层单维神经元；而输出。它的输入层是单层单维神经元；而输出层是二维的神经元，神经元之间存在以层是二维的神经元，神经元之间存在以“墨西哥帽墨西哥帽”形式进行侧向交形式进行侧向交互的作用。因而，在输出层中，神经元之间有近扬远抑的反馈特性；互的作用。因而，在输出层中，神经元之间有近扬远抑的反馈特性；从而使从而使Kohonen网络可以作为模式特征的检测器。网络可以作为模式特征的检测器。本讲稿第九页，共三十三页u ART网络也是一种自组织网络模型。这是一种无监督学习网网络也是一种自组织网络模型。这是一种无监督学习网络。它能够较好地协调适应性，稳定性和复杂性的要求。在络。它能够较好地协调适应性，稳定性和复杂性的要求。在ART网络中，通常需要两个功能互补的子系统相互作用网络中，通常需要两个功能互补的子系统相互作用ART网络主要用于模式识别，它不足之处是在于对转换、失真和网络主要用于模式识别，它不足之处是在于对转换、失真和规模变化较敏感。规模变化较敏感。本讲稿第十页，共三十三页神经网络的学习规则可以粗略分成神经网络的学习规则可以粗略分成3类类:1.相关学习规则相关学习规则 这种规则只根据连接间的激活水平改变权系数。常用于自联想网络，这种规则只根据连接间的激活水平改变权系数。常用于自联想网络，如如Hopfield网络网络2.纠错学习规则纠错学习规则 这种规则根据输出节点的外部反馈改变权系数。按局部改善这种规则根据输出节点的外部反馈改变权系数。按局部改善最大的方向一步步进行优化，从而最终找到全局优化值。感最大的方向一步步进行优化，从而最终找到全局优化值。感知器学习就采用这种纠错学习规则例如知器学习就采用这种纠错学习规则例如BP算法。用于统计算法。用于统计性算法的模拟退火算法也属于这种学习规则。性算法的模拟退火算法也属于这种学习规则。3.无监督学习规则。它是一种对输入测检进行自适应的学习规则。无监督学习规则。它是一种对输入测检进行自适应的学习规则。ART网络的自组织学习算法即属于这一类。网络的自组织学习算法即属于这一类。本讲稿第十一页，共三十三页神经网络信息处理的数学过程神经网络信息处理的数学过程 这个过程可分为两个阶段；执行阶段和学习阶段。下面以前向网络情况这个过程可分为两个阶段；执行阶段和学习阶段。下面以前向网络情况说明这两个阶段。说明这两个阶段。1执行阶段执行阶段:指神经网络对输入信息进行处理，并产生对应的输出指神经网络对输入信息进行处理，并产生对应的输出过程。过程。本讲稿第十二页，共三十三页2学习阶段学习阶段:学习阶段是指神经网络自我完善的阶段；这时，网络按一定的学习阶段是指神经网络自我完善的阶段；这时，网络按一定的学习规则修改突触的权系数学习规则修改突触的权系数Wij，以使到结定的测度函数，以使到结定的测度函数E达到达到最小。最小。神经网络对信息的学习是为了取得对信息的适应特性，或信神经网络对信息的学习是为了取得对信息的适应特性，或信息的特征；而神经网络对信息的执行过程是对特征的检索或息的特征；而神经网络对信息的执行过程是对特征的检索或者是对信息的分类过程。者是对信息的分类过程。本讲稿第十三页，共三十三页神经网络学习系统框图神经网络学习系统框图输入部接收外来的输入样本输入部接收外来的输入样本X，由训练部进行网络的权系数，由训练部进行网络的权系数W调调整，然后由输出部输出结果。在这个过程中，期望的输出信号可整，然后由输出部输出结果。在这个过程中，期望的输出信号可以作为教师信号输入，由该教师信号与实际输出进行比较，产生以作为教师信号输入，由该教师信号与实际输出进行比较，产生的误差去控制修改权系数的误差去控制修改权系数W。本讲稿第十四页，共三十三页感知器是有单层计算单元的神经网络，由线性元件及阀值元件感知器是有单层计算单元的神经网络，由线性元件及阀值元件组成。感知器如图所示。组成。感知器如图所示。感知器的最大作用就是可以用于分类，可以用做分类器感知器的最大作用就是可以用于分类，可以用做分类器A 类类B类类本讲稿第十五页，共三十三页上面感知器的传递函数是阶跃函数，它可以用作分类器。上面感知器的传递函数是阶跃函数，它可以用作分类器。由于感知器学习算法因其传递函数的简单而存在局限性。由于感知器学习算法因其传递函数的简单而存在局限性。存在问题：即如果函数不是线性可分时，则求不出结果；另外，存在问题：即如果函数不是线性可分时，则求不出结果；另外，不能推广到一般前馈网络中。不能推广到一般前馈网络中。解决办法：提出另一种算法解决办法：提出另一种算法梯度算法梯度算法(也即是也即是LMS法法)。为了能实现梯度算法，需把神经元的激发函数改为可微分函数，例为了能实现梯度算法，需把神经元的激发函数改为可微分函数，例如如Sigmoid函数，函数，本讲稿第十六页，共三十三页反向传播学习的反向传播学习的BP算法算法；感知机学习算法是一种单层网络的学习算法。在多层网络中它只能改感知机学习算法是一种单层网络的学习算法。在多层网络中它只能改变最后权系数。因此，感知机学习算法不能用于多层神经网络的学习。变最后权系数。因此，感知机学习算法不能用于多层神经网络的学习。BP算法是为了解决多层前向神经网络的权系数优化而提出来的；所以，算法是为了解决多层前向神经网络的权系数优化而提出来的；所以，BP算法也通常暗示着神经网络的拓扑结构是一种无反馈的多层前算法也通常暗示着神经网络的拓扑结构是一种无反馈的多层前向网络。故而有时也称无反馈多层前向网络为向网络。故而有时也称无反馈多层前向网络为BP模型。模型。BP算算法是目前最广泛用的神经网络学习算法之一法是目前最广泛用的神经网络学习算法之一 本讲稿第十七页，共三十三页BP算法是用于前馈多层网络的学习算法算法是用于前馈多层网络的学习算法，本讲稿第十八页，共三十三页反向传播算法分二步进行，即正向传播和反向传播。反向传播算法分二步进行，即正向传播和反向传播。1正向传播正向传播输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。传播过程。2反向传播反向传播反向传播时，把误差信号按原来正向传播的通路反向传回，并反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。趋向最小。本讲稿第十九页，共三十三页传统的分类过程基于概率模型的贝叶斯决策理论，其局限性是传统的分类过程基于概率模型的贝叶斯决策理论，其局限性是只有当满足已知的概率条件时才能够取得很好的效果。由于只有当满足已知的概率条件时才能够取得很好的效果。由于神经网络的优点，神经网络用于分类可以取代若干传统的分神经网络的优点，神经网络用于分类可以取代若干传统的分类方法。在先验概率不知道的情况下，也可以取的很好的效类方法。在先验概率不知道的情况下，也可以取的很好的效果。果。本讲稿第二十页，共三十三页神经网络用于后验概率估计考虑一个映射函数考虑一个映射函数对函数对函数F应用最小均方估计理论，最小期望均方误差应用最小均方估计理论，最小期望均方误差 是给定是给定x，y的条件期望的条件期望 ，在分类问题中，在分类问题中，输出输出y是二进制值向量，如果是二进制值向量，如果x属于第属于第j类，那么第类，那么第j个基向量是个基向量是 F(x)的第的第j个元素个元素 由上得出，映射函数的最小二乘估计在分类问题中就是后由上得出，映射函数的最小二乘估计在分类问题中就是后验概率验概率本讲稿第二十一页，共三十三页神经网络和传统的分类器神经网络和传统的分类器统计模式分类是基于贝叶斯决策理论的后验概率，是线性的，统计模式分类是基于贝叶斯决策理论的后验概率，是线性的，而神经网络分类是非线性的，两者没有直接关系，但是当神而神经网络分类是非线性的，两者没有直接关系，但是当神经网络采用阶梯函数的分类器时，神经网络分类器的判决函经网络采用阶梯函数的分类器时，神经网络分类器的判决函数可以和贝叶斯后验概率分类器等价。数可以和贝叶斯后验概率分类器等价。逻辑回归也是分类工具，实际上它是标准的统计方法，它的性能逻辑回归也是分类工具，实际上它是标准的统计方法，它的性能优于判决分析。逻辑回归可以认为是后验概率。优于判决分析。逻辑回归可以认为是后验概率。本讲稿第二十二页，共三十三页学习和泛化是神经网络研究的最重要的主题之一，学习通过学习和泛化是神经网络研究的最重要的主题之一，学习通过数据的训练后输出近似于输入的能力，泛化是预测未知的能数据的训练后输出近似于输入的能力，泛化是预测未知的能力。力。过拟合对训练样本的输出很好，但预测能力差，欠拟合预测能过拟合对训练样本的输出很好，但预测能力差，欠拟合预测能力强，但是和期望输出的误差大。简单的模型，比如线性分类力强，但是和期望输出的误差大。简单的模型，比如线性分类器一般会欠拟合，复杂灵活的模型，比如神经网络趋向于过拟器一般会欠拟合，复杂灵活的模型，比如神经网络趋向于过拟合。合。欠拟合和过拟合可以通过预测错误偏差和协方差的分解来分欠拟合和过拟合可以通过预测错误偏差和协方差的分解来分析。析。本讲稿第二十三页，共三十三页对于一个确定的数据集，模型的偏差和协方差是矛盾的，一对于一个确定的数据集，模型的偏差和协方差是矛盾的，一个减少，另一个就会增大，比较好的神经网络分类器一般根个减少，另一个就会增大，比较好的神经网络分类器一般根据情况选择一个折中的办法。据情况选择一个折中的办法。不失一般性，设输入不失一般性，设输入x，输出为，输出为y，由后验概率模型可知由后验概率模型可知，本讲稿第二十四页，共三十三页设训练数据集设训练数据集DN的尺寸为的尺寸为N，输出的实际值是，输出的实际值是f（x;DN），），那么均方误差错误那么均方误差错误均方估计误差对数据集很敏感，改变数据集或采样大小，都会影均方估计误差对数据集很敏感，改变数据集或采样大小，都会影响均方误差，响均方误差，本讲稿第二十五页，共三十三页模型的总体预测误差模型的总体预测误差ED表示样本大小为表示样本大小为N的所以可能随机样本的期望。右面第一项的所以可能随机样本的期望。右面第一项 独立于训练样本和基函数，它反映独立于训练样本和基函数，它反映了由于数据的固有噪声而产生的固有误差。右面第二项可以分解为了由于数据的固有噪声而产生的固有误差。右面第二项可以分解为上面第一项是模型偏差的平方，第二项是模型协方差上面第一项是模型偏差的平方，第二项是模型协方差本讲稿第二十六页，共三十三页减少预测误差的方法：减少预测误差的方法：神经网络模型对于给定的训练数据一般输出的偏差很小，但是潜神经网络模型对于给定的训练数据一般输出的偏差很小，但是潜在的风险是其泛化的协方差比较大。在的风险是其泛化的协方差比较大。D和和K指出，在机器学习背指出，在机器学习背景下，协方差的指标性能比预测性能差的学习偏差更重要。为景下，协方差的指标性能比预测性能差的学习偏差更重要。为此，我们要求找到一些减少协方差方法。此，我们要求找到一些减少协方差方法。减少过拟合的方法减少过拟合的方法1.交叉验证法交叉验证法 2.处罚训练法处罚训练法 3.权值衰减和节点变化法权值衰减和节点变化法本讲稿第二十七页，共三十三页多分类器结合使用，可以减少泛化错误。而且性能比单个分类多分类器结合使用，可以减少泛化错误。而且性能比单个分类器单独使用效果要好，条件是各个分类器是无偏且独立的。器单独使用效果要好，条件是各个分类器是无偏且独立的。结合多分类器方法：结合多分类器方法：不同网络结构不同网络结构相同网络结构，但相同网络结构，但1.算法不同，算法不同，2.初始权值不同，初始权值不同，3.分类器不同。分类器不同。结合多分类器可以减少误差主要是减少了模型的输出方差，而结合多分类器可以减少误差主要是减少了模型的输出方差，而不是输出的偏差。分类器彼此之间越不相关，结合后综合效不是输出的偏差。分类器彼此之间越不相关，结合后综合效果越好果越好本讲稿第二十八页，共三十三页减少相关性的方法：减少相关性的方法：选择不同的特征变量（比相同特征变量不同结构效果好）选择不同的特征变量（比相同特征变量不同结构效果好）训练不同的数据集训练不同的数据集虽然结合分类器的方法比使用单个分类器要好，但还有一些问虽然结合分类器的方法比使用单个分类器要好，但还有一些问题存在，包括：题存在，包括：结合中分类器的选择结合中分类器的选择 结合规模大小结合规模大小 结合分类器的最佳方式结合分类器的最佳方式 上面这些问题还没有一个确定标准，都要凭借经验来确定。上面这些问题还没有一个确定标准，都要凭借经验来确定。本讲稿第二十九页，共三十三页在建立神经网络模型和其它分类器中，特征变量的选择很重要。在建立神经网络模型和其它分类器中，特征变量的选择很重要。特征变量选择的目的是寻找最小的特征集，使它可以满足预测性特征变量选择的目的是寻找最小的特征集，使它可以满足预测性能。能。在模式识别里的一些关于统计特征选择标准和算法不能直接用于神经在模式识别里的一些关于统计特征选择标准和算法不能直接用于神经网络分类器中，由于神经网络是非线性网络。网络分类器中，由于神经网络是非线性网络。特征变量选择中一个比较流行的方法是主成分分析法（特征变量选择中一个比较流行的方法是主成分分析法（PCA）,PCA是一个统计技术，它可以减少特征变量维数而不损失包含在是一个统计技术，它可以减少特征变量维数而不损失包含在原始数据中的固有信息。原始数据中的固有信息。PCA是一个无监督学习过程，它不考虑输入变量和目标输出之是一个无监督学习过程，它不考虑输入变量和目标输出之间的关系，另外，间的关系，另外，PCA是一个线性维数减少的技术，它不适是一个线性维数减少的技术，它不适于非线性的复杂结构。于非线性的复杂结构。本讲稿第三十页，共三十三页在大部分文献中，对误分类代价研究的比较少，一般都是考虑在大部分文献中，对误分类代价研究的比较少，一般都是考虑误分类代价是相等的，最后找到总的最小误分类代价。但是这误分类代价是相等的，最后找到总的最小误分类代价。但是这个结果并不可靠。而实际应用中，比如银行破产预测，信用危个结果并不可靠。而实际应用中，比如银行破产预测，信用危机分析，医疗诊断等，误分类错误在不同组的不同类别中的代机分析，医疗诊断等，误分类错误在不同组的不同类别中的代价显著不同。它们对分类结果和最后做出最佳决策判定都有显价显著不同。它们对分类结果和最后做出最佳决策判定都有显著影响。著影响。当分组不均衡时，就容易发生不等的误分类代价。误分类对当分组不均衡时，就容易发生不等的误分类代价。误分类对象在较小的组中代价较高。象在较小的组中代价较高。本讲稿第三十一页，共三十三页小结：小结：首先介绍了一些神经网络方面的内容，首先介绍了一些神经网络方面的内容，然后回顾了神经网络用于分类问题中的一些重要的问题和进来的发展，然后回顾了神经网络用于分类问题中的一些重要的问题和进来的发展，包括后验概率估计，神经网络和传统分类器的关系，神经网络分类中包括后验概率估计，神经网络和传统分类器的关系，神经网络分类中学习和泛化的关系，提高神经网络用于分类性能的问题。学习和泛化的关系，提高神经网络用于分类性能的问题。本讲稿第三十二页，共三十三页Thanks本讲稿第三十三页，共三十三页