模式识别 与物联网精选PPT.ppt

模式识别 与物联网第1页，此课件共33页哦目录1.神经网络概念及优点2.神经网络数学模型3.神经网络分类4.神经网络的学习系统5.介绍神经网络分类和传统分类器6.神经网络的学习和泛化7.特征变量选择8.误分类代价第2页，此课件共33页哦什么是人工神经网络？什么是人工神经网络？国际著名的神经网络研究专家，第一家神经计算机公司的创立者与领导国际著名的神经网络研究专家，第一家神经计算机公司的创立者与领导人人Hecht Nielsen给人工神经网络下的定义就是：给人工神经网络下的定义就是：“人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入状态进行信息处理。通过对连续或断续的输入状态进行信息处理。”第3页，此课件共33页哦人工神经网络有什么优点？人工神经网络有什么优点？(1)可以充分逼近任意复杂的非线性关系；可以充分逼近任意复杂的非线性关系；(2)所有定量或定性的信息都等势分布贮存于网络内的各神经元，所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性；故有很强的鲁棒性和容错性；(3)采用并行分布处理方法，可以进行快速大量的运算；采用并行分布处理方法，可以进行快速大量的运算；(4)可学习和自适应不知道或不确定的系统；可学习和自适应不知道或不确定的系统；(5)能够同时处理定量、定性知识。能够同时处理定量、定性知识。第4页，此课件共33页哦优点表现？优点表现？第一，具有自学习功能，预期未来第一，具有自学习功能，预期未来。第二，具有联想存储功能。第二，具有联想存储功能。第三，具有高速寻找优化解的能力第三，具有高速寻找优化解的能力。第5页，此课件共33页哦神经网络数学模型神经网络数学模型X1，X2，Xn是神经元的输入，即是来自前级是神经元的输入，即是来自前级n个神经元的轴个神经元的轴突的信息突的信息A是是i神经元的阎值；神经元的阎值；Wi1，Wi2，Win分别是分别是i神经神经元对元对X1，X2，Xn的权系数，的权系数，Yi是是i神经元的输出；神经元的输出；f是是激发函数，它决定激发函数，它决定i神经元受到输人神经元受到输人X1，X2，Xn的共同的共同刺激达到阀值时以何种方式输出。刺激达到阀值时以何种方式输出。第6页，此课件共33页哦激发函数激发函数f有多种形式，其中最常见的有阶跃型、线性型和有多种形式，其中最常见的有阶跃型、线性型和S型型三种形式：三种形式：阶跃型激发函数，它的输出是电位脉冲，这种激发函数的神经元称离散阶跃型激发函数，它的输出是电位脉冲，这种激发函数的神经元称离散输出模型。输出模型。线性激发函数，它的输出是随输入的激发总量成正比的；这种神线性激发函数，它的输出是随输入的激发总量成正比的；这种神经元称线性连续型模型。经元称线性连续型模型。s型激发函数，它的输出是非线性的；这种神经元称非线性连续型型激发函数，它的输出是非线性的；这种神经元称非线性连续型模型模型。第7页，此课件共33页哦 在人们提出的几十种神经网络模型中，人们较多用的是在人们提出的几十种神经网络模型中，人们较多用的是Hopfield网网络、络、BP网络、网络、Kohonen网络和网络和ART(自适应共振理论自适应共振理论)网络。网络。Hopfield网络是最典型的反馈网络模型，它由相同的神经元构成的网络是最典型的反馈网络模型，它由相同的神经元构成的单层，并且具有学习功能的自联想网络。它需要对称连接。这个网络单层，并且具有学习功能的自联想网络。它需要对称连接。这个网络通过学习以完成制约优化和联想记忆等功能。它是目前人们研究得最通过学习以完成制约优化和联想记忆等功能。它是目前人们研究得最多的模型之一。多的模型之一。第8页，此课件共33页哦u BP网络是反向传播网络是反向传播(Back Propagation)网络。它是一种多层前网络。它是一种多层前向网络，采用最小均方差学习方式。这是一种最广泛应用的网向网络，采用最小均方差学习方式。这是一种最广泛应用的网络。它可用于语言综合，识别和自适应控制等用途。络。它可用于语言综合，识别和自适应控制等用途。BP网络需网络需有教师训练。有教师训练。uKohonen网络是典型的自组织神经网络，这种网络也称为自组网络是典型的自组织神经网络，这种网络也称为自组织特征映射网络织特征映射网络SOM。它的输入层是单层单维神经元；而输。它的输入层是单层单维神经元；而输出层是二维的神经元，神经元之间存在以出层是二维的神经元，神经元之间存在以“墨西哥帽墨西哥帽”形式形式进行侧向交互的作用。因而，在输出层中，神经元之间有近进行侧向交互的作用。因而，在输出层中，神经元之间有近扬远抑的反馈特性；从而使扬远抑的反馈特性；从而使Kohonen网络可以作为模式特征网络可以作为模式特征的检测器。的检测器。第9页，此课件共33页哦u ART网络也是一种自组织网络模型。这是一种无监督学习网网络也是一种自组织网络模型。这是一种无监督学习网络。它能够较好地协调适应性，稳定性和复杂性的要求。在络。它能够较好地协调适应性，稳定性和复杂性的要求。在ART网络中，通常需要两个功能互补的子系统相互作用网络中，通常需要两个功能互补的子系统相互作用ART网络网络主要用于模式识别，它不足之处是在于对转换、失真和规模变主要用于模式识别，它不足之处是在于对转换、失真和规模变化较敏感。化较敏感。第10页，此课件共33页哦神经网络的学习规则可以粗略分成神经网络的学习规则可以粗略分成3类类:1.相关学习规则相关学习规则 这种规则只根据连接间的激活水平改变权系数。常用于自联想这种规则只根据连接间的激活水平改变权系数。常用于自联想网络，如网络，如Hopfield网络网络2.纠错学习规则纠错学习规则 这种规则根据输出节点的外部反馈改变权系数。按局部改善这种规则根据输出节点的外部反馈改变权系数。按局部改善最大的方向一步步进行优化，从而最终找到全局优化值。感最大的方向一步步进行优化，从而最终找到全局优化值。感知器学习就采用这种纠错学习规则例如知器学习就采用这种纠错学习规则例如BP算法。用于统计算法。用于统计性算法的模拟退火算法也属于这种学习规则。性算法的模拟退火算法也属于这种学习规则。3.无监督学习规则。它是一种对输入测检进行自适应的学习规则。无监督学习规则。它是一种对输入测检进行自适应的学习规则。ART网络的自组织学习算法即属于这一类。网络的自组织学习算法即属于这一类。第11页，此课件共33页哦神经网络信息处理的数学过程神经网络信息处理的数学过程 这个过程可分为两个阶段；执行阶段和学习阶段。下面以前向这个过程可分为两个阶段；执行阶段和学习阶段。下面以前向网络情况说明这两个阶段。网络情况说明这两个阶段。1执行阶段执行阶段:指神经网络对输入信息进行处理，并产生对应的输出指神经网络对输入信息进行处理，并产生对应的输出过程。过程。第12页，此课件共33页哦2学习阶段学习阶段:学习阶段是指神经网络自我完善的阶段；这时，网络按一定学习阶段是指神经网络自我完善的阶段；这时，网络按一定的学习规则修改突触的权系数的学习规则修改突触的权系数Wij，以使到结定的测度函数，以使到结定的测度函数E达达到最小。到最小。神经网络对信息的学习是为了取得对信息的适应特性，或信神经网络对信息的学习是为了取得对信息的适应特性，或信息的特征；而神经网络对信息的执行过程是对特征的检索或息的特征；而神经网络对信息的执行过程是对特征的检索或者是对信息的分类过程。者是对信息的分类过程。第13页，此课件共33页哦神经网络学习系统框图神经网络学习系统框图输入部接收外来的输入样本输入部接收外来的输入样本X，由训练部进行网络的权系数，由训练部进行网络的权系数W调整，调整，然后由输出部输出结果。在这个过程中，期望的输出信号可以然后由输出部输出结果。在这个过程中，期望的输出信号可以作为教师信号输入，由该教师信号与实际输出进行比较，产生作为教师信号输入，由该教师信号与实际输出进行比较，产生的误差去控制修改权系数的误差去控制修改权系数W。第14页，此课件共33页哦感知器是有单层计算单元的神经网络，由线性元件及阀值元件感知器是有单层计算单元的神经网络，由线性元件及阀值元件组成。感知器如图所示。组成。感知器如图所示。感知器的最大作用就是可以用于分类，可以用做分类器感知器的最大作用就是可以用于分类，可以用做分类器A 类类B类类第15页，此课件共33页哦上面感知器的传递函数是阶跃函数，它可以用作分类器。上面感知器的传递函数是阶跃函数，它可以用作分类器。由于感知器学习算法因其传递函数的简单而存在局限性。由于感知器学习算法因其传递函数的简单而存在局限性。存在问题：即如果函数不是线性可分时，则求不出结果；另外，不能推存在问题：即如果函数不是线性可分时，则求不出结果；另外，不能推广到一般前馈网络中。广到一般前馈网络中。解决办法：提出另一种算法解决办法：提出另一种算法梯度算法梯度算法(也即是也即是LMS法法)。为了能实现梯度算法，需把神经元的激发函数改为可微分函数，例如为了能实现梯度算法，需把神经元的激发函数改为可微分函数，例如Sigmoid函数，函数，第16页，此课件共33页哦反向传播学习的反向传播学习的BP算法算法；感知机学习算法是一种单层网络的学习算法。在多层网络中它只能感知机学习算法是一种单层网络的学习算法。在多层网络中它只能改变最后权系数。因此，感知机学习算法不能用于多层神经网络改变最后权系数。因此，感知机学习算法不能用于多层神经网络的学习。的学习。BP算法是为了解决多层前向神经网络的权系数优化而提出来的；算法是为了解决多层前向神经网络的权系数优化而提出来的；所以，所以，BP算法也通常暗示着神经网络的拓扑结构是一种无反算法也通常暗示着神经网络的拓扑结构是一种无反馈的多层前向网络。故而有时也称无反馈多层前向网络为馈的多层前向网络。故而有时也称无反馈多层前向网络为BP模型。模型。BP算法是目前最广泛用的神经网络学习算法之一算法是目前最广泛用的神经网络学习算法之一 第17页，此课件共33页哦BP算法是用于前馈多层网络的学习算法算法是用于前馈多层网络的学习算法，第18页，此课件共33页哦反向传播算法分二步进行，即正向传播和反向传播。反向传播算法分二步进行，即正向传播和反向传播。1正向传播正向传播输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。播过程。2反向传播反向传播反向传播时，把误差信号按原来正向传播的通路反向传回，并对反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。最小。第19页，此课件共33页哦传统的分类过程基于概率模型的贝叶斯决策理论，其局限性是只传统的分类过程基于概率模型的贝叶斯决策理论，其局限性是只有当满足已知的概率条件时才能够取得很好的效果。由于神经有当满足已知的概率条件时才能够取得很好的效果。由于神经网络的优点，神经网络用于分类可以取代若干传统的分类方法。网络的优点，神经网络用于分类可以取代若干传统的分类方法。在先验概率不知道的情况下，也可以取的很好的效果。在先验概率不知道的情况下，也可以取的很好的效果。第20页，此课件共33页哦神经网络用于后验概率估计考虑一个映射函数考虑一个映射函数对函数对函数F应用最小均方估计理论，最小期望均方误差应用最小均方估计理论，最小期望均方误差 是给定是给定x，y的条件期望的条件期望 ，在分类问题中，在分类问题中，输出输出y是二进制值向量，如果是二进制值向量，如果x属于第属于第j类，那么第类，那么第j个基向量是个基向量是 F(x)的第的第j个元素个元素 由上得出，映射函数的最小二乘估计在分类问题中就是后由上得出，映射函数的最小二乘估计在分类问题中就是后验概率验概率第21页，此课件共33页哦神经网络和传统的分类器神经网络和传统的分类器统计模式分类是基于贝叶斯决策理论的后验概率，是线性的，而神经统计模式分类是基于贝叶斯决策理论的后验概率，是线性的，而神经网络分类是非线性的，两者没有直接关系，但是当神经网络采用阶梯网络分类是非线性的，两者没有直接关系，但是当神经网络采用阶梯函数的分类器时，神经网络分类器的判决函数可以和贝叶斯后验概率函数的分类器时，神经网络分类器的判决函数可以和贝叶斯后验概率分类器等价。分类器等价。逻辑回归也是分类工具，实际上它是标准的统计方法，它的性逻辑回归也是分类工具，实际上它是标准的统计方法，它的性能优于判决分析。逻辑回归可以认为是后验概率。能优于判决分析。逻辑回归可以认为是后验概率。第22页，此课件共33页哦学习和泛化是神经网络研究的最重要的主题之一，学习通过数学习和泛化是神经网络研究的最重要的主题之一，学习通过数据的训练后输出近似于输入的能力，泛化是预测未知的能力。据的训练后输出近似于输入的能力，泛化是预测未知的能力。过拟合对训练样本的输出很好，但预测能力差，欠拟合预测能过拟合对训练样本的输出很好，但预测能力差，欠拟合预测能力强，但是和期望输出的误差大。简单的模型，比如线性分类力强，但是和期望输出的误差大。简单的模型，比如线性分类器一般会欠拟合，复杂灵活的模型，比如神经网络趋向于过拟器一般会欠拟合，复杂灵活的模型，比如神经网络趋向于过拟合。合。欠拟合和过拟合可以通过预测错误偏差和协方差的分解来分析。欠拟合和过拟合可以通过预测错误偏差和协方差的分解来分析。第23页，此课件共33页哦对于一个确定的数据集，模型的偏差和协方差是矛盾的，一个对于一个确定的数据集，模型的偏差和协方差是矛盾的，一个减少，另一个就会增大，比较好的神经网络分类器一般根据情减少，另一个就会增大，比较好的神经网络分类器一般根据情况选择一个折中的办法。况选择一个折中的办法。不失一般性，设输入不失一般性，设输入x，输出为，输出为y，由后验概率模型可知由后验概率模型可知，第24页，此课件共33页哦设训练数据集设训练数据集DN的尺寸为的尺寸为N，输出的实际值是，输出的实际值是f（x;DN），），那么均方误差错误那么均方误差错误均方估计误差对数据集很敏感，改变数据集或采样大小，都会影响均方均方估计误差对数据集很敏感，改变数据集或采样大小，都会影响均方误差，误差，第25页，此课件共33页哦模型的总体预测误差模型的总体预测误差ED表示样本大小为表示样本大小为N的所以可能随机样本的期望。右面第一项的所以可能随机样本的期望。右面第一项 独立于训练样本和基函数，它反映独立于训练样本和基函数，它反映了由于数据的固有噪声而产生的固有误差。右面第二项可以分了由于数据的固有噪声而产生的固有误差。右面第二项可以分解为解为上面第一项是模型偏差的平方，第二项是模型协方差上面第一项是模型偏差的平方，第二项是模型协方差第26页，此课件共33页哦减少预测误差的方法：减少预测误差的方法：神经网络模型对于给定的训练数据一般输出的偏差很小，但是潜神经网络模型对于给定的训练数据一般输出的偏差很小，但是潜在的风险是其泛化的协方差比较大。在的风险是其泛化的协方差比较大。D和和K指出，在机器学习背景指出，在机器学习背景下，协方差的指标性能比预测性能差的学习偏差更重要。为此，下，协方差的指标性能比预测性能差的学习偏差更重要。为此，我们要求找到一些减少协方差方法。我们要求找到一些减少协方差方法。减少过拟合的方法减少过拟合的方法1.交叉验证法交叉验证法 2.处罚训练法处罚训练法 3.权值衰减和节点变化法权值衰减和节点变化法第27页，此课件共33页哦多分类器结合使用，可以减少泛化错误。而且性能比单个分类多分类器结合使用，可以减少泛化错误。而且性能比单个分类器单独使用效果要好，条件是各个分类器是无偏且独立的。器单独使用效果要好，条件是各个分类器是无偏且独立的。结合多分类器方法：结合多分类器方法：不同网络结构不同网络结构相同网络结构，但相同网络结构，但1.算法不同，算法不同，2.初始权值不同，初始权值不同，3.分类器不同。分类器不同。结合多分类器可以减少误差主要是减少了模型的输出方差，而不是输结合多分类器可以减少误差主要是减少了模型的输出方差，而不是输出的偏差。分类器彼此之间越不相关，结合后综合效果越好出的偏差。分类器彼此之间越不相关，结合后综合效果越好第28页，此课件共33页哦减少相关性的方法：减少相关性的方法：选择不同的特征变量（比相同特征变量不同结构效果好）选择不同的特征变量（比相同特征变量不同结构效果好）训练不同的数据集训练不同的数据集虽然结合分类器的方法比使用单个分类器要好，但还有一些问题虽然结合分类器的方法比使用单个分类器要好，但还有一些问题存在，包括：存在，包括：结合中分类器的选择结合中分类器的选择 结合规模大小结合规模大小 结合分类器的最佳方式结合分类器的最佳方式 上面这些问题还没有一个确定标准，都要凭借经验来确定。上面这些问题还没有一个确定标准，都要凭借经验来确定。第29页，此课件共33页哦在建立神经网络模型和其它分类器中，特征变量的选择很重要。特征在建立神经网络模型和其它分类器中，特征变量的选择很重要。特征变量选择的目的是寻找最小的特征集，使它可以满足预测性能。变量选择的目的是寻找最小的特征集，使它可以满足预测性能。在模式识别里的一些关于统计特征选择标准和算法不能直接用于在模式识别里的一些关于统计特征选择标准和算法不能直接用于神经网络分类器中，由于神经网络是非线性网络。神经网络分类器中，由于神经网络是非线性网络。特征变量选择中一个比较流行的方法是主成分分析法（特征变量选择中一个比较流行的方法是主成分分析法（PCA）,PCA是一个统计技术，它可以减少特征变量维数而不损失包含在原始是一个统计技术，它可以减少特征变量维数而不损失包含在原始数据中的固有信息。数据中的固有信息。PCA是一个无监督学习过程，它不考虑输入变量和目标输出之间是一个无监督学习过程，它不考虑输入变量和目标输出之间的关系，另外，的关系，另外，PCA是一个线性维数减少的技术，它不适于非线性是一个线性维数减少的技术，它不适于非线性的复杂结构。的复杂结构。第30页，此课件共33页哦在大部分文献中，对误分类代价研究的比较少，一般都是考虑误分类在大部分文献中，对误分类代价研究的比较少，一般都是考虑误分类代价是相等的，最后找到总的最小误分类代价。但是这个结果并不可代价是相等的，最后找到总的最小误分类代价。但是这个结果并不可靠。而实际应用中，比如银行破产预测，信用危机分析，医疗诊断等，靠。而实际应用中，比如银行破产预测，信用危机分析，医疗诊断等，误分类错误在不同组的不同类别中的代价显著不同。它们对分类结果误分类错误在不同组的不同类别中的代价显著不同。它们对分类结果和最后做出最佳决策判定都有显著影响。和最后做出最佳决策判定都有显著影响。当分组不均衡时，就容易发生不等的误分类代价。误分类对当分组不均衡时，就容易发生不等的误分类代价。误分类对象在较小的组中代价较高。象在较小的组中代价较高。第31页，此课件共33页哦小结：小结：首先介绍了一些神经网络方面的内容，首先介绍了一些神经网络方面的内容，然后回顾了神经网络用于分类问题中的一些重要的问题和进来的然后回顾了神经网络用于分类问题中的一些重要的问题和进来的发展，包括后验概率估计，神经网络和传统分类器的关系，神经发展，包括后验概率估计，神经网络和传统分类器的关系，神经网络分类中学习和泛化的关系，提高神经网络用于分类性能的问网络分类中学习和泛化的关系，提高神经网络用于分类性能的问题。题。第32页，此课件共33页哦Thanks第33页，此课件共33页哦