支持向量基.pptx

《支持向量基.pptx》由会员分享，可在线阅读，更多相关《支持向量基.pptx（18页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、基于支持向量机的模式识别基于支持向量机的模式识别 一、核函数的简介 二、算例研究 三、支持向量机的优点 四、SVM的缺点 核函数的简介核函数的简介 在SVM中低维空间向量集通常难于划分，解决的方法是将它们映射到高维空间。但这个办法带来的困难就是计算复杂度的增加，而核函数正好巧妙地解决了这个问题。也就是说，只要选用适当的核函数，就可以得到高维空间的分类函数。在SVM理论中，采用不同的核函数将导致不同的SVM算法。将低维的输入空间数据通过非线性映射函数映射到高维属性空间，将分类问题转化到属性空间进行.可以证明，如果选用适当的映射函数，输入空间线性不可分问题在属性空间将转化为线性可分问题.核函数映射

2、 输入空间 特征空间 这种非线性映射函数被称之为核函数(Kernel Function).从理论上讲，满足 Mercer 条件的对称函数 ,都可以作为核函数.目前使用较多的核函数有 4种:1.线性函数：2.多项式核函数：3.多层感知器核函数：4.RBF 核函数：具体应用 SVM 的步骤为：选择适当的核函数求解优化方程，获得支持向量及相应的 Lagrange 算子写出最优分界面方程.算例研究算例研究 对于线性可分情况，设已知两类样本，和 解：经学习得到最优分类曲线：有式子可以得出如下图形：图1 线性可分时的最优分类曲线 从图 1中看出，分类线不仅准确地将两类样本分开，还保证了间隔最大.对于线性不

3、可分情况,设已知两类样本,和 从样本点的分布看，选择二阶多项式核函数 较为合理.此时，分类函数为：任选一支持向量 ，由 由 得：经计算，本算例的最优分类曲线为：其图形如下图2所示：图2 线性不可分时的最优分类曲线 图3 BP网络实现的分类曲线 与 BP 神经网络(网络结构 241)实现的分类面(图 3)相比较，SVM 所构造的分类面更简单且具有合理性，并不受权值初值和网络结构的影响，因而具有更好的稳定性.支持向量机方法的优点支持向量机方法的优点 支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度，Accurac

4、y)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的推广能力(Generalizatin Ability)。支持向量机方法的几个主要优点有：一.它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值；二.算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题；三.算法将实际问题通过非线性变换转换到高维的特征空间(Feature Space)，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器有较好的推广能力，同时它巧妙地解决了维数问题，其算

5、法复杂度与样本维数无关；四.SVM 的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维数灾难”。五.少数支持向量决定了最终结果,这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且该方法算法简单。六.SVM 是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本到预报样本的“转导推理”(transductive inference),大大简化了通常的分类问题。SVM的缺点的缺点 SVM在分类、函数模拟等

6、领域中的作用越来越明显.统计学习理论虽然已经提出多年,但从他发展到完善也就是几年时间,还有很多缺欠.因而在此基础上发展的 SVM 必然存在很多问题.主要有以下三点：一.核函数的选定非常关键,它的选择好坏直接影响到算法的实现与效果.目前对这方面的研究还不够,缺乏相应的理论根据;二.由于 SVM 分类器的设计是依赖于少量的支持向量,使得分类效果受噪声的影响非常大.因此如何构造容噪性能强的 SVM 分类器尤为关键;三.SVM 的计算速度较慢,尤其是当训练样本很大时,传统的求解 SVM 的优化方法难以满足实时性要求;支持向量机的研究现已成为机器学习领域中的研究热点.然而，由于该方向的研究时间较短，还存在一些问题，诸如核函数的映射空间，优化规模等.从目前的情况看，可行的研究方向包括针对某一具体对象的应用，如：故障诊断、说话人识别等；先验知识的引入，前面介绍的 SVM 设计中，基本上没有考虑研究对象的特点，这显然是一种资源上的浪费；噪声信号的处理，由 SVM 实现的分类面仅由支持向量决定，因此，造成对支持向量的过分依赖，如果某一些支持向量为噪声，其分类效果将急剧下降；样本的初选，由于矩阵 元素的个数与样本的数量的平方成正比，因此过多的样本必将造成内存和时间的巨大开销，这就有必要对样本进行必要的预处理.总之，SVM 作为一个新的研究方向，还有许多方面值得我们去探索和研究.