支持向量机简介.pptx
《支持向量机简介.pptx》由会员分享,可在线阅读,更多相关《支持向量机简介.pptx(34页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、主要内容lSVM的理论基础l相关基础知识l线性支持向量机的求解l非线性支持向量机核方法l算法归纳 第1页/共34页关于SVM思想:思想:通过某种事先选择的非线性映射(核函数)将输入向量映射到一个高通过某种事先选择的非线性映射(核函数)将输入向量映射到一个高维特征空间,在这个空间中寻找最优分类超平面。使得它能够尽可能多的维特征空间,在这个空间中寻找最优分类超平面。使得它能够尽可能多的将两类数据点正确的分开,同时使分开的两类数据点距离分类面最远。将两类数据点正确的分开,同时使分开的两类数据点距离分类面最远。途径:途径:构造一个约束条件下的优化问题,具体说是一个带线性不等式约束条构造一个约束条件下的
2、优化问题,具体说是一个带线性不等式约束条件的二次规划问题件的二次规划问题(constrained quadratic programing),(constrained quadratic programing),求解该问题,求解该问题,构造分类超平面,从而得到决策函数。构造分类超平面,从而得到决策函数。第2页/共34页SVM的理论基础传统机器学习方法的经验风险最小化原则统计学习理论的结构化风险最小化原则VC维泛化误差的边界第3页/共34页经验风险最小化原则ERM传统的学习理论主要是基于经验风险最小化原则(ERM)的。第4页/共34页学习机器的预测输出的期望风险可以表示为:在训练过程中,输入与输
3、出组成训练样本(x,y),提供给学习机器。在测试过程中,训练后的学习机器对于输入x给出预测输出。为广义参数(所有参数的集合)。预测输出可表示为为损失函数,用来衡量两个变量之间的不一致程度。因此,机器学习问题也可以表示为,从一组独立同分布的观测样本出发,通过最小化风险泛函R(a),确定学习机器的广义参数a的过程。第5页/共34页最小化期望风险R(a),必须利用联合概率F(x,y)的信息。在实际中,联合分布未知,只有观测样本。用算术平均值逼近期望风险。由于Remp(a)是用已知的训练样本(经验数据)定义的,因此称为经验风险。用经验风险Remp(a)最小化来代替期望风险R(a)最小化,来求出学习机器
4、的参数a的方法-经验风险最小化原则ERM。第6页/共34页多年来,经验风险最小化原则作为解决模式识别等机器学习问题的基本思想,几乎统治了这个领域内的所有研究。理论表明,当训练数据趋于无穷多时,经验风险收敛于实际风险。因此经验风险最小化原则隐含地使用了训练样本无穷多的假设条件。复杂度高的学习机器,往往具有较低的经验风险。因此,经验风险最小化原则的结果,将使学习机器变得越来越复杂。因此,如何根据实际问题,在学习机器的经验风险和模型复杂度之间取得合理的折衷,从而使学习机器具有更高的泛化性能,是非常重要的问题。第7页/共34页VC维统计学习理论是关于小样本进行归纳学习的理论,其中一个重要的概念就是VC
5、维(Vapnik-Chervonenkis dimension)。模式识别方法中VC维的直观定义是:对一个指示函数集,如果存在h个样本能够被函数集里的函数按照所有可能的2h种形式分开,则称函数集能够把h个样本打散。函数集的VC维就是它能打散的最大样本数目h。若对任意数目的样本都有函数能将它们打散,则函数集的VC维是无穷大。第8页/共34页VC维VC维反映了函数集的学习能力。一般而言,VC维越大则学习机器越复杂,学习容量越大。一般地,对于n维空间Rn中,最多只能有n个点是线性独立的,因此Rn空间超平面的VC维是n+1。Rn空间中的超平面共有n+1个独立的参数,恰好等于VC维数。在非线性情况下学习
6、机器的VC维通常是无法计算的,通过变通的办法巧妙地避开直接求VC维的问题。第9页/共34页泛化误差的边界统计学习理论从VC维的概念出发,推导出了关于经验风险和实际风险之间关系的重要结论,称作泛化误差的边界。Remp(a)表示经验风险;(h/l)称为置信风险;(置信范围,VC信任)l是样本个数;参数h称为一个函数集合的VC维。当h/l较大时,置信风险较大,此时用经验风险近似期望风险就会出现较大的误差。如果样本数较多,使得h/l较小,则置信风险就会较小,经验风险最小化的最优解就会接近真正的最优解。对于一个特定的学习问题,当样本数固定时,如果学习机器的VC维越高(复杂度越高),则置信风险越大,导致真
7、实风险与经验风险之间可能的差就越大,因此设计在设计分类器时,不但要使经验风险尽可能小,而且要控制其VC维也尽可能小,从而缩小置信风险,使期望风险最小。-SRM第10页/共34页结构风险最小化原则SRM“结构风险最小化原理”的基本想法:如果我们要求风险最小,就需要使得不等式中两项相互权衡,共同趋于极小;另外,在获得的学习模型经验风险最小的同时,希望学习模型的泛化能力尽可能大,这样就需要h值尽可能小,即置信风险最小。如果固定训练样本数目l的大小,则控制风险R(a)的参量有两个:Remp(a)和h。(1)经验风险Remp(a)依赖于学习机器所选定的函数f(a,x),这样,我们可以通过控制a来控制经验
8、风险。(2)VC维h依赖于学习机器所工作的函数集合。为了获得对h的控制,可以将函数集合结构化,建立h与各函数子结构之间的关系,通过控制对函数结构的选择来达到控制VC维h的目的。第11页/共34页支持向量机通过最大化分类边界以最小化VC维,也即在保证经验风险最小的基础上最小化置信风险,从而达到最小化结构风险的目的,因此支持向量机方法实际上就是结构风险最小化思想的具体实现。分类空间最大,置信风险最小,经验风险越逼近真实风险第12页/共34页主要内容lSVM的理论基础l相关基础知识l线性支持向量机的求解l非线性支持向量机核方法l算法归纳第13页/共34页相关基础知识1.分类问题2.两类可分问题的线性
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 支持 向量 简介
限制150内