支持向量机学习.pptx
《支持向量机学习.pptx》由会员分享,可在线阅读,更多相关《支持向量机学习.pptx(30页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、支持向量机,一种线性和非线性数据有前途的新划分类方法。巧妙利用向量内积的回旋,通过将非线性核函数将问题变为高维特征空间与低维输入空间的相互转换,解决了数据挖掘中的维数灾难。由于计算问题最终转化为凸二次规划问题,因此挖掘算法是无解或有全局最优解。第1页/共30页支持向量机定义 所谓支持向量机,顾名思义,分为两个部分了解:一,什么是支持向量(简单来说,就是支持或支撑平面上把两类类别划分开来的超平面的向量点)二,这里的“机(machine,机器)”便是一个算法。在机器学习领域,常把一些算法看做是一个机器,如分类机(当然,也叫做分类器),而支持向量机本身便是一种监督式学习的方法,它广泛的应用于统计分类
2、以及回归分析中。第2页/共30页SVM的描述目标:找到一个超平面,使得它能够尽可能多的将两类数据点正确的分开,同时使分开的两类数据点距离分类面最远。解决方法:构造一个在约束条件下的优化问题,具体的说是一个约束二次规划问题(constrained quadratic programing),求解该问题,得到分类器。第3页/共30页概 述第4页/共30页1.线性可分情形第5页/共30页线性可分情形最大边缘超平面(MMH)边缘:从超平面到其边缘的侧面的最短距离等于到其边缘的另一个侧面的最短距离,边缘侧面平行于超平面第6页/共30页分类面与边界距离(margin)的数学表示:分类超平面表示为:Clas
3、s 1Class 2m数学语言描述第7页/共30页一、线性可分的支持向量(分类)机首先考虑线性可分情况。设有如下两类样本的训练集:线性可分情况意味着存在超平面使训练点中的正类和负类样本分别位于该超平面的两侧。如果能确定这样的参数对(w,b)的话,就可以构造决策函数来进行识别新样本。第8页/共30页线性可分的支持向量(分类)机问题是:这样的参数对(w,b)有许多。解决的方法是采用最大间隔原则。最大间隔原则:选择使得训练集D对于线性函数(wx)+b的几何间隔取最大值的参数对(w,b),并由此构造决策函数。在规范化下,超平面的几何间隔为于是,找最大几何间隔的超平面表述成如下的最优化问题:(1)第9页
4、/共30页线性可分的支持向量(分类)机 为求解问题(1),使用Lagrange乘子法将其转化为对偶问题。于是引入Lagrange函数:其中,称为Lagrange乘子。首先求Lagrange函数关于w,b的极小值。由极值条件有:得到:(2)(3)(4)第10页/共30页线性可分的支持向量(分类)机将(3)式代入Lagrange函数,并利用(4)式,则原始的优化问题转化为如下的对偶问题(使用极小形式):这是一个凸二次规划问题有唯一的最优解(5)求解问题(5),得。则参数对(w,b)可由下式计算:第11页/共30页线性可分的支持向量(分类)机 支持向量:称训练集D中的样本xi为支持向量,如 果它对应
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 支持 向量 学习
限制150内