支持向量机课件.pptx
《支持向量机课件.pptx》由会员分享,可在线阅读,更多相关《支持向量机课件.pptx(30页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、9.3 支持向量机支持向量机支持向量机,一种线性和非线性数据有前途的新划分类方法。巧妙利用向量内积的回旋,通过将非线性核函数将问题变为高维特征空间与低维输入空间的相互转换,解决了数据挖掘中的维数灾难。由于计算问题最终转化为凸二次规划问题,因此挖掘算法是无解或有全局最优解。支持向量机定义n所谓支持向量机,顾名思义,分为两个部分了解:n一,什么是支持向量(简单来说,就是支持或支撑平面上把两类类别划分开来的超平面的向量点)n二,这里的“机(machine,机器)”便是一个算法。在机器学习领域,常把一些算法看做是一个机器,如分类机(当然,也叫做分类器),而支持向量机本身便是一种监督式学习的方法,它广泛
2、的应用于统计分类以及回归分析中。SVM的描述n目标:找到一个超平面,使得它能够尽可能多的将两类数据点正确的分开,同时使分开的两类数据点距离分类面最远。n解决方法:构造一个在约束条件下的优化问题,具体的说是一个约束二次规划问题(constrained quadratic programing),求解该问题,得到分类器。最大边缘超平面最大边缘超平面(MMH)边缘:从超平面到其边缘的侧面的最短距离等于到边缘:从超平面到其边缘的侧面的最短距离等于到其边缘的另一个侧面的最短距离,边缘侧面平行于其边缘的另一个侧面的最短距离,边缘侧面平行于超平面超平面1122( ,),(,),(,)nnx yxyxy, 1
3、,1diixy 1211 iiiiyxyx 表表示示;表表示示分类面与边界距离分类面与边界距离(margin)的数学表示的数学表示:分类超平面表示为:分类超平面表示为:0 x wTb2wm Class 1Class 2m1x wTb 1x wTb一、线性可分的支持向量(分类)机),( ,),(),(2211nnyxyxyxD,niyRXximi, 1,1, 1,0)(bxw首先考虑线性可分情况。设有如下两类样本的训练集:首先考虑线性可分情况。设有如下两类样本的训练集: 线性可分情况意味着存在线性可分情况意味着存在超平面超平面使训练点中的正类和使训练点中的正类和负类样本分别位于该超平面的两侧。负
4、类样本分别位于该超平面的两侧。如果能确定这样的参数对(如果能确定这样的参数对(w,bw,b)的话的话, ,就可以构造就可以构造决策函数决策函数来进行来进行识别新样本。识别新样本。)sgn()(bxwxf线性可分的支持向量(分类)机nibxwytswiibw, 1, 1)(. .21min2,问题是问题是:这样的参数对(:这样的参数对(w,bw,b)有许多。)有许多。 解决的方法是采用最大间隔原则。解决的方法是采用最大间隔原则。最大间隔原则最大间隔原则:选择使得训练集:选择使得训练集D D对于线性函数对于线性函数(wx)+b的几何间隔取最大值的的几何间隔取最大值的参数对参数对(w,b)(w,b)
5、,并,并由此构造决策函数。由此构造决策函数。在规范化下,超平面的几何间隔为在规范化下,超平面的几何间隔为于是,找最大于是,找最大几何间隔的超平面几何间隔的超平面表述成如下的最优化问题:表述成如下的最优化问题:w1(1)(1)线性可分的支持向量(分类)机niiiibxwywbwL12) 1)(21),(nTnR),(210),(, 0),(bwLbwLwb 为求解问题为求解问题(1),(1),使用使用Lagrange乘子法乘子法将其转化为对将其转化为对偶问题。于是引入偶问题。于是引入Lagrange函数函数:其中,其中, 称为称为Lagrange乘子。乘子。首先求首先求Lagrange函数关于函
6、数关于w,bw,b的极小值。由的极小值。由极值条件有:极值条件有:niiiy10niiiixyw1得到:得到:(2)(2)(3)(3)(4)(4)线性可分的支持向量(分类)机niytsxxyyiniiininjjnjjijiji, 1, 0, 0. .)(21min1111niiiixyw1niiiixyw1*将将(3)(3)式代入式代入Lagrange函数,并利用函数,并利用(4)(4)式,则原始式,则原始的优化问题转化为如下的的优化问题转化为如下的对偶问题对偶问题( (使用极小形式使用极小形式) ):这是一个凸二这是一个凸二次规划问题次规划问题有唯一的最优有唯一的最优解解(5)(5)求解问
7、题求解问题(5)(5),得,得 。则参数对。则参数对(w,b)(w,b)可由下式计算:可由下式计算:nyiniiiixwb1*1*2线性可分的支持向量(分类)机0) 1)(*bxwyiii 支持向量:支持向量:称训练集称训练集D中的样本中的样本xi为支持向量,如为支持向量,如 果它对应的果它对应的 i*0。 根据原始最优化问题的根据原始最优化问题的KKTKKT条件,有条件,有 于是,支持向量正好在间隔边界上于是,支持向量正好在间隔边界上 于是,得到如下的决策函数:于是,得到如下的决策函数:niiiibxxyxf1*)(sgn)(几何意义:超平面法向量是支持向量的线性组合。几何意义:超平面法向量
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 支持 向量 课件
限制150内