2022年支持向量机综述 .docx

《2022年支持向量机综述 .docx》由会员分享，可在线阅读，更多相关《2022年支持向量机综述 .docx（21页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选学习资料 - - - - - - - - - 上海高校 2022 2022 学年 冬 季学期争论生课程考试小论文格式课程名称：模式识别方法课程编号： 09SB59004 论文题目 : 支持向量机原理及应用争论生姓名 : 章云元学 号: 13721278 论文评语 : 成 绩: 任课老师 : 李昕评阅日期 : 名师归纳总结 - - - - - - -第 1 页,共 15 页精选学习资料 - - - - - - - - - 支持向量机原理及应用学号： 13721278 姓名：章云元日期： 2022.03.07 摘要： 支持向量机是从统计学进展而来的一种新型的机器学习方法,在解决小样本、非线性和

2、高维的 机器学习问题中表现出了很多特有的优势,但是,支持向量机方法中也存在着一些亟待解决的问题,主要包括：如何用支持向量机更有效的解决多类分类问题,如何解决支持向量机二次规划过程中存在的瓶颈问 题、如何确定核函数以及最优的核参数以保证算法的有效性等；本文具体介绍系统的阐述了统计学习理论、支持向量机理论以及支持向量机的主要争论热点,包括求解支持向量机问题、多类分类问题、参数优化问 题、核函数的挑选问题等；关键词： 机器学习；统计学习理论；SVM；VC 维；The principle and application of Support Vector Machine ABSTRACT ： SVMS

3、upport Vector Machine is a novel method of machine learning evolving from Statistics. SVM presents many own advantages in solving machine learning problems such as small samples, nonlinearity and high dimension. However, SVM methods exist some problems need to be resolved, mainly including how to de

4、al with multi-classification effectively, how to solve the bottle-neck problem appearing in quadratic programming process, and how to decide kernel function and optimistical kernel parameters to guarantee effectivity of the algorithm.This paper has introduced in detail the structure, evolvement hist

5、ory, and kinds of classification of machine learning, and demonstrated system SLTStatistical Learning Theory, SVM and research hotspots of SVM, including seeking SVM problems, multi-classification, parameters optimization, kernel function selection and so on. Keywords: Machine learning, SLT, SVM, VC

6、 dimension 1. 引言1.1 支持向量机争论背景及意义随着支持向量机的不断进展,人们对支持向量机的争论也越来越细化,其主要争论方向大致可分为：求解支持向量机问题,支持向量机多类分类问题,参数的挑选和优化问题等；求解一个 SVM问题最终都转化为解一个具有线性约束的凸规划问题或其对偶问题的二次规划问题 Quadratic Programming,QP；传统的方法是利用标准二次型优化技术解决对偶问题, 这就导致算法的训练速度很慢,一方面是由于SVM需要运算和储备核函数矩阵,当样本规模较大时必定导致内存需求增加；另一方面,SVM在二次寻优过程中要进行大量的矩阵运算, 多数情形下, 寻优算法占

7、用了大部分的算法时间,这就使得储备空间和和运算时间成了求解二次规划问题的瓶颈；常用的解决方法是将一个大的二次规划问题转化为如干个小名师归纳总结 的二次规划问题以提高分类效率,如块算法、分解算法、SMO算法、增式算法等等；如船舰第 2 页,共 15 页支持向量机分类理论是针对两类分类问题提出的,然而, 现实世界的分类问题,- - - - - - -精选学习资料 - - - - - - - - - 识别、 字体识别、人脸识别等,都属于多类分类的范畴；如何将二类分类方法扩展到多类分类情形是支持向量机方法争论的重要内容之一；目前,用 SVM解决多类分类问题方法主要是通过构造或组合多个两类分类器来实现多

8、类问题的分类；子分类器的构造和组合将两类分类 扩 展 到 多 类 问 题 , 将 多 类 分 类 问 题 逐 步 转 化 为 两 类 分 类 问 题 ； 常 用 的 算 法 有“ one-against-one” 方法、“one-against-rest” 方法、“ 基于决策树的方法” 等；也加快了支持向量机方法的 支持向量机多类分类方法的引入拓展了支持向量机的应用范畴,改进和创新, 同时,支持向量机的核函数的挑选以及核参数的挑选也是一个重要的争论方向；2. 支持向量机的原理 支持向量机 Support Vector Machine ,SVM是由 Vapnik 及其合作者共同制造与进展起来的一

9、种新的机器学习方法,其核心内容在 2.1 统计学习理论1992 年至 1995 年间提出的；统计学习理论建立在一套较为坚实的理论基础之上,为解决有限样本的学习问题供应了一个统一的框架； 它能将很多现有的方法纳入其中,比如神经网络的结构挑选问题、局部最小点问题等；2.1.1 机器学习问题有望帮忙解决很多原先难以解决的问题,机器学习问题 1 可以看作是通过某种训练方法,对某一系统的输入与输出之间的依靠关系进行估量,并且期望这一估量可以对任意给定输入尽量精确地进行输出猜测；一般地,机器学习问题可以表示为：假设变量 y 与 x 之间存在肯定的未知依靠关系,即遵循某一未知的联合概率 F x y x 和

10、y 之间的确定性关系可以看作是其特例 ,机器学习问题就是依据n 个独立同分布观测样本 x y 1 , x 2 , y 2 ,., x n , y n,在一组函数 f x , 中求一个最优的函数 f x , a 对依靠关系进行估量,使得期望风险最小；R L y f x , dF x y 2-1 其中 f x , 称作猜测函数集,为函数的广义参数,f x , 可以表示任何函数集；L y f x , 为由于用 f x , 对 y 进行猜测而造成的缺失,不同类型的学习问题有不同形式的缺失函数；在上面问题的表述中,学习的目标在于使期望风险最小化,但是, 由于可以利用的信息只有样本最初的观测样本 x y

11、1 1 , x 2 , y 2 ,., x n , y n,因此,期望风险 2-1 是无法运算的；传统的学习方法是采纳了所谓体会风险最小化ERM准就 11 ,即用样本定义体会风险名师归纳总结 R emp1nLy i,fx i, 2-2 第 3 页,共 15 页n1- - - - - - -精选学习资料 - - - - - - - - - 来靠近3-1 定义的期望风险,用对参数求体会风险R emp的最小值代替求期望风险R 的最小化,这就是所谓的体会风险最小化原就；2.1.3 VC 维理论模式识别方法中 VC 维的直观定义是：对一个指示函数集,假如存在h个样本能够被函数集中的函数按全部可能的 2

12、h 种形式分开,就称函数集能够把 h个样本打散；函数集的 VC维就是它能打散的最大样本数目 h ；如对任意数目的样本都有函数能将它们打散,就函数集的 VC维是无穷大；VC 维反映了函数集的学习才能,VC 维越大就学习机器越复杂 容量越大 ；遗憾的是,目前尚没有通用的关于任意函数集 VC维运算的理论,只确定了一些特别的函数集的 VC维；比如在n维实数空间中线性分类器和线性实函数的 VC维是 n 1,对于一些比较复杂的学习机器 如神经网络 ,其 VC 维除了与函数集 神经网结构 有关外,仍受学习算法等的影响,其确定更加困难；但是,在实际应用统计学习理论时,可以通过变通的方法奇妙地躲开直接求 VC维

13、的问题；2.1.4 推广性的界统计学习理论系统地争论了对于各种类型的函数集,体会风险和实际风险之间的关系,即推广性的界；关于两类分类问题,结论是：对指示函数集中的全部函数 包括使体会风险最小的函数 ,体会风险R emp和实际风险 R之间以概率 1满意如下关系：RR emphln 2n hn1ln4 2-3 其中 h 是函数集的 VC 维, n 是样本数；这一结论从理论上说明白学习机器的实际风险是由两部分组成的：一是体会风险 训练误差 ,另一部分称作置信范畴,它和学习机器的 示为：VC维及训练样本数有关,可以简洁地表RR emph n 2-4 它说明,在有限训练样本下,学习机器的VC维越高 复杂

14、性越高 就置信范畴越大,导致真名师归纳总结 实风险与体会风险之间可能的差别越大,这就是为什么会显现过学习现象的缘由；机器学习第 4 页,共 15 页过程不但要使体会风险最小,仍要使 VC 维尽量小以缩小置信范畴,才能取得较小的实际风险,即对将来样本有较好的推广性,这一理论可以由图2.1 说明；- - - - - - -精选学习资料 - - - - - - - - - 图 2.1 置信范畴、体会风险与实际风险之间的关系由图 2.1 可以看出,当样本数目 n 固定,算法的 VC 维增大时,它对给定训练样本集合有更强的分类或拟合才能,导致了更小的体会风险 R emp,甚至使它为零；但是,VC 维增大

15、时,h n 也随之增大,即放大了置信范畴,从而减小了算法具有小的实际风险 R 的可能性；反之,如 VC 维缩小,那么它对给定的训练样本集合的分类或拟合才能减弱,导致了大的体会风险,此时,虽然置信区间h n 缩小了,但仍不能保证获得小的实际风险；可以看出 n 固定时R emp与h n 是一对冲突体, 它们不行能同时都减小,但的确存在某个 h 值使实际风险上界达到最小值；2.1.5 结构风险最小化原就体会风险最小化原就是目前绝大多数模式识别方法的基础,其定义为训练集上的平均错误率, 用于对整个样本集的期望风险进行估量,它建立在样本数目足够多的前提下,致使各种方法只有在样本数趋向无穷大时,其性能才有

16、理论上的保证；而在现实世界的应用中,这一前提并不总能被满意,这时大多数此类方法都难以取得抱负的结果；由 2.1.4节中的推广性的界可以看出,影响期望风险上界的因子有两个方面：第一是训练集的规模 n ,其次是 VC 维 h ；可见,在保证分类精度 体会风险 的同时,降低学习机器的 VC 维,可以使学习机器在整个样本集上的期望风险得到掌握,这就是结构风险最小化名师归纳总结 Structure Risk Minimization,简称 SRM的由来；把函数第 5 页,共 15 页由 VC 维的争论可以看到,体会风险和期望风险依靠于学习机器函数族的挑选；集sfx ,分解为一个函数子集序列s 1s 2.

17、s k. 2-5 使各个子集能够依据置信范畴的大小排序,即- - - - - - -精选学习资料 - - - - - - - - - h 1h 2.h k 2-6 所谓结构风险最小化,便是构造一组嵌套的函数子集,使得其 VC 维由内向外依次递增,然后在其上查找体会风险和置信范畴之和最小的子集,从而使得实际风险的上界最小化,如图 2.2 所示图 3.2 结构风险最小化示意图基于结构风险最小化准就的统计学习理论是一种特地争论小样本的统计理论,它为争论有限样本情形下的统计模式识别,并为更广泛的机器学习问题建立了一个较好的理论框架,同时也进展出了一种新的模式识别方法支持向量机,问题；2.2 支持向量机

18、理论从而能够较好地解决小样本的学习SVM方法是由Vapnik 及其合作者Boser 、Guyon、Cortes 及 Scholkopf在 AT&TBell 实验室共同制造与进展起来的一种新的学习方法；近年来, 很多关于 SVM方法的争论, 包括算法本身的改进和算法的实际应用,都间续被提了出来,其中在理论上主要以 Vapnik 及其研究小组做了大量开创性及奠基性的工作；目前 SVM正处于不断进展阶段,现在已经成为机器学习领域的标准工具之一；支持向量机是个三层网络结构,是一个多输入、单输出的学习机器,其体系结构如图2.3 所示名师归纳总结 - - - - - - -第 6 页,共 15 页精选学习

19、资料 - - - - - - - - - 图 2.3 支持向量机的体系结构其中,位于体系结构最底层的x x 2,x3,.,x 是输入样本,K x xi1,2,.,n 是样本 x与支持向量在特定空间的内积,ii1,2,.,n 是拉格朗日乘子,fx 是决策函数的输出；图 3.3 清楚的表示出支持向量机的规律概念框架,第一确定训练样本作为支持向量机的输入, 然后挑选适当的核函数,将样本从输入空间映射到高维的特点空间,依据优化问题求解出来的支持向量最终得到相应的决策函数；它与传统的神经网络的最大区分在于：神经网络结构的确定大多是凭体会选取的,有肯定的盲目性,无法确定泛化的置信空间界限,所以无法保证网络

20、的推广才能,简洁显现过学习的现象；而支持向量机网络通过结构化风险最小化归纳原理掌握学习单元的 VC 维的上界, 限制了学习单元的才能,在肯定程度上防止了过学习现象；支持向量机是建立在统计学习理论的VC 维理论和结构风险最小化原理基础上的,依据有限的样本信息在模型的复杂性和学习才能之间寻求正确折衷,以期获得最好的推广才能；支持向量机被看作是对传统分类器的一个好的进展,在解决小样本、 非线性和高维的机器学习问题中表现出了很多特有的优势；概括的说, 支持向量机是以查找最优分类面为目标、以二次规划为手段、 以非线性映射为理论基础的统计学习方法；持向量机理论进行系统的阐述；2.2.1 最优分类面下面将分

21、别从这几个方面对支名师归纳总结 - - - - - - -第 7 页,共 15 页精选学习资料 - - - - - - - - - 支持向量机是从线性可分情形下的最优分类面进展而来的,其基本思想可用图2.4表示,对应于一维空间中的点,二维空间中的直线,三维空间中的平面,以及高维空问中的超平面；图中圆形和三角形的标志分别代表两类样本,中间的实线为两类样本之间的分类超平面,两条虚线分别表示过各类中距离分类面最近的样本且平行于分类面的超平面,它们之间的距离叫做分类间隔 margin ；图 2.4 最优分类面示意图最优分类面在把两类正确分开的同时保证分类间隔最大,依据结构风险最小化原就,前者是保证体会

22、风险最小,而后者使分类问隔最大,导致 界中的置信范畴最小,从而达到使真实风险最小；后者保证 险最小；VC 维最小,实际上就是使推广性的 VC维最小,从而达到使真实风名师归纳总结 假定给出一个样本集x y i i,i1,. , n xd R,y1, 1满意第 8 页,共 15 页yitxib10,i1,.,n2-7 其中tixb0是分类面方程,此时分类间隔为22,最终目标是求一个分类面,使得能够将两类样本正确分类的同时保证分类间隔最大,这里是使2最小；如图2.4所示,中间的实线为最优分类面,两侧虚线上的样本即为支持向量；因而,在线性可分的情形下,得到的SVM的目标函数是：12 2-8 2st .

23、y itx ib10,i1,.,n 2-9 为求得公式3-8 的最小值,定义如下Lagrange 函数：L, ,12iniy itxb1 2-10 21- - - - - - -精选学习资料 - - - - - - - - - 其中i0为各样本对应的Lagrange 乘子； 为了求解表达式3-10 的最小值, 可以令该泛函对、 b 求偏导,并令其等于零,我们得到表达式3-10 的相应的对偶函数：iQin1i1n1ijy yjx xj 2-11 2i jnst .i1yii0i0i1,.,n 2-12 在表达式 2-12 的约束下, 求得表达式3-11 的唯独解i,其中,不为零 Lagrange

24、 乘子所对应的样本就是支持向量；其中如* i 为最优解,相应的求出最优分类面权系数向量*和分类器的阈值b*：*y x 2-13 i iix isvb*1* x1*x*1 2-14 2x * 1、* x1分别表示两类中任意一个支持向量；由上面推导得出的参数、 b 可以得到分类器的决策函数：fxsgn,xbsgniyix xb 2-15 x isvii假如对于线性不行分或者上述方法可以确保在线性可分的情形下将全部样本正确分类,事先不知道是否线性可分的情形,可以通过引入非负放松变量1,2,.,n 来答应错分样本的存在；相应地,表达式2-7 、2-8 、2-9 分别变为：其中,C0yitx ib1i0

25、,i1,.,n 2-16 12Cini 2-17 21styitx ib1i0,i1,.,n 2-18 是一个自定义的惩处因子,它表示对错分样本惩处的程度,用来掌握样本偏差与机器推广才能之间的折衷；越大；C越大,对错分样本的惩处就越大,对错分样本的约束程度就容许错分的分类面又称为软问隔分类面12 ,求解表达式2-17 的优化问题和求解表达式 2-8 的优化问题类似,都是通过引入相应的拉格朗日函数及其对偶问题并对其求解,最终得到最优分类判别函数；名师归纳总结 - - - - - - -第 9 页,共 15 页精选学习资料 - - - - - - - - - 2.2.2 标准支持向量机支持向量机是

26、从线性可分情形下的最优分类面进展而来的,前面介绍的是在线性分类情况下如何求解最优分类超平面；而在实际问题中, 分类问题是经常是非线性问题,抱负的最优分类面应当是非线性的；支持向量机解决非线性问题的思想是：第一挑选适当的核函数13 ,将低维空间的训练样本通过非线性映射映射到高维特点空间中,然后用前面介绍的方法在高维空间中求解最优分类超平面,高维空问中得到的线性分类面就对应着低维空间的非线性分类面； 如图 3.5 所示, 支持向量机处理非线性分类问题时,只是比线性分类问题多了个非线性映射过程,设定该非线性映射为：x x 2-19 就表达式 3-11 的优化问题最转化为：Q aini1n1ijy y

27、jx ixj 2-20 12i j图 2.5 输入空间和特点空间所对应的分类面示意图非线性映射的引入很好的解决了非线性分类问题,同时也增加了优化求解的困难,使2-20 的运算特别不简洁实现,但是留意到, 上面的对偶问题中只涉及到高维空间中的内积运算,即x ix j,而没有单独的映射ix；因此,可以考虑是否可以找到输入空间的一个函数 K 来替代特点空间的内积运算,即名师归纳总结 K x x ijx ixj 2-21 , 的具体表第 10 页,共 15 页这样就省去了高维空间中复杂的内积运算,我们甚至不需要知道映射变换示形式；依据泛函的有关理论,只要K x xj满意以下定理的Mercer条件,它就

28、对应某- - - - - - -精选学习资料 - - - - - - - - - 一变换空间的内积；定理 2.1Mercer 条件 对于任意的对称函数 k x x,它是某个特点空间中的内积运算的充分必要条件是,对于任意的 x 0 且 2 x dx 有k x x x x dxdx 0 2-22 这样,在高维空间中求解最优分类面时,可以通过采纳适当的核函数 k x x j 将高维空将的内积运算转化为低维空间的函数运算,就可以在不影响运算复杂度的情形下实现非线性分类问题；表达式 3-20 也相应的转化为：Q a ni 1 ni j y y k x x j 2-23 i 1 2 i j 1相应的最优分

29、类面的决策函数也转化为：f x sgn , x b sgn i y k x x b 2-24 x i sv我们称 2-21 的 k x x j 为核函数,核函数的引入,很好的解决了高维问题,将高维空间的内积运算转化为低维空间的函数运算,常用的核函数有多项式核函数、径向基核函数和 Sigmoid 核函数等；1 多项式核函数k x xjjx xj1q2 2-25 2 径向基核函数k x xjexpxxj 2-26 23Sigmoid核函数k x xtanhv x xjc 2-27 3 支持向量机的算法人脸识别仿真支持向量机是以结构风险最小化理论和 VC 维理论为理论基础,以求解二次规划问题为主要手

30、段, 以在高维空间中求解最优分类超平面为主要目标,以求解支持向量为结果的一种新的机器学习方法；目前,支持向量机在模式识别、图形分割等领域已经进入了有用阶段；一些学者认为,统计学习理论和支持向量机理论正在成为继神经网络争论之后新的争论热点,并将推动机器学习理论和技术的进一步进展；人脸识别是生物特点识别的一个重要方面,在安全验证系统、机交互系统、 视频会议以及图像检索等领域具有很大的应用前景,医学、档案治理系统、人 比起指纹识别、 视网膜识名师归纳总结 别、虹膜识别等技术来说,人脸识别相对更加直接,友好,使用者更简洁接受24 ；事实上,第 11 页,共 15 页- - - - - - -精选学习资

31、料 - - - - - - - - - 不管是对人也好,仍是对于运算机也好,要实现对人的检测识别,最优先考虑、最直接、也最有意义的特点就是人脸了,而且假如做更深化的分析,仍可以从人脸猎取更多的信息,如表情, 姿势,年龄等； 本章将支持向量机多类分类算法应用于人脸识别中,并通过仿真试验证明算法的有效性；3.1 人脸识别的理论基础一个基本的人脸检测识别系统应当包括以下几个方面：人脸检测,人脸表示和人脸鉴别,其中后两步也就是通常所说的人脸识别；人脸识别的主要步骤大致分为图像猎取、特点提取和人脸识别几个部分,具体流程如图 4.1 所示：特点提取图像猎取预处理人脸检测人脸识别分类器设计图 3.1 人脸识

32、别系统示意图图像猎取是人脸识别的第一步,它是指从不同条件下猎取的图像中,依据肯定的规章和先验学问, 利用挑选的特点进行检测；先确定有无人脸,如检测到有人脸存在,就对人脸进行定位并猎取其尺度姿势等信息,将图像分割成人脸区域和非人脸区域,这一步预处理的工作直接影响着后面的特点提取和识别工作,所以是极其重要的；特点提取是指实行某种表示方式表征检测出的人脸和数据库中的人脸,也可以把它看作一个人脸表示的过程；这些特点可以是较直观的人脸器官的几何特点,如眼,耳,口,鼻的位置,外形,距离等,也可以是比较抽象的代数特点,如K-L 变换所得的主成分特点,奇特值分解得到的奇特值特点等,仍可以是模板特点,颜色特点,

33、纹理特点等 25 ；人脸识别这一步的主要工作是把待识别人脸数据和数据库中的已知人脸数据进行匹配,以得到相关信息, 实际上可以把人脸识别看作是一个分类过程,关键在于挑选适当的分类器和分类策略, 对表示人脸的特点进行分类；依据对人脸的不同的特点表示,分类器挑选也不同,可以是传统的最小距离法、最近邻法等,也可以是较新的神经网络、支持向量机等,而且利用多特点和多分类器组合来改善识别成效也是近年来的一个争论方向；近些年来, 人脸识别争论和应用已相对比较成熟,提出了不少新的算法,目前主要有基于几何特点的方法、基于代数特点的方法、基于弹性模型的方法、基于神经网络方法和基于支持向量机的方法等,通常的试验结果说

34、明支持向量机有较好的识别效率；3.2 基于 PCA方法和 SVM原理的人脸识别仿真基于 PCA（Principal Components Analysis,主成分分析方法）和 SVM方法的人脸识别算法第一将试验图像进行预处理 26 ,然后用 PCA方法进行特点提取,最终, 将得到的图像特点作为支持向量机的输入训练并测试分类器；选用第四章中介绍的决策树方法来构造分类器,对输入的图像进行训练和识别,具体实现步骤如下：名师归纳总结 - - - - - - -第 12 页,共 15 页精选学习资料 - - - - - - - - - 1 图像猎取； 选取数据库中的200 幅图像 前一百幅为人脸图像,后

35、一百幅为非人脸图像 作为试验样本；2 预处理；由于本试验中选取的图像为小图像,故无需进行预处理；3 特点提取,运算预处理之后每幅图像的PCA特点；第一运算每幅人脸图像的协方差矩阵,然后运算每个协方差矩阵的特点值和特点向量,将特点向量矩阵的列向量按特点值降序排列, 选取最大特点值对应的特点向量作为投影轴,求图像在该轴上的投影,作为训练和测试的样本输入值；4 训练分类器； 将运算得到的图像特点作为支持向量机的输入,结合第四章提出的SVM两类分类算法训练初始支持向量机SVM；5 测试训练得到的支持向量机,通过这种传统的支持向量机两类分类算法,得到的实验结果说明,本算法具有肯定的有效性；SVM 线性分

36、类器的仿真结果如图 3.2 所示：3.2 基于 SVM 分类结果名师归纳总结 - - - - - - -第 13 页,共 15 页精选学习资料 - - - - - - - - - 4 支持向量机的总结由机器学习介绍起,从机器学习中的泛化性和考虑实际风险,引入 VC维；当然这些都是基于统计学的基础,重点关注是小样本统计；其中 SVM重点介绍 SVM的基本概念和基本推导,中规中矩； 让我最头疼的是拉格朗日对偶,后来逐步明白拉格朗日对偶的重要作用是将w的运算提前并排除 w,使得优化函数变为拉格朗日乘子的单一参数优化问题；对比这么复杂的推导过程,SVM的思想的确那么简洁；它不再像 logistic 回

37、来一样企图去拟合样本点 （中间加了一层 sigmoid 函数变换）,而是就在样本中去找分隔线,为了评判哪条分界线更好,引入了几何间隔最大化的目标；之后全部的推导都是去解决目标函数的最优化上了；在解决最优化的过程中,发觉了 w可以由特点向量内积来表示,进而发觉了核函数,仅需要调整核函数就可以将特点进行低维到高维的变换, 在低维上进行运算, 实质结果表现在高维上；为了保证 SVM的通用性, 我们仍需要进行了软间隔的处理,由于并不是全部的样本都可分,导致的结果就是将优化问题变得更加复杂, 其实是放松变量没有显现在最终的目标函数中,我们这里没有对软间隔考虑,当然为了结构严谨性,我可以粗略说下,最终的优

38、化求解问题,同样也是被拉格朗日对偶和利用 SMO算法化解,使SVM趋向于完善；另外, 其他很多议题如 仍没有涉及到；SVM背后的学习理论、 参数挑选问题、 二值分类到多值分类等等名师归纳总结 - - - - - - -第 14 页,共 15 页精选学习资料 - - - - - - - - - 参考文献1 邓乃扬,田英杰数据挖掘中的新方法一一支持向量机 M 科学出版社,2004 2 张翔支持向量机及其在医学图象分割中的应用 ED 华中科技高校,2004 3 Vapnik V The Nature of Statistical Learning Theory2nd edition J New Yo

39、rk,4 Springer,2000 5 昕炜支持向量机算法的争论及应用 D 浙江高校, 2003 6 Pabitra Mitra ,B Uma Shankar, Sankar K PalSegmentation of multispectral remote sensing images using active support vector machinesJPattern Recognition Letters 2004,259：1067 1074 7Xue-Cheng Xi , AunNeow Poo and Si 都 rKiang Chou Support vector regres

40、sion model predictive control on a HV AC plantJ Control Engineering Practice , 2007, 815：897-908 8 Qi Miao Shi Fu Wang Nonl inear Model Predictive Control Based on Support Vector RegressionJ Proceedings of International Conference on Machine Learning and Cybernetics,2002, 3： 16571661 9 B.J.de Krnif , T.J.A.deVries On Using a Support Vector Machine in Learning Feed Forward Contr01.In Proceediings of Int. Conf.on Advanced Intelligent MechatronicsJ,Como,Italy ,July 2001：272-277 10J.A.K.Suykens Nonlinear Modeling and Support Vector MachinesJProceedings of the 18th IEEE Instrumentation and Measu