支持向量机及其编程实现.ppt

《支持向量机及其编程实现.ppt》由会员分享，可在线阅读，更多相关《支持向量机及其编程实现.ppt（35页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、支持向量机及其编程实现现在学习的是第1页，共35页Support Vector Machine支持向量机支持向量机2现在学习的是第2页，共35页相关参考资料统计学习理论的本质，Vladimir N.Vapnik 著，张学工译，清华大学出版社，2000.093 www.kernel-machines.org www.support- Bernhard Scholkopf,Alex J.Smola,CHRISTOPHER J.C.BURGES支持向量机导论，N.Cristianini,J.Shawe-Taylor著，电子工业出版社，2004.03Support Vector Classificat

2、ion.Steven Gunn.现在学习的是第3页，共35页1 1、支持向量机可以做什么？、支持向量机可以做什么？4现在学习的是第4页，共35页支持向量机的应用之一：手写体数字识别1 1、支持向量机可以做什么？、支持向量机可以做什么？NIST手写体数字的前100个目前最好的识别水平：LeNet 4 多项式支持向量机（错误率0.7%）5（错误率0.8%）现在学习的是第5页，共35页贝尔实验室对美国邮政手写数字库进行的实验分类器错误率人工表现2.5%决策树C4.516.2%最好的两层神经网络5.9%SVM4.0%现在学习的是第6页，共35页SVM与神经网络（NN）的对比SVM的理论基础比NN更坚实

3、，更像一门严谨的“科学科学”（三要素：问题的表示、问题的解决、证明）SVM 严格的数学推理NN 强烈依赖于工程技巧推广能力推广能力取决于“经验风险值”和“置信范围值”，NN不能控制两者中的任何一个。NN设计者用高超的工程技巧弥补了数学上的缺陷设计特殊的结构，利用启发式算法，有时能得到出人意料的好结果。现在学习的是第7页，共35页“我们必须从一开始就澄清一个观点，就是如果某事不是科学，它并不一定不好。比如说，爱情就不是科学。因此，如果我们说某事不是科学，并不是说它有什么如果我们说某事不是科学，并不是说它有什么不对，而只是说它不是科学不对，而只是说它不是科学。”同理，与SVM相比，NN不像一门科学

4、，更像一门工程技巧，但并不意味着它就一定不好！现在学习的是第8页，共35页1 1、支持向量机可以做什么？、支持向量机可以做什么？支持向量机的应用之二：性别识别SVMSVM男或女男或女男或女男或女SVM男或女男或女9现在学习的是第9页，共35页1 1、支持向量机可以做什么？、支持向量机可以做什么？支持向量机的应用之三：行人检测10现在学习的是第10页，共35页2 2、支持向量机的提出、支持向量机的提出问题问题1 1：支持向量机为什么会有如此好的性能？支持向量机为什么会有如此好的性能？问题问题2 2：何为最优分类面？何为最优分类面？11 它追求的不仅仅是得到一个能将两类样本分开的它追求的不仅仅是得

5、到一个能将两类样本分开的分类面，而是要得到一个分类面，而是要得到一个最优的分类面最优的分类面。To be No.1现在学习的是第11页，共35页2 2、支持向量机的提出、支持向量机的提出参考标准：参考标准：使错分样本数目最少使错分样本数目最少缺陷缺陷1 1：错分训练样：错分训练样本数目对判别函数本数目对判别函数的好坏评估不够精的好坏评估不够精细细错分样本数最少错分样本数最少错分训练样本数最少错分训练样本数最少12现在学习的是第12页，共35页缺陷缺陷2 2：拥有较少的：拥有较少的错分训练样本数的判错分训练样本数的判别函数未必就是一个别函数未必就是一个好的判别函数好的判别函数2 2、支持向量机的

6、提出、支持向量机的提出13现在学习的是第13页，共35页margin2 2、支持向量机的提出、支持向量机的提出支持向量机的标准：支持向量机的标准：使使margin尽可能大尽可能大:两类样本到分类面的最短距离之和两类样本到分类面的最短距离之和14现在学习的是第14页，共35页a.线性支持向量机的数学模型线性支持向量机的数学模型3 3、支持向量机的数学模型、支持向量机的数学模型设所求的分类面表达式为：该分类面若能将训练样本线性分开，则：15对于有限个数的样本，存在上式可简写为：即：其中，现在学习的是第15页，共35页在上述约束条件下，SVM的求解则是最大化margin的过程。问题：问题：若将分类面

7、（w,b）对应的margin记为 ，则16现在学习的是第16页，共35页优化目标优化目标约束条件约束条件利用线性利用线性SVM求解线性分类面本质上求解线性分类面本质上是求解如下优化问题：是求解如下优化问题：17综上所述，线性综上所述，线性SVM的数学模型可以描述为：的数学模型可以描述为：给定训练样本集给定训练样本集现在学习的是第17页，共35页b.b.支持向量机的求解支持向量机的求解18支持向量机的优化模型：一般的优化问题模型：现在学习的是第18页，共35页Step1：构造构造Lagrange函数函数Step2:求解求解Lagrange函数的鞍点函数的鞍点求解求解L(w,b;)关于关于w和和b

8、的最小值，关于的最小值，关于的最的最大值，即：大值，即：Lagrange乘子乘子b.b.支持向量机的求解：支持向量机的求解：拉格朗日对偶法拉格朗日对偶法19现在学习的是第19页，共35页Step 3 代入代入Lagrange函数，得到函数，得到原始问题原始问题的的对偶对偶问题问题：对对L(w,b;)关于关于w和和b求偏导，得：求偏导，得：20现在学习的是第20页，共35页21现在学习的是第21页，共35页原始问题与对偶问题解的关系：原始问题原始问题对偶问题对偶问题22现在学习的是第22页，共35页KKT条件与条件与支持向量支持向量对于这样的样本，我们称为支持向量（Support Vectors

9、），它将使得对于取值不为零的KKT条件条件23对偶问题的解 是最优解的前提条件是：现在学习的是第23页，共35页最优超平面是支持向量的线性组合SVM的解的表达式可以重写为：的解的表达式可以重写为：支持向量机的判别函数：支持向量机的判别函数：24现在学习的是第24页，共35页Support Vector Machine支持向量机的编程实现支持向量机的编程实现25现在学习的是第25页，共35页一、Matlab图像编程概要1.读入图像：RGB=imread(1.jpg);该函数的返回值RGB是一个三维的数组，分别代表像素点所在的行号、列号和像素点的R、G、B三个通道的值。例：RGB(1,1,1);%

10、图像第一行第一列的R值；RGB(1,3,2);%图像第一行第三列的G值；RGB(2,4,3);%图像第二行第四列的B值；RR=RGB(:,:,1);%彩色图像的红色像素通道 GG=RGB(:,:,2);%彩色图像的绿色像素通道 BB=RGB(:,:,3);%彩色图像的蓝色像素通道现在学习的是第26页，共35页2.鼠标输入：xx,yy,button=ginput;接受鼠标输入直到敲回车键结束。其中：xx、yy：记录鼠标按下时横坐标和纵坐标值；button:记录鼠标按下时的状态。1表示左键，2表示中间键，3表示右键。3.绘制图形：plot(x,y,b*)；plot(x,y,b*)：在坐标(x,y)

11、处绘制一个蓝色的”*”注意：进行图形绘制前，首先运行注意：进行图形绘制前，首先运行figure。如果要绘制多个点，需要。如果要绘制多个点，需要首先运行首先运行hold on。等绘制结束，再运行。等绘制结束，再运行hold off。现在学习的是第27页，共35页xlabel(R)ylabel(G)hold offcount,asd=size(xx);subplot(1,2,2);hold on;for i=1:count trnx(i,:)=RR(yy(i),xx(i),GG(yy(i),xx(i);switch button(i)case 1 trny(i,:)=-1;plot(trnx(i,

12、1),trnx(i,2),r*);case 2 trny(i,:)=-1;plot(trnx(i,1),trnx(i,2),b+);otherwise endend利用利用Matlab在图像上采集训练样本的示例程序在图像上采集训练样本的示例程序Figure,subplot(1,2,1);imshow(S3a.bmp);Title(鼠标左键点印章鼠标左键点印章,鼠标右键点纸面鼠标右键点纸面,回车结束回车结束)xx,yy,button=ginput;RGB=imread(S3a.bmp);RR=RGB(:,:,1);GG=RGB(:,:,2);BB=RGB(:,:,3);现在学习的是第28页，共3

13、5页1.训练SVM:nsv,alpha,b0=svc(X,Y,ker,C)二、SVM的Matlab工具箱使用指南 X：训练样本的输入特征，：训练样本的输入特征，X的行数为训练样本的个数，的行数为训练样本的个数，X的列数代表训练样本的特征维数；的列数代表训练样本的特征维数；Y：训练样本对应的标号，为一个列矩阵。矩阵的行数为样本的个数。：训练样本对应的标号，为一个列矩阵。矩阵的行数为样本的个数。Y的值只能是的值只能是1或者或者-1；Ker:核函数类型，常用的包括核函数类型，常用的包括:linear，poly，rbf C：经验风险与结构风险的权衡参数，详见：经验风险与结构风险的权衡参数，详见SVM的

14、数学优化模型。的数学优化模型。nsv：支持向量的个数；：支持向量的个数；alpha：对偶问题的解；：对偶问题的解；b0：svm表达式中的偏移量。表达式中的偏移量。现在学习的是第29页，共35页2.测试SVM:preY=svcoutput(trnX,trnY,tstX,ker,alpha,bias)trnX -训练样本的输入特征；trnY -训练样本的标号；tstX -测试样本的输入特征；ker -核函数alpha -SVM的求解结果bias -SVM的偏移量现在学习的是第30页，共35页svkernel.m3.核函数参数的设置:switch lower(ker)case linear k=u*

15、v;case poly p1=2;k=(u*v+1)p1;case rbf p1=1;k=exp(-(u-v)*(u-v)/(2*p12);case sigmoid p1=1;p2=1;k=tanh(p1*u*v/length(u)+p2);otherwise k=u*v;end现在学习的是第31页，共35页4.在二维坐标中绘制SVM的训练和测试结果:svcplot(X,Y,ker,alpha,bias)其中：X -训练样本的输入特征Y -训练样本的标号ker -核函数alpha -SVM的求解结果bias -SVM的偏移量现在学习的是第32页，共35页ker=linear;%选择线性核函数选

16、择线性核函数nsv alpha bias=svc(trnx,trny,ker,10);%训练训练SVMsvcplot(trnx,trny,ker,alpha,bias);%显示分类器效果显示分类器效果利用利用SVM的的Matlab工具箱进行印签提取的示例程序工具箱进行印签提取的示例程序现在学习的是第33页，共35页tstnum=1;for i=1:size(RGB,1)for j=1:size(RGB,2)testx=double(RGB(i,j,1:2);preY=svcoutput(trnx,trny,testx,ker,alpha,bias);tstnum=tstnum+1;if(preY=1)resIm(i,j)=255;else resIm(i,j)=0;end endendimshow(resIm);利用利用SVM的的Matlab工具箱进行印签提取的示例程序工具箱进行印签提取的示例程序现在学习的是第34页，共35页现在学习的是第35页，共35页