作业二-基于Fisher准则线性分类器设计.doc
作业二 Fishr线性判别分类器一实验目的本实验旨在让同学进一步了解分类器的设计概念,能够根据自己的设计对线性分类器有更深刻地认识,理解Fiser准则方法确定最佳线性分界面方法的原理,以及Lrad乘子求解的原理。二实验条件Matlab软件三实验原理线性判别函数的一般形式可表示成 其中根据Fshr选择投影方向W的原则,即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开,类内样本投影尽可能密集的要求，用以评价投影方向W的函数为： 上面的公式是使用ish准则求最佳法线向量的解,该式比较重要。另外,该式这种形式的运算,我们称为线性变换，其中式一个向量，是的逆矩阵,如是d维,和都是d×d维,得到的也是一个维的向量。 向量就是使Fisr准则函数达极大值的解,也就是按Fiser准则将d维空间投影到一维Y空间的最佳投影方向，该向量的各分量值是对原d维特征向量求加权和的权值。以上讨论了线性判别函数加权向量W的确定方法，并讨论了使Fsher准则函数极大的维向量 的计算方法,但是判别函数中的另一项尚未确定,一般可采用以下几种方法确定如或者 或当与已知时可用当W0确定之后,则可按以下规则分类,四实验程序及结果分析%1中数据点的坐标x1=.2331 1527 0。649 0.75 .0524 1.9 0.98 0。518 0。682 .5622 0。023 0.1333 0。53 0。97 -0212 0。057 0。081 0。71 0.334 1050 007 0。4 0。3122 。6655 0。8 。16 1.3 .8137 -0.3399 0。15 。722 0.2015 0.470 -0717 。573 -0.209；2=2。385 .196 1630 1365 1。744 2。155 2。068 2.23 2。797 1.11 1。9692 。8340 187 2。2948 1.774 。39 1。648 1.9329 2。07 2.8 .723 1。9 2。4883 1。759 2.046 。0 2.3757 1987 20828 2。79 1。949 2。380 2.373 2.1614 1.925 2.204;x 0。38 0.814 0 0.4164 117 055 0。607 0。39 0。49 0。5901 1027 。0756 .0072 0。27 0453 0。 0484 1.092 1。0299 0。727 1。0 0。45 0.54 1。1275 0。7705 0.429 1。0085 767 0。848 0.8840。75 0.784 0。41581.031 0。75330.948;%将x1、x2、变为行向量1=x1（:）;x=x2(:）;x3=(:）；计算第一类的样本均值向量1(1)=mn(x1);m1(2)=man(x2)；m（3)=mean（3);%计算第一类样本类内离散度矩阵S1S1=zeo(3,)；or i=1:36 S=S1+-m1(1)+x1（i)1(2)(i）-m(3)+x3()*m(1）+x（)m1（2)+x2（) -1（3）+x3(i)；end2的数据点坐标4 =1。401 1。201 2.81 1。155 1.3740 1。182 .63 1.973 2.12 2589 2.8472 19539 1.20 .284 1。1 2.071 281 7909 1.3322 1。46 1。7087 。92 2。953 1。664 .931 1。839 1340 2。509 2。798 2.148 .53 。603 1.27 2。1465 1.567 。941；x=1.0298 0.91 。15 1。490 0。8200 .399 1。1405 。678 .8050 1。29 1。461 1。4334 0。91 1.242 1。3744 0.9387 。2 1.1833 078 0559 0。510 0。93 0。910 .26 1.2833 1.1029 12680 .714 1。46 1.32 。1808 0。503 。4708 1.1435 0.7679 1。188；x6 =0。621 1.36 。548 0.678 0.832 14342 0。950 0。73 。5784 1.3 。915 76 1。2159 1.309 1.408 0。938 0。697 0.6603 1.392 1.404 0609 0。400 0.8 1。32 03 0.7319 1。343 08142 0958 0779 0。548 。733 .673 0.861 。369 1。158;x4(：）；x=x5(：）;x6=x6(:);计算第二类的样本均值向量m2m2()=mea(x4）；m2（2）=an（x5);m2(3)=mean(x6);计算第二类样本类内离散度矩阵S=ers（，3);for 1:36 2=S2+m(1)x(i） 2(2）+x5(i) 2(）+6(i）*m(1)+x4(i) -m()+x5() m2(3）+x6();ed%总类内离散度矩阵wS=zeros（3,3）;Sw=1+S2;%样本类间离散度矩阵SSbzeros（3,3);Sb=(1-m2)（12)；最优解WW=Sw-1*(m1m)%将W变为单位向量以方便计算投影W=W/sqt（sum(W。2）)；%计算一维Y空间中的各类样本均值M1及M2fr i1:36 y(）=*x1(i) x2() x3（）;endM1=me(y)for i=1:6 （i)W*x4(i)x5() x6（i);enM2=mean()%利用当P(w1)与（w2)已知时的公式计算Wp1=0.；p2=4;W0(M1+M2)/+(g(p2/1)/（36+6);%计算将样本投影到最佳方向上以后的新坐标 X1x1*W（1)2W(2)+x3*W（3)'；X2=x4（1)xW（2)xW（3）'得到投影长度XX1=W(1)*X1;W（2)*X1;W（3)X1；XX2=W（1）2;W(2)X2；(3)*X；%得到新坐标%绘制样本点igur(1)pot3(x,2,x3,r) %第一类h onplot(4，x5,x6，'bp) %第二类egen（第一类点',第二类点)ttl(isher线性判别曲线）W1=5*； %画出最佳方向in(W1(1),W1（),1(2），（2),W1(3),W1(）,'olor，'');%判别已给点的分类1=1,1。，。；a21。2,10,。5；a=2.0，0.，0。8'4=1.2，1。5,。89；a=0。23，2。3，。43；A=a2 a3 4 a5nsie(A,2); %下面代码在改变样本时都不必修改%绘制待测数据投影到最佳方向上的点fr k=1：n =A(:,k）*; A11=W*A;%得到待测数据投影 yW'*（:,k)+W0;计算后与0相比以判断类别,大于0为第一类，小于0为第二类 if 0 plt3(A(,k),A(,k),A(,)，go)； 点为"r"对应第一类 plot3(A11（1),A1（）,A1（3),go）;投影为”对应g类 ee plo3(A(1，k），（2,k)，A(3,k），'m'）； %点为"bh”对应类 lot（A1（1）,11(2)，A1(3),); 投影为”b”对应m+类 dd画出最佳方向 line(W1（1）,(1），-W1(）,W(2),W(),W1（）,clor,k')； view（-37。5,30)；axis(-,3，-1，3，。,1。5);grid onhol off实验结果和数据:首先根据求出最佳投影方向,然后按照此方向,将待测数据进行投影.数据的样本点分布如下:其中,红色的*是给出的第一类样本点,蓝色的五角星是第二类样本点。下方的实直线是最佳投影方向。待测数据投影在其上，圆圈是被分为第一类的样本点，十字是被分为第二类的样本点.使取极大值的W=（-0。0798 , 。205 , -0478)实验分析:的比例因子对于Fshr判别函数没有影响的原因:在本实验中,最需要的是W的方向，或者说是在此方向上数据的投影,那么的比例因子,即它是单位向量的多少倍长就无关紧要了,不管比例因子有多大，在最后求投影时都会被消掉而起不到实际作用.
