作业二-基于Fisher准则线性分类器设计.pdf

《作业二-基于Fisher准则线性分类器设计.pdf》由会员分享，可在线阅读，更多相关《作业二-基于Fisher准则线性分类器设计.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、作业二作业二 Fisher Fisher 线性判别分类器线性判别分类器一 实验目的本实验旨在让同学进一步了解分类器的设计概念， 能够根据自己的设计对线性分类器有更深刻地认识，理解Fisher 准那么方法确定最正确线性分界面方法的原理，以及Lagrande乘子求解的原理。二 实验条件Matlab 软件三 实验原理线性判别函数的一般形式可表示成Tg (X) W X w0其中 w1 x1wX W 2xdwd根据 Fisher 选择投影方向 W 的原那么，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W 的函数为：m)2(m12JF(W) 22S

2、1S21W* SW(m1m2)上面的公式是使用 Fisher 准那么求最正确法线向量的解，该式比拟重要。另外，该式1这种形式的运算，我们称为线性变换，其中m1m2式一个向量，SW是SW的逆矩阵，如*1m1m2是 d 维，SW和SW都是 dd 维，得到的W也是一个 d 维的向量。向量W就是使 Fisher 准那么函数JF(W)达极大值的解， 也就是按 Fisher 准那么将 d维 X 空间投影到一维 Y 空间的最正确投影方向， 该向量W的各分量值是对原 d 维特征向量求加权和的权值。以上讨论了线性判别函数加权向量W 确实定方法，并讨论了使 Fisher 准那么函数极大的 d 维向量W的计算方法，

3、但是判别函数中的另一项W0尚未确定，一般可采用以下几种*方法确定W0如mm12W0 2 N mN1m122 m或者W0 N1 N2或当p()1与p()2时可用mlnp()/ p()m1212W02N N 212当 W0确定之后，那么可按以下规那么分类，WTX w0 X 1W X w0 X 2T四 实验程序及结果分析%w1 中数据点的坐标x1 =0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.731

4、5 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2021 0.4070 -0.1717 -1.0573 -0.2099;x2 =2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1

5、.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604;x3 =0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8

6、7840.9751 0.7840 0.4158 1.0315 0.7533 0.9548;%将 x1、x2、x3 变为行向量x1=x1(:);x2=x2(:);x3=x3(:);%计算第一类的样本均值向量m1m1(1)=mean(x1);m1(2)=mean(x2);m1(3)=mean(x3);%计算第一类样本类内离散度矩阵S1S1=zeros(3,3);for i=1:36 S1=S1+-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)*-m1(1)+x1(i) -m1(2)+x2(i)-m1(3)+x3(i);end%w2 的数据点坐标x4 =1.4010 1.

7、2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414;x5 =1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.06

8、78 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288;x6 =0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049

9、 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458;x4=x4(:);x5=x5(:);x6=x6(:);%计算第二类的样本均值向量m2m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);%计算第二类样本类内离散度矩阵S2S2=zeros(3,3);for i=1:36 S2=S2+-m2(1)+x4(

10、i) -m2(2)+x5(i) -m2(3)+x6(i)*-m2(1)+x4(i) -m2(2)+x5(i)-m2(3)+x6(i);end%总类内离散度矩阵 SwSw=zeros(3,3);Sw=S1+S2;%样本类间离散度矩阵 SbSb=zeros(3,3);Sb=(m1-m2)*(m1-m2);%最优解 WW=Sw-1*(m1-m2)%将 W 变为单位向量以方便计算投影W=W/sqrt(sum(W.2);%计算一维 Y 空间中的各类样本均值M1 及 M2for i=1:36 y(i)=W*x1(i) x2(i) x3(i);endM1=mean(y)for i=1:36 y(i)=W*x

11、4(i) x5(i) x6(i);endM2=mean(y)%利用当 P(w1)与 P(w2)时的公式计算 W0p1=0.6;p2=0.4;W0=-(M1+M2)/2+(log(p2/p1)/(36+36-2);%计算将样本投影到最正确方向上以后的新坐标X1=x1*W(1)+x2*W(2)+x3*W(3);X2=x4*W(1)+x5*W(2)+x6*W(3);%得到投影长度XX1=W(1)*X1;W(2)*X1;W(3)*X1;XX2=W(1)*X2;W(2)*X2;W(3)*X2;%得到新坐标%绘制样本点figure(1)plot3(x1,x2,x3,r*) %第一类hold onplot3

12、(x4,x5,x6,bp) %第二类legend(第一类点,第二类点)title(Fisher 线性判别曲线)W1=5*W;%画出最正确方向line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),color,b);%判别已给点的分类a1=1,1.5,0.6;a2=1.2,1.0,0.55;a3=2.0,0.9,0.68;a4=1.2,1.5,0.89;a5=0.23,2.33,1.43;A=a1 a2 a3 a4 a5n=size(A,2);%下面代码在改变样本时都不必修改%绘制待测数据投影到最正确方向上的点for k=1:n A1=A(:,k)*W; A11=

13、W*A1;%得到待测数据投影 y=W*A(:,k)+W0;%计算后与 0 相比以判断类别，大于 0 为第一类，小于 0 为第二类 if y0 plot3(A(1,k),A(2,k),A(3,k),go); %点为rp对应第一类 plot3(A11(1),A11(2),A11(3),go); %投影为r+对应 go 类 else plot3(A(1,k),A(2,k),A(3,k),m+); %点为bh对应 m+类 plot3(A11(1),A11(2),A11(3),m+); %投影为b*对应 m+类 endend%画出最正确方向line(-W1(1),W1(1),-W1(2),W1(2),-

14、W1(3),W1(3),color,k);view(-37.5,30);axis(-2,3,-1,3,-0.5,1.5);grid onhold off实验结果和数据：实验结果和数据：首先根据求出最正确投影方向，然后按照此方向，将待测数据进行投影 。数据的样本点分布如下：Fisher线 性 判 别 图 像1.510.50-0.53210-1-2-10123其中，红色的*是给出的第一类样本点，蓝色的五角星是第二类样本点。下方的实直线是最正确投影方向。待测数据投影在其上，圆圈是被分为第一类的样本点， 十字是被分为第二类的样本点。使JF(w)取极大值的 W = -0.0798 ， 0.2005， -0.0478实验分析：实验分析：W的比例因子对于 Fisher 判别函数没有影响的原因：在本实验中，最需要的是 W 的方向，或者说是在此方向上数据的投影， 那么 W 的比例因子，即它是单位向量的多少倍长就无关紧要了， 不管比例因子有多大， 在最后求投影时都会被消掉而起不到实际作用。