基于Fisher准则线性分类器设计.pdf

《基于Fisher准则线性分类器设计.pdf》由会员分享，可在线阅读，更多相关《基于Fisher准则线性分类器设计.pdf（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、word 格式 可编辑 感谢下载支持基于基于 FisherFisher 准则线性分类器设计准则线性分类器设计一、实验类型一、实验类型设计型：线性分类器设计（Fisher 准则）二、实验目的二、实验目的本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解 Fisher 准则方法确定最佳线性分界面方法的原理，以及Lagrande 乘子求解的原理。三、实验条件三、实验条件matlab 软件四、实验原理四、实验原理线性判别函数的一般形式可表示成g (X)WTX w0其中 w1x1wX W 2xdwd根据 Fisher 选择投影方向 W 的原则，即使原样本向量在

2、该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W 的函数为：m)2(m12JF(W) 2S1 S221W*SW(m1m2)上面的公式是使用 Fisher 准则求最佳法线向量的解，该式比较重要。另外，该式这种形式的运算，word 格式 可编辑 感谢下载支持我们称为线性变换，其中m1m2式一个向量，SW是SW的逆矩阵，如m1 m2是 d 维，SW和SW都是dd 维，得到的W*也是一个 d 维的向量。向量W*就是使 Fisher 准则函数JF(W )达极大值的解， 也就是按 Fisher 准则将 d 维 X 空间投影到一维 Y 空间的最佳投影方向，该向量W*的

3、各分量值是对原 d 维特征向量求加权和的权值。11以上讨论了线性判别函数加权向量W 的确定方法， 并讨论了使 Fisher 准则函数极大的 d 维向量W的计算方法，但是判别函数中的另一项W0尚未确定，一般可采用以下几种方法确定W0如*mm12W0 2 N mN1m122 m或者W0 N1 N2或当p()1与p()2已知时可用 mmlnp(1)/ p(2)12W0N1 N222当 W0确定之后，则可按以下规则分类，WTX w0 X 1WX w0 X 2T使用Fisher准则方法确定最佳线性分界面的方法是一个著名的方法， 尽管提出该方法的时间比较早，仍见有人使用。五、实验内容五、实验内容已知有两类

4、数据1和2二者的概率已知p()1=0.6，p()2=0.4。1中数据点的坐标对应一一如下：数据：x =0.23311.52070.64990.77571.05241.19740.29080.25180.66820.56220.90230.1333word 格式 可编辑 感谢下载支持-0.54310.9407-0.21260.0507-0.08100.73150.33451.0650-0.02470.10430.31220.66550.58381.16531.26530.8137-0.33990.51520.7226-0.20150.4070-0.1717-1.0573-0.2099y =2.3

5、3852.19461.67301.63651.78442.01552.06812.12132.47971.51181.96921.83401.87042.29481.77142.39391.56481.93292.20272.45681.75232.04662.02262.37571.94492.38012.2373z =0.53380.85141.08310.60710.44390.49281.00720.42720.43531.02990.71271.01240.77050.41291.00850.97510.78400.41582数据点的对应的三维坐标为x2 =1.40101.23012

6、.08141.76321.97392.41521.25001.28641.26141.33221.14661.70872.93131.83491.83402.03532.60301.2327y2 =1.02980.96110.91541.14051.06780.80500.70911.29421.37440.87980.55920.51501.28331.10291.26801.18080.55031.4708z2 =0.62101.36560.54980.95080.73240.57841.69912.48831.79872.08282.16141.92350.41641.11760.590

7、11.09270.98690.48410.45760.85440.76760.84181.03150.75331.16551.37402.58902.84722.00712.18311.59202.93532.50962.71982.14651.56731.49010.82001.28891.46010.93871.22660.99830.91200.71401.24461.14350.76790.67080.89321.49431.09151.72592.07982.26040.55361.07561.09921.12750.87840.95481.18291.95391.79091.466

8、42.31482.94140.93991.43341.18330.71261.33921.12881.43420.7644word 格式 可编辑 感谢下载支持1.21591.30491.14080.93980.61970.66031.39281.40840.69090.84000.53811.37290.77310.73191.34390.81420.95860.73790.75480.73930.67390.86511.36991.1458数据的样本点分布如下图：21.510.502.521.510.5-2-10123六、实验程序及结果六、实验程序及结果1.1.试验程序试验程序%w1 中数据

9、点的坐标x1 =0.23311.52070.64990.77571.05241.19740.29080.25180.66820.56220.90230.1333-0.54310.9407-0.21260.0507-0.08100.73150.33451.0650-0.02470.10430.31220.66550.58381.16531.26530.8137-0.33990.51520.7226-0.20150.4070-0.1717-1.0573-0.2099;x2 =2.33852.19461.67301.63651.78442.01552.06812.12132.47971.51181.

10、96921.83401.87042.29481.77142.39391.56481.93292.20272.45681.75231.69912.48831.7259word 格式 可编辑 感谢下载支持2.04662.02262.37571.79872.08282.07981.94492.38012.23732.16141.92352.2604;x3 =0.53380.85141.08310.41641.11760.55360.60710.44390.49280.59011.09271.07561.00720.42720.43530.98690.48411.09921.02990.71271.0

11、1240.45760.85441.12750.77050.41291.00850.76760.84180.87840.97510.78400.41581.03150.75330.9548;%将 x1、x2、x3 变为行向量x1=x1(:);x2=x2(:);x3=x3(:);%计算第一类的样本均值向量 m1m1(1)=mean(x1);m1(2)=mean(x2);m1(3)=mean(x3);%计算第一类样本类内离散度矩阵 S1S1=zeros(3,3);for i=1:36S1=S1+-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)*-m1(1)+x1(i) -

12、m1(2)+x2(i) -m1(3)+x3(i);end%w2 的数据点坐标x4 =1.40101.23012.08141.16551.37401.18291.76321.97392.41522.58902.84721.95391.25001.28641.26142.00712.18311.79091.33221.14661.70871.59202.93531.46642.93131.83491.83402.50962.71982.31482.03532.60301.23272.14651.56732.9414;x5 =1.02980.96110.91541.49010.82000.93991

13、.14051.06780.80501.28891.46011.43340.70911.29421.37440.93871.22661.18330.87980.55920.51500.99830.91200.71261.28331.10291.26800.71401.24461.33921.18080.55031.47081.14350.76791.1288;x6 =0.62101.36560.54980.67080.89321.43420.95080.73240.57841.49431.09150.76441.21591.30491.14080.93980.61970.66031.39281.

14、40840.69090.84000.53811.37290.77310.73191.34390.81420.95860.73790.75480.73930.67390.86511.36991.1458;x4=x4(:);x5=x5(:);x6=x6(:);%计算第二类的样本均值向量 m2m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);%计算第二类样本类内离散度矩阵 S2S2=zeros(3,3);for i=1:36S2=S2+-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i)*-m2(1)+x4(i) -m2(2)+x5(i

15、) -m2(3)+x6(i);end%总类内离散度矩阵 SwSw=zeros(3,3);Sw=S1+S2;word 格式 可编辑 感谢下载支持%样本类间离散度矩阵 SbSb=zeros(3,3);Sb=(m1-m2)*(m1-m2);%最优解 WW=Sw-1*(m1-m2)%将 W 变为单位向量以方便计算投影W=W/sqrt(sum(W.2);%计算一维 Y 空间中的各类样本均值 M1 及 M2for i=1:36y(i)=W*x1(i) x2(i) x3(i);endM1=mean(y)for i=1:36y(i)=W*x4(i) x5(i) x6(i);endM2=mean(y)%利用当

16、P(w1)与 P(w2)已知时的公式计算 W0p1=0.6;p2=0.4;W0=-(M1+M2)/2+(log(p2/p1)/(36+36-2);%计算将样本投影到最佳方向上以后的新坐标X1=x1*W(1)+x2*W(2)+x3*W(3);X2=x4*W(1)+x5*W(2)+x6*W(3);%得到投影长度XX1=W(1)*X1;W(2)*X1;W(3)*X1;XX2=W(1)*X2;W(2)*X2;W(3)*X2;%得到新坐标%绘制样本点figure(1)plot3(x1,x2,x3,r*) %第一类hold onplot3(x4,x5,x6,bp) %第二类legend(第一类点,第二类点

17、)title(Fisher 线性判别曲线)W1=5*W;%画出最佳方向line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),color,b);%判别已给点的分类a1=1,1.5,0.6;a2=1.2,1.0,0.55;a3=2.0,0.9,0.68;a4=1.2,1.5,0.89;a5=0.23,2.33,1.43;A=a1 a2 a3 a4 a5n=size(A,2);%下面代码在改变样本时都不必修改%绘制待测数据投影到最佳方向上的点for k=1:nA1=A(:,k)*W;A11=W*A1;%得到待测数据投影y=W*A(:,k)+W0;%计算后与 0 相比

18、以判断类别，大于 0 为第一类，小于 0 为第二类plot3(A(1,k),A(2,k),A(3,k),go); %点为rp对应第一类plot3(A11(1),A11(2),A11(3),go); %投影为r+对应 go 类elseif y0word 格式 可编辑 感谢下载支持plot3(A(1,k),A(2,k),A(3,k),m+); %点为bh对应 m+类plot3(A11(1),A11(2),A11(3),m+); %投影为b*对应 m+类endend%画出最佳方向line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),color,k);view(-37

19、.5,30);axis(-2,3,-1,3,-0.5,1.5);grid onhold off2.2.实验结果和数据实验结果和数据根据求出的最佳投影方向，然后将待测数据按照此方向进行投影，数据的样本点分布如下：其中， 第一类样本点是红色的星号表示， 第二类样本点是蓝色的五角星。 最佳投影方向为下面的实直线。待测数据投影在其上，圆圈是被分为第一类的样本点，十字是被分为第二类的样本点。使JF(w)取极大值的 W =（ -0.0798 ， 0.2005， -0.0478）七、实验分析七、实验分析在本实验中，最需要的是 W 的方向，或者说是在此方向上数据的投影，那么W 的比例因子，即它是单位向量的多少倍长就无关紧要，不管比例因子有多大，在最后求投影时都会被消掉而起不到实际作用，这就是W的比例因子对于 Fisher 判别函数没有影响的原因。word 格式 可编辑 感谢下载支持八、实验感想八、实验感想通过本次实验，加深了对fisher 准则和模式识别的认识，实验中也遇到了一些困难，最后都一一克服，完成了本次试验。