Fisher分类器(算法及程序)(10页).doc
-Fisher分类器(算法及程序)-第 67 页 Fisher分类器（Fisher Linear Discriminant）w1类w2类q判为w1判为w20xp1xp2图3.4, Fisher判别法几何原理示意图Fisher判别法是历史上最早提出的判别方法之一，其基本思想是将n类m维数据集尽可能地投影到一个方向（一条直线），使得类与类之间尽可能分开。从形式上看，该方法就是所谓的一种降维处理方法。为简单起见，我们以两类问题w1和w2的分类来说明Fisher判别法的原理，如图3.4所示。设数据阵为XÎRN´m，w1共有N1个样本，w2共有N2个样本，N= N1+N2。两个类别在输入空间的均值向量为设有一个投影方向，这两个均值向量在该方向的投影为在方向，两均值之差为类似地，样本总均值向量在该方向的投影为定义类间散度(Between-class scatter)平方和SSB为其中定义类wj的类内散度(Within-class scatter)平方和为两个类的总的类内散度误差平方和为其中，我们的目的是使类间散度平方和SSB与类内散度平方和SSw的比值为最大，即图, Fisher判别法类间散度平方和（分子）的几何意义w1类w2类q0xp1xp2图3.5b, Fisher判别法类内散度平方和（分母）的几何意义w1类w2类q0xp1xp2SB与类内散度平方和SE的几何意义。根据图，类间散度平方和SB的另一种表示方式为这里可以证明，(3.48)与(3.42)只相差一个系数。简单证明如下：由于由(3.42)得这说明，(3.48)与(3.42)只相差一个与样本数有关的常数。根据图3.5b，类内散度平方和SSE的另一种表示方式为这正是(3.44)。下面分析怎样确定最佳投影方向。显然， SB、SW均为对称阵，于是，=，且SW= 。令，则，代入(3.46)，得使(3.52)为最大，等价于求最大特征值 对应的特征向量。即我们知道，于是，(3.53)可写成这说明，得方向与的方向一致，即因此，在应用过程中，我们往往不必求出类间散度阵。与输入空间维数相等，或者说，投影方向过原点。设分类阈值为q，则判别公式为确定q的一些经验公式为(1) 取两个类别均值在方向投影的简单平均(2) 考虑样本数的两个类别均值在方向投影的平均或(3) 考虑类方差的两个类别均值在方向投影的平均或这里，、分别为两个类别在方向投影的均方差。当然，当类内散度阵不可逆时，Fisher判别法失效。例5 在研究地震预报中，遇到沙基液化问题，选择了下列7个有关的因素：x1：震级,x2：震中距（公里）,x3：水深（米），x4：土深（米）x5：贯入值，x6：最大地面加速度（10-2N/m2），x7：地震持续时间（秒）。具体数据如表1所示。x1x2x3x4x5x6x7类别序号3920I1391220I247812I3471212I4321975I52830I61131875I7521240I85240I911335180I101721445I111721545II123275II13321075II14321075II151115II1630II1730II1830II1916170II2016170II211230II2230II2330II2418II2511375II2611375II275240II285240II2997180II3097180II318910180II325613180II3317245II3428345II35解，设数据文件名为d:a.txt，用Matlab实现的源程序如下load d:ss.txt;a=ss;m=mean(a(1:12,:);m(2:2,:)=mean(a(13:35,:);ssb=(m(1:1,:)-m(2:2,:)'*(m(1:1,:)-m(2:2,:);ssw=zeros(7,7);for i=1:12,ssw=ssw+(a(i:i,:)-m(1:1,:)'*(a(i:i,:)-m(1:1,:);endfor i=13:35,ssw=ssw+(a(i:i,:)-m(2:2,:)'*(a(i:i,:)-m(2:2,:);endw=inv(ssw)*(m(1:1,:)-m(2:2,:)'result=a*w;theta=w'*(m(1:1,:)+m(2:2,:)'/2;for i=1:35,result(i:i,2:2)=theta;result(i:i,3:3)=i;end投影方向向量为=(, , , , , , )T，分类阈值为q=。决策面方程为p: l(x)=x1x2x3+x4+x5x6 x7-0.1358=0.分类结果为序号wTxq8)q=0.1007 (3.59)q709 (3.60)q (3.61)q=0.1149 (3.62)123456789*10111213141516171819202122232425262728*29*303132333435
