武汉大学模式识别特征选择和提取学习教案.pptx

《武汉大学模式识别特征选择和提取学习教案.pptx》由会员分享，可在线阅读，更多相关《武汉大学模式识别特征选择和提取学习教案.pptx（25页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、会计学1武汉大学武汉大学(w hn d xu)模式识别特征选模式识别特征选择和提取择和提取第一页，共25页。第五章第五章 特征选择特征选择和提取和提取(tq)n n特征选择和提取是模式识别中的一个关键问题n n前面讨论分类器设计的时候，一直假定已给出了特征向量维数确定的样本集，其中各样本的每一维都是该样本的一个特征；n n这些特征的选择是很重要的，它强烈地影响到分类器的设计及其性能；n n假若对不同(b tn)的类别，这些特征的差别很大，则比较容易设计出具有较好性能的分类器。第1页/共25页第二页，共25页。第五章第五章 特征选择特征选择和提取和提取(tq)n n特征选择和提取是构造模式识别系

2、统时的一个特征选择和提取是构造模式识别系统时的一个重要课题重要课题n n在很多实际问题中，往往不容易找到那些最重在很多实际问题中，往往不容易找到那些最重要的特征，或受客观条件的限制，不能对它们要的特征，或受客观条件的限制，不能对它们进行有效的测量；进行有效的测量；n n因此在测量时，由于人们心理上的作用，只要因此在测量时，由于人们心理上的作用，只要条件许可条件许可(x(x k)k)总希望把特征取得多一些；总希望把特征取得多一些；n n另外，由于客观上的需要，为了突出某些有用另外，由于客观上的需要，为了突出某些有用信息，抑制无用信息，有意加上一些比值、指信息，抑制无用信息，有意加上一些比值、指数

3、或对数等组合计算特征；数或对数等组合计算特征；n n如果将数目很多的测量值不做分析，全部直接如果将数目很多的测量值不做分析，全部直接用作分类特征，不但耗时，而且会影响到分类用作分类特征，不但耗时，而且会影响到分类的效果，产生的效果，产生“特征维数灾难特征维数灾难”问题。问题。第2页/共25页第三页，共25页。第五章第五章 特征选择特征选择和提取和提取(tq)n n为了设计出效果好的分类器，通常需要对原始的测为了设计出效果好的分类器，通常需要对原始的测量值集合进行分析，经过选择或变换处理，组成有量值集合进行分析，经过选择或变换处理，组成有效的识别特征；效的识别特征；n n在保证一定分类精度的前提

4、下，减少特征维数，即在保证一定分类精度的前提下，减少特征维数，即进行进行“降维降维”处理，使分类器实现快速、准确和高处理，使分类器实现快速、准确和高效的分类。效的分类。n n为达到上述目的，关键是所提供的识别特征应具有为达到上述目的，关键是所提供的识别特征应具有很好的可分性，使分类器容易判别很好的可分性，使分类器容易判别(pnbi)(pnbi)。为此，。为此，需对特征进行选择。需对特征进行选择。n n应去掉模棱两可、不易判别应去掉模棱两可、不易判别(pnbi)(pnbi)的特征；的特征；n n所提供的特征不要重复，即去掉那些相关性强且没所提供的特征不要重复，即去掉那些相关性强且没有增加更多分类

5、信息的特征。有增加更多分类信息的特征。第3页/共25页第四页，共25页。第五章第五章 特征选择特征选择和提取和提取(tq)n n说明n n实际上，特征选择和提取这一任务应在设计(shj)分类器之前进行；n n从通常的模式识别教学经验看，在讨论分类器设计(shj)之后讲述特征选择和提取，更有利于加深对该问题的理解。第4页/共25页第五页，共25页。第五章第五章 特征选择特征选择和提取和提取(tq)n n所谓特征选择，就是从所谓特征选择，就是从n n个度量值集合个度量值集合x1,x1,x2,xnx2,xn中，按某一准则选取出供分类用的中，按某一准则选取出供分类用的子集，作为降维（子集，作为降维（m

6、m维，维，mnmn）的分类特征；）的分类特征；n n所谓特征提取，就是使所谓特征提取，就是使(x1,x2,xn)(x1,x2,xn)通过某通过某种变换，产生种变换，产生mm个特征个特征(y1,y2,ym)(mn)(y1,y2,ym)(mn)，作为新的分类特征（或称为二次特征）；，作为新的分类特征（或称为二次特征）；n n其目的其目的(md)(md)都是为了在尽可能保留识别信都是为了在尽可能保留识别信息的前提下，降低特征空间的维数，已达到息的前提下，降低特征空间的维数，已达到有效的分类。有效的分类。第5页/共25页第六页，共25页。第五章第五章 特征选择特征选择和提取和提取(tq)n n以细胞自

7、动识别为例以细胞自动识别为例n n通过图像输入得到一批包括正常细胞和异常细胞通过图像输入得到一批包括正常细胞和异常细胞的图像，我们的任务是根据的图像，我们的任务是根据(gnj)(gnj)这些图像区这些图像区分哪些细胞是正常的，哪些细胞是异常的；分哪些细胞是正常的，哪些细胞是异常的；n n首先找出一组能代表细胞性质的特征，为此可计首先找出一组能代表细胞性质的特征，为此可计算算n n细胞总面积细胞总面积n n总光密度总光密度n n胞核面积胞核面积n n核浆比核浆比n n细胞形状细胞形状n n核内纹理核内纹理n n第6页/共25页第七页，共25页。第五章第五章 特征选择特征选择和提取和提取(tq)n

8、 n以细胞自动识别为例n n这样产生出来(ch li)的原始特征可能很多（几十甚至几百个），或者说原始特征空间维数很高，需要降低（或称压缩）维数以便分类；n n一种方式是从原始特征中挑选出一些最有代表性的特征，称之为特征选择；n n另一种方式是用映射（或称变换）的方法把原始特征变换为较少的特征，称之为特征提取。第7页/共25页第八页，共25页。5.1 模式模式(msh)类别类别可分性的测度可分性的测度n n距离(jl)和散布矩阵n n点到点之间的距离(jl)n n点到点集之间的距离(jl)n n类内距离(jl)第8页/共25页第九页，共25页。5.1 模式模式(msh)类别类别可分性的测度可分

9、性的测度n n距离(jl)和散布矩阵n n类内散布矩阵n n类间距离(jl)和类间散布矩阵n n多类模式集散布矩阵第9页/共25页第十页，共25页。5.2 特征选择特征选择n n设有n个可用作分类的测量值，为了在不降低（或尽量不降低）分类精度的前提下，减小特征空间的维数以减少计算量，需从中直接选出m个作为分类的特征。n n问题：在n个测量值中选出哪一些作为分类特征，使其具有(jyu)最小的分类错误？第10页/共25页第十一页，共25页。5.2 特征选择特征选择n n从n个测量值中选出m个特征，一共有 中可能的选法。n n一种“穷举”办法：对每种选法都用训练样本试分类一下，测出其正确分类率，然后

10、做出性能最好的选择，此时需要试探的特征子集的种类达到 种，非常(fichng)耗时。n n需寻找一种简便的可分性准则，间接判断每一种子集的优劣。n n对于独立特征的选择准则n n一般特征的散布矩阵准则第11页/共25页第十二页，共25页。5.2 特征选择特征选择n n对于独立特征的选择准则n n类别可分性准则应具有这样的特点，即不同类别模式特征的均值向量(xingling)之间的距离应最大，而属于同一类的模式特征，其方差之和应最小。n n假设各原始特征测量值是统计独立的，此时，只需对训练样本的n个测量值独立地进行分析，从中选出m个最好的作为分类特征即可。n n例：对于i和j两类训练样本的特征选

11、择第12页/共25页第十三页，共25页。5.2 特征选择特征选择n n讨论：上述基于距离测度的可分性准则，其适用范围与模讨论：上述基于距离测度的可分性准则，其适用范围与模式特征的分布有关。式特征的分布有关。n n三种不同模式分布的情况三种不同模式分布的情况n n(a)(a)中特征中特征xkxk的分布有很好的可分性，通过它足以分离的分布有很好的可分性，通过它足以分离 i i和和 j j两种类别；两种类别；n n(b)(b)中的特征分布有很大的重叠，单靠中的特征分布有很大的重叠，单靠xkxk达不到较好的分达不到较好的分类，需要增加其它特征；类，需要增加其它特征；n n(c)(c)中的中的 i i类

12、特征类特征xkxk的分布有两个最大值，虽然它与的分布有两个最大值，虽然它与 j j的分的分布没有重叠，但计算布没有重叠，但计算GkGk约等于约等于0 0，此时再利用，此时再利用GkGk作为可分作为可分性准则已不合适。性准则已不合适。n n因此，假若类概率密度函数不是或不近似因此，假若类概率密度函数不是或不近似(jn s)(jn s)正态分布，正态分布，均值和方差就不足以用来估计类别的可分性，此时该准则均值和方差就不足以用来估计类别的可分性，此时该准则函数不完全适用。函数不完全适用。第13页/共25页第十四页，共25页。5.2 特征选择特征选择n n一般特征的散布矩阵准则n n类内、类间的散布矩

13、阵Sw和Sbn n类间离散度越大且类内离散度越小，可分性越好。n n散布矩阵准则J1和J2形式n n使J1或J2最大的子集可作为所选择的分类特征。n n注：这里计算的散布矩阵不受模式(msh)分布形式的限制，但需要有足够数量的模式(msh)样本才能获得有效的结果第14页/共25页第十五页，共25页。作业作业(zuy)n n设有如下三类(sn li)模式样本集1，2和3，其先验概率相等，求Sw和Sbn n1：(1 0)T,(2 0)T,(1 1)Tn n2：(-1 0)T,(0 1)T,(-1 1)Tn n3：(-1-1)T,(0-1)T,(0-2)T第15页/共25页第十六页，共25页。5.3

14、 离散离散(lsn)K-L变换变换n n全称：全称：Karhunen-LoeveKarhunen-Loeve变换（卡洛南变换（卡洛南-洛伊变换）洛伊变换）n n前面讨论的特征选择是在一定准则下，从前面讨论的特征选择是在一定准则下，从n n个特征中个特征中选出选出k k个来反映原有模式。个来反映原有模式。n n这种简单删掉某这种简单删掉某n-kn-k个特征的做法并不十分理想，因个特征的做法并不十分理想，因为一般来说，原来的为一般来说，原来的n n个数据各自在不同程度上反映个数据各自在不同程度上反映了识别对象的某些特征，简单地删去某些特征可能了识别对象的某些特征，简单地删去某些特征可能会丢失较多的

15、有用信息。会丢失较多的有用信息。n n如果将原来的特征做正交变换，获得的每个数据都如果将原来的特征做正交变换，获得的每个数据都是原来是原来n n个数据的线性组合，然后从新的数据中选出个数据的线性组合，然后从新的数据中选出少数几个，使其尽可能多地反映各类模式之间的差少数几个，使其尽可能多地反映各类模式之间的差异，而这些特征间又尽可能相互独立，则比单纯的异，而这些特征间又尽可能相互独立，则比单纯的选择方法选择方法(fngf(fngf)更灵活、更有效。更灵活、更有效。n nK-LK-L变换就是一种适用于任意概率密度函数的正交变变换就是一种适用于任意概率密度函数的正交变换。换。第16页/共25页第十七

16、页，共25页。5.3 离散离散(lsn)K-L变换变换5.3.1 5.3.1 离散的有限离散的有限K-LK-L展开展开展开式的形式展开式的形式如果对如果对c c种模式类别种模式类别 ii=1,cii=1,c做离散正交展开，则对做离散正交展开，则对每一模式可分别写成：每一模式可分别写成：xi=xi=ai ai，其中矩阵，其中矩阵 取决于取决于所选用所选用(xu(xu nyng)nyng)的正交函数。的正交函数。对各个模式类别，正交函数都是相同的，但其展开系数对各个模式类别，正交函数都是相同的，但其展开系数向量向量ai ai则因类别的不同模式分布而异。则因类别的不同模式分布而异。K-LK-L展开式

17、的性质展开式的性质K-LK-L展开式的根本性质是将随机向量展开式的根本性质是将随机向量x x展开为另一组正展开为另一组正交向量交向量 j j的线性和，且其展开式系数的线性和，且其展开式系数aj aj（即系数向量（即系数向量a a的各个分量）具有不同的性质。的各个分量）具有不同的性质。在此条件下，正交向量集在此条件下，正交向量集 j j的确定的确定K-LK-L展开式系数的计算步骤展开式系数的计算步骤第17页/共25页第十八页，共25页。5.3 离散离散(lsn)K-L变换变换5.3.2 5.3.2 按按K-LK-L展开式选择特征展开式选择特征K-LK-L展开式用于特征选择相当于一种线性变换。展开

18、式用于特征选择相当于一种线性变换。若从若从n n个特征向量中取出个特征向量中取出mm个组成变换矩阵个组成变换矩阵，即，即=(=(1 1 2 2 m)m)，mnmn此时，此时，是一个是一个(y(y )n*m)n*m维矩阵，维矩阵，x x是是n n维向量，维向量，经过经过TxTx变换，即得到降维为变换，即得到降维为mm的新向量。的新向量。问题：选取变换矩阵问题：选取变换矩阵，使得降维后的新向量在最，使得降维后的新向量在最小均方差条件下接近原来的向量小均方差条件下接近原来的向量x x第18页/共25页第十九页，共25页。5.3 离散离散(lsn)K-L变换变换5.3.2 5.3.2 按按K-LK-L

19、展开式选择特征展开式选择特征结论结论从从K-LK-L展开式的性质和按最小均方差的准则来选择特征，展开式的性质和按最小均方差的准则来选择特征，应使应使Eaj=0Eaj=0。由于。由于Ea=EEa=ETx=Tx=TExTEx，故应使，故应使Ex=0Ex=0。基于这一条件，在将整体模式进行。基于这一条件，在将整体模式进行(jnxng)K-L(jnxng)K-L变换之前，应先将其均值作为新坐标轴变换之前，应先将其均值作为新坐标轴的原点，采用协方差矩阵的原点，采用协方差矩阵C C或自相关矩阵或自相关矩阵R R来计算特来计算特征值。如果征值。如果Ex0Ex0，则只能得到，则只能得到“次最佳次最佳”的结果。

20、的结果。第19页/共25页第二十页，共25页。5.3 离散离散(lsn)K-L变换变换5.3.2 5.3.2 按按K-LK-L展开式选择特征展开式选择特征结论结论将将K-LK-L展开式系数展开式系数aj aj（亦即变换后的特征）用（亦即变换后的特征）用yj yj表表示示(bi(bi osh)osh)，写成向量形式：，写成向量形式：y=y=TxTx。此时变。此时变换矩阵换矩阵用用mm个特征向量组成。为使误差最小，个特征向量组成。为使误差最小，不采用的特征向量，其对应的特征值应尽可能不采用的特征向量，其对应的特征值应尽可能小。因此，将特征值按大小次序标号，即小。因此，将特征值按大小次序标号，即 1

21、 1 2 2 m m n=0n=0若首先采用前面的若首先采用前面的mm个特征向量，便可使变换个特征向量，便可使变换误差最小。此时的变换矩阵为误差最小。此时的变换矩阵为第20页/共25页第二十一页，共25页。5.3 离散离散(lsn)K-L变换变换5.3.2 按K-L展开式选择特征结论K-L变换是在均方误差最小的意义下获得数据压缩（降维）的最佳变换，且不受模式分布的限制。对于一种类别的模式特征提取，它不存在特征分类问题(wnt)，只是实现用低维的m个特征来表示原来高维的n个特征，使其误差最小，亦即使其整个模式分布结构尽可能保持不变。第21页/共25页第二十二页，共25页。5.3 离散离散(lsn

22、)K-L变换变换5.3.2 5.3.2 按按K-LK-L展开式选择特征展开式选择特征结论结论通过通过K-LK-L变换能获得互不相关的新特征。若采用变换能获得互不相关的新特征。若采用较大较大(jio d)(jio d)特征值对应的特征向量组成变换特征值对应的特征向量组成变换矩阵，则能对应地保留原模式中方差最大的矩阵，则能对应地保留原模式中方差最大的特征成分，所以特征成分，所以K-LK-L变换起到了减小相关性、变换起到了减小相关性、突出差异性的效果。在此情况下，突出差异性的效果。在此情况下，K-L K-L变换变换也称为主成分变换（也称为主成分变换（PCAPCA变换）。变换）。需要指出的是，采用需要

23、指出的是，采用K-LK-L变换作为模式分类的特变换作为模式分类的特征提取时，要特别注意保留不同类别的模式征提取时，要特别注意保留不同类别的模式分类鉴别信息，仅单纯考虑尽可能代表原来分类鉴别信息，仅单纯考虑尽可能代表原来模式的主成分，有时并不一定有利于分类的模式的主成分，有时并不一定有利于分类的鉴别。鉴别。第22页/共25页第二十三页，共25页。5.3 离散离散(lsn)K-L变换变换5.3.2 按K-L展开式选择特征K-L变换(binhun)实例原始模式分布特征提取第23页/共25页第二十四页，共25页。作业作业(zuy)n n设有如下两类样本集，其出现的概率相等：n n1：(0 0 0)T,(1 0 0)T,n n(1 0 1)T,(1 1 0)Tn n2：(0 0 1)T,(0 1 0)T,n n(0 1 1)T,(1 1 1)Tn n用K-L变换，分别把特征空间(kngjin)维数降到二维和一维，并画出样本在该空间(kngjin)中的位置。第24页/共25页第二十五页，共25页。