模式识别特征选择和提取PPT学习教案.pptx

《模式识别特征选择和提取PPT学习教案.pptx》由会员分享，可在线阅读，更多相关《模式识别特征选择和提取PPT学习教案.pptx（46页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、会计学1模式识别模式识别(m sh sh bi)特征选择和提取特征选择和提取第一页，共46页。特征选择和提取特征选择和提取(tq)n n特征选择和提取是构造模式识别系统时的一特征选择和提取是构造模式识别系统时的一个重要课题个重要课题n n在很多实际问题中，往往不容易找到那些最在很多实际问题中，往往不容易找到那些最重要的特征，或受客观条件的限制，不能对重要的特征，或受客观条件的限制，不能对它们进行有效的测量；它们进行有效的测量；n n因此在测量时，由于人们心理上的作用，只因此在测量时，由于人们心理上的作用，只要条件许可总希望把特征取得多一些要条件许可总希望把特征取得多一些(yxi)(yxi)；n

2、 n另外，由于客观上的需要，为了突出某些有另外，由于客观上的需要，为了突出某些有用信息，抑制无用信息，有意加上一些用信息，抑制无用信息，有意加上一些(yxi)(yxi)比值、指数或对数等组合计算特征；比值、指数或对数等组合计算特征；n n如果将数目很多的测量值不做分析，全部直如果将数目很多的测量值不做分析，全部直接用作分类特征，不但耗时，而且会影响到接用作分类特征，不但耗时，而且会影响到分类的效果，产生分类的效果，产生“特征维数灾难特征维数灾难”问题。问题。第1页/共46页第二页，共46页。特征选择和提取特征选择和提取(tq)n n为了设计出效果好的分类器，通常需要对原始为了设计出效果好的分类

3、器，通常需要对原始的测量值集合进行分析，经过选择或变换处理，的测量值集合进行分析，经过选择或变换处理，组成有效的识别特征；组成有效的识别特征；n n在保证一定分类精度的前提下，减少特征维数，在保证一定分类精度的前提下，减少特征维数，即进行即进行“降维降维”处理，使分类器实现快速、准处理，使分类器实现快速、准确和高效的分类。确和高效的分类。n n为达到上述为达到上述(shngsh)(shngsh)目的，关键是所提供的目的，关键是所提供的识别特征应具有很好的可分性，使分类器容易识别特征应具有很好的可分性，使分类器容易判别。为此，需对特征进行选择。判别。为此，需对特征进行选择。n n应去掉模棱两可、

4、不易判别的特征；应去掉模棱两可、不易判别的特征；n n所提供的特征不要重复，即去掉那些相关性强所提供的特征不要重复，即去掉那些相关性强且没有增加更多分类信息的特征。且没有增加更多分类信息的特征。第2页/共46页第三页，共46页。特征选择和提取特征选择和提取(tq)n n说明n n实际上，特征选择和提取这一任务应在设计分类器之前进行；n n从通常的模式识别教学(jio xu)经验看，在讨论分类器设计之后讲述特征选择和提取，更有利于加深对该问题的理解。第3页/共46页第四页，共46页。特征选择和提取特征选择和提取(tq)n n所谓特征选择，就是从所谓特征选择，就是从n n个度量值集合个度量值集合x

5、1,x1,x2,xnx2,xn中，按某一准则中，按某一准则(zh(zh nz)nz)选取出供分选取出供分类用的子集，作为降维（类用的子集，作为降维（mm维，维，mnmn）的分类）的分类特征；特征；n n所谓特征提取，就是使所谓特征提取，就是使(x1,x2,xn)(x1,x2,xn)通过某种通过某种变换，产生变换，产生mm个特征个特征(y1,y2,ym)(mn)(y1,y2,ym)(m2，故最优2x1特征提取器此时的K-L变换式为：特征(tzhng)提取第37页/共46页第三十八页，共46页。7.3 离散离散(lsn)K-L变换变换离散的有限离散的有限K-LK-L展开展开 展开式的形式展开式的形

6、式 如果对如果对c c种模式类别种模式类别 ii=1,cii=1,c做离散正交展开，则做离散正交展开，则对每一模式可分别写成：对每一模式可分别写成：xi=xi=ai ai，其中矩阵，其中矩阵 取取决于所选用的正交函数。决于所选用的正交函数。对各个模式类别，正交函数都是相同的，但其展开对各个模式类别，正交函数都是相同的，但其展开系数向量系数向量ai ai则因类别的不同模式分布而异。则因类别的不同模式分布而异。K-LK-L展开式的性质展开式的性质(xngzh)(xngzh)K-LK-L展开式的根本性质展开式的根本性质(xngzh)(xngzh)是将随机向量是将随机向量x x展开展开为另一组正交向量

7、为另一组正交向量 j j的线性和，且其展开式系数的线性和，且其展开式系数aj aj（即系数向量（即系数向量a a的各个分量）具有不同的性质的各个分量）具有不同的性质(xngzh)(xngzh)。在此条件下，正交向量集在此条件下，正交向量集 j j的确定的确定 K-LK-L展开式系数的计算步骤展开式系数的计算步骤 第38页/共46页第三十九页，共46页。7.3 离散离散(lsn)K-L变换变换按按K-LK-L展开式选择特征展开式选择特征 K-LK-L展开式用于特征选择相当于一种线性变换。展开式用于特征选择相当于一种线性变换。若从若从K K个特征向量中取出个特征向量中取出mm个组成变换矩阵个组成变

8、换矩阵，即，即=(=(1 1 2 2 m)m)，mKmK此时此时(c(c sh)sh)，是一个是一个n*mn*m维矩阵，维矩阵，x x是是n n维向量，维向量，经过经过TxTx变换，即得到降维为变换，即得到降维为mm的新向量。的新向量。选取变换矩阵选取变换矩阵，使得降维后的新向量在最小均方，使得降维后的新向量在最小均方差条件下接近原来的向量差条件下接近原来的向量x x第39页/共46页第四十页，共46页。7.3 离散离散(lsn)K-L变换变换按按K-LK-L展开式选择特征展开式选择特征 结论结论从从K-LK-L展开式的性质和按最小均方差的准则来选择特展开式的性质和按最小均方差的准则来选择特征

9、，应使征，应使Eaj=0Eaj=0。由于。由于Ea=EEa=ETx=Tx=TExTEx，故应使故应使Ex=0Ex=0。基于这一条件，在将整体模式进。基于这一条件，在将整体模式进行行K-LK-L变换之前变换之前(zhqin)(zhqin)，应先将其均值作为新，应先将其均值作为新坐标轴的原点，采用协方差矩阵坐标轴的原点，采用协方差矩阵C C或自相关矩阵或自相关矩阵R R来计算特征值。如果来计算特征值。如果Ex0Ex0，则只能得到，则只能得到“次次最佳最佳”的结果。的结果。第40页/共46页第四十一页，共46页。7.3 离散离散(lsn)K-L变换变换按按K-LK-L展开式选择特征展开式选择特征 结

10、论结论将将K-LK-L展开式系数展开式系数aj aj（亦即变换后的特征）用（亦即变换后的特征）用yj yj表表示，写成向量形式：示，写成向量形式：y=y=TxTx。此时变换矩阵。此时变换矩阵用用mm个特征向量组成。为使误差个特征向量组成。为使误差(wch)(wch)最小，最小，不采用的特征向量，其对应的特征值应尽可能不采用的特征向量，其对应的特征值应尽可能小。因此，将特征值按大小次序标号，即小。因此，将特征值按大小次序标号，即 1 1 2 2 m m n=0n=0若首先采用前面的若首先采用前面的mm个特征向量，便可使变换个特征向量，便可使变换误差误差(wch)(wch)最小。此时的变换矩阵为最

11、小。此时的变换矩阵为第41页/共46页第四十二页，共46页。7.3 离散离散(lsn)K-L变换变换按K-L展开式选择特征(tzhng)结论K-L变换是在均方误差最小的意义下获得数据压缩的最佳变换，且不受模式分布的限制。对于一种类别的模式特征(tzhng)提取，它不存在特征(tzhng)分类问题，只是实现用低维的m个特征(tzhng)来表示原来高维的n个特征(tzhng)，使其误差最小，亦即使其整个模式分布结构尽可能保持不变。第42页/共46页第四十三页，共46页。7.3 离散离散(lsn)K-L变换变换按K-L展开式选择特征结论(jiln)通过K-L变换能获得互不相关的新特征。若采用较大特征

12、值对应的特征向量组成变换矩阵，则能对应地保留原模式中方差最大的特征成分，所以K-L变换起到了减小相关性、突出差异性的效果。在此情况下，K-L变换也称为主成分变换。第43页/共46页第四十四页，共46页。7.3 离散离散(lsn)K-L变换变换按K-L展开式选择特征K-L变换实例原始模式(msh)分布特征提取第44页/共46页第四十五页，共46页。作业作业(zuy)n n设有如下两类样本集，其出现的概率相等：n n1：(0 0 0)T,(1 0 0)T,n n(1 0 1)T,(1 1 0)Tn n2：(0 0 1)T,(0 1 0)T,n n(0 1 1)T,(1 1 1)Tn n用K-L变换，分别(fnbi)把特征空间维数降到二维和一维，并画出样本在该空间中的位置。第45页/共46页第四十六页，共46页。