第6章 模式特征选择精选文档.ppt

《第6章 模式特征选择精选文档.ppt》由会员分享，可在线阅读，更多相关《第6章 模式特征选择精选文档.ppt（24页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第6章 模式特征选择本讲稿第一页，共二十四页2.模式特征选择模式特征选择 从一组模式特征中选出一些最有效和最具代表性的特从一组模式特征中选出一些最有效和最具代表性的特征，这个过程称为征，这个过程称为特征选择特征选择。3.模式特征抽取和选择的意义模式特征抽取和选择的意义 前面三章所介绍的前面三章所介绍的线性判别函数分类方法，线性判别函数分类方法，Bayes分类方分类方法，近邻分类方法和集群方法法，近邻分类方法和集群方法等都一直假定模式特征是已知的，等都一直假定模式特征是已知的，通过通过n个特征所代表的模式向量，实现模式识别任务。个特征所代表的模式向量，实现模式识别任务。所抽取和选择的模式特征的优

2、劣，对分类器的设计和所抽取和选择的模式特征的优劣，对分类器的设计和性能有重要影响，直接影响分类器的构造和识别效果。性能有重要影响，直接影响分类器的构造和识别效果。因此，特征抽取和选择是模式识别中的一个关键问题。因此，特征抽取和选择是模式识别中的一个关键问题。本讲稿第二页，共二十四页4.模式特征抽取和选择中的两个问题模式特征抽取和选择中的两个问题困难性困难性 迄今为止，所提出的模式特征和抽取方法都是迄今为止，所提出的模式特征和抽取方法都是面向问题面向问题的，的，也就是说，不同的模式识别问题（如字符识别，语音识别）可以有也就是说，不同的模式识别问题（如字符识别，语音识别）可以有不同的特征抽取和选择

3、方法，即使对同一模式识别问题，也可能用不同的特征抽取和选择方法，即使对同一模式识别问题，也可能用不同的方法。因此，不同的方法。因此，找到特征抽取和选择的一般方法是比较困难的。找到特征抽取和选择的一般方法是比较困难的。由于不是在任何情况下都能容易地抽取到最重要的特征，或由由于不是在任何情况下都能容易地抽取到最重要的特征，或由于条件限制而不能充分抽取特征，而使得于条件限制而不能充分抽取特征，而使得特征的抽取和选择有时特征的抽取和选择有时变得很困难。变得很困难。本讲稿第三页，共二十四页 特征的数量问题特征的数量问题 当用一组特征已经无法区分模式类别时，自然会想到增加新的特当用一组特征已经无法区分模式

4、类别时，自然会想到增加新的特征，那么，特征数量是不是越多越好呢？征，那么，特征数量是不是越多越好呢？当特征数量不多时，增加特征数量，问题不大。当特征数量不多时，增加特征数量，问题不大。但是，当特征数量比较大，达到一定的数量之后，增加特征数量反而但是，当特征数量比较大，达到一定的数量之后，增加特征数量反而会使分类器的性能变坏。会使分类器的性能变坏。产生这个问题的基本原因是用来设计分类器的样本数量是有限的产生这个问题的基本原因是用来设计分类器的样本数量是有限的。那么可不可以在增加特征的同时，也增加样本数量呢？那么可不可以在增加特征的同时，也增加样本数量呢？本讲稿第四页，共二十四页 当用一定数量的样

5、本估计出来的参数设计当用一定数量的样本估计出来的参数设计Bayes分类器分类器时，随着特征数量的增加时，随着特征数量的增加要求样本数急剧增加，要求样本数急剧增加，这样才能保这样才能保证一定的错误率。证一定的错误率。在实际问题中，由于样本数是有限的，所以为了保证在实际问题中，由于样本数是有限的，所以为了保证一定的错误率，就不能任意增加特征数。一定的错误率，就不能任意增加特征数。那么怎么办好呢？那么怎么办好呢？在很多特征中在很多特征中选择一些更有效的特征选择一些更有效的特征来压缩模式特征向量的来压缩模式特征向量的维数。维数。本讲稿第五页，共二十四页二二.离散的离散的K-L变换变换 从从n维特征选取

6、维特征选取m维特征，去掉的（维特征，去掉的（n-m)维特征不一定就是无维特征不一定就是无用的信息。如何在信息损失最小的情况下选取特征呢？用的信息。如何在信息损失最小的情况下选取特征呢？离散的离散的K-L变换又称主成分分析，是一种基于目标统计特性的最变换又称主成分分析，是一种基于目标统计特性的最佳正交变换，被广泛应用于数据压缩，特征降维等方面。离散的佳正交变换，被广泛应用于数据压缩，特征降维等方面。离散的K-L变换具有一些很好的性质：变换具有一些很好的性质：（1）可以使变换后所生成的新分量正交或不相关。）可以使变换后所生成的新分量正交或不相关。（2）用较少的新分量来表示原特征向量时，可达到均方误

7、）用较少的新分量来表示原特征向量时，可达到均方误差最小。差最小。本讲稿第六页，共二十四页离散的离散的K-LK-L变换方法变换方法 将连续随机实函数将连续随机实函数 用已知的正交用已知的正交函数集函数集 的线性组合展开，有：的线性组合展开，有：式中，式中，为展开式的系数。为展开式的系数。为连续正交函数，它为连续正交函数，它满足：满足：式中，式中，为为 的共轭复数式。的共轭复数式。本讲稿第七页，共二十四页 若将连续随机函数若将连续随机函数 和正交函数和正交函数 在在 内等间隔取内等间隔取n个离散点，即个离散点，即并写成向量形式并写成向量形式则有则有 的的n项近似表达式，写为离散展开式：项近似表达式

8、，写为离散展开式：本讲稿第八页，共二十四页 特征选择：特征选择：可看作是从原始的可看作是从原始的 维空间维空间 到维数较到维数较低的低的 维特征空间维特征空间 的一个映射。的一个映射。通常用一个通常用一个 维随机向量维随机向量 来表示一个模式。若来表示一个模式。若 则则 就是一个选择出来的特征向量，这里就是一个选择出来的特征向量，这里 ，是从是从 到到 的映射。的映射。对于映射对于映射 的要求是：的要求是：若用若用 的分量来恢复原始模式的分量来恢复原始模式时，不应使模式产生明显的畸变。时，不应使模式产生明显的畸变。本讲稿第九页，共二十四页 设设 是一个是一个 维的随机向量维的随机向量,则可以用

9、下式展开为则可以用下式展开为:式中，式中，是是 方阵方阵,是是 维列向量。维列向量。本讲稿第十页，共二十四页 i=1,i=2,i=n,相加，有相加，有 本讲稿第十一页，共二十四页 本讲稿第十二页，共二十四页 矩阵矩阵 由由 个线性独立的列向量个线性独立的列向量 组成，所以：组成，所以：因而，矩阵因而，矩阵 的各列构成了包含的各列构成了包含 的的n维空间，维空间，的各列的向量就是这个空间的一个基组。的各列的向量就是这个空间的一个基组。本讲稿第十三页，共二十四页假定假定 的各列形成一个正交归一集，即：的各列形成一个正交归一集，即：如果满足上述条件，则如果满足上述条件，则 的各个分量可由的各个分量可

10、由 给出。给出。的每一个分量都是选择出来的特征。的每一个分量都是选择出来的特征。假定我们只保留假定我们只保留 的一个子集的一个子集 ，用它们估计出，用它们估计出 。我们可以用预先选定的常数来代替不保留的我们可以用预先选定的常数来代替不保留的 的的那些分量，则估计式为：那些分量，则估计式为：本讲稿第十四页，共二十四页 式中式中 是选定的常数。是选定的常数。如果只用如果只用 个分量，则误差为：个分量，则误差为：本讲稿第十五页，共二十四页 由于由于 和和 都是随机向量，用都是随机向量，用 的均的均方误差作为量度方误差作为量度 个特征的子集的有效性的判据，个特征的子集的有效性的判据，有：有：本讲稿第十

11、六页，共二十四页对于选择的每一个对于选择的每一个 和和 ，可以得到一个，可以得到一个 求使求使 取极小值的最佳的取极小值的最佳的 和和 值值.1.求最佳求最佳 令令于是有于是有:均方误差写成均方误差写成:表明：对于不保留的那些分量，表明：对于不保留的那些分量，用他们的平均值来代替，就能用他们的平均值来代替，就能得到最佳的得到最佳的bi值值本讲稿第十七页，共二十四页2.求最佳求最佳本讲稿第十八页，共二十四页 在在 的条件下的条件下,找出使找出使 最小的最小的 。用用Lagrange乘数法求条件极值。令乘数法求条件极值。令:为为Lagrange乘子。乘子。对对 求导数并令其为零可得：求导数并令其为

12、零可得：本讲稿第十九页，共二十四页 说明说明 是矩阵是矩阵 的本征向量，而的本征向量，而 是这个矩阵是这个矩阵相应的第相应的第i个本征值。个本征值。习惯上用习惯上用 表示本征值，所以用表示本征值，所以用 表示表示可得：可得：本讲稿第二十页，共二十四页结论：结论：以矩阵以矩阵 的本征向量作为坐标轴来展开的本征向量作为坐标轴来展开 时，取时，取m个个 来逼近来逼近 时，其均方误差时，其均方误差为为所以，所以，应该把那些本征值大的对应特征保留下来。应该把那些本征值大的对应特征保留下来。如果将本征值从大到小顺序编号如果将本征值从大到小顺序编号则它可作为特征选择的依据。则它可作为特征选择的依据。本讲稿第二十一页，共二十四页举例：设二维样本举例：设二维样本用用K-L变换把特征空间降到一维。变换把特征空间降到一维。解：根据协方差矩阵公式解：根据协方差矩阵公式先求均值向量先求均值向量本讲稿第二十二页，共二十四页求本征值求本征值得得对应的特征向量为对应的特征向量为本讲稿第二十三页，共二十四页因为因为 ，所以略去所以略去降到一维的降到一维的4个样本为个样本为本讲稿第二十四页，共二十四页