模式识别(7).ppt

《模式识别(7).ppt》由会员分享，可在线阅读，更多相关《模式识别(7).ppt（49页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 模式识别模式识别 第第7章特征的选择与提取章特征的选择与提取模式识别系统：模式识别系统：7.1 7.1 基本概念基本概念n前几章主要讨论模式识别的重要概念，如前几章主要讨论模式识别的重要概念，如贝叶贝叶斯分类器斯分类器、线性分类器线性分类器等。在讨论这些设计分等。在讨论这些设计分类器的方法时，提到有类器的方法时，提到有一个样本集一个样本集，样本集中，样本集中的样本用一个的样本用一个已经确定的向量已经确定的向量来描述。来描述。n例：对苹果与梨分类例：对苹果与梨分类 尺寸、重量和颜色三尺寸、重量和颜色三种度量。种度量。n即对要分类的样本怎样描述这个问题是已经确即对要分类的样本怎样描述这个问题是已

2、经确定的。在这种条件下研究分类器设计问题是一定的。在这种条件下研究分类器设计问题是一个个选择什么准则、使用什么方法，将已确定的选择什么准则、使用什么方法，将已确定的d维特征空间划分成决策域的问题维特征空间划分成决策域的问题。7.1 7.1 基本概念基本概念n本章要讨论的问题是对已有的本章要讨论的问题是对已有的特征空间进行改特征空间进行改造造，着重于，着重于研究对样本究竟用什么样的度量方研究对样本究竟用什么样的度量方法法更好。更好。n对分类器设计来说，使用什么样的特征描述事对分类器设计来说，使用什么样的特征描述事物，也就是说使用什么样的特征空间是个很重物，也就是说使用什么样的特征空间是个很重要的

3、问题。这个问题称之为描述量的要的问题。这个问题称之为描述量的选择选择问题，问题，即保留哪些描述量，删除哪些描述量的问题。即保留哪些描述量，删除哪些描述量的问题。n由于对特征空间进行改造目的在于提高其某方由于对特征空间进行改造目的在于提高其某方面的性能，因此又称面的性能，因此又称特征的特征的优化优化问题。问题。7.1 7.1 基本概念基本概念核心：核心：如何构造一个特征空间，即对要识别的事物用如何构造一个特征空间，即对要识别的事物用如何构造一个特征空间，即对要识别的事物用如何构造一个特征空间，即对要识别的事物用什么方法进行描述、分析的问题什么方法进行描述、分析的问题什么方法进行描述、分析的问题什

4、么方法进行描述、分析的问题。n对一个具体问题来说，有以下几个不同的层次：对一个具体问题来说，有以下几个不同的层次：1物理量的获取与转换物理量的获取与转换：q指用什么样的传感器获取电信号，如摄取景物则要用摄指用什么样的传感器获取电信号，如摄取景物则要用摄像机，文字与数字识别首先要用扫描仪等设备。这些都像机，文字与数字识别首先要用扫描仪等设备。这些都属于物理量的获取，并且已转换成电信号，为计算机分属于物理量的获取，并且已转换成电信号，为计算机分析打下了基础。析打下了基础。q对从传感器中得到的信号，可以称之为对从传感器中得到的信号，可以称之为原始信息原始信息，因为，因为它要经过加工、处理才能得到对模

5、式分类更加有用的信它要经过加工、处理才能得到对模式分类更加有用的信号号。7.1 7.1 基本概念基本概念n特征形成特征形成(acquisition)：q信号获取或测量信号获取或测量原始测量原始测量q原始特征原始特征n实例实例：q数字图象中的各像素灰度值数字图象中的各像素灰度值q人体的各种生理指标人体的各种生理指标n原始特征分析原始特征分析：q原始测量不能反映对象本质原始测量不能反映对象本质q高维原始特征不利于分类器设计：计算量大，冗余，高维原始特征不利于分类器设计：计算量大，冗余，样本分布十分稀疏样本分布十分稀疏7.1 7.1 基本概念基本概念2.描述事物方法的选择与设计描述事物方法的选择与设

6、计q获得原始信息之后，要对其进一步加工，以获取获得原始信息之后，要对其进一步加工，以获取对分类最有效的信息。关键在于设计所要信息的对分类最有效的信息。关键在于设计所要信息的形式。形式。例：对阿拉伯数字的识别可以提出各种不同的想法：例：对阿拉伯数字的识别可以提出各种不同的想法：分析分析从框架的左边框到数字之间的距离变化反映了不同数字的从框架的左边框到数字之间的距离变化反映了不同数字的从框架的左边框到数字之间的距离变化反映了不同数字的从框架的左边框到数字之间的距离变化反映了不同数字的不同形状不同形状不同形状不同形状，这可以用来作为数字分类的依据。，这可以用来作为数字分类的依据。强调分析不同截面的信

7、号强调分析不同截面的信号强调分析不同截面的信号强调分析不同截面的信号，如在框架的若干部位沿不同方向截，如在框架的若干部位沿不同方向截取截面分析从背景到字，以及从字到背景转换的情况。如取截面分析从背景到字，以及从字到背景转换的情况。如AB截截面切割字符三次，面切割字符三次，CD截面切割字符一次等。截面切割字符一次等。7.1 7.1 基本概念基本概念 设计对事物的描述方法是充分发挥设计者智慧的过程，设计对事物的描述方法是充分发挥设计者智慧的过程，这个层次的工作往往因事物而易，与设计者本人的知识结这个层次的工作往往因事物而易，与设计者本人的知识结构也有关。构也有关。这个层次的工作是最关键的，但因为太

8、缺乏共性，也不这个层次的工作是最关键的，但因为太缺乏共性，也不是本章讨论的内容。是本章讨论的内容。7.1 7.1 基本概念基本概念3特征空间的优化特征空间的优化q 本层次工作发生在已有了特征的描述方法之后，本层次工作发生在已有了特征的描述方法之后，也就是已有了一个也就是已有了一个初始的特征空间初始的特征空间初始的特征空间初始的特征空间，如何对它，如何对它进进进进行改造与优化行改造与优化行改造与优化行改造与优化的问题。的问题。q 要对初始的特征空间进行优化是为了要对初始的特征空间进行优化是为了降维降维降维降维。即初。即初始的特征空间维数较高。能否改成一个维数较低始的特征空间维数较高。能否改成一个

9、维数较低的空间，称为优化，优化后的特征空间应该更有的空间，称为优化，优化后的特征空间应该更有利于后续的分类计算，这就是本章着重讨论的问利于后续的分类计算，这就是本章着重讨论的问题。题。7.1 7.1 基本概念基本概念n对特征空间进行优化有两种基本方法：对特征空间进行优化有两种基本方法：qq特征选择特征选择特征选择特征选择：删掉部分特征；：删掉部分特征；qq特征的组合优化特征的组合优化特征的组合优化特征的组合优化：要通过一种映射，也就是说新的：要通过一种映射，也就是说新的每一个特征是原有特征的一个函数。每一个特征是原有特征的一个函数。假设已有假设已有D维特征向量空间维特征向量空间 ，则，则所谓特

10、所谓特征选择征选择是指从原有的是指从原有的D维特征空间，删去一些特征描述量，维特征空间，删去一些特征描述量，从而得到精简后的特征空间。在这个特征空间中，样本由从而得到精简后的特征空间。在这个特征空间中，样本由d维的特征向量描述：维的特征向量描述：，dD。由于。由于X只只是是Y的一个子集，因此每个分量的一个子集，因此每个分量xi必然能在原特征集中找到必然能在原特征集中找到其对应的描述量其对应的描述量xiyj。7.1 7.1 基本概念基本概念而而特征提取特征提取则是找到一个映射关系：则是找到一个映射关系：A:YX；使新样本特；使新样本特征描述维数比原维数降低。其中每个分量征描述维数比原维数降低。其

11、中每个分量xi是原特征向量各是原特征向量各分量的函数，即分量的函数，即 。因此这两种降维的基本方法是不同的。在实际应用中可将因此这两种降维的基本方法是不同的。在实际应用中可将两者结合起来使用，比如先进行特征提取，然后再进一步两者结合起来使用，比如先进行特征提取，然后再进一步选择其中一部分，或反过来。选择其中一部分，或反过来。特征的选择与提取特征的选择与提取n两类提取有效信息、压缩特征空间的方法：特征提取和特征选择n特征提取(extraction)：用映射（或变换）的方法把原始特征变换为较少的新特征n特征选择(selection)：从原始特征中挑选出一些最有代表性，分类性能最好的特征n特征的选择

12、与提取与具体问题有很大关系，目前没有理论能给出对任何问题都有效的特征选择与提取方法特征的选择与提取举例特征的选择与提取举例n细胞自动识别：q原始测量：（正常与异常）细胞的数字图像q原始特征（特征的形成，找到一组代表细胞性质的特征）：细胞面积，胞核面积，形状系数，光密度，核内纹理，核浆比q压缩特征：原始特征的维数仍很高，需压缩以便于分类n特征选择：挑选最有分类信息的特征n特征提取：数学变换q傅立叶变换或小波变换思考：思考：n设原特征空间表示成n现在在x空间基础上得到一个二维的特征空间n其中若 ，属特征选择还是组合优化？n若 ，属特征选择还是组合优化？7.2 7.2 类别可分离性判据类别可分离性判

13、据n特征选择与特征提取的任务是特征选择与特征提取的任务是求出一组求出一组对分类最有效的特对分类最有效的特征征，所谓有效是，所谓有效是指在特征维数减少到同等水平时，其分指在特征维数减少到同等水平时，其分类性能最佳类性能最佳。n因此需要有定量分析比较的方法，判断所得到的特征维数因此需要有定量分析比较的方法，判断所得到的特征维数及所使用特征是否对分类最有利，这种用以定量检验分及所使用特征是否对分类最有利，这种用以定量检验分类性能的准则称为类性能的准则称为类别可分离性判据。类别可分离性判据。类别可分离性判据。类别可分离性判据。n理想准则：某组特征使分类器错误概率最小。理想准则：某组特征使分类器错误概率

14、最小。n常见类别可分离性判据：常见类别可分离性判据：基于距离的可分性判据基于距离的可分性判据：计算样本在特征空间离散程度：计算样本在特征空间离散程度 基于概率密度分布的判据基于概率密度分布的判据基于距离的可分性判据基于距离的可分性判据n基于距离度量是人们常用来进行分类的重要依据，因为一基于距离度量是人们常用来进行分类的重要依据，因为一般情况下同类物体在特征空间呈聚类状态，即从总体上说般情况下同类物体在特征空间呈聚类状态，即从总体上说同类物体内各样本由于具有共性，因此类内样本间距离应同类物体内各样本由于具有共性，因此类内样本间距离应比跨类样本间距离小。比跨类样本间距离小。n Fisher准则准则

15、正是以使正是以使类间距离尽可能大同时又保持类内类间距离尽可能大同时又保持类内距离较小距离较小这一种原理为基础的。这一种原理为基础的。n基于距离的可分性判据的实质是基于距离的可分性判据的实质是FisherFisher准则准则准则准则的延伸，即综的延伸，即综合考虑不同类样本的合考虑不同类样本的类内聚集程度类内聚集程度类内聚集程度类内聚集程度与与类间的离散程度类间的离散程度类间的离散程度类间的离散程度这两这两个因素。换句话说，这种判据的优化体现出个因素。换句话说，这种判据的优化体现出降维后的特征降维后的特征降维后的特征降维后的特征空间较好地体现类内密集、类间分离的要求空间较好地体现类内密集、类间分离

16、的要求空间较好地体现类内密集、类间分离的要求空间较好地体现类内密集、类间分离的要求。换句话说一。换句话说一些不能体现类间分隔开的特征很可能被排除掉了。些不能体现类间分隔开的特征很可能被排除掉了。基于距离的可分性判据基于距离的可分性判据nFisher准则时曾用过两个描述离散度的矩阵。一个准则时曾用过两个描述离散度的矩阵。一个是类间离散矩阵是类间离散矩阵Sbn另一个是类内离散度矩阵另一个是类内离散度矩阵SW 以上式子是针对两类别情况的，如果推广至以上式子是针对两类别情况的，如果推广至c类别情况？类别情况？基于距离的可分性判据基于距离的可分性判据n如果推广至如果推广至c类别情况，同时考虑各类的先验概

17、率类别情况，同时考虑各类的先验概率Pi不等，则可将上列各式表示成：不等，则可将上列各式表示成：其中，其中，为总均值向量，为总均值向量，Pi表示各类别的先验表示各类别的先验概率，概率，Ei表示表示i类的期望符号。类的期望符号。基于距离的可分性判据基于距离的可分性判据其中其中“tr”表示矩阵的迹（对角线元素的和）。表示矩阵的迹（对角线元素的和）。各类特征向量之间的平均距离各类特征向量之间的平均距离可写成：可写成：n计算所有样本平均距离作为判据计算所有样本平均距离作为判据其中其中Pi、Pj 分别表示各类的先验概率，分别表示各类的先验概率，ni、nj分别是第分别是第i与与j类的样本个数，类的样本个数，

18、用用 来表示第来表示第i类的第类的第k个与个与j类第类第l个样本之间的距离度量。在欧氏距离情况下，有：个样本之间的距离度量。在欧氏距离情况下，有：基于距离的可分性判据基于距离的可分性判据 右边括弧里的前一项涉及类内各特征向量之间的平均距离，右边括弧里的前一项涉及类内各特征向量之间的平均距离，后一项则是类间距离项。后一项可写成后一项则是类间距离项。后一项可写成 可分性判据可分性判据基于距离的准则概念直观，计算方便，但与错误率没有直接联系样本类间样本类间离散度矩阵离散度矩阵样本类内样本类内离散度矩阵离散度矩阵类间可分离类间可分离性判据性判据估估计计值值可分性判据可分性判据n有限样本集：有限样本集：

19、类内类间距离其它判据类内类间距离其它判据 判据判据Jd(X)是计算特征向量的总平均距离，以下一些判据是计算特征向量的总平均距离，以下一些判据则基于使则基于使类间离散度尽量大类间离散度尽量大类间离散度尽量大类间离散度尽量大，类内离散度尽量小类内离散度尽量小类内离散度尽量小类内离散度尽量小的考虑的考虑而提出：而提出：使判据最大？使判据最大？使判据最大？使判据最大？各种距离度量各种距离度量 绝对值距离（城市距离、棋盘距离）绝对值距离（城市距离、棋盘距离）s阶明考夫斯基距离阶明考夫斯基距离 欧几里德距离欧几里德距离 已知两个样本已知两个样本 Xi=(Xi1,Xi2,Xi3,Xin)T Xj=(Xj1,

20、Xj2,Xj3,Xjn)T利用判据利用判据J2 2进行特征提取的步骤：进行特征提取的步骤：使判据使判据J2 2，J3 3，J4 4，J5 5最大的变换最大的变换W例题：例题：7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取nK-L变换，是一种常用的变换，是一种常用的正交变换正交变换，K-L变换变换常用来作为常用来作为数据压缩数据压缩，这里我们用它作，这里我们用它作降维降维。n学习这一节主要要掌握以下几个问题：学习这一节主要要掌握以下几个问题：n1什么是正交变换；什么是正交变换；n2K-L变换是一种最佳的正交变换，要弄清是什变换是一种最佳的正交变换，要弄清是什么意义的最佳，也

21、就是说它最佳的定义；么意义的最佳，也就是说它最佳的定义；n 3K-L变换的性质；变换的性质；7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取n n正交变换概念正交变换概念正交变换概念正交变换概念q变换是一种工具，它的用途归根结底是用来变换是一种工具，它的用途归根结底是用来描述事物描述事物，特别是描述信号用的。例如我们看到一个复杂的时序信特别是描述信号用的。例如我们看到一个复杂的时序信号，希望能够对它进行描述。描述事物的基本方法之一号，希望能够对它进行描述。描述事物的基本方法之一是将复杂的事物化成简单事物的组合是将复杂的事物化成简单事物的组合,或对其进行分解，或对其进行分解，

22、分析其组成的成分。分析其组成的成分。q例如对一波形，我们希望知道它是快速变化的例如对一波形，我们希望知道它是快速变化的(高频高频)，还是缓慢变化的还是缓慢变化的(低频低频)，或是一成不变的，或是一成不变的(常量常量)。如果。如果它既有快速变化的成分，又有缓慢变化的成分，又有常它既有快速变化的成分，又有缓慢变化的成分，又有常量部分，那么我们往往希望量部分，那么我们往往希望将它的成分析取出来将它的成分析取出来。这时。这时我们就要用到我们就要用到变换。变换。变换。变换。7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取n n正交变换概念正交变换概念正交变换概念正交变换概念q变换的变

23、换的实质是一套度量用的工具实质是一套度量用的工具实质是一套度量用的工具实质是一套度量用的工具，例如用大尺子度，例如用大尺子度量大的东西，用小尺子度量小的东西，在信号处理量大的东西，用小尺子度量小的东西，在信号处理中用高频，低频或常量来衡量一个信号中的各种不中用高频，低频或常量来衡量一个信号中的各种不同成分。对某一套完整的工具就称为某种变换。同成分。对某一套完整的工具就称为某种变换。q如如傅里叶变换傅里叶变换傅里叶变换傅里叶变换就是用一套随时间正弦、余弦变化的就是用一套随时间正弦、余弦变化的信号作为度量工具，这些正弦，余弦信号的频率是信号作为度量工具，这些正弦，余弦信号的频率是各不相同的，才能度

24、量出信号中相应的不同频率成各不相同的，才能度量出信号中相应的不同频率成分。分。7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取图7-1图7-2a图7-2bq例如，图例如，图7-1中的信号只有一个单一频率的简谐信号，而中的信号只有一个单一频率的简谐信号，而图图7-2(a)中信号就不是一个简谐信号所描述的，它起码可以中信号就不是一个简谐信号所描述的，它起码可以分解成图分解成图7-2b中的两个成分，一是基波，另一是三次谐波。中的两个成分，一是基波，另一是三次谐波。7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取n由此可以看出，对事物可以有不同的描述方法，如图由

25、此可以看出，对事物可以有不同的描述方法，如图7-2(a)是对信号的是对信号的一种描述一种描述一种描述一种描述，而图，而图7-2(b)则利用则利用成分分解成分分解成分分解成分分解，得到该事物的得到该事物的另一种描述另一种描述另一种描述另一种描述。当将一事物从一种描述转换成。当将一事物从一种描述转换成另一种描述时，就要用不同的工具，因而另一种描述时，就要用不同的工具，因而每一套工具称为每一套工具称为每一套工具称为每一套工具称为一种变换一种变换一种变换一种变换。n为了对复杂事物进行经济有效的描述，我们希望为了对复杂事物进行经济有效的描述，我们希望将其分解将其分解成相互独立的成分成相互独立的成分，譬如

26、我们分析其快速变化的成分时，譬如我们分析其快速变化的成分时，就希望它不再混杂其它成分。就希望它不再混杂其它成分。n 傅里叶变换为例，希望它分析出某种频率的成分，就不要傅里叶变换为例，希望它分析出某种频率的成分，就不要包含其它任何频率的成分。这就要求，包含其它任何频率的成分。这就要求，作为变换的工具中作为变换的工具中的每个成分是的每个成分是相互独立相互独立相互独立相互独立的，用其中某一个工具就只能从信的，用其中某一个工具就只能从信号中分析出一种成分，而分析不出其它成分。号中分析出一种成分，而分析不出其它成分。7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取 用变换对信号进行分

27、析，所使用的数学工具是用变换对信号进行分析，所使用的数学工具是点积点积点积点积。点积的。点积的实质就是两个信号中相同成分之间乘积之总和。图实质就是两个信号中相同成分之间乘积之总和。图7-3(a)中是中是两个随时间连续变化的信号，它们之间的点积运算定义为两个随时间连续变化的信号，它们之间的点积运算定义为图7-3a在这里同一成分是指同一时刻在这里同一成分是指同一时刻t两个信号的值两个信号的值F(t)与与G(t)。积分就是。积分就是在在整个时间域上求和整个时间域上求和整个时间域上求和整个时间域上求和。7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取图图7-3(b)中的向量中的向量

28、A与与B在一个二维空间定义，它们两者分别含有成在一个二维空间定义，它们两者分别含有成分为分为(a1,a2)与与(b1,b2)，a1与与b1是两者的同一种成分，是两者的同一种成分，a2与与b2则则是另一种成分。故它们的点积定义为是另一种成分。故它们的点积定义为a1b1+a2b2，在这种条件下就在这种条件下就不需要积分，而只是不需要积分，而只是简单求和。简单求和。简单求和。简单求和。图7-3b7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取点积运算的结果是一个数值，或大于零，小于零或等于零点积运算的结果是一个数值，或大于零，小于零或等于零等于零的情况在图等于零的情况在图7-3(

29、b)中出现在中出现在A与与B之间夹角为之间夹角为90的的情况，这表明情况，这表明B中没有中没有A的成分，的成分，A中也没有中也没有B的成分，因的成分，因此又称此又称相互正交相互正交相互正交相互正交。由此我们知道作为一种变换，由此我们知道作为一种变换，如果这种变换中的每一种成分如果这种变换中的每一种成分与其它成分都正交时，它们之间的关系就相互独立了与其它成分都正交时，它们之间的关系就相互独立了，每一，每一种成分的作用是其它成分所不能代替的。拿傅里叶变换来说，种成分的作用是其它成分所不能代替的。拿傅里叶变换来说，频率为频率为f的成分只能靠变换频率为的成分只能靠变换频率为f的成分去析取。的成分去析取

30、。另一方面也说明了这套变换必须是完备的，也就是它必须包含另一方面也说明了这套变换必须是完备的，也就是它必须包含一切必要的成分，例如必须有基波的任何一次整数倍频率的谐一切必要的成分，例如必须有基波的任何一次整数倍频率的谐波，否则就会对信号分析不全面。波，否则就会对信号分析不全面。7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取上式中要求上式中要求uiTui=1，是考虑到是考虑到ui是作为度量事物的单位应是作为度量事物的单位应用的，它本身的模应该为用的，它本身的模应该为1，ui又称为又称为某一个基某一个基某一个基某一个基。而被分解后。而被分解后的任何事物的任何事物(在此指信号在

31、此指信号)可等成各种成分之和。故任一信号可等成各种成分之和。故任一信号X可表示成：可表示成：其中其中ci是相应基是相应基ui的相应成分。的相应成分。综合以上分析，我们可以将对这种变换的定义总结为：综合以上分析，我们可以将对这种变换的定义总结为：如果将这种变换中的每一成分，用一个向量如果将这种变换中的每一成分，用一个向量ui表示，表示，i是其是其下标，原理上可以到下标，原理上可以到，则我们要求的正交变换可表示成：，则我们要求的正交变换可表示成：7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取n基于基于Karhunen-Loeve变换的特征提取方法是变换的特征提取方法是以在特以

32、在特以在特以在特征空间分布的样本特征向量为原始数据，通过实行征空间分布的样本特征向量为原始数据，通过实行征空间分布的样本特征向量为原始数据，通过实行征空间分布的样本特征向量为原始数据，通过实行K-K-L L变换，找到维数较少的组合特征，达到降维的目的变换，找到维数较少的组合特征，达到降维的目的变换，找到维数较少的组合特征，达到降维的目的变换，找到维数较少的组合特征，达到降维的目的。由于样本的描述都是离散的向量，因此我们只讨论由于样本的描述都是离散的向量，因此我们只讨论K-L变换的离散情况。变换的离散情况。nK-L变换：对给定一个变换：对给定一个D维训练样本集（原始特征空维训练样本集（原始特征空

33、间），进行特征空间的降维，降到间），进行特征空间的降维，降到d维，维，dD。也就。也就是说将是说将d+1维以上的成分略去，显然原信号会因此受维以上的成分略去，显然原信号会因此受到一些损失。到一些损失。7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取nK-L变换的变换的最佳最佳体现在体现在对给定一个训练样本集对给定一个训练样本集条件下，能使这种误差从总体上来说是最小条件下，能使这种误差从总体上来说是最小。注意这里讲的是总体，这是因为降维以后，训注意这里讲的是总体，这是因为降维以后，训练样本集中的每个样本数据都受到损失，要衡练样本集中的每个样本数据都受到损失，要衡量的是总体效果

34、。这种情况下量的是总体效果。这种情况下最常用的指标是最常用的指标是均方误差最小均方误差最小，或称均方误差的期望值最小，或称均方误差的期望值最小。这就是说要找的正交变换能使一组样本集的均这就是说要找的正交变换能使一组样本集的均方误差的期望值为最小。方误差的期望值为最小。7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取K-LK-L变换是一种正交变换变换是一种正交变换变换是一种正交变换变换是一种正交变换，即将一个向量，即将一个向量x，在，在某一种坐某一种坐某一种坐某一种坐标系统中的描述标系统中的描述标系统中的描述标系统中的描述，转换成用转换成用转换成用转换成用另一种基向量组成的坐

35、标系另一种基向量组成的坐标系另一种基向量组成的坐标系另一种基向量组成的坐标系来来来来表示表示表示表示。这组。这组基向量是正交的基向量是正交的，其中每个坐标基向量用，其中每个坐标基向量用uj表表示，示，j=1,，因此，一个向量因此，一个向量x可表示成可表示成我们将表示的无限多维基向量坐标系统改成有限维坐标我们将表示的无限多维基向量坐标系统改成有限维坐标系近似，即：系近似，即：7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取我们希望我们希望在同样维数条件下，使向量在同样维数条件下，使向量X的估计量误差的估计量误差最小最小。确切地说是使所引起的均方误差为最小。确切地说是使所引起的

36、均方误差为最小。7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取要使均方误差最小是一个要使均方误差最小是一个求极值的问题求极值的问题，即求最佳的正交，即求最佳的正交变换的基变换的基ui，i=1,。因此还要因此还要满足变换是满足变换是满足变换是满足变换是正交归一正交归一正交归一正交归一这个这个这个这个条件条件条件条件，因此这是一个，因此这是一个求条件极值求条件极值求条件极值求条件极值的问题，一般方法是利用的问题，一般方法是利用拉格朗日乘子法拉格朗日乘子法将条件数值转换成一个求无条件极值的问将条件数值转换成一个求无条件极值的问题，实质求解过程是对拉格朗日函数题，实质求解过程是对

37、拉格朗日函数g(ui)求偏导而得出的求偏导而得出的结果。结果。7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取用矩阵=ExxT 的前d 个本征值（从大到小排列）对应的本征向量作为基来展开x 时，截断误差在所有用d 维正交坐标系展开中是最小的。u j，j=1,2,d 张成了新的特征空间.展开系数cj=ujTx,j=1,2,d 则组成了新的特征向量.7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取向量向量 应是应是 矩阵的特

38、征值矩阵的特征值 的特征向的特征向量，而此时截断误差为量，而此时截断误差为 。如将。如将 按其大小顺序按其大小顺序排列，即排列，即 则取前则取前d项特征值对应的特征向量组成的坐标系，可使项特征值对应的特征向量组成的坐标系，可使向量的均方误差为最小。向量的均方误差为最小。满足上述条件的变换就是满足上述条件的变换就是满足上述条件的变换就是满足上述条件的变换就是K-LK-L变变变变换换换换。7.3 7.3 基于基于K KL L展开式的特征提取展开式的特征提取n nK-LK-L变换变换变换变换的基并没有固定的形式，它的基并没有固定的形式，它是从对给定数据是从对给定数据是从对给定数据是从对给定数据集集集

39、集xx进行计算产生的进行计算产生的进行计算产生的进行计算产生的。换句话说，。换句话说，给定的给定的数据集不数据集不数据集不数据集不同同同同，得到的，得到的K-L变换变换基函数也因此而不同基函数也因此而不同基函数也因此而不同基函数也因此而不同。正是因为。正是因为它对给定数据集它对给定数据集x存在依赖关系，它在降低维数时存在依赖关系，它在降低维数时仍能较好地描述数据，因此是仍能较好地描述数据，因此是模式识别中降低特征空模式识别中降低特征空模式识别中降低特征空模式识别中降低特征空间维数的有效方法间维数的有效方法间维数的有效方法间维数的有效方法。n但是由于它的正交基函数族是从训练样本集中计算出但是由于

40、它的正交基函数族是从训练样本集中计算出来的，因此来的，因此并不存在一种对任何数据都适用的并不存在一种对任何数据都适用的K-L变变换基换基，一般的作法是先用一组训练数据计算出一般的作法是先用一组训练数据计算出一般的作法是先用一组训练数据计算出一般的作法是先用一组训练数据计算出K-LK-L变变变变换基，然后用这组基来分析其它数据换基，然后用这组基来分析其它数据换基，然后用这组基来分析其它数据换基，然后用这组基来分析其它数据。K KL L变换的性质变换的性质K KL L变换的性质变换的性质基于基于K KL L变换的数据压缩举例变换的数据压缩举例给出样本数据如下：给出样本数据如下：试用试用K-LK-L变换作一维数据压缩。变换作一维数据压缩。思路思路思路思路：1 1）求总体均值向量；）求总体均值向量；2 2）求）求产生矩阵产生矩阵；3 3）求产生矩阵的特征值）求产生矩阵的特征值i 及特征向量及特征向量 ；4 4）按）按i排序，确定变换矩阵排序，确定变换矩阵W；5 5）利用利用 求新的一维样本。求新的一维样本。