第八章特征选择与特征提取2014.ppt
第八章第八章 特征选择与特征提取特征选择与特征提取2014模式识别，第八章2第八章第八章 特征选择与特征提取特征选择与特征提取2014特征是决定样本之间的相似性和分类器设计的关键如何找到合适的特征是模式识别的核心问题在实际问题中,常常不容易找到那些最重要的特征 或者受条件限制不能对它们进行测量,这使得特征选择和提取的任务复杂化 特征选择成为构造模式识别系统、提高决策精度的最困难的任务之一模式识别，第八章3第八章第八章 特征选择与特征提取特征选择与特征提取2014模式三大基本特征：物理、结构和数字特征物理和结构特征：易于为人的直觉感知，但有时难于定量描述，因而不易用于机器判别数字特征：易于用机器定量描述和判别，如基于统计的特征模式识别，第八章4第八章第八章 特征选择与特征提取特征选择与特征提取2014一般情况下普遍认为，增加特征向量的维数（增加特征数）将有助于提高分类器的质量但实际应用中特征维数却收到多方面因素的约束和限制用较多的特征进行分类器设计，无论从计算的复杂程度还是就分类器性能来看都是不适宜的 模式识别，第八章5第八章 特征选择与特征提取2014特征形成特征形成(acquisition)：信号采集信号采集原始测量原始测量原始特征原始特征实例实例数字图像中的各像素灰度值数字图像中的各像素灰度值人体的各种生理指标人体的各种生理指标语音的音调周期、共振峰、声道参数、频谱语音的音调周期、共振峰、声道参数、频谱模式识别，第八章6第八章 特征选择与特征提取2014高维原始特征不利于分类器设计高维原始特征不利于分类器设计计算量大计算量大信息冗余信息冗余模式识别，第八章7第八章 特征选择与特征提取2014分析原始特征的有效性，选出最有代表性的特征是模式识别的关键一步降低特征维数在很多情况下是有效设计分类器的重要课题模式识别，第八章8第八章 特征选择与特征提取2014两类获取有效特征信息、压缩特征空间的方法：特征提取和特征选择基本任务是如何从原始特征中获取最有效的信息模式识别，第八章9第八章 特征选择与特征提取2014特征选择(selection)从原始特征中挑选出一些最有代表性，分类性能最好的特征特征提取(extraction)通过映射或变换的方法把高维的原始特征变换为低维的新特征，新的特征包含了原有特征的有用信息模式识别，第八章10第八章 特征选择与特征提取2014目前，还没有特征选择和提取的一般方法，这是由于特征选择一般是面向问题的，很难对这些方法去作评价和比较 特征选择与提取是模式识别中重要而困难的一个环节模式识别，第八章11第八章 特征选择与特征提取2014细胞自动识别原始测量 正常或异常细胞的数字图像原始特征 找到一组代表细胞性质的特征：细胞面积，胞核面积，形状系数，光密度，核内纹理，和浆比 原始特征的维数仍很高，需压缩以便于分类！模式识别，第八章12第八章 特征选择与特征提取2014细胞自动识别特征选择 挑选最有分类信息的特征特征提取 数学变换：傅立叶变换或小波变换、特征压缩模式识别，第八章13第八章第八章 特征选择与特征提取特征选择与特征提取2014特征选择的任务是从一组数量为D的特征中选择出数量为d(D d)的一组最优特征各个特征之间存在复杂的相互关系 如果仅对每个单独的特征按照一定的统计进行排队,取排在前面的d个特征 所得结果在大多数情况下不是最优特征组模式识别，第八章14第八章第八章 特征选择与特征提取特征选择与特征提取2014从D个特征中选择出d个最优的特征,在这两个参数都已知的状况下,所有可能的组合数为如果D=100，d=10，则的Q数量级是1013模式识别，第八章15第八章第八章 特征选择与特征提取特征选择与特征提取2014在实际问题的研究过程当中，D的维数往往远远高于100例如,在利用生物芯片来进行药物设计和癌症诊断时,其产生的有效特征维数往往在10000左右实际需要选取的优化特征组的特征数量是未知的寻找可行的特征选择算法已逐渐成为国际上研究的热点模式识别，第八章16第八章第八章 特征选择与特征提取特征选择与特征提取2014一般来看，特征选择（确定优化的特征子集）需要两个主要步骤确定评价准则来评价所选择的特征子集的性能确定进行特征搜索所需要的策略模式识别，第八章17第八章第八章 特征选择与特征提取特征选择与特征提取2014按搜索策略划分的特征选择算法全局最优搜索策略 “分支定界”算法：该方法能保证在事先确定优化特征子集中特征数目的情况下,找到相对于所设计的可分性判据而言的最优特征子集。如何事先确定优化特征子集当中特征的数目？当处理高维度多类问题时，算法运算效率低下模式识别，第八章18第八章第八章 特征选择与特征提取特征选择与特征提取2014按搜索策略划分的特征选择算法随机搜索策略 将特征选择视为组合优化问题，采用非全局最优搜索方法 把特征选择问题和模拟退火算法、禁忌搜索算法、遗传算法、或随机重采样过程结合,以概率推理和采样过程作为算法基础 遗传算法在这一领域的应用最为广泛模式识别，第八章19第八章第八章 特征选择与特征提取特征选择与特征提取2014按搜索策略划分的特征选择算法启发式搜索策略 单独最优特征组合算法 序列前向选择算法 序列后向选择算法 浮动搜索算法模式识别，第八章20第八章第八章 特征选择与特征提取特征选择与特征提取2014特征选择的原则选择反映模式本质特性的参数作为特征使样本类间距离较大、类内距离较小与类别信息不相关的变换（平移、旋转、尺度变换）具有不变性尽量选择相关性小的特征尽可能不受噪声的干扰模式识别，第八章21第八章 特征选择与特征提取2014K-L变换(Karhunen-Loeve Transform,卡洛南-洛伊变换)是将高维特征向量映射为低维特征向量的有效方法目的：提取出空间原始数据的主要特征(主元或主成份)，减少数据冗余，使得数据在一个低维的特征空间被处理，同时保持原始数据的绝大部份有用信息，从而解决数据维度过高的瓶颈问题。模式识别，第八章22方法：将 维特征向量 ，通过特征变换得到另一 维特征向量特征向量 ，使得 与原向量 的均方误差最小 模式识别，第八章23第八章 特征选择与特征提取2014设 为 维特征向量，即：现在 维特征空间中选取一组新的正交基底向量 即：模式识别，第八章24第八章 特征选择与特征提取2014将 在该基底向量上进行投影得到新向量 ，即 则向量 可表示为：模式识别，第八章25第八章 特征选择与特征提取2014X原空间原空间Y新空间新空间y1y2x1x2模式识别，第八章26第八章 特征选择与特征提取2014可见不同的基底向量 ，将 投影后可产生不同的向量现要寻求一组有效的基底向量，实现特征压缩的目的 模式识别，第八章27第八章 特征选择与特征提取2014考虑：模式识别，第八章28第八章 特征选择与特征提取2014 将 中 以后各项用常数 代替得：模式识别，第八章29第八章 特征选择与特征提取2014 定义误差向量模式识别，第八章30第八章 特征选择与特征提取2014X原空间原空间y新空间新空间yX模式识别，第八章31第八章 特征选择与特征提取2014则平方误差为模式识别，第八章32第八章 特征选择与特征提取2014由于则有模式识别，第八章33第八章 特征选择与特征提取2014若现有一批样本，则均方误差为：可见，均方误差与基底向量 和 有关 模式识别，第八章34第八章 特征选择与特征提取2014如何选择 和 ，使得均方误差 最小？为什么要这样做？模式识别，第八章35第八章 特征选择与特征提取2014首先考虑若 确定，如何选择？令 即模式识别，第八章36第八章 特征选择与特征提取2014则有模式识别，第八章37第八章 特征选择与特征提取2014再考虑当 用最佳值 代替后，如何确定？模式识别，第八章38第八章 特征选择与特征提取2014 确定后，均方误差模式识别，第八章39第八章 特征选择与特征提取2014即：协方差矩阵协方差矩阵经典数学问题经典数学问题模式识别，第八章40第八章 特征选择与特征提取2014结论：使均方误差 最小的基底向量 ，即是协方差矩阵 的本征向量 如何求本征向量？模式识别，第八章41第八章 特征选择与特征提取2014本征值协方差矩阵 的本征值，即满足 的 值共有i 个本征值单位矩阵单位矩阵模式识别，第八章42第八章 特征选择与特征提取2014本征向量满足方程 的向量共有i 个本征向量模式识别，第八章43第八章 特征选择与特征提取2014当 为协方差矩阵 的本征向量时，均方误差可见应保留本征值较大的本征向量为基底向量！为什么？模式识别，第八章44第八章 特征选择与特征提取2014总结：将 压缩到 将产生误差 压缩维数越多 将越大，即丢失的信息越多。模式识别，第八章45第八章 特征选择与特征提取2014为了有效减少 ，应在压缩时，保留本征较大的本征向量为基底向量，即排序而选择本征值较大的m个本征向量为基底向量压缩后的特征向量为 模式识别，第八章46第八章 特征选择与特征提取2014而称为X的m个主成份模式识别，第八章47第八章 特征选择与特征提取2014K-L变换进行特征维数压缩的过程：获取一批学习样本 计算其均值 计算其协方差矩阵计算协方差矩阵的n个本征值 模式识别，第八章48第八章 特征选择与特征提取2014将 由大到小排序值为 计算本征值对应的本征向量 ，即 根据具体要求将特征向量降为m维向量 模式识别，第八章49第八章 特征选择与特征提取2014例：设已知样本的特征向量为：试用K-L变换将X压缩为一维的4个样本，并求出均方误差 模式识别，第八章50第八章 特征选择与特征提取2014X2X3X4X1模式识别，第八章51第八章 特征选择与特征提取2014解：求出样本均值（期望值）模式识别，第八章52第八章 特征选择与特征提取2014求协方差矩阵 模式识别，第八章53第八章 特征选择与特征提取2014计算协方差矩阵的本征值 即计算 解得模式识别，第八章54第八章 特征选择与特征提取2014计算协方差矩阵的本征向量 解得：模式识别，第八章55第八章 特征选择与特征提取2014特征压缩后 模式识别，第八章56第八章 特征选择与特征提取2014Y3Y4Y1Y2模式识别，第八章57第八章 特征选择与特征提取2014均方误差
