模式识别第6章模式特征的选择与提取.ppt

《模式识别第6章模式特征的选择与提取.ppt》由会员分享，可在线阅读，更多相关《模式识别第6章模式特征的选择与提取.ppt（31页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、武汉大学电子信息学院第六章 模式特征的选择与提取 模式识别与神经网络Pattern Recognition and Neural Network内容目录第六章 模式特征的选择与提取 6.1 引言3245 6.2 类别可分离性判据6.3 特征提取与K-L变换6.4 特征的选择6.5 讨论1模式识别与神经网络6.1 引言uu特征的选择与提取是模式识别中重要而困难的一特征的选择与提取是模式识别中重要而困难的一个环节：个环节：分析各种特征的有效性并选出最有代表性的特征是模分析各种特征的有效性并选出最有代表性的特征是模式识别的关键一步式识别的关键一步 降低特征维数在很多情况下是有效设计分类器的重要降低特

2、征维数在很多情况下是有效设计分类器的重要课题课题uu三大类特征：物理、结构和数学特征三大类特征：物理、结构和数学特征物理和结构特征：易于为人的直觉感知，但有时难于：易于为人的直觉感知，但有时难于定量描述，因而不易用于机器判别定量描述，因而不易用于机器判别数学特征：易于用机器定量描述和判别，如基于统计：易于用机器定量描述和判别，如基于统计的特征的特征3第六章 模式特征的选择与提取 特征的形成uu特征形成(acquisition)：信号获取或测量信号获取或测量原始测量原始测量原始特征原始特征uu实例：数字图象中的各像素灰度值数字图象中的各像素灰度值人体的各种生理指标人体的各种生理指标uu原始特征分

3、析：原始特征分析：原始测量不能反映对象本质原始测量不能反映对象本质高维原始特征不利于分类器设计：计算量大，高维原始特征不利于分类器设计：计算量大，冗余，样本分布十分稀疏冗余，样本分布十分稀疏引言引言4第六章 模式特征的选择与提取 特征的选择与提取uu两类提取有效信息、压缩特征空间的方法：特征提取和特征选择u特征提取(extraction)：用映射（或变换）的方法把原始特征变换为较少的新特征u特征选择(selection)：从原始特征中挑选出一些最有代表性，分类性能最好的特征uu特征的选择与提取与具体问题有很大关系，目前没有理论能给出对任何问题都有效的特征选择与提取方法引言引言5第六章 模式特征

4、的选择与提取 特征的选择与提取举例uu细胞自动识别：原始测量：（正常与异常）细胞的数字图像原始测量：（正常与异常）细胞的数字图像原始特征（特征的形成，找到一组代表细胞性原始特征（特征的形成，找到一组代表细胞性质的特征）：细胞面积，胞核面积，形状系数，质的特征）：细胞面积，胞核面积，形状系数，光密度，核内纹理，和浆比光密度，核内纹理，和浆比压缩特征：原始特征的维数仍很高，需压缩以压缩特征：原始特征的维数仍很高，需压缩以便于分类便于分类特征选择：挑选最有分类信息的特征特征选择：挑选最有分类信息的特征特征提取：数学变换特征提取：数学变换 傅立叶变换或小波变换傅立叶变换或小波变换 用用PCAPCA方法

5、作特征压缩方法作特征压缩引言引言6第六章 模式特征的选择与提取 6.2 类别可分离性判据u类别可分离性判据：衡量不同特征及其组合对分类：衡量不同特征及其组合对分类是否有效的是否有效的定量准则uu理想准则：某组特征使分类器错误概率最小理想准则：某组特征使分类器错误概率最小uu实际的类别可分离性判据应满足的条件：实际的类别可分离性判据应满足的条件：度量特性：度量特性：与错误率有单调关系 当特征独立时有可加性：当特征独立时有可加性：单调性：单调性：uu常见类别可分离性判据：基于距离、概率分布、熵常见类别可分离性判据：基于距离、概率分布、熵函数函数7第六章 模式特征的选择与提取 基于距离的可分性判据u

6、类间可分性:=所有样本间的平均距离：可分性可分性判据判据(8-1)squared Euclidian(8-5)类内平均距离类间距离(8-6)8第六章 模式特征的选择与提取 基于距离的可分性判据矩阵形式可分性可分性判据判据基于距离的准则概念直观，计算方便，但与错误率没有直接联系样本类间样本类间离散度矩阵离散度矩阵样本类内样本类内离散度矩阵离散度矩阵类间可分离类间可分离性判据性判据9第六章 模式特征的选择与提取 基于概率的可分性判据uu基于概率的可分性判据：用概率密度函数间的距离来度量可分性可分性判据判据uu散度：10第六章 模式特征的选择与提取 正态分布的散度可分性可分性判据判据Mahalano

7、bis11第六章 模式特征的选择与提取 基于熵函数的可分性判据uu熵函数：可分性可分性判据判据uuShannon熵：uu平方熵：uu熵函数期望表征类别的分离程度：12第六章 模式特征的选择与提取 类别可分离性判据应用举例uu图像分割：Otsu灰度图像阈值算法(Otsu thresholding)uu图像有L阶灰度，ni i是灰度为i的像素数，图像总像素数 N=n1 1+n2 2+nL L灰度为灰度为i i的像素概率：的像素概率：p pi i=n ni i/N N类间方差：类间方差：可分性可分性判据判据13第六章 模式特征的选择与提取 Otsu thresholdinguu灰度图像阈值:可分性可

8、分性判据判据uuOtsu灰度图像二值化算法演示及程序分析:14第六章 模式特征的选择与提取 6.3 特征提取与K-L变换uu特征提取：用映射（或变换）的方法把原始特征变换为较少的新特征uuPCA(Principle Component Analysis)方法：进行特征降维变换，不能完全地表示原有的对象，能量总会有损失。希望找到一种能量最为集中的的变换方法使损失最小uuK-L(Karhunen-Loeve)变换：最优正交线性变换，相应的特征提取方法被称为PCA方法15第六章 模式特征的选择与提取 K-L变换uu离散离散K-LK-L变换：对向量变换：对向量x x用确定的完备正交归一向量用确定的完备

9、正交归一向量系系u uj j展开展开特征特征提取提取16第六章 模式特征的选择与提取 离散K-L变换的均方误差uu用有限项估计用有限项估计x ：特征特征提取提取uu该估计的均方误差：该估计的均方误差：17第六章 模式特征的选择与提取 求解最小均方误差正交基uu用Lagrange乘子法：特征特征提取提取uu结论：以相关矩阵结论：以相关矩阵R R R R的的d d个个本征向量为本征向量为基向量来展开基向量来展开x x x x时，其均方误差为：时，其均方误差为：uK-L变换：当取矩阵：当取矩阵R R R R的的d d个最大本征值对应的本征个最大本征值对应的本征向量向量来展开来展开x x x x时，其

10、截断均方误差最小。这时，其截断均方误差最小。这d d个本个本征向量组成的正交坐标系称作征向量组成的正交坐标系称作x x x x所在的所在的DD维空间的维空间的d d维维K-LK-L变换坐标系，变换坐标系，x x在K-L坐标系上的展开系数向量y y称作x x的K-L变换18第六章 模式特征的选择与提取 K-L变换的表示uuK-L变换的向量展开表示：特征特征提取提取uuK-L变换的矩阵表示：19第六章 模式特征的选择与提取 K-L变换的性质uuy的相关矩阵是对角矩阵：特征特征提取提取20第六章 模式特征的选择与提取 K-L变换的性质特征特征提取提取uuK-L坐标系把矩阵R R对角化，即通过K-L变

11、换消除原有向量x的各分量间的相关性，从而有可能去掉那些带有较少信息的分量以达到降低特征维数的目的21第六章 模式特征的选择与提取 K-L变换图解x1x2u2u1二次曲线方程标准二次曲线方程特征特征提取提取22第六章 模式特征的选择与提取 K-L变换的数据压缩图解uu取取2x12x1变换矩阵变换矩阵U U=u u1 1，则，则x x的的K-LK-L变换变换y y为为为为：y=UT Tx=u1 1T T x=y1uu变换的能量损失为特征特征提取提取23第六章 模式特征的选择与提取 K-L变换的产生矩阵uu数据集KN N=xi i的K-L变换的产生矩阵由数据的二阶统计量决定，即K-L坐标系的基向量为

12、某种基于数据x的二阶统计量的产生矩阵的本征向量uuK-L变换的产生矩阵可以有多种选择：x x的相关函数矩阵的相关函数矩阵R=ER=ExxxxT T x x的协方差矩阵的协方差矩阵C C=E(=E(x-x-)(x-x-)T T 样本总类内离散度矩阵：样本总类内离散度矩阵：特征特征提取提取24第六章 模式特征的选择与提取 未知类别样本的K-L变换uu用总体样本的协方差矩阵C=E(x-)(x-)T T进行K-L变换，K-L坐标系U U=u u1 1,u u2 2,.,.,u ud d 按按照照C C的本征值的下降次序选择的本征值的下降次序选择uu例：设一样本集的协方差矩阵是：例：设一样本集的协方差矩

13、阵是：求最优求最优2x12x1特征提取器特征提取器U U解答：计算特征值及特征向量解答：计算特征值及特征向量V,D=eig(C);V,D=eig(C);特征值特征值D=24.736,2.263D=24.736,2.263T T,特征向量特征向量:由于由于1 1 2 2，故最优最优2x12x1特征提取器特征提取器此时的此时的K-LK-L变换式为：变换式为：特征特征提取提取25第六章 模式特征的选择与提取 6.4 特征的选择u特征选择:=从原始特征中挑选出一些最有代表性、从原始特征中挑选出一些最有代表性、分类性能最好的特征进行分类分类性能最好的特征进行分类uu从从DD个特征中选取个特征中选取d d

14、个个,共共 种组合。若不限定特种组合。若不限定特征选择个数，则共征选择个数，则共2 2DD种组合种组合 典型的组合优化问题典型的组合优化问题uu特征选择的方法大体可分两大类：特征选择的方法大体可分两大类：FilterFilter方法：根据独立于分类器的指标方法：根据独立于分类器的指标J J来评价所选择的来评价所选择的特征子集特征子集S S，然后在所有可能的特征子集中搜索出使得，然后在所有可能的特征子集中搜索出使得J J最大的特征子集作为最优特征子集。不考虑所使用的学最大的特征子集作为最优特征子集。不考虑所使用的学习算法。习算法。WrapperWrapper方法：将特征选择和分类器结合在一起，在

15、学方法：将特征选择和分类器结合在一起，在学习过程中表现优异的的特征子集会被选中。习过程中表现优异的的特征子集会被选中。26第六章 模式特征的选择与提取 经典特征选择算法uu许多特征选择算法力求解决搜索问题，经典算法有：分支定界法分支定界法单独最优特征组合法单独最优特征组合法顺序后退法顺序后退法顺序前进法顺序前进法模拟退火法模拟退火法TabuTabu搜索法搜索法遗传算法遗传算法特征特征选择选择27第六章 模式特征的选择与提取 单独最优特征组合uu计算各特征单独使用时的可分性判据J并加以排队，取前d个作为选择结果uu不一定是最优结果uu当可分性判据对各特征具有(广义)可加性，该方法可以选出一组最优

16、的特征来，例：各类具有正态分布各类具有正态分布各特征统计独立各特征统计独立可分性判据基于可分性判据基于MahalanobisMahalanobis距离距离特征特征选择选择28第六章 模式特征的选择与提取 顺序后退法uu该方法根据特征子集的分类表现来选择特征uu搜索特征子集：从全体特征开始，每次剔除一个特征，使得所保留的特征集合有最大的分类识别率uu依次迭代，直至识别率开始下降为止uu用“leave-one-out”方法估计平均识别率：用N-1个样本判断余下一个的类别，N次取平均特征特征选择选择29第六章 模式特征的选择与提取 6.5 讨论uu特征的选择与提取是模式识别中重要而困难的一步模式识别

17、的第一步：分析各种特征的有效性并模式识别的第一步：分析各种特征的有效性并选出最有代表性的特征选出最有代表性的特征降低特征维数在很多情况下是有效设计分类器降低特征维数在很多情况下是有效设计分类器的重要课题的重要课题uu三大类特征：物理、结构和数学特征物理和结构特征：易于为人的直觉感知，但难物理和结构特征：易于为人的直觉感知，但难于定量描述，因而不易用机器判别于定量描述，因而不易用机器判别数学特征：易于用机器定量描述和判别数学特征：易于用机器定量描述和判别30第六章 模式特征的选择与提取 习题1.1.试推导试推导(8-6)(8-6)式，即：式，即：2.2.试由试由(8-1)(8-1)式推导式推导(8-5)(8-5)式，即：式，即：3.3.习题习题8.1 8.1 9.9.习题习题9.1 9.1 31第六章 模式特征的选择与提取