模式识别第七章特征提取与选择.ppt
《模式识别第七章特征提取与选择.ppt》由会员分享,可在线阅读,更多相关《模式识别第七章特征提取与选择.ppt(49页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、模式识别第七章特征提取与选择1现在学习的是第1页,共49页第七章第七章 特征提取与选择特征提取与选择 7.1 7.1 概概 述述2现在学习的是第2页,共49页 模式识别的三大核心问题模式识别的三大核心问题:第七章第七章 特征提取与选择特征提取与选择7.1概述概述特征数据采集特征数据采集分类识别分类识别特征提取与选择特征提取与选择 分类识别的正确率取决于对象的表示、训练学习分类识别的正确率取决于对象的表示、训练学习和分类识别算法,我们在前面各章的介绍中详细讨论和分类识别算法,我们在前面各章的介绍中详细讨论了后两方面的内容。本章介绍的特征提取与选择问题了后两方面的内容。本章介绍的特征提取与选择问题
2、则是对象表示的一个关键问题。则是对象表示的一个关键问题。3现在学习的是第3页,共49页 通常在得到实际对象的若干具体特征之后,通常在得到实际对象的若干具体特征之后,再由这些原始特征产生出对分类识别最有效、再由这些原始特征产生出对分类识别最有效、数目最少的特征,这就是特征提取与选择的任数目最少的特征,这就是特征提取与选择的任务。从本质上讲,我们的目的是使在最小维数务。从本质上讲,我们的目的是使在最小维数特征空间中异类模式点相距较远(类间距离较特征空间中异类模式点相距较远(类间距离较大),而同类模式点相距较近(类内距离较大),而同类模式点相距较近(类内距离较小)。小)。第七章第七章 特征提取与选择
3、特征提取与选择7.1概述概述4现在学习的是第4页,共49页7.1概述概述特征提取与选择的两个基本途径特征提取与选择的两个基本途径主要方法有:主要方法有:分支定界法分支定界法、用回归建模技术确定相关特征用回归建模技术确定相关特征等等方法。方法。(1 1)直接选择法:)直接选择法:当实际用于分类识别的特征数目当实际用于分类识别的特征数目d d 确定后,确定后,直接从已获得的直接从已获得的n n 个原始特征中选出个原始特征中选出d d 个特征个特征 ,使可分性判据,使可分性判据J J 的值满足下式:的值满足下式:dxxx,21J x xxJ xxxdiiid1212,max,式中式中 是是n 个原始
4、特征中的任意个原始特征中的任意d 个特征个特征,上式表示直接寻找,上式表示直接寻找n 维特征空间中的维特征空间中的d 维子空间。维子空间。idiixxx,215现在学习的是第5页,共49页(2 2)变换法)变换法,在使判据,在使判据J J 取最大的目标下,对取最大的目标下,对n n 个原始个原始特征进行变换降维,即对原特征进行变换降维,即对原n n 维特征空间进行坐标变维特征空间进行坐标变换,然后再取子空间。换,然后再取子空间。7.1概述概述特征提取与选择的两个基本途径特征提取与选择的两个基本途径主要方法有:主要方法有:基于可分性判据的特征选择基于可分性判据的特征选择、基于误判基于误判概率的特
5、征选择概率的特征选择、离散离散K-LK-L变换法变换法(DKLT)(DKLT)、基于决策界基于决策界的特征选择的特征选择等方法。等方法。6现在学习的是第6页,共49页7.2 7.2 类别可分性判据类别可分性判据第七章第七章 特征提取与选择特征提取与选择7现在学习的是第7页,共49页7.2 类别可分性判据类别可分性判据 为确立特征提取和选择的准则:引入类别可分性判据为确立特征提取和选择的准则:引入类别可分性判据,来刻划特征对分类的贡献。为此希望所构造的可分性,来刻划特征对分类的贡献。为此希望所构造的可分性判据满足下列要求:判据满足下列要求:构造可分性判据构造可分性判据(1)(1)与误判概率与误判
6、概率(或误分概率的上界、下界或误分概率的上界、下界)有单调关系。有单调关系。(2)(2)当特征相互独立时,判据有可加性,即当特征相互独立时,判据有可加性,即 :Jx xxJxi jdi jkdk(,)()121式中,式中,x xxd12,是对不同种类特征的测量值,是对不同种类特征的测量值,Ji j()表示使用括号中特征时第表示使用括号中特征时第i 类与第类与第j类可分性判据函数。类可分性判据函数。8现在学习的是第8页,共49页7.2 类别可分性判据类别可分性判据构造可分性判据构造可分性判据(3)(3)判据具有判据具有“距离距离”的某些特性,即的某些特性,即 :Ji j 0,当,当ij时;时;J
7、i j 0,当,当ij时;时;JJi jji(4)(4)对特征数目是单调不减,即加入新的特征后,判据对特征数目是单调不减,即加入新的特征后,判据值不减。值不减。Jx xxJx xxxi jdi jdd(,)(,)121219现在学习的是第9页,共49页7.2 类别可分性判据类别可分性判据构造可分性判据构造可分性判据值得注意的是值得注意的是:上述的构造可分性判据的要求,即:上述的构造可分性判据的要求,即“单调单调性性”、“叠加性叠加性”、“距离性距离性”、“单调不减性单调不减性”。在。在实际应用并不一定能同时具备,但并不影响它在实际使实际应用并不一定能同时具备,但并不影响它在实际使用中的价值。用
8、中的价值。10现在学习的是第10页,共49页7.2 类别可分性判据类别可分性判据7.2.17.2.1基于几何距离的可分性判据基于几何距离的可分性判据一般来讲,不同类的模式可以被区分是由于它们所属类一般来讲,不同类的模式可以被区分是由于它们所属类别在特征空间中的类域是不同的区域。别在特征空间中的类域是不同的区域。显然,区域重叠的部分越小或完全没有重叠,类别的显然,区域重叠的部分越小或完全没有重叠,类别的可分性就越好。可分性就越好。因此可以用距离或离差测度(散度)来构造类别的可因此可以用距离或离差测度(散度)来构造类别的可分性判据。分性判据。11现在学习的是第11页,共49页(一一)点与点的距离点
9、与点的距离 d a babababkkkn(,)()()()/T1 2211 2(二二)点到点集的距离点到点集的距离),(1),()(12)(2ikNkiikaxdNaxdi用用均方欧氏距离均方欧氏距离表示表示7.2.17.2.1基于几何距离的可分性判据基于几何距离的可分性判据12现在学习的是第12页,共49页(三三)类内及总体的均值矢量类内及总体的均值矢量 ciiimPm1)(各类模式的总体均值矢量各类模式的总体均值矢量 iNkikiixNm1)()(1类的均值矢量:类的均值矢量:ci,2,1 Pi为相应类的先验概率,为相应类的先验概率,当用统计量代替先验概率当用统计量代替先验概率时,总体均
10、值矢量可表示为:时,总体均值矢量可表示为:NllciNkikiciiiciixNxNmNNmPmi111)()(1)(1117.2.17.2.1基于几何距离的可分性判据基于几何距离的可分性判据13现在学习的是第13页,共49页(四四)类内距离类内距离 )()(1)()()(T)()(12iikiikNkiimxmxNdi类内均方欧氏距离类内均方欧氏距离 类内均方距离也可定义为:类内均方距离也可定义为:iiNkNlilikiiicxxdNNd11)()(22),()1(1)(7.2.17.2.1基于几何距离的可分性判据基于几何距离的可分性判据14现在学习的是第14页,共49页(五五)类内离差矩阵
11、类内离差矩阵 T)()()()(1)(1iikiikNkimxmxNSii)(2iSTrdi显然显然(六六)两类之间的距离两类之间的距离 ),(1),()(11)(22jlNkNlikjijixxdNNdij)()(1),()()(T)(11)(2jlikjlNkNlikjijixxxxNNdij7.2.17.2.1基于几何距离的可分性判据基于几何距离的可分性判据15现在学习的是第15页,共49页(七七)各类模式之间的总的均方距离各类模式之间的总的均方距离 ijNkNljlikjicjjciixxdNNPPxd11)()(2112),(121)(当取欧氏距离时,总的均方距离为当取欧氏距离时,总
12、的均方距离为)()(121)()()(11T)()(112jlikNkNljlikjicjjciixxxxNNPPxdij7.2.17.2.1基于几何距离的可分性判据基于几何距离的可分性判据16现在学习的是第16页,共49页(八八)多类情况下总的类内、类间及总体离差矩阵多类情况下总的类内、类间及总体离差矩阵 iiNkiikiikiciiciiWmxmxNPSPS1T)()()()(11)(1类内离差类内离差ciiiiBmmmmPS1T)()()(类间离差类间离差总体离差总体离差 BWNlllTSSmxmxNS1T)(1易导出易导出dxTr SSTr SWBT2()7.2.17.2.1基于几何距
13、离的可分性判据基于几何距离的可分性判据17现在学习的是第17页,共49页7.2.17.2.1基于几何距离的可分性判据基于几何距离的可分性判据JTr SSWB11JSSBW2lnJTr STr SBW3JSSSSSWBWTW418现在学习的是第18页,共49页7.2.17.2.1基于几何距离的可分性判据基于几何距离的可分性判据在特征空间中,当类内模式较密聚,而不同类的模在特征空间中,当类内模式较密聚,而不同类的模式相距较远时,从直觉上我们知道分类就较容易,式相距较远时,从直觉上我们知道分类就较容易,由各判据的构造可知,这种情况下所算得的判据值由各判据的构造可知,这种情况下所算得的判据值也较大。由
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 模式识别 第七 特征 提取 选择
限制150内