模式识别导论(二).pdf
( 4.5 )《模式识别导论(二).pdf》由会员分享，可在线阅读，更多相关《模式识别导论(二).pdf（87页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、模式识别导论 武汉大学遥感信息工程学院 马洪超 模式识别导论：Bayes决策理论 Bayes Decision Theory 模式识别导论 武汉大学遥感信息工程学院 马洪超 如果模式表现为具有确定性（deterministic）特征，在特征空间（feature space）中各类互不重叠，那么可以用线性判别函数（linear decision function，广义线性）但事实上并不完全是这样，许多（特征）观测结果具有不确定性（uncertainty），这时用概率法则。如图 模式识别导论 武汉大学遥感信息工程学院 马洪超 本章主要讨论第二种情况下，如何设计分类器的问题 设计的思想是：给定一个未
2、知样本（模式），它“最有可能”（most probable）属于哪一类？把上述问题用数学语言来表达：一个未知模式，用一组它的模式特征向量来表示为x，并且已知它来自M个类别中的某一类，这是，我们可以获得一组后验概率如下：如果用文字来表达，就是：已经测定未知模式的特征向如果用文字来表达，就是：已经测定未知模式的特征向量量x的条件下，来自某一类别的条件下，来自某一类别i的概率。这个最大概率完的概率。这个最大概率完全可以作为“最有可能”的数学表达全可以作为“最有可能”的数学表达 MiPi,2,1),|(x模式识别导论 武汉大学遥感信息工程学院 马洪超 2.1 基于最小错误率的Bayes判别法 2.2
3、基于Bayes判别的几种判别规则 基于最小风险的Bayes决策 Neyman-pearson决策 最小最大决策 序贯分类决策 2.3 正态分别模式的统计决策 正态分别概率密度函数的定义与性质 多元正态概率模型的Bayes判别函数 2.4 概率密度函数的估计 2.5 Bayes分类器的错误概率 模式识别导论 武汉大学遥感信息工程学院 马洪超 2.1 2.1 基于最小错误率的基于最小错误率的BayesBayes决策决策 一、两类问题 例如：细胞识别问题。设1正常细胞，2异常细胞。某地区经大量统计获先验概率（a priori probability)P(1),P(2)。若取该地区某人细胞，问属何种细
4、胞，此时只能由先验概率决定。这种分类器意义不大221121),()(),()(xxPPPP模式识别导论 武汉大学遥感信息工程学院 马洪超 不过一般总是不止这么一点信息的。假设我们对细胞的某个特征x进行了测量，它具有概率密度函数(PDF)1|xp现假设我们对某未知细胞进来了这个特征的测量，获得测量值x，那么这个测量值对我们判别该细胞来自哪一类有什么样的影响呢？设细胞来自 同时具有测量值x的概率为 i)()|()()|(),(,xpxPPxPxPxPiiiii模式识别导论 武汉大学遥感信息工程学院 马洪超 21)()()()(|jjjiiiiiPxpPxpxpPxpxP全概率公式 这就是Bayes
5、公式。当给定某未知细胞特征的测量值的条件下，来自于 的概率。这个概率称为后验概率(a posteriori probability)。所以后验概率的计算可以通过先验概率和类概率密度。如果我们测量的是一组特征，那么：i 21)()()()(|jjjiiiiiPpPppPpPxxxxx模式识别导论 武汉大学遥感信息工程学院 马洪超 221121),()(),()(xxPxPxxPxP则若则若一般地，设N个样本分为两类1，2。每个样本抽出n个特征，x x=（x1，x2，x3，xn）T 判别规则：决策面(decision surface)按照判别规则将多维特征空间分成M个类别区域，这些区域的边界面 决
6、策面方程(decision equation)用解析形式表示决策面 判别函数(decision function)用以表述判别规则的函数 模式识别导论 武汉大学遥感信息工程学院 马洪超)(,)()(ln)()(ln)()4()(,)()()()()()3()(),()()()()()2()(),()()()1(12211221221121取对数方法似然比形式类条件概率密度后验概率PPppgPPppgPpPpgPPgxxxxxxxxxxxx若已知先验概率P(1),P(2)，类条件概率密度p(x x|1)，p(x x|2)。则可得贝叶斯判别函数四种形式：模式识别导论 武汉大学遥感信息工程学院 马洪
7、超 决策规则：2112212112212122112121)()(ln)()(ln)()4()()()()()3()()()()()2()()()1(xxxxxxxxxxxxxPPppgPpPpPpPpPP模式识别导论 武汉大学遥感信息工程学院 马洪超 Bayes决策的基本思想是：要求判别归属时依概率最大作出决策，这样的结果可以使分类的错误率最小 dxxpxPdxxpxPPPRxPPRxPPRPRPPRReee12|:Bayes|.P(.,.),R R.R R 21112221122112212211公式再使用针对连续型的换为由基础概率论，上式转率表示两个事件的联合概其中发生了错误，因此时，而
8、实际样本是属于，或者当该模式应该是属于而实际上那么当的样本组成的区域由属于的样本组成区域，别是特征空间中由属于类设证明：xxxx模式识别导论 武汉大学遥感信息工程学院 马洪超 dxxpxPR1|2 dxxpxPR21|)|()(xPxpi模式识别导论 武汉大学遥感信息工程学院 马洪超 率为最小组成的区域，那么错误的是由满足条件同样，如果那么错误概率会最小组成的区域的是由满足条件上式表明，如果因此义根据概率密度函数的定和在一起覆盖整个区域和由于区域x|R .x|R|,R R 21221121111121121xPxPxPxPdxxpxPxPPPPdxxpxPdxxpxPReRR上述两个条件，即是
9、按照最大后验概率的Bayes决策规则！模式识别导论 武汉大学遥感信息工程学院 马洪超 例例：某地区细胞识别:P(1)=0.9，P(2)=0.1 未知细胞测量得特征x x，1，2有该特征的概率分别如下,该细胞属于正常细胞还是异常细胞?设1为正常细胞。P(x|1)=0.2，P(x|2)=0.4.),()(),()(,182.0)(1)(818.01.04.09.02.09.02.0)()()()()(211211221111用所以先验概率起很大作因为属正常细胞。因为PPPPPPPPPPPjjjxxxxxxxx解解：先计算后验概率：模式识别导论 武汉大学遥感信息工程学院 马洪超 例：设有一维两类问题
10、，特征x的概率密度函数)1(exp(1)|()exp(1)|(2221xxpxxp令P(1)=P(2)=0.5,计算使错误率最小的阈值 5.0 )1(exp()exp(:0220 xxxx解：模式识别导论 武汉大学遥感信息工程学院 马洪超 g(x)nxxxX.21特征向量判别计算决策21x阈值单元 分类器设计：两类情况：多类情况：=(1,2,m)，x=(x1,x2,xn)判别函数：M类有M个判别函数g1(x),g2(x),gm(x).每个判别函数有前述的四种形式。决策规则（用最大后验概率表示）：),.,2,1(,)()(max)()()(1MixPxPPxPxgijjMjiiig1(x)Max
11、gi(x)nxxxX.21特征向量判别计算决策ixg2(x)gm(x)最大值选择器.多类问题Bayes分类器设计：模式识别导论 武汉大学遥感信息工程学院 马洪超 实际计算中，要利用Bayes公式计算后验概率，必须有如下两个参数：先验概率；每一类别的概率密度函数 先验概率通过事先做统计调查、或者根据已有知识假定等方法确定，相对容易 类概率密度函数的确定，由两种情况 事先知道概率密度的分布形式，如正态分布（参数估计，parameter estimation）事先不知道概率密度的分布形式（非参数估计，nonparameter estimation）模式识别导论 武汉大学遥感信息工程学院 马洪超 正态
12、分布（正态分布（normal distributionnormal distribution）决策理论）决策理论 一、正态分布判别函数 a、正态分布在物理上是合理的、广泛的。b、正态分布数学上简单，N(,)只有均值和方差两个参数。单变量正态分布：)()()(,)()(:),(21exp21)(22222方差，均值或数学期望其中dxxPxxEdxxxPxENxxP1)()(,0)(dxxPxxP列关系：概率密度函数应满足下)(xPX2295.01模式识别导论 武汉大学遥感信息工程学院 马洪超（多变量）多维正态分布（multi-variable normal distribution）（1）函数形
13、式：的行列式为的逆阵，为维协方差矩阵，为维均值向量，维特征向量其中121211212),.,(,.,:21exp21)(nnnnxxxPTnTnTnxxxxiiiiidxxPxxE)()(模式识别导论 武汉大学遥感信息工程学院 马洪超 多元正态分布可以由单元正态分布引入。niiiiniiniiiniiiiiinxxxpNxpxxxn12122122121exp2121exp21,其联合分布为：，则如果它们是相互独立的是正态分布的，即个随机变量设有模式识别导论 武汉大学遥感信息工程学院 马洪超 2122221221200000 0100010010nn上面的式子可以写成矩阵的形式，首先注意到这时
14、的协方差矩阵为对角矩阵：模式识别导论 武汉大学遥感信息工程学院 马洪超 对角阵，即要求对于一般情形，不一定于是，xxxxx121212121exp21TnTniiiipx,.2222121212211nnnnn模式识别导论 武汉大学遥感信息工程学院 马洪超 是协方差，非对角线是方差对角线jijixxExxExxExxEijijnnnnnnnnnnnnn22222212121221111111111,.模式识别导论 武汉大学遥感信息工程学院 马洪超(2)、性质：、与对分布起决定作用P(X X)=N(,),由n个分量组成，由n(n+1)/2元素组成。多维正态分布由n+n(n+1)/2个参数组成。、
15、等密度点的轨迹是一个超椭球面。区域中心由决定，区域形状由决定。、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。、线性组合的正态性。211X2X模式识别导论 武汉大学遥感信息工程学院 马洪超 判别函数：类条件概率密度用正态来表示：112211221()ln()()11lnexp()2211lnexpln()2211ln2lnln()222iiTiiiiniTiiiiniTiiiiig xP xPPPnP xxxxxx模式识别导论 武汉大学遥感信息工程学院 马洪超 最小错误率(Bayes)分类器：从
16、最小错误率这个角度来分 Bayes 分类器 1.1.第一种情况：第一种情况：各个特征统计独立，且同方差情况。(最简单情况)决策面方程：()()0ijggxx111()()2()1lnln02()TijiiiTjijjjijggPP xxxxxx模式识别导论 武汉大学遥感信息工程学院 马洪超 112221()21ln2lnln()221,ln22TiiiiiiiiignPni xxxIII因为都与 无关。对分类无影响。零。，只有方差，协方差为即222.0.0.:Ii判别函数：模式识别导论 武汉大学遥感信息工程学院 马洪超 1222()().()(),()2miPPPgxx欧氏距离最小距离分类器：
17、未知x与i相减，找最近的i把x归类 如果M类先验概率相等：12221()ln()2ln(),2TiiiiiTiiiiigPP xxxxxxx其中模式识别导论 武汉大学遥感信息工程学院 马洪超 00220012,(),()11,ln()2()maxTTTTTiiiiiTiiiTiiiiiiTTiiijjij MigwwPgxww xxx x x x xxw xw xww xx因为二次项与 无关简化可得：线性判别函数其中：判别规则：当各类先验概率不相等的时候：模式识别导论 武汉大学遥感信息工程学院 马洪超 0202()()0()0()1()ln2()ijTijijiijjijggPPxxwxxwx
18、决策面方程：其中21212211212212)()(ln)(21)(1)()()(xPPxxgxgxgTTT对于两类情况模式识别导论 武汉大学遥感信息工程学院 马洪超 讨论：的联线。垂直于决策面同方向同相与，所以因为是决策面的法向量，又率面是一个圆形。协方差为零。所以等概因为HWWWbajii)()(,)(21212I21i二类情况下界面。均值联线的垂直线作为对多类情况，用各类的。离开先验概率大的一类否则就是联线的中点。通过如果先验概率相等 )(),()(),()()(2121dHPPHPPc12WH时决策面)()(21PP124334H23H14H12H1121x2xHW20 x模式识别导论
19、 武汉大学遥感信息工程学院 马洪超)()()(21)()(.)()()()(ln)()(21)(.21321121马氏距离，若先验概率相等无关与因为rxgPPPPPgiiTiiiiiTiiMxxxxx)(ln21,)()()(101011iiTiiiiiTiiTiTiPwWwWgi其中（线性函数）无关。与展开；把xxxxxx2、第二种情况：、第二种情况：i 相等，即各类协方差相等。模式识别导论 武汉大学遥感信息工程学院 马洪超 第二类 21trxx其中为均值向量，为协方差矩阵 欧氏距离和马氏距离之间的差别：欧氏距离来说应该是属于第二类 模式识别导论 武汉大学遥感信息工程学院 马洪超 例子：二维
20、两类问题，设都服从正态分布，协方差矩阵一样 TT33,009.13.03.01.121均值向量为计算向量 到这两类的欧氏距离和马氏距离 T2.21.0952.20.20.155.015.015.095.02.20.1)()(),(11112xxxdTm模式识别导论 武汉大学遥感信息工程学院 马洪超 672.38.00.255.015.015.095.08.00.2)()(),(21222xxxdTm同理，可见，给定的向量和第一类的中心比较近。但如果从欧氏距离类看，则是相反的，下图 228.02 2212.2 模式识别导论 武汉大学遥感信息工程学院 马洪超)()()()()(ln)(21)(,0
21、)(1010jiTjijijijijiTPPxWxxW。其中0)()()()(ln)(21)()()()(max)(21212211111212010 xgxgxPPxxgxgxgxwxWwxWxgjijiTTijTjMjiTii相邻与决策界面：若对于二类情况决策规则：模式识别导论 武汉大学遥感信息工程学院 马洪超 3 3、第三种情况、第三种情况(一般情况)：为任意，各类协方差矩阵不等，二次项 与i有关。所以判别函数为二次型函数。ijTjjTMjiTiiTiwWWwWWgxxxxxxxx010max)(决策规则：2121212122111112)()(lnln21)()(21)()(21)()
22、()(xxxxxxxPPxgggTT对于二类情况)(lnln2121)()(,21,)(:10110iiiiTiiiiiiiiTiTiPwnWnnWwWWgi，维列向量矩阵其中判别函数xxxxxx1iT模式识别导论 武汉大学遥感信息工程学院 马洪超 贝叶斯决策分类器大都涉及类概率密度函数，对于正态分布模式，其概率密度函数可通过均值向量和协方差矩阵的估算而确定。在无法用参数表征概率密度函数时，则可以通过某些函数来近似地表示 概率密度函数的估计 一般以模式样本的平均作为均值向量的近似值。设某类的模式样本数为N，其均值向量估计量 m 14211NjjxNm2422ttttttEEECmmxxmmxm
23、xxmxmx模式识别导论 武汉大学遥感信息工程学院 马洪超 342111tkNKkmxmxNC当无法用参数表征概率密度函数时，则需要选取某种基函数作近似估计 dxxPxPxRx2 x xP其中 是权函数。如果将 写成m项展开式 为最小的均方误差与使得估计函数法，的估计，采用最小二乘作为），以（表示这里以RxPxPxPxPxPxPi)()()()(|)(模式识别导论 武汉大学遥感信息工程学院 马洪超 8421mjjjxCxPjC xj其中 为待定系数，为基函数，将此式代入（2-4-7 dxxCxpxRmjjjx21 942,2,1,01dxxpxxdxxxxCmkCRkxkjxjmjk有模式识别
24、导论 武汉大学遥感信息工程学院 马洪超 由于式中右边为 xxk的数学期望，可用N个样本的均值来近似 1042111 NjikikmjxjjxxNdxxxxC由于一般选择正交函数集 xj作为基函数，故有 11420kjkjAdxxxxKxkj若模式识别导论 武汉大学遥感信息工程学院 马洪超 书上例子，自学。注意Hermite多项式查阅有关数学参考书 有关Bayes估计，自学。)()(),(8-4-22,1 )(1),(,)(1)(1xPxPxPCmkxNCxxkxAkxkNjikkiiikik并且认为估计）得到概率密度函数的以后，即可以根据（这样当求得所有系数于是且可以认为对所有的无关，与。由于
25、，有正交归一时，对所有的当基函数模式识别导论 武汉大学遥感信息工程学院 马洪超 BayesBayes分类的算法分类的算法（假定各类样本服从正态分布）1.输入类数M；特征数n，待分样本数m.2.输入训练样本数N和训练集资料矩阵X(Nn)。并计算有关参数。3.计算矩阵X中各类的后验概率。4.若按最小错误率原则分类，则可根据 3 的结果判定y中各类样本的类别。5.若按最小风险原则分类，则输入各值，并计算X中各样本属于各类时的风险并判定各样本类别。例例1、有训练集资料矩阵如下表所示，现已知，N=9、N1=5、N2=4、n=2、M=2，试问，X=(0,0)T应属于哪一类？解解1、假定二类协方差 矩阵不等
- 配套讲稿：
如PPT文件的首页显示word图标，表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制：
部分文档作品中含有的国旗、国徽等图片，仅作为作品整体效果示例展示，禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词：
- 模式识别 导论
淘文阁 - 分享文档赚钱的网站所有资源均是用户自行上传分享，仅供网友学习交流，未经上传用户书面授权，请勿作他用。
限制150内