贝叶斯决策理论与统计判别方法.ppt

《贝叶斯决策理论与统计判别方法.ppt》由会员分享，可在线阅读，更多相关《贝叶斯决策理论与统计判别方法.ppt（55页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 模 式 识 别 徐蔚然北京邮电大学信息工程学院北京邮电大学信息工程学院本节和前节的关系n上节:基本概念 n阶段性的总结 n本节:概念具体化 n结合一种比较典型的概率分布来进一步基于最小错误贝叶斯决策分类器的种种情况 本节重点n什么叫正态分布 n高斯分布的表达式 n如何将正态分布与基于最小错误率的贝叶斯决策结合起来 n如何简化方式表示正态分布正态分布时的统计决策 n研究正态分布的原因n数学上比较简单n物理上的合理性单变量正态分布n单变量正态分布 n单变量正态分布概率密度函数定义为 n表示随机变量x的数学期望n2为其方差，而则称为标准差。A univariate normal distribut

2、ion has roughly 95%of its area in the range|x|2,as shown.The peak of the distribution has value p()=1/2.单变量正态分布n单变量正态分布n思考:正态分布，或高斯分布是先验概率P(i)，还是分布P(X|i),还是后验概率P(i|X)？n不是我们所讨论的先验概率P(i)，也不是后验概率P(i|X)，而是p(x|i)。单变量正态分布n单变量正态分布具体化 其中i,i分别是对及的具体化。多元正态分布多元正态分布 n多元正态分布n是X的均值向量，也是d维，EX1，2，dT n是dd维协方差矩阵n1是的逆

3、矩阵n|是的行列式 E(X)(X)T n是非负矩阵，在此我们只考虑正定阵，即|0。多元正态分布多元正态分布 n讨论二元正态分布n二维向量，是一个随机向量，每一个分量都是随机变量，服从正态分布 n不仅要求考虑每个分量单独的分布，还要考虑两个随机变量之间的关系 Samples drawn from a two-dimensional Gaussian lie in a cloud centered on the mean.The ellipses show lines of equal probability density of the Gaussian.两个二元正态分布的各个分量相同,(即期望

4、(1和2)方差1和2都相同),但这两个特征向量在空间的分布却不相同多元正态分布多元正态分布 n协方差矩阵 n用E(x2-2)(x1-1)来衡量相关性，称为协方差,用符号表示 n协方差越大，说明两个变量的相关度越高 n非对角元素正表示了两个分量之间的相关性 n主对角元素则是各分量本身的方差二维向量的协方差矩阵多元正态分布多元正态分布 n协方差矩阵n协方差矩阵并不只对正态分布有用 n特性:协方差矩阵是一个对称矩阵n特性:协方差矩是正定的 多元正态分布的性质多元正态分布的性质 n(1)参数与对分布具有决定性n与单变量相似，记作p(X)N(，)n(2)等密度点分布在超椭球面上n(x)(x)常数n二维时

5、表示一个椭圆，在三维表示椭球，在高维是表示超椭球n(X-)(X-)称为向量X到向量的Mahalanobis距离的平方，即 r2(x)(x)n可将mahalanolbis距离与欧氏距离作比较n前者是一个椭圆，而后者则是圆 多元正态分布的性质多元正态分布的性质 n(3)多元正态分布的离散程度由参数|决定 n与单变量时由标准差决定是对应一致的 n(4)不相关性等价于独立性n两个随机变量不相关:ExixjExiExj n两个随机变量统计独立:p(xixj)p(xi)p(xj)n两个随机变量不相关，不意味着它们一定独立 n相互独立的随机变量，它们之间是不相关的 n正态分布中不相关性等价于独立性 多元正态

6、分布的性质多元正态分布的性质 n(5)边缘分布和条件分布的正态性 n多元正态分布的边缘分布和条件分布仍然是正态分布 n(6)线性变换的正态性n这是指多元正态分布的随机向量的线性变换仍然是多元正态分布的随机向量 n(7)线性组合的正态性n这是指多元正态分布的随机向量，在经过线性组合后得到的一维随机变量也是正态分布的。The action of a linear transformation on the feature space will convert an arbitrary normal distribution into another normal distribution.A,ta

7、kes the source distribution into distribution N(At,AtA)a projection P onto a line defined by vector aleads to N(,2)measuredalong that lineA whitening transform,Aw,leads to a circularly symmetric Gaussian正态分布概率模型下的最小错误正态分布概率模型下的最小错误率贝叶斯决策率贝叶斯决策 n最小错误率决策规则 n因此判别函数为n 是多元正态分布，n判别函数采用对数形式:如果 则Xi 正态分布概率模型

8、下的最小错误正态分布概率模型下的最小错误率贝叶斯决策率贝叶斯决策n而相应的决策面方程为:正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n不同情况下决策面的特点n参数:协方差矩阵和先验概率n这里我们讨论三种情况。n(1)i=2Ii=1,，cn(2)i=i=1,，cn(3)ij i,j=1,，c正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n(1)i=2Ii=1,，cn每个类的协方差矩阵都相等n类内各特征间相互独立n各特征具有相同的方差2正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n(1)i=2

9、Ii=1,，cn再分两种情况n先验概率P(i)与P(j)不相等n先验概率P(i)与P(j)相等正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n(1.1)i=2I P(i)P(j)n原判别函数:n判别函数可简化为n由于二项XTX与类别号i无关,可进一步简化:判别函数为一线性函数判别函数为一线性函数正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n决策面方程n通用表达式:gi(X)gj(X)0n这里n整理，可得:WT(XX0)0Wi-j 正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n决策面性质n决

10、策面为一超平面n其法线方向为(ij)n当P(i)P(j)时，该超平面的位置要向远离先验概率大的方向偏，偏离的程度和先验概率比值有关，但超平面方向不变。正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策一维特征正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策二维特征正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策三维特征正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n(1.2)i=2I P(i)=P(j)nP(i)P(j)时决策面方程WT(XX0)0nP(i)=P(j)

11、时决策面方程WT(XX1)0Wi-j Wi-j 正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策一维特征正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策二维特征正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策三维特征正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n在i=2I P(i)=P(j)条件下，正态分布正态分布概率模型下的最小错误率贝叶斯决策概率模型下的最小错误率贝叶斯决策等价于最小距离分类器最小距离分类器n最小距离分类器的定义n每个样本以它到每类样本均值的欧

12、氏距离的最小值确定其分类，即如果 则Xi 正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n最小欧氏距离是决定分类的准则正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n(2)i=n也是一种比较简单的情况n各类协方差矩阵都相等n从几何上看各类别样本集中于以该类均值为中心的同样大小和形状的超椭球内正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策在二维特征空间的情况 正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n原判别函数:n判别函数可简化为n如果c类先验概率都相等，

13、可进一步简化为r2就是Mahalanobis距离正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n原判别函数:n判别函数可简化为n打开乘积，去掉与i无关的项(二次项),只剩下一次项和常数项判别函数为一线性函数判别函数为一线性函数正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n决策面方程ngi(X)gj(X)0n在这里正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策二维下的决策面方程正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策二维下的决策面方程正态分布概率模型下的

14、最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策三维下的决策面方程正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n线性分类器总结 n在正态分布条件下，基于最小错误率贝叶斯决策只要能做到两类协方差矩阵是一样的，那么无论先验概率相等不相等，都可以用线性分界面实现。n而最小欧氏距离分类器则要求正态分布协方差矩阵为单位阵，先验概率相等。正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n最小距离分类器与线性分类器 n两者都是线性分类器 n最小距离分类器是线性分类器的一个特例 n最小距离分类器在正态分布情况下，是按超球体分布以及

15、先验概率相等的前提下，才体现最小错误率的 n只有在一定条件下，最小距离分类器同时又是最小错误率分类器 n最小距离分类器的概念是分类器中是最常用的，因为它体现了基于最相似性的原则，即被分类事物与哪一种作为标准的事物相像，就判为该类这一原则 正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n(3)ij i,j=1,，cn最一般的情况n原判别函数n判别函数的化简n进一步整理得正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策n判别面方程，根据gi(X)gj(X)0有n在一情况下决策面为二次超曲面n随着i及P(i)的不同而呈现不同形式的超二次曲面 n如超球面、超椭球面、超抛物面、超双曲面，也可能是超平面各类协方差矩阵不相等的情况正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策正态分布概率模型下的最小错正态分布概率模型下的最小错误率贝叶斯决策误率贝叶斯决策