第2章贝叶斯决策理论与统计判别方法课件.ppt

《第2章贝叶斯决策理论与统计判别方法课件.ppt》由会员分享，可在线阅读，更多相关《第2章贝叶斯决策理论与统计判别方法课件.ppt（55页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 模 式 识 别 徐蔚然北京邮电大学信息工程学院本节和前节的关系n 上节:基本概念 n 阶段性的总结 n 本节:概念具体化 n 结合一种比较典型的概率分布来进一步基于最小错误贝叶斯决策分类器的种种情况 本节重点n 什么叫正态分布 n 高斯分布的表达式 n 如何将正态分布与基于最小错误率的贝叶斯决策结合起来 n 如何简化方式表示正态分布正态分布时的统计决策 n 研究正态分布的原因n 数学上比较简单n 物理上的合理性单变量正态分布n 单变量正态分布 n 单变量正态分布概率密度函数定义为 n 表示随机变量x 的数学期望n 2为其方差，而 则称为标准差。A univariate normal dist

2、ribution has roughly 95%of its area in the range|x|2,as shown.The peak of the distribution has value p()=1/2.单变量正态分布n 单变量正态分布n 思考:正态分布，或高斯分布是先验概率P(i)，还是分布P(X|i),还是后验概率P(i|X)？n 不是我们所讨论的先验概率P(i)，也不是后验概率P(i|X)，而是p(x|i)。单变量正态分布n 单变量正态分布具体化 其中i,i 分别是对 及 的具体化。多元正态分布 n 多元正态分布n 是X 的均值向量，也是d 维，EX 1，2，dT n 是d

3、d 维协方差矩阵n 1是 的逆矩阵n|是 的行列式 E(X)(X)T n 是非负矩阵，在此我们只考虑正定阵，即|0。多元正态分布 n 讨论二元正态分布n 二维向量，是一个随机向量，每一个分量都是随机变量，服从正态分布 n 不仅要求考虑每个分量单独的分布，还要考虑两个随机变量之间的关系 Samples drawn from a two-dimensional Gaussian lie in a cloud centered on the mean.The ellipses show lines of equal probability density of the Gaussian.两个二元正态

4、分布的各个分量相同,(即期望(1 和2)方差1和2 都相同),但这两个特征向量在空间的分布却不相同多元正态分布 n 协方差矩阵 n 用E(x2-2)(x1-1)来衡量相关性，称为协方差,用符号 表示 n 协方差越大，说明两个变量的相关度越高 n 非对角元素正表示了两个分量之间的相关性 n 主对角元素则是各分量本身的方差二维向量的协方差矩阵多元正态分布 n 协方差矩阵n 协方差矩阵并不只对正态分布有用 n 特性:协方差矩阵是一个对称矩阵n 特性:协方差矩是正定的 多元正态分布的性质 n(1)参数 与 对分布具有决定性n 与单变量相似，记作p(X)N(，)n(2)等密度点分布在超椭球面上n(x)(

5、x)常数n 二维时表示一个椭圆，在三维表示椭球，在高维是表示超椭球n(X-)(X-)称为向量X 到向量 的Mahalanobis距离的平方，即 r2(x)(x)n 可将mahalanolbis 距离与欧氏距离作比较n 前者是一个椭圆，而后者则是圆 多元正态分布的性质 n(3)多元正态分布的离散程度由参数|决定 n 与单变量时由标准差 决定是对应一致的 n(4)不相关性等价于独立性n 两个随机变量不相关:Exixj ExiExj n 两个随机变量统计独立:p(xixj)p(xi)p(xj)n 两个随机变量不相关，不意味着它们一定独立 n 相互独立的随机变量，它们之间是不相关的 n 正态分布中不相

6、关性等价于独立性 多元正态分布的性质 n(5)边缘分布和条件分布的正态性 n 多元正态分布的边缘分布和条件分布仍然是正态分布 n(6)线性变换的正态性n 这是指多元正态分布的随机向量的线性变换仍然是多元正态分布的随机向量 n(7)线性组合的正态性n 这是指多元正态分布的随机向量，在经过线性组合后得到的一维随机变量也是正态分布的。The action of a linear transformation on the feature space will convert an arbitrary normal distribution into another normal distributi

7、on.A,takes the source distribution into distribution N(At,AtA)a projection P onto a line defined by vector aleads to N(,2)measuredalong that lineA whitening transform,Aw,leads to a circularly symmetric Gaussian正态分布概率模型下的最小错误率贝叶斯决策 n 最小错误率决策规则 n 因此判别函数为n 是多元正态分布，n 判别函数采用对数形式:如果 则X i 正态分布概率模型下的最小错误率贝叶

8、斯决策n 而相应的决策面方程为:正态分布概率模型下的最小错误率贝叶斯决策n 不同情况下决策面的特点n 参数:协方差矩阵和先验概率n 这里我们讨论三种情况。n(1)i=2I i=1,，cn(2)i=i=1,，cn(3)ij i,j=1,，c正态分布概率模型下的最小错误率贝叶斯决策n(1)i=2I i=1,，cn 每个类的协方差矩阵都相等n 类内各特征间相互独立n 各特征具有相同的方差2正态分布概率模型下的最小错误率贝叶斯决策n(1)i=2I i=1,，cn 再分两种情况n 先验概率P(i)与P(j)不相等n 先验概率P(i)与P(j)相等正态分布概率模型下的最小错误率贝叶斯决策n(1.1)i=2I P(i)P(j)n 原判别函数:n 判别函数可简化为n 由于二项XTX 与类别号i 无关,可进一步简化:判别函数为一线性函数