最大似然估计和贝叶斯参数估计.ppt
Chapter 3:最大似然估计和贝叶斯参数估计2要点：要点：重点掌握最大似然估计和贝叶斯参数估计的原理重点掌握最大似然估计和贝叶斯参数估计的原理;熟练掌握主成分分析和熟练掌握主成分分析和FisherFisher线性分析线性分析;掌握隐马尔可夫模型掌握隐马尔可夫模型;了解维数问题了解维数问题;3贝叶斯框架下的数据收集 n在以下条件下我们可以设计一个可选择的分类器:P(i)(先验)P(x|i)(类条件密度)不幸的是，我们极少能够完整的得到这些信息!从一个传统的样本中设计一个分类器 n先验估计不成问题 n对类条件密度的估计存在两个问题：1）样本对于类条件估计太少了；2）特征空间维数太大了，计算复杂度太高。1 3.1 引引 言言4如果可以将类条件密度参数化，则可以显著降低难度。例如：P(x|i)的正态性P(x|i)N(i,i)n用两个参数表示 将概率密度估计问题转化为参数估计问题。将概率密度估计问题转化为参数估计问题。估计n最大似然估计(ML)和贝叶斯估计；n结果通常很接近,但是方法本质是不同的。5n最大似然估计将参数看作是确定的量，只是其值是未知!通过最大化所观察的样本概率得到最优的参数用分析方法。n贝叶斯方法把参数当成服从某种先验概率分布的随机变量，对样本进行观测的过程，就是把先验概率密度转化成为后验概率密度，使得对于每个新样本，后验概率密度函数在待估参数的真实值附近形成最大尖峰。n在这两种方法中，我们都用后验概率P(i|x)表示分类准则!6n当样本数目增加时，收敛性质会更好；n比其他可选择的技术更加简单。假设有c类样本，并且 1）每个样本集的样本都是独立同分布的随机变量；2）P(x|j)形式已知但参数未知，例如P(x|j)N(j,j)；3）记 P(x|j)P(x|j,j)，其中 3.2 最大似然估计最大似然估计o 最大似然估计的优点：3.2.1 基本原理基本原理7n使用训练样本提供的信息估计=(1,2,c),每个 i(i=1,2,c)只和每一类相关。n假定D包括n个样本,x1,x2,xnn的最大似然估计是通过定义最大化P(D|)的值 “值与实际观察中的训练样本最相符”2829n最优估计 令=(1,2,p)t 并令 为梯度算子 the gradient operator我们定义 l()为对数似然函数：l()=ln P(D|)新问题陈述:求解 为使对数似然最大的值 10对数似然函数l()显然是依赖于样本集D,有：最优求解条件如下:令:来求解.11P(xk|)N(,)(样本从一组多变量正态分布中提取)这里 =，因此:的最大似然估计必须满足:23.2.3 高斯情况：高斯情况：未知未知12乘 并且重新排序,我们得到:即训练样本的算术平均值!结论:如果P(xk|j)(j=1,2,c)被假定为d维特征空间中的高斯分布;然后我们能够估计向量 =(1,2,c)t 从而得到最优分类!213n未知 和，对于单样本xk=(1,2)=(,2)3.2.3 高斯情况：高斯情况：和和 均均未知未知14对于全部样本，最后得到:联合公式(1)和(2),得到如下结果:2152的最大似然估计是有偏的（渐进无偏估计）的一个基本的无偏估计是:23.2.4 偏差估计偏差估计16模型错误会怎么样？模型错误会怎么样？达不到最优！17在最大似然估计中 被假定为固定值在贝叶斯估计中 是随机变量目标:计算 P(i|x,D)假设样本为D，贝叶斯方程可以写成：3.3贝叶斯估计贝叶斯估计3.3.1 类条件密度类条件密度18因此，核心工作就是要估计n先验概率通常可以事先获得，因此n每个样本只依赖于所属的类，有：故：即：只要在每类中，独立计算就可以确定x的类别。19假设 的形式已知,参数的值未知，因此条件概率密度 是知道的；假设参数是随机变量，先验概率密度函数p()已知，利用贝叶斯公式可以计算后验概率密度函数p(|D)；希望后验概率密度函数p(|D)在的真实值附件有非常显著的尖峰，则可以使用后验密度p(|D)估计 ；3.3.2 参数的分布参数的分布20注意到 3.3.2 参数的分布参数的分布如果p(|D)在某个值 附件有非常显著的尖峰，则即:如果如果条件概率密度具有一个已知的形式，则条件概率密度具有一个已知的形式，则利用已有的训练样本，就能够利用已有的训练样本，就能够通过通过p(|D)对对p(x|D)进行估计。进行估计。21单变量情形的 p(|D)3.4 贝叶斯参数估计贝叶斯参数估计:高斯过程高斯过程22复制密度23结论:贝叶斯学习24 单变量情形的 p(x|D)25多变量情形:复制密度其中仅未知.2627多变量学习283.5 贝叶斯参数估计：一般理论贝叶斯参数估计：一般理论p(x|D)的计算可推广于所有能参数化未知密度的情况中，基本假设如下:n假定 p(x|)的形式已知，但是的值未知。n被假定为满足一个已知的先验密度 P()n其余的 的信息 包含在集合D中，其中D是由n维随机变量x1,x2,xn组成的集合，它们服从于概率密度函数p(x)。基本的问题是:计算后验密度计算后验密度p(|D)，然后然后 推导出推导出 p(x|D)。29问题:p(x|D)是否是否能收敛到能收敛到p(x)，计算复杂度如何？，计算复杂度如何？(49)(50)(51)30递归贝叶斯学习该过程称为参数估计的递归贝叶斯方法，一种增量学习方法。因为:所以:令:31例1：递归贝叶斯学习32例1：递归贝叶斯学习33例1:Bayes vs.ML34唯一性问题np(x|q q)是唯一的：后验概率序列 p(q q|Dn)收敛到 delta 函数；只要训练样本足够多，则 p(x|q q)能唯一确定q q。在某些情况下，不同 q q 值会产生同一个 p(x|q q)。p(q q|Dn)将在 q q 附近产生峰值，这时不管p(x|q q)是否唯一，p(x|Dn)总会收敛到p(x)。因此不确定性客观存在。35最大似然估计和贝叶斯参数估计的区别 最大似然估计最大似然估计 贝叶斯参数估计贝叶斯参数估计计算复杂度 微分 多重积分可理解性 确定易理解 不确定不易理解先验信息的信任程度 不准确 准确例如 p(x|q q)与初始假设一致 与初始假设不一致 36分类误差种类:n贝叶斯错误或不可分错误，例如 P(x|i)之间相互重叠引起，固有问题；n模型错误，ML与Bays犯错一样；n估计错误，训练样本个数有限产生。37Gibbs 算法在较弱的假设条件下，Gibbs算法的误差概率至多是贝叶斯最优分类器的两倍。38n统计量任何样本集D的函数；n充分统计量即是一个样本集 D 的函数s，其中 s 包含了有助于估计参数 的所有所有信息，即 p(D|s,)与 无关；n满足上面,如果q q 是随机变量，则可以写成 3.6 充分统计量充分统计量反过来也成立。39因式分解定理：n一个关于参数q q 的统计量s是充分统计量当且仅当概率分布函数 P(D|q q)能够写成乘积形式：P(D|q q)=g(s,q q)h(D)其中 g(.,.)和h(.)是两个函数。40例子：多维高斯分布41证明：必要性注意到注意到 对于一个给定的样本，只有一个对于一个给定的样本，只有一个s与之与之对应。对应。由定义由定义42充分性：43核密度（Kernel density）n把 P(D|q q)分解成 g(s,q q)h(D)不是唯一的：如果f(s)是一个函数,g(s,q q)=f(s)g(s,q q)和 h(D)=h(D)/f(s)也是等价的分解；n这种二义性可以用定义核密度函数的方法来得到消除：44例子：多维高斯分布45核密度与参数估计n对于最大似然估计情形，只需最大化 g(s,q q)，因为：P(D|q q)=g(s,q q)h(D)n对于贝叶斯估计情形：如果我们对q q的先验概率不确定,p(q q)通常选择均匀分布,则p(q q|D)几乎等于核密度；如果p(x|q q)可辩识时,g(s,q q)通常在某个值处有明显的尖峰，并且如果p(q q)在该值处连续并且非零,则p(q q|D)将趋近核密度函数。46充分统计量与指数族函数47分类问题通常涉及50或100维以上的特征.分类精度取决于维数和训练样本的数量n考虑有相同协方差矩阵的两组多维向量情况:3.7 维数问题维数问题如果它们的先验概率相同，则贝叶斯误差概率为：48n如果特征是独立的，则有:n最有用的特征是两类均值之间的距离大于标准方差的那些特征;n在实际观察中我们发现，当特征个数增加到某个临界点后会导致更糟糕的结果而不是好的结果:我们的模型有误，或者由于训练样本个数有限导致分布估计不精确，等等。49可分性与特征维数50学习过程的计算复杂度51分类过程的计算复杂度 分类阶段比学习阶段简单。52训练样本不足时的方法n降维重新设计特征提取模块;选择现有特征的子集;将几个特征组合在一起;假设各个类的协方差矩阵都相同，将全部数据都归到一起;n寻找协方差矩阵 更好的估计;如果有合理的先验估计 0,则可以用如下的伪贝叶斯估计 ;设法将 0对角化:阈值化或假设特征之间统计独立;53过拟合的概念正确的拟合思想是：一开始用高阶的多项式曲线来拟合，然后依次去掉高阶项来逐渐简化模型，获得更光滑的结果。54缩并(Regularized Discriminant Analysis)55组合特征从而降低特征空间的维数 线性组合通常比较容易计算和处理 将高维数据投影到一个低维空间里去 使用两种分类方法寻找理想一点的线性变换:nPCA(主成份分析)“在最小均方意义下的数据的最优表示的映射”nMDA(多类判别分析)“在最小均方意义下的数据的最优分类的映射”3.8 成分分析与辨别函数成分分析与辨别函数 56主成分分析57沿直线投影：58对于通过样本均值直线的最佳投影59寻找最佳表达方向60主成分分析(PCA)Principal component analysis61nL个N维空间的向量，构成N维空间的L个点。如果大多数点落在一个M维超平面上，只要能找到M维空间的坐标系，则可以将L个向量投影到M维空间，获得低维的表达。K-L变换 PCA K-L变换是压缩与特征提取的有效方法。62Fisher 线性分类的概念 以“O”、“Q”为例，比较PCA与LDA的差别。63Fisher 线性鉴别分析Fisher Linear Discriminant Analysis64Fisher Linear Discriminant Analysis6566对于正态分布的LDA67多重判别分析MDA68Multiple Discriminant Analysis697071期望最大化(EM)n将最大似然估计推广到允许包含丢失特征样本来学习特定分布的参数问题;n完整的样本集 D=x1,.,xnnxk=xkg,xkb n把不同的特征分成两部分 Dg 和 Db D 是 Dg 和 Db的并集n组成函数72begin initialize q q0,T,i 0 do i i+1 E step:Compute Q(q q;q q i)M step:q q i+1 arg maxq q Q(q q,q q i)until Q(q q i+1;q q i)-Q(q q i;q q i-1)T return q q q qi+1end 73Expectation-Maximization(EM)74Example:2D 模型75767778广义期望最大化(GEM)n代替最大化 Q(q q;q q i),我们在M步只需要找 q q i+1 使得Q(q q i+1;q q i)Q(q q ;q q i)也能确保收敛。n收敛将没有那么快。n让用户自由选取计算更加简单的途径。有一种版本的GEM算法,每次叠代时，都计算未知特征的最大似然函数，然后依此重新计算q q。79隐马尔可夫模型Hidden Markov Model(HMM)n用于处理序列判决问题应用,在语音和手势识别方面有用。n在 t 时刻发生的事件要收到t-1时刻发生事件的直接影响。n前面各章节,用一个n维特征矢量确定一个对象的状态,并基于这个状态进行统计判决;n本节,用一个时间的(矢量)序列或空间的(矢量)阵列来描述对象的整体状态,并基于这个整体状态进行统计判决;80First Order Markov Models一阶马尔可夫模型一阶马尔可夫模型有一个时间长度为T的状态序列：81First Order Hidden Markov Models一阶隐马尔可夫模型一阶隐马尔可夫模型82Hidden Markov Model 概率83一阶隐马尔可夫模型的例子：一阶隐马尔可夫模型的例子：84Hidden Markov Model 的计算n估值问题利用给定的 aij 和 bjk,计算某个特定观察序列 VT的概率P(VT|q q)。n解码问题给定特定观察序列 VT,决定最有可能产生 VT的隐状态序列T。n学习问题已知HMM的大致结构（如隐状态和可见状态的数目），但 aij 和 bjk未知，如何从一组可见符号的训练集中，决定这些参数。n运用HMM模型识别利用各类的可见序列样本进行学习,产生代表每类的HMM参考模型;对待识别可见序列,通过估值方法进行识别。85Evaluation(估值问题)86HMM Forward(前向算法)87HMM Forward88HMM Forward89HMM Backward90HMM Backward91Example 3:Hidden Markov Model92Example 3:Hidden Markov Model93Example 3:Hidden Markov Model94Left-to-Right Models for Speech95HMM Decoding（解码）（解码）96Problem of Local Optimizationn局部最优：对于每个t时刻，都寻找从前状态转移过来，并且产生可见状态vk的概率最大的概率。n算法本身不保证整个路径是合法的。97HMM Decoding98Example 4:HMM Decoding99Forward-Backward Algorithmn从一组训练样本中,确定模型参数 aij 和 bjk。n“前向-后向算法”是“广义期望最大化算法”的具体实现n通过递归方法更新权重，以得到能够更好地解释训练样本序列的模型参数。100Probability of Transition101Improved Estimate for aij102同理，可以获得 bjk的估计值103Forward-Backward Algorithm(Baum-Welch Algorithm)
