概率密度函数估计ppt课件.ppt

《概率密度函数估计ppt课件.ppt》由会员分享，可在线阅读，更多相关《概率密度函数估计ppt课件.ppt（44页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程第三章概率密度函数的估计病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.13.1引言引言3.23.2最大似然估计最大似然估计(Maximum Likelihood Estimation)(Maximum Likelihood Estimation)3.33.3贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习3.43.4概率密度估计的非参数方法概率密度估计的非参数方法本章主要内容介绍本章主要内容介绍病原体侵入机体，消弱机体防御

2、机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.13.1引言引言贝叶斯决策：已知和，对未知样本分类（设计分类器）实际问题：已知一定数目的样本，对未知样本分类（设计分类器）怎么办？一种很自然的想法：首先根据样本估计和，记和然后用估计的概率密度设计贝叶斯分类器。（基于样本的）两步贝叶斯决策病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.13.1引言引言希望：当样本数时，如此得到的分类器收敛于理论上的最优解。为此，需重要前提：训练样本的分布能代表样本的真实分布，所谓i.i.d条件有充分的训练样本本

3、章讨论内容：如何利用样本集估计概率密度函数？估计概率密度的两种基本方法：参数方法(parametricmethods)非参数方法(nonparametricmethods)不假定数学模型，直接用已知不假定数学模型，直接用已知类别的学的学习样本的先本的先验知知识直直接估接估计数学模型。数学模型。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程二监督学习与无监督学习监督学习：在已知类别样本指导下的学习和训练，参数估计和非参数估计都属于监督学习。无监督学习：不知道样本类别，只知道样本的某些信息去估计，如：聚类分析。病原体侵入机体，消弱机体

4、防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.13.1引言引言基本概念参数估计(parametricestimation)：已知概率密度函数的形式，只是其中几个参数未知，目标是根据样本估计这些参数的值。几个名词：统计量(statistics)：样本的某种函数，用来作为对某参数的估计参数空间(parametricspace)：待估计参数的取值空间估计量(estimation)：病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.23.2最大似然估计最大似然估计(Maximum Likelih

5、ood Estimation)(Maximum Likelihood Estimation)假设条件假设条件：参数是确定的未知量，（不是随机量）各类样本集，中的样本都是从密度为的总体中独立抽取出来的，（独立同分布，i.i.d.）具有某种确定的函数形式，只其参数未知各类样本只包含本类分布的信息其中，参数通常是向量，比如一维正态分布，未知参数可能是，此时可写成或。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程2病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.23.2最大

6、似然估计最大似然估计(Maximum Likelihood Estimation)(Maximum Likelihood Estimation)鉴于上述假设，我们可以只考虑一类样本，记已知样本为似然函数（似然函数（likelihoodfunction）在参数下观测到样本集的概率（联合分布）密度基本思想：基本思想：如果在参数下最大，则应是“最可能”的参数值，它是样本集的函数，记作。称作最大似然估计量。为了便于分析，还可以定义对数似然函数。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.23.2最大似然估计最大似然估计(Maximu

7、m Likelihood Estimation)(Maximum Likelihood Estimation)求解：求解：若似然函数满足连续、可微的条件，则最大似然估计量就是方程或的解（必要条件）。若未知参数不止一个，即，记梯度算子则最大似然估计量的必要条件由S个方程组成：病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.23.2最大似然估计最大似然估计(Maximum Likelihood Estimation)(Maximum Likelihood Estimation)讨论：如果似然函数连续、可微，存在最大值，且上述必要条件

8、方程组有唯一解，则其解就是最大似然估计量。（比如多元正态分布）。如果必要条件有多解，则需从中求似然函数最大者若不满足条件，则无一般性方法，用其它方法求最大（以均匀分布为例）病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程上图有5个解,只有一个解最大即.P(Xi/i)病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.23.2最大似然估计最大似然估计(Maximum Likelihood Estimation)(Maximum Likelihood Estimation)正

9、态分布下的最大似然估计示例以单变量正态分布为例，样本集似然函数病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.23.2最大似然估计最大似然估计(Maximum Likelihood Estimation)(Maximum Likelihood Estimation)对数似然函数最大似然估计量满足方程而病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.23.2最大似然估计最大似然估计(Maximum Likelihood Estimation)(Maximum Lik

10、elihood Estimation)得方程组解得病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程2.多维正态分布情况已知,未知,估计服从正态分布所以在正态分布时代入上式得病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程所以这说明未知均值的最大似然估计正好是训练样本的算术平均。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程，均未知A.一维情况：n=1对于每个学习样本只有一个特征的简单情况：(n=1)由上式得即

11、学习样本的算术平均样本方差病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程讨论：1.正态总体均值的最大似然估计即为学习样本的算术平均2.正态总体方差的最大似然估计与样本的方差不同，当N较大的时候，二者的差别不大。B多维情况：n个特征（学生可以自行推出下式）估计值：结论：的估计即为学习样本的算术平均估计的协方差矩阵是矩阵的算术平均（nn阵列，nn个值）病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程极大似然估计极大似然估计分布待估参数极大似然估计二项二项p泊松泊松指数指数正

12、态正态正态正态2病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.33.3贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习贝叶斯估计贝叶斯估计思路与贝叶斯决策类似，只是离散的决策状态变成了连续的估计。基本思想：基本思想：把待估计参数看作具有先验分布的随机变量，其取值与样本集有关，根据样本集估计。损失函数：把估计为所造成的损失，记为病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.33.3贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习期望风险：其中，条件风险：最小化期望风险最

13、小化条件风险（对所有可能的）有限样本集下，最小化经验风险：病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.33.3贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习贝叶斯估计量：贝叶斯估计量：（在样本集下）使条件风险（经验风险）最小的估计量。损失：离散情况：损失函数表（决策表）；连续情况：损失函数常用的损失函数：（平方误差损失函数）定理定理3.1请自学证明过程请自学证明过程如果采用平方误差损失函数，则的贝叶斯估计量是在给定时的条件期望，即同理可得到，在给定样本集下，的贝叶斯估计是：病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对

14、稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.33.3贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习求贝叶斯估计的方法：求贝叶斯估计的方法：（平方误差损失下）（1）确定的先验分布（2）求样本集的联合分布（3）求的后验概率分布（4）求的贝叶斯估计量病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.33.3贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习我们也可直接推断总体分布其中，。设的最大似然估计为，则在处很可能有一尖峰，若如此，且先验概率在处非零且在附近变化不大，则，即贝叶斯估计结果与最大似然估计结果近似相等。如的峰值不

15、尖锐，则不能用最大似然估计来代替贝叶斯估计。所有可能的参数取值下的样本概率密度的加权平均病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.33.3贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习考虑估计的收敛性：记学习样本个数，样本集时有因此有递推后验概率公式：设，则随着样本数增多，可得后验概率密度函数序列：，参数估计的递推贝叶斯方法如果此序列收敛于以真实参数值为中心的函数，则把这一性质称作贝叶斯学习。此时病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程三贝叶斯学习1.贝叶

16、斯学习的概念：求出的后验概率之后，直接去推导总体分布即当观察一个样本时，N=1就会有一个的估计值的修正值当观察N=4时，对进行修正，向真正的靠近当观察N=9时，对进行修正，向真正的靠的更近当N,N就反映了观察到N个样本后对的最好推测，而N2反映了这种推测的不确定性,N,N2,N2 随观察样本增加而单调减小，且当N,N20当N，P(|xi)越来越尖峰突起N,P(|xi)函数，这个过程成为贝叶斯学习。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不

17、同程度的病理生理过程4病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.33.3贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习正态分布下的贝叶斯估计示例请自学推导过程请自学推导过程一维，已知，估计。假设先验分布结论：其中-样本信息与先验知识的线性组合讨论：时，；时，若，则（先验知识可靠，样本不起作用）若，则（先验知识十分不确定，完全依靠样本信息）病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.33.3贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习的密度：当时，函数。病原

18、体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.33.3贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习均值，方差由增为-由于用了的估计值而不确定性增加其他分布的情况：参考Gibbs采样方法、MCMC方法等病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.43.4概率密度估计的非参数方法概率密度估计的非参数方法参数估计parametricestimation非参数估计nonparametricestimation直方图方法非参数概率密度估计的最简单方法（1）把的每个分量分成

19、个等间隔小窗，（若，则形成个小舱）（2）统计落入各个小舱内的样本数（3）相应小舱的概率密度为（：样本总数，：小舱体积）病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.43.4概率密度估计的非参数方法概率密度估计的非参数方法3.4.1非参数估计的基本原理非参数估计的基本原理问题：已知样本集，其中样本均从服从的总体中独立抽取，求估计，近似。考虑随机向量落入区域的概率中有个样本落入区域的概率的期望值的众数（概率最大的取值）为的估计（：实际落到中的样本数）病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖

20、，引起不同程度的病理生理过程3.43.4概率密度估计的非参数方法概率密度估计的非参数方法3.4.1非参数估计的基本原理非参数估计的基本原理设连续，且足够小，的体积为，则有因此其中,：样本总数，：包含的一个小区域的体积：落在此区域中的样本数为对在小区域内的平均值的估计。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.43.4概率密度估计的非参数方法概率密度估计的非参数方法3.4.1非参数估计的基本原理非参数估计的基本原理 的选择：过大，估计粗糙；过小，可能某些区域中无样本理论结果：理论结果：设有一系列包含的区域，对采用1个样本进行

21、估计，对用2个，。设包含个样本，为的体积，为的第次估计，有下面的结论：如果：（1）；（2）；（3）则收敛于。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.43.4概率密度估计的非参数方法概率密度估计的非参数方法3.4.1非参数估计的基本原理非参数估计的基本原理两种选择策略：1.选择，（比如），同时对和加限制以保证收敛Parzen窗法2.选择，（比如），为正好包含的个近邻近邻估计病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.43.4概率密度估计的非参数方法概率密

22、度估计的非参数方法3.4.2-近邻估计近邻估计通过控制小区域内的样本数来确定小区域大小。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.43.4概率密度估计的非参数方法概率密度估计的非参数方法3.4.3Parzen窗法窗法窗函数（核函数），反映对的贡献，实现小区域选择。条件：病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.43.4概率密度估计的非参数方法概率密度估计的非参数方法3.4.3Parzen窗法窗法常用窗函数：（1）超立方体窗（方窗）为超立方体棱长，（2）

23、正态窗（高斯窗）一维标准正态：病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.43.4概率密度估计的非参数方法概率密度估计的非参数方法3.4.3Parzen窗法窗法（3）超球窗（：超球体积，半径）窗宽的选择：样本数少则选大些，样本数多则选小些，比如选Parzen窗估计的性质：在满足一定的条件下，估计量是渐近无偏和平方误差一致的。条件是：病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.43.4概率密度估计的非参数方法概率密度估计的非参数方法3.4.3Parzen窗法

24、窗法1.总体密度在x点连续；2.窗函数满足以下条件：窗函数具有密度函数的性质：窗函数有界：窗函数随着距离的增大很快趋于零3.窗宽受以下条件约束：窗体积随着N的增大而趋于零：但体积减小的速度要低于1/N病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程3.43.4概率密度估计的非参数方法概率密度估计的非参数方法3.4.3Parzen窗法窗法举例：用已知的密度函数产生一系列样本，根据这些样本用Parzen窗法估计概率密度函数，与真实密度函数比较，分析样本数，窗宽等对估计结果的影响。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程http:/archive.ics.uci.edu/ml/