贝叶斯方法学习.pptx
1，贝叶斯基本理论，贝叶斯基本理论 如果参数 有一个先验分布 ，我们观测到了从条件分布 产生的样本 ，由贝叶斯公式可以得到 的后验分布是第1页/共35页1，贝叶斯基本理论，贝叶斯基本理论先验分布，总体分布参数 的一个概率分布，是在进行贝叶斯估计不可缺少的一个要素。后验分布，根据样本分布和未知参数的先验分布，在样本已知条件下，求出的未知参数的条件分布。第2页/共35页先验分布的选取后验分布的计算1，贝叶斯基本理论，贝叶斯基本理论贝叶斯统计中的一些问题：第3页/共35页1，贝叶斯基本理论，贝叶斯基本理论先验分布的选取（1）客观法：即根据积累的资料对参数的先验分布做出统计。（2）主观概率法：包含了经验知识和理论知识，参杂了个人对参数的了解。（3）同等无知原则：又称bayes假定。第4页/共35页1，贝叶斯基本理论，贝叶斯基本理论 常见的分布函数：Beta distribution Poisson distribution Binomial distribution Normal distribution Unifrom distribution gamma distribution第5页/共35页Monte Carlo模拟模拟 设 一个随机序列 ，在任一时刻 ，序列中下时刻j+1的 只依赖时刻j的当前状态而与时刻j以前的历史状态 无关，即 这个随机序列为Markov链。其转移核 可表示为第6页/共35页Monte Carlo模拟模拟 MCMC方法的基本思想就是通过建立一个平稳分布为 的Markov chain得到 的样本，基于这些样本做各种统计推断。在样本上选择一个合适的Markov chain使其转移核为由样本上的某一点 出发，用Markov chain产生点序列对某个m和足够大的n，任一函数 的期望估计如下：第7页/共35页Monte Carlo模拟模拟常用的MCMC方法 Gibbs抽样 Metropolis-Hastings 抽样第8页/共35页Monte Carlo模拟模拟Gibbs 抽样给定任意参数初值 .第9页/共35页Metropolis-hastingsMetropolis-hastings抽样方法抽样方法抽样方法抽样方法设设X为为d维随机向量，其概率密度函数为维随机向量，其概率密度函数为w(X)通过在通过在d 维空间中的随机行走来产生维空间中的随机行走来产生X的随机取的随机取样，利用样，利用 w(X)来选取每一步行走的步长和方向来选取每一步行走的步长和方向欲产生一组欲产生一组X的随机值：的随机值：设已产生了设已产生了i个随机值个随机值xi，以，以xi为基点随机选取为基点随机选取一新的试验点一新的试验点xt，根据，根据w(X)决定是否接受决定是否接受xt作作为新的点为新的点xi+1第10页/共35页Metropolis-hastingsMetropolis-hastings抽样方法抽样方法抽样方法抽样方法抽样方法：抽样方法：1.产生产生d个在个在(-1,1)区间上均匀分布的随机数区间上均匀分布的随机数2.计算新的尝试点计算新的尝试点:3.计算计算w(X)函数在两点处的数值比函数在两点处的数值比4.产生在产生在(0,1)区间内均匀分布的随机数区间内均匀分布的随机数 6.如果如果r ，则令，则令,选择参数选择参数 和和初始点初始点设已产生了第设已产生了第i个个X的随机值的随机值 ，则第则第i+1个随机值由下列步骤产个随机值由下列步骤产生：生：否则否则,第11页/共35页二 相关软件介绍 WinBUGS R and WinBUGS第12页/共35页WinBUGSWinBUGS的前身是BUGS(Bayesian inference Using Gibbs Sampling)。WinBUGS中的模型，都是用一个有向无环图（DAG）来描述的。在每个有向无环图中，我们可以将变量之间的联合分布写成 v-所有变量的集合，v是其中一个元素，pa(v)-v附近节点在WinBUGS的模型中，需要描述变量系统的所有条件分布。第13页/共35页WinBUGS 运行部分第14页/共35页DoodleBUGSStart WinBUGSSelect“Doodle”from menu bar第15页/共35页DoodleBUGS-BasicsSelect“New”Press“ok”You have a window to“Doodle”in.第16页/共35页NodesCreating a node Mouse click in Doodle WindowDeleting a node:CTRL+Del第17页/共35页Nodes can beStochastic LogicalConstant(rectangle)Node Types第18页/共35页Inferences for normal distributions2BUGS codemodel;mean dnorm(0.0,1.0E-6)tau dgamma(0.001,0.001)sd-sqrt(1/tau)for(i in 1:N)xi dnorm(mean,tau)data;list(N=5,x=c(2,3,3,1,0)inits;list(tau=1)第19页/共35页Running BUGSChecksSyntaxStartSamplerCheck ModelLoadDataCompileModelInitial ValuesUpdateSampler第20页/共35页Check ModelSelect the Doodle(note the hairy boarder)Menu bar-Model-Check modelNote the message in bottom left hand corner第21页/共35页Load DataHighlight the word“list”Menu bar-Model-DataBottom left hand corner第22页/共35页Compiling the ModelMenu bar-Model-CompileBottom left hand corner第23页/共35页Load Initial ValuesMenu bar-Model-Gen inits Bottom left hand side第24页/共35页 Update the ModelMenu bar-Model-Update1000 MCMC updates to be carried out.第25页/共35页Monitoring NodesMonitoring p our parameter of interestMenu bar-Inference-Samples.Sample Monitor Tool第26页/共35页Monitoring NodesType name of node“pi”to monitorPress“set”第27页/共35页Update&MonitorUpdate model again1000 values“monitored”of the MCMC run for p第28页/共35页results第29页/共35页R and WinBUGSHow to install R2WinBUGS -start R -first:install.packages(“R2WiinBUGS”)-secon:install from Rmenu”packages”第30页/共35页ExampleStep1:start RStep2:start Winbugs Step3:load“R2WinBUGS”from R library(“R2WinBUGS”)load“RWinEdt”from R library(“RWinEdt”)Step4:model specificationestablish the Bugs model file(.bug)Step5:data specification(.dat)Step6:data read,starting values and parameters specification(.R)第31页/共35页第32页/共35页第33页/共35页BugXLA 在EXCEL下通过运行WinBUGS进行贝叶斯数据分析。实际操作时介绍第34页/共35页感谢您的观看。第35页/共35页
