参数模型与贝叶斯方法.ppt

《参数模型与贝叶斯方法.ppt》由会员分享，可在线阅读，更多相关《参数模型与贝叶斯方法.ppt（18页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、参数模型与贝叶斯方法参数模型与贝叶斯方法 1.极大似然与广义线性模型极大似然与广义线性模型 2.非线性回归模型非线性回归模型 3.贝叶斯推断贝叶斯推断 4.压缩估计方法和贝叶斯方法在投资中的应用压缩估计方法和贝叶斯方法在投资中的应用 1.极大似然与广义线性模型极大似然与广义线性模型1.1 计算MLE的数值方法 似然函数对 求最大时，需要限制为半正定，使用Cholesky分解1.2 广义线性模型广义线性模型正态分布族Poisson分布族logistic模型probit模型广义线性模型的似然函数及迭代再加权最小二乘Newton-Raphson迭代式2.非线性回归模型部分线性模型可转化为线性的模型2

2、.1 高斯-牛顿算法计算最小点，选取 作为初值，在第j个迭代步中，得到用上式来近似 ，最初的非线性模型可以由下面的线性回归模型来近似上式中的OLS估计值 的显示表示为矩阵求逆步长因子收敛性准则 1参数增量相对与参数值足够小 2 足够小 3 几乎正交于 在 处的切平面 这个准则的要求为 下式足够小 Levenberg-Marquardt修正 2.2 统计推断令 表示非线性回归模型中 的估计，用 表示 的真值，我们假设X非随机，那么由下式在假设 下，其中 我们得到2.3 实现和实例应用非线性最小二乘估计来估计Hull-White利率模型中收益率的波动率其中期限为(年)的收益率的方差由下式给出 其中

3、和是模型的参数3 贝叶斯推断3.1 先验分布和后验分布 在给出贝叶斯公式的密度函数形式之前，先介绍以下贝叶斯学派的一些具体思想或者叫着基本假设：假设 随机变量X有一个密度函数p(x;)，其中是一个参数，不同的对应不同的密度函数，故从贝叶斯观点看，p(x;)是在给定后的一个条件密度函数，因此记为p(x)更恰当一些。这个条件密度能提供我们的有关的信息就是总体信息。假设 当给定后，从总体p(x)中随机抽取一个样本X1，Xn，该样本中含有的有关信息。这种信息就是样本信息。假设 从贝叶斯观点来看，未知参数是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用(

4、)表示。（1）先验分布定义1 将总体中的未知参数看成一取值于的随机变量，它有一概率分布，记为()，称为参数的先验分布。（2）后验分布 在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本X1，Xn，和参数的联合密度函数：在这个联合密度函数中，当样本 给定之后，未知的仅是参数了，我们关心的是样本给定后，的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数：这就是贝叶斯公式的密度函数形式，其中称为的后验密度函数，或后验分布。3.2 贝叶斯方法贝叶斯方法是在给定数据下最小化基于的后验分布的某个函数。统计决策问题，必须具备几个要素：1 参数空间 以及一个分布族 2

5、从分布 抽取的样本数据 ，其中表示参数真值，称作“样本空间”3 决策空间 包含所有可供选择的行为 4 损失函数 表示当真值为参数值，选择行为导致的损失 风险函数 贝叶斯风险贝叶斯准则，即最小化贝叶斯风险：那么上式可以写成 3.3 多元正态均值和协方差阵的贝叶斯估计 令 为多维正态分布 的n个独立同分布的观测。用 表示样本均值向量。已知时的贝叶斯估计 假设的先验分布为 ，后验分布是一个正态分布，均值为 协方差阵为逆转Wishart分布 进一步有 的贝叶斯估计 使用下面的分布作为 的先验分布：上式也是一个共轭分布族，因为给定X分量下，的后验分布为 和的贝叶斯估计，即其后验均值为 和3.4 高斯回归模型中的贝叶斯估计令 ，我们可以假设 的先验分布为 那么给定（X，Y）下，的后验分布也有相同形式：因此，的贝叶斯估计仍然是 ，的贝叶斯估计为 3.5 经验贝叶斯估计和压缩估计4 压缩估计和贝叶斯估计在投资中的应用4.1 代入估计有效前沿下和的压缩估计4.2 另一种贝叶斯方法