统计决策与贝叶斯估计.pptx

《统计决策与贝叶斯估计.pptx》由会员分享，可在线阅读，更多相关《统计决策与贝叶斯估计.pptx（81页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、参数估计参数估计4/1/20234/1/2023第第1 1页页1 1、统计决策统计决策统计决策统计决策o一、统计决策的三个要素一、统计决策的三个要素 1 样本空间和分布族样本空间和分布族设总体设总体X的分布函数为的分布函数为 F(x;),是未知参数，若是未知参数，若是未知参数，若是未知参数，若设设X1,Xn是来自总体是来自总体X X的一个样本，则样本所有可能值组成的集合的一个样本，则样本所有可能值组成的集合称为样本空间，记为称为样本空间，记为XX参数估计参数估计4/1/20234/1/2023第第2 2页页 2 决策空间（判决空间）决策空间（判决空间）对于任何参数估计，每一个具体的估计值，就是

2、一对于任何参数估计，每一个具体的估计值，就是一个回答，称为一个决策，一个统计问题中可能选取的全个回答，称为一个决策，一个统计问题中可能选取的全部决策组成的集合称为决策空间，一个决策空间至少应部决策组成的集合称为决策空间，一个决策空间至少应有两个决策。有两个决策。3 损失函数损失函数 统计决策的一个基本假定是，每采取一个决策，必统计决策的一个基本假定是，每采取一个决策，必然有一定的后果，统计决策是将不同决策以数量的形式然有一定的后果，统计决策是将不同决策以数量的形式表示出来表示出来参数估计参数估计4/1/20234/1/2023第第3 3页页o常见的损失函数有以下几种常见的损失函数有以下几种 （

3、1）线性损失函数）线性损失函数 绝对损失函数绝对损失函数 （2）平方损失函数）平方损失函数 （3）凸损失函数）凸损失函数 （4）多元二次损失函数）多元二次损失函数参数估计参数估计4/1/20234/1/2023第第4 4页页o二、统计决策函数及风险函数二、统计决策函数及风险函数 1 统计决策函数统计决策函数 定义定义3.1：定义在样本空间上：定义在样本空间上XX，取值于决策空，取值于决策空间间A A 内的函数内的函数d(x)，称为统计决策函数，简称，称为统计决策函数，简称决策函数决策函数 决策函数就是一个行动方案，如果用表达决策函数就是一个行动方案，如果用表达式处理，式处理，d(x)=d(x1

4、,x2,xn)本质上就是一个统本质上就是一个统计量计量参数估计参数估计4/1/20234/1/2023第第5 5页页 2 风险函数风险函数 决策函数决策函数 d(X)，完全取决于样本，损失函数，完全取决于样本，损失函数 L(,d)也是样本也是样本X 的函数的函数,当样本取不同的值当样本取不同的值x时时，决策决策 d(X)可能可能不同，所以损失函数值不同，所以损失函数值 L(,d)也不同，不能判断决策的好也不同，不能判断决策的好坏，一般从总体上来评价、比较决策函数，取平均损失，坏，一般从总体上来评价、比较决策函数，取平均损失，就是风险函数就是风险函数 定义定义3.2 设样本空间，分布族分别为设样

5、本空间，分布族分别为XX，F*，决策空间为，决策空间为AA，损失函数为，损失函数为 L(,d),d(X)为决策函数为决策函数,为决策函数为决策函数d(X)的风险函数，的风险函数，R(,d),表示采取决策表示采取决策d(X)所所蒙受的平均损失（蒙受的平均损失（L(,d)的数学期望）的数学期望）参数估计参数估计4/1/20234/1/2023第第6 6页页优良性准则优良性准则优良性准则优良性准则 定义定义3.3 设设d1,d2 是统计问题中的两个决策函数，是统计问题中的两个决策函数，若其风险函数满足不等式若其风险函数满足不等式 则称决策函数则称决策函数d1 优于优于d2参数估计参数估计4/1/20

6、234/1/2023第第7 7页页 定义定义3.4 设设D=d(X)是一切定义在样本空间是一切定义在样本空间X X 上，上，取值于决策空间取值于决策空间A A 上上的决策函数全体，的决策函数全体，若存在一个决策函数若存在一个决策函数d*(X)，使对任意一个，使对任意一个d(X)都有都有 则称则称d*(X)为一致最小风险决策函数，或一致为一致最小风险决策函数，或一致最优决策函数最优决策函数参数估计参数估计4/1/20234/1/2023第第8 8页页参数估计参数估计4/1/20234/1/2023第第9 9页页参数估计参数估计4/1/20234/1/2023第第1010页页问题总结问题总结o1

7、风险函数是二元函数，极值往往不存在或不唯一风险函数是二元函数，极值往往不存在或不唯一o2 在某个区间内的逐点比较不现实（麻烦）在某个区间内的逐点比较不现实（麻烦）o3 对应不同参数的，同一决策函数，风险值不相等对应不同参数的，同一决策函数，风险值不相等o4 由统计规律的特性决定不能点点比较由统计规律的特性决定不能点点比较o5 必须由一个整体指标来代替点点比较必须由一个整体指标来代替点点比较参数估计参数估计4/1/20234/1/2023第第1111页页2.2.贝叶斯估计贝叶斯估计 1)1)统计推断的基础统计推断的基础 经典学派经典学派的观点：的观点：统计推断是根据样本信息对统计推断是根据样本信

8、息对总体分布或总体的特征数进行推断，这里用到总体分布或总体的特征数进行推断，这里用到两种信息：两种信息：总体信息总体信息和和样本信息样本信息；贝叶斯学派贝叶斯学派的观点：除了上述两种信息以外，的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：统计推断还应该使用第三种信息：先验信息。先验信息。参数估计参数估计4/1/20234/1/2023第第1212页页（1）总体信息总体信息:总体分布提供的信息。总体分布提供的信息。（2）样本信息样本信息:抽取样本所得观测值提供的信息。抽取样本所得观测值提供的信息。（3）先验信息先验信息:人们在试验之前对要做的问题在经人们在试验之前对要做的问题在经

9、验上和资料上总是有所了解的，这些信息对验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说验）之前有关统计问题的一些信息。一般说 来，先验信息来源于经验和历史资料。先验来，先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。信息在日常生活和工作中是很重要的。参数估计参数估计4/1/20234/1/2023第第1313页页 基于上述三种信息进行统计推断的统计学称为基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。贝叶斯统计学。它与经典统计学的差别就在于它与经典统计学的差别

10、就在于是否利用先验信息。贝叶斯统计在重视使用总是否利用先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，质量。忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。有时还会导出不合理的结论。参数估计参数估计4/1/20234/1/2023第第1414页页 贝叶斯学派的基本观点：贝叶斯学派的基本观点：任一未知量任一未知量 都可看

11、都可看作随机变量，作随机变量，可用一个概率分布去描述，这个可用一个概率分布去描述，这个分布称为先验分布；分布称为先验分布；在获得样本之后，总体分在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量得到一个关于未知量 新的分布新的分布后验分布后验分布；任何关于任何关于 的统计推断都应该基于的统计推断都应该基于 的后验分布的后验分布进行。进行。参数估计参数估计4/1/20234/1/2023第第1515页页o2)先验分布先验分布利用先验信息的前提利用先验信息的前提 （1）参数是随机的，但有一定的分布规律）参数是随机的，但有一定的分

12、布规律 （2）参数是某一常数，但无法知道）参数是某一常数，但无法知道目标：充分利用参数的先验信息对未知参数作出更目标：充分利用参数的先验信息对未知参数作出更准确的估计。准确的估计。贝叶斯方法就是把未知参数视为具有已知分布的随贝叶斯方法就是把未知参数视为具有已知分布的随机变量，将先验信息数字化并利用的一种方法，机变量，将先验信息数字化并利用的一种方法，一般先验分布记为一般先验分布记为()参数估计参数估计4/1/20234/1/2023第第1616页页3)3)3)3)贝叶斯公式的密度函数形式贝叶斯公式的密度函数形式贝叶斯公式的密度函数形式贝叶斯公式的密度函数形式(后验分布）后验分布）后验分布）后验

13、分布）设总体设总体X X 的分布密度函数的分布密度函数P(x;)在贝叶斯统计中在贝叶斯统计中记为记为P(x|)，它表示在随机变量，它表示在随机变量取某个给定值取某个给定值时总体的时总体的条件概率密度函数；条件概率密度函数；P(x;)=P(x|)根据参数根据参数 的先验信息确定的先验信息确定先验分布先验分布()；样本样本 x1,x2,xn 的的联合条件分布密度函数联合条件分布密度函数为为 这个分布综合了总体信息和样本信息这个分布综合了总体信息和样本信息；参数估计参数估计4/1/20234/1/2023第第1717页页 0 是未知的，它是按先验分布是未知的，它是按先验分布()产生的。产生的。为把先

14、验信息综合进去，不能只考虑为把先验信息综合进去，不能只考虑 0，对，对 的其它值发生的可能性也要加以考虑，故要的其它值发生的可能性也要加以考虑，故要用用()进行综合。这样一来，样本进行综合。这样一来，样本x1,xn和参数和参数 的的联合分布为联合分布为:f(x1,x2 ,xn,)=q(x1,x2 ,xn )()，简记为简记为 f(x,)=q(x )()这个联合分布把总体信息、样本信息和先验这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了；信息三种可用信息都综合进去了；参数估计参数估计4/1/20234/1/2023第第1818页页在有了样本观察值在有了样本观察值 x1,x2,

15、xn 之后，则应依之后，则应依据据 f(x,)对对 作出推断。由于作出推断。由于 f(x,)=h(x1,x2,xn)m(x1,x2,xn)，其中其中m(x1,x2,xn)是是x1,x2,xn 的边际概的边际概率函数，它与率函数，它与 无关。因此能用来对无关。因此能用来对 作出推断作出推断的仅是条件分布的仅是条件分布h(x1,x2,xn)，它的计算，它的计算公式是公式是 参数估计参数估计4/1/20234/1/2023第第1919页页 这个条件分布称为这个条件分布称为 的的后验分布，后验分布，它集中了它集中了总体、样本和先验中有关总体、样本和先验中有关 的一切信息。的一切信息。后验分布后验分布h

16、(x1,x2,xn)的计算公式就的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分布样本对先验分布()作调整的结果，贝叶斯统作调整的结果，贝叶斯统计的一切推断都基于后验分布进行。计的一切推断都基于后验分布进行。参数估计参数估计4/1/20234/1/2023第第2020页页4 4）共轭先验分布）共轭先验分布）共轭先验分布）共轭先验分布o定义：设总体定义：设总体X 的分布密度为的分布密度为 p(x|),F*为为 的一个分布族，的一个分布族，()为为 的任意的任意一个先验分布，一个先验分布，()F*,若对样本的任若对样本的任意观测值意观测值

17、x,的后验分布的后验分布h(|x|x)仍在仍在F*内，内，称称F*为关于分布密度为关于分布密度 p(x|)的共轭先验分的共轭先验分布族，简称共轭族。布族，简称共轭族。o计算共轭先验分布的方法计算共轭先验分布的方法 参数估计参数估计4/1/20234/1/2023第第2121页页当给定样本的分布（似然函数）当给定样本的分布（似然函数）q(x|)和和先验分布先验分布()；由贝叶斯公式得由贝叶斯公式得 h(x|)=()q(x)/m(x)由于由于m(x)不依赖于不依赖于,改写为改写为 h(x|)()q(x)上式不是正常的密度函数上式不是正常的密度函数,是是h(x|)的主要的主要部分部分,称为称为h(x

18、|)的核的核参数估计参数估计4/1/20234/1/2023第第2222页页o例例8 8 X1,X2,Xn来自正态分布来自正态分布N(,2)的一个样的一个样本，其中本，其中 已知，求方差已知，求方差 2的共轭先验分布的共轭先验分布参数估计参数估计4/1/20234/1/2023第第2323页页o例例9 9 X1,X2,Xn来自二项分布来自二项分布B(N,)的一个的一个样本，求样本，求 的共轭先验分布的共轭先验分布参数估计参数估计4/1/20234/1/2023第第2424页页o计算共轭先验分布的方法计算共轭先验分布的方法 1.h(|x|x)=)=()q(x|)/m(x),m(x)不依赖于不依赖

19、于 先求出先求出先求出先求出q q(x x|),),再选取与再选取与再选取与再选取与q q(x x|)具有相同具有相同具有相同具有相同形式的分布作为先验分布，就是共轭分布形式的分布作为先验分布，就是共轭分布形式的分布作为先验分布，就是共轭分布形式的分布作为先验分布，就是共轭分布 2.当参数当参数 存在适当的统计量时，设存在适当的统计量时，设存在适当的统计量时，设存在适当的统计量时，设X X 的分的分的分的分布密度为布密度为布密度为布密度为 p p(x x|),),T T(X X)是是是是 的充分统计量的充分统计量的充分统计量的充分统计量,再由定理再由定理3.13.1，求得共轭先验分布族，求得共

20、轭先验分布族参数估计参数估计4/1/20234/1/2023第第2525页页o定理定理3.1设设f()为任一固定的函数为任一固定的函数,满足满足 参数估计参数估计4/1/20234/1/2023第第2626页页 若后验分布若后验分布h(x)与与()属于同一个分布族，则属于同一个分布族，则称该分布族是称该分布族是 的的共轭先验分布共轭先验分布(族族)。o二项分布二项分布b(n,)中的成功概率中的成功概率 的共轭先验分布的共轭先验分布是贝塔分布是贝塔分布Be(a,b)；泊松分布泊松分布P()中的均值中的均值 的共轭先验分布是伽的共轭先验分布是伽玛玛 分布分布(,)；o指数分布中均值的倒数的共轭先验

21、分布是伽玛分指数分布中均值的倒数的共轭先验分布是伽玛分布布(,)；o在方差已知时，正态均值在方差已知时，正态均值 的共轭先验分布是正的共轭先验分布是正态分布态分布N(,2);o在均值已知时，正态方差在均值已知时，正态方差 2的共轭先验分布是倒的共轭先验分布是倒伽玛分布伽玛分布I(,)。参数估计参数估计4/1/20234/1/2023第第2727页页5 5）贝叶斯风险）贝叶斯风险）贝叶斯风险）贝叶斯风险o定义：定义：称为决策函数称为决策函数d(X)在给定先验分布在给定先验分布()下下的贝的贝叶斯风险，简称叶斯风险，简称d(X)的贝叶斯风险的贝叶斯风险参数估计参数估计4/1/20234/1/202

22、3第第2828页页相当于随机损失函数求两次期望，一次相当于随机损失函数求两次期望，一次对对 后验分布，一次对后验分布，一次对X X 的边缘分布的边缘分布参数估计参数估计4/1/20234/1/2023第第2929页页6)6)贝叶斯点估计贝叶斯点估计贝叶斯点估计贝叶斯点估计定义：定义：设总体设总体X 的分布函数的分布函数F(x,)中参数中参数 为随机变量，为随机变量，()为为 的先验分布，若的先验分布，若在决策函数类在决策函数类D中存在一个决策函数中存在一个决策函数d*(X)，使得对决策函数类，使得对决策函数类D中的任一决中的任一决策函数策函数d(X)，均有，均有 则称为则称为d*(X)参数参数

23、 的贝叶斯估计量的贝叶斯估计量参数估计参数估计4/1/20234/1/2023第第3030页页定理定理3.2 设设 的先验分布为的先验分布为()，损失函数为，损失函数为 L(,d,d)=(=(-d-d)2 2,则则 的贝叶斯估计是的贝叶斯估计是 其中其中h(|x)|x)为参数为参数 的后验密度的后验密度。参数估计参数估计4/1/20234/1/2023第第3131页页参数估计参数估计4/1/20234/1/2023第第3232页页定理定理3.33.73.33.7，给出了各种损失函数下，给出了各种损失函数下的贝叶斯估计，不证的贝叶斯估计，不证参数估计参数估计4/1/20234/1/2023第第3

24、333页页o定理定理3.3 设设 的先验分布为的先验分布为()，取损失函数，取损失函数为加权平方损失函数为加权平方损失函数 则则 的贝叶斯估计为的贝叶斯估计为定理定理定理定理3.43.43.43.4 设设 (1 1,2 2,p p)T T 的先验分布为的先验分布为()，损失函数为损失函数为则则 的贝叶斯估计为的贝叶斯估计为参数估计参数估计4/1/20234/1/2023第第3434页页定义：定义：设设d=d(x)为任一决策函数，损失函数为为任一决策函数，损失函数为L(,d,d)，则，则L(,d,d)对后验分布对后验分布h(|x|x)的数的数学期望称为后验风险，记作学期望称为后验风险，记作 若存

25、在一个决策函数若存在一个决策函数d*(x)使得使得则则d*(x)称为在后验风险准则下的最优决策函数称为在后验风险准则下的最优决策函数参数估计参数估计4/1/20234/1/2023第第3535页页定理定理3.5 对给定的统计决策问题（包括先验分布）对给定的统计决策问题（包括先验分布）和决策函数类和决策函数类D当满足当满足 则贝叶斯决策函数则贝叶斯决策函数d*(x)与贝叶斯后验型决策与贝叶斯后验型决策函数函数d*(x)等价等价定理定理定理定理3.6 3.6 3.6 3.6 设的先验分布为设的先验分布为设的先验分布为设的先验分布为()，损失函数为，损失函数为，损失函数为，损失函数为绝对值损失绝对值

26、损失绝对值损失绝对值损失则则则则 的贝叶斯估计的贝叶斯估计的贝叶斯估计的贝叶斯估计d*d*(x x)为后验分布为后验分布为后验分布为后验分布h h(|x x x x)的的的的中位数中位数中位数中位数参数估计参数估计4/1/20234/1/2023第第3636页页定理定理定理定理3.73.7 设设设设 的先验分布为的先验分布为的先验分布为的先验分布为()，在线性损失，在线性损失，在线性损失，在线性损失函数函数函数函数 下下下下,则则则则 的贝叶斯估计的贝叶斯估计的贝叶斯估计的贝叶斯估计d*(x)为后验分布为后验分布为后验分布为后验分布h(|x x)的的的的k k1 1/(/(k k0 0+k k

27、1 1)上侧分位数上侧分位数上侧分位数上侧分位数参数估计参数估计4/1/20234/1/2023第第3737页页 常用贝叶斯估计常用贝叶斯估计 基于后验分布基于后验分布h(x)的贝叶斯估计，常用如下三的贝叶斯估计，常用如下三种：种：o用后验分布的密度函数最大值作为用后验分布的密度函数最大值作为 的点估计，称的点估计，称为最大后验估计；为最大后验估计；用后验分布的中位数作为用后验分布的中位数作为 的点估计，称为后验中的点估计，称为后验中位数估计；位数估计；用后验分布的均值作为用后验分布的均值作为 的点估计，称为后验期望的点估计，称为后验期望估计。用得最多的是后验期望估计，简称为贝叶斯估计。用得最

28、多的是后验期望估计，简称为贝叶斯估计，记为估计，记为 。参数估计参数估计4/1/20234/1/2023第第3838页页求贝叶斯估计的一般步骤求贝叶斯估计的一般步骤求贝叶斯估计的一般步骤求贝叶斯估计的一般步骤o1.根据总体根据总体X 的分布，求得条件概率的分布，求得条件概率q(x|)o2.在已知在已知 的先验分布的先验分布()下，求得下，求得x与与 的的联合分布密度联合分布密度 f(x,)=)=()q(x|)o3.求得求得X 的边缘分布的边缘分布m(x)o4.计算计算h(|x|x)=)=()q(x|)/m(x)o5.求数学期望求数学期望o6.求得贝叶斯风险（如果需要的话）求得贝叶斯风险（如果需

29、要的话）参数估计参数估计4/1/20234/1/2023第第3939页页o例例3.11 设总体设总体XB(1,p)，其中参数，其中参数p未知，且未知，且服从服从0,1上的均匀分布，损失函数取二次损上的均匀分布，损失函数取二次损失函数失函数L(,d,d)=(=(-d-d)2 2，求参数，求参数p的贝叶斯估的贝叶斯估计及贝叶斯风险计及贝叶斯风险参数估计参数估计4/1/20234/1/2023第第4040页页参数估计参数估计4/1/20234/1/2023第第4141页页参数估计参数估计4/1/20234/1/2023第第4242页页参数估计参数估计4/1/20234/1/2023第第4343页页

30、若在试验前对事件若在试验前对事件A没有什么了解，对其发生没有什么了解，对其发生的概率的概率 也没有任何信息。贝叶斯本人建议采用也没有任何信息。贝叶斯本人建议采用“同等无知同等无知”的原则使用区间的原则使用区间（0,1）上的均匀分布上的均匀分布U(0,1)作为作为 的先验分布，因为取的先验分布，因为取（0,1）上的每一上的每一点的机会均等。贝叶斯的这个建议被后人称为贝叶点的机会均等。贝叶斯的这个建议被后人称为贝叶斯假设。斯假设。参数估计参数估计4/1/20234/1/2023第第4444页页某些场合，贝叶斯估计要比极大似然估计更合理某些场合，贝叶斯估计要比极大似然估计更合理一点。比如一点。比如:

31、“抽检抽检3个全是合格品个全是合格品”与与“抽检抽检10个全是合格品个全是合格品”，后者的质量比前者更信得过。，后者的质量比前者更信得过。这种差别在不合格品率的极大似然估计中反映不这种差别在不合格品率的极大似然估计中反映不出来（出来（两两者都为者都为0），而用贝叶斯估计），而用贝叶斯估计两两者分别是者分别是 0.2 和和 0.83。由此可以看到，在这些极端情况下，贝叶斯估计由此可以看到，在这些极端情况下，贝叶斯估计比极大似然估计更符合人们的理念。比极大似然估计更符合人们的理念。参数估计参数估计4/1/20234/1/2023第第4545页页例设总体例设总体XN(,1)，其中，其中 未知，假定未

32、知，假定 N(0,1)，对于给定的损失函数对于给定的损失函数L(,d,d)=(=(-d-d)2 2，求，求 的的贝贝叶斯估计量叶斯估计量参数估计参数估计4/1/20234/1/2023第第4646页页参数估计参数估计4/1/20234/1/2023第第4747页页参数估计参数估计4/1/20234/1/2023第第4848页页例例3.153.15X1,X2,Xn来自正态分布来自正态分布N(,02)的的一个样本，其中一个样本，其中 02已知，已知，未知，假设未知，假设 的的先验分布为正态分布先验分布为正态分布N(,2)，其中先验均，其中先验均值值 和先验方差和先验方差 2均已知，试求均已知，试求

33、 的贝叶斯的贝叶斯估计。估计。解：解：样本样本x x的联合分布和的联合分布和 的先验分布分别为的先验分布分别为参数估计参数估计4/1/20234/1/2023第第4949页页由此可以写出由此可以写出x与与 的联合分布的联合分布其中其中 ，若记若记则有则有参数估计参数估计4/1/20234/1/2023第第5050页页 注意到注意到A,B,C均与均与 无关，样本的边际密度函数无关，样本的边际密度函数 应用贝叶斯公式即可得到后验分布应用贝叶斯公式即可得到后验分布 这说明在样本给定后，这说明在样本给定后，的后验分布为的后验分布为 N(B/A,1/A)，即，即|x N(B/A,1/A)参数估计参数估计

34、4/1/20234/1/2023第第5151页页 后验均值即为其贝叶斯估计：后验均值即为其贝叶斯估计：它是样本均值它是样本均值 与先验均值与先验均值 的加权平均。的加权平均。参数估计参数估计4/1/20234/1/2023第第5252页页贝叶斯估计的误差贝叶斯估计的误差贝叶斯估计的误差贝叶斯估计的误差参数估计参数估计4/1/20234/1/2023第第5353页页参数估计参数估计4/1/20234/1/2023第第5454页页贝叶斯区间估计贝叶斯区间估计贝叶斯区间估计贝叶斯区间估计参数估计参数估计4/1/20234/1/2023第第5555页页o两种区间估计的区别两种区间估计的区别 1）构造一

35、个统计量，并求得其概率分布）构造一个统计量，并求得其概率分布 2）利用参数的后验分布）利用参数的后验分布o区间估计求解步骤区间估计求解步骤 前面同贝叶斯点估计；前面同贝叶斯点估计；求得后验分布后按置信度，分开单侧、双求得后验分布后按置信度，分开单侧、双侧查表，得出置信上下界。侧查表，得出置信上下界。注意：贝叶斯区间估计的置信区间较短；注意：贝叶斯区间估计的置信区间较短；贝叶斯点估计不再要求无偏性。贝叶斯点估计不再要求无偏性。参数估计参数估计4/1/20234/1/2023第第5656页页o例例3.153.15x1,x2,xn来自正态分布来自正态分布N(,02)的的一个样本，其中一个样本，其中

36、02已知，已知，未知，假设未知，假设 的先的先验分布为正态分布验分布为正态分布N(,2)，其中先验均值，其中先验均值 和先验方差和先验方差 2均已知，试求均已知，试求 的贝叶斯区间估的贝叶斯区间估计。计。解：由贝叶斯点估计知解：由贝叶斯点估计知参数估计参数估计4/1/20234/1/2023第第5757页页参数估计参数估计4/1/20234/1/2023第第5858页页o例例3.16 对某一儿童做智力测验对某一儿童做智力测验x=115，设结果为，设结果为XN(,100),为智商，为智商，根据经验根据经验 N(100,225)，求该儿童智商的，求该儿童智商的0.95贝叶斯置信区间贝叶斯置信区间o

37、解：由上题结论知，解：由上题结论知，的后验分布服从正态分布的后验分布服从正态分布 参数估计参数估计4/1/20234/1/2023第第5959页页参数估计参数估计4/1/20234/1/2023第第6060页页最大最小估计（极大极小）最大最小估计（极大极小）最大最小估计（极大极小）最大最小估计（极大极小）minmaxminmaxo定义：设定义：设D是决策函数的集合，若有是决策函数的集合，若有d*(x)=d*(x1,x2,xn),d*D，使得对任意一个决策函使得对任意一个决策函数数d(x1,x2,xn)，总有，总有 则称则称d*为最大最小决策函数，当上界能取到时可为最大最小决策函数，当上界能取到

38、时可记为记为参数估计参数估计4/1/20234/1/2023第第6161页页解题步骤解题步骤解题步骤解题步骤（1 1 1 1）对）对）对）对D D D D 中所有决策函数求最大风险中所有决策函数求最大风险中所有决策函数求最大风险中所有决策函数求最大风险（2 2 2 2）在所有最大风险值中选取最小值）在所有最大风险值中选取最小值）在所有最大风险值中选取最小值）在所有最大风险值中选取最小值 此最小值所对应的决策函数就是最大最小此最小值所对应的决策函数就是最大最小此最小值所对应的决策函数就是最大最小此最小值所对应的决策函数就是最大最小决策函数。决策函数。决策函数。决策函数。参数估计参数估计4/1/2

39、0234/1/2023第第6262页页o例设总体例设总体 X 服从两点分布，试求服从两点分布，试求 p 的极大的极大极小估计量，其中极小估计量，其中L(p,d)d=0.25d=0.5P1=0.2514P2=0.532参数估计参数估计4/1/20234/1/2023第第6363页页o解：决策空间为解：决策空间为A=0.25,0.5，选取容量为，选取容量为1的子的子样，样，x只能取只能取0,1 a只能取只能取0.25，0.5，则决策函数，则决策函数d(x)有四个：有四个：dx ad1(x)d2(x)d3(x)d4(x)00.250.50.250.510.250.50.50.25参数估计参数估计4/

40、1/20234/1/2023第第6464页页o风险函数风险函数R(p,d)R(p1,di)R(p2,di)maxR(pi,dj)d1133d2434d37/45/25/2d413/45/213/4参数估计参数估计4/1/20234/1/2023第第6565页页min(maxR(pi,dj)=5/2则极大极小估计为则极大极小估计为R(p,d)计算举例计算举例参数估计参数估计4/1/20234/1/2023第第6666页页o例：地质学家把地层状态分为例：地质学家把地层状态分为0，1两种，两种，并把当地无石油记为并把当地无石油记为 0，有石油记为有石油记为 1，分布规律如下表分布规律如下表o x01

41、 0（无油）（无油）0.60.4 1（有油）（有油）0.30.7参数估计参数估计4/1/20234/1/2023第第6767页页决策空间为决策空间为A=a1,a2,a3，其中，其中a1为钻探石油，为钻探石油，a2为出卖土地，为出卖土地，a3为开发旅游。为开发旅游。损失函数损失函数L(,a)取下表取下表 aa1a2a3 0（无油）（无油）1216 1（有油）（有油）0105参数估计参数估计4/1/20234/1/2023第第6868页页 决策函数决策函数d(x)取下表取下表(取取n=1)（9个决策函数）个决策函数）x1d1d2d3d4d5d6d7d8d90a1a1a1a2a2a2a3a3a31a

42、1a2a3a1a2a3a1a2a3参数估计参数估计4/1/20234/1/2023第第6969页页风险函数风险函数R(i,dj)及最大值表及最大值表di(x1)d1d2d3d4d5d6d7d8d9R(0,di)127.69.65.4138.446R(1,di)073.53106.51.58.55maxR(,di)127.69.65.4106.58.48.56参数估计参数估计4/1/20234/1/2023第第7070页页 可知：可知：min(maxR(,di)=5.4，其对应的决策函数为其对应的决策函数为d4，所以，所以d4是这个统计决是这个统计决策问题的最大最小决策函数。策问题的最大最小决策

43、函数。d4 为为：d4(0)=a2,d4(1)=a1 即当地质学家的结论是无油时出卖土地，有油即当地质学家的结论是无油时出卖土地，有油时钻探石油。时钻探石油。参数估计参数估计4/1/20234/1/2023第第7171页页R(,d)计算举例计算举例参数估计参数估计4/1/20234/1/2023第第7272页页o定理定理3.8 给定一个统计决策问题，如果存在给定一个统计决策问题，如果存在某个先验分布下的贝叶斯决策函数的风险函某个先验分布下的贝叶斯决策函数的风险函数是一个常数，那么该决策函数必定是这个数是一个常数，那么该决策函数必定是这个统计问题的一个最大最小决策函数。统计问题的一个最大最小决策

44、函数。o若给定的统计决策问题是参数的点估计，在若给定的统计决策问题是参数的点估计，在定理条件下，相应的决策函数必为参数的最定理条件下，相应的决策函数必为参数的最大最小估计量大最小估计量参数估计参数估计4/1/20234/1/2023第第7373页页例例3.18 设总体设总体XB(1,p)，p未知，服从分布未知，服从分布损失函数为损失函数为 L(,d,d)=(=(-d-d)2 2，参数，参数p的贝叶斯估计的贝叶斯估计 为为p的最大最小估计的最大最小估计 参数估计参数估计4/1/20234/1/2023第第7474页页参数估计参数估计4/1/20234/1/2023第第7575页页参数估计参数估计

45、4/1/20234/1/2023第第7676页页o定理定理3.9 给定一个贝叶斯决策问题，设给定一个贝叶斯决策问题，设 k():k 1为参数空间为参数空间上的先验分布列，上的先验分布列，dk:k1和和RB(dk):k1分别为相应的贝叶斯估分别为相应的贝叶斯估计列和贝叶斯风险列，若计列和贝叶斯风险列，若d0是是 的一个估计，的一个估计，且风险函数满足，且风险函数满足，则则d0为为 的最大最小估计的最大最小估计参数估计参数估计4/1/20234/1/2023第第7777页页o定理定理3.10 给定一个贝叶斯决策问题，若给定一个贝叶斯决策问题，若d0是是 的一个估计，其风险函数的一个估计，其风险函数

46、R(,d0)在参数在参数空间空间上为常数上为常数，且，且 k():k 1为先为先验分布列，使得相应的贝叶斯估计列验分布列，使得相应的贝叶斯估计列dk:k1的贝叶斯风险满足的贝叶斯风险满足 则则d0为为 的最大最小估计的最大最小估计参数估计参数估计4/1/20234/1/2023第第7878页页o例例3.19 3.19 x1,x2,xn来自正态分布来自正态分布N(,1)的的一个样本，设一个样本，设 的先验分布的先验分布N(0,2)，其中，其中 2已知，在已知，在0-10-1损失函数下损失函数下 的贝叶斯为估计的贝叶斯为估计 证明样本均值是证明样本均值是 的最大最小估计的最大最小估计参数估计参数估计4/1/20234/1/2023第第7979页页证明：由例证明：由例证明：由例证明：由例3.153.153.153.15知知知知参数估计参数估计4/1/20234/1/2023第第8080页页o 的贝叶斯为估计为的贝叶斯为估计为参数估计参数估计4/1/20234/1/2023第第8181页页