极限定理与条件期望.pptx

《极限定理与条件期望.pptx》由会员分享，可在线阅读，更多相关《极限定理与条件期望.pptx（51页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第3章 极限定理与条件期望3.1 极限定理3.2 条件期望3.1 极限定理2个不等式个不等式3个个大数定律大数定律3个个极限定理极限定理一、问题的引入实例实例:考察射击命中点与靶心距离的偏差考察射击命中点与靶心距离的偏差.这种偏差是大量微小的偶然因素造成的微这种偏差是大量微小的偶然因素造成的微小误差的总和小误差的总和,这些因素包括这些因素包括:瞄准误差、测量瞄准误差、测量误差、子弹制造过程方面误差、子弹制造过程方面(如外形、重量等如外形、重量等)的的误差以及射击时武器的振动、气象因素误差以及射击时武器的振动、气象因素(如风速、如风速、风向、能见度、温度等风向、能见度、温度等)的作用的作用,所有

2、这些不同所有这些不同因素所引起的微小误差是相互独立的因素所引起的微小误差是相互独立的,并且它们并且它们中每一个对总和产生的影响不大中每一个对总和产生的影响不大.问题问题:某个随机变量是由大量相互独立且均匀小某个随机变量是由大量相互独立且均匀小的随机变量相加而成的的随机变量相加而成的,研究其概率分布情况研究其概率分布情况.本节要本节要解决的问题解决的问题 1.为何能以某事件发生的频率为何能以某事件发生的频率 作为该事件的作为该事件的 概率的估计概率的估计？2.为何能以样本均值作为总体为何能以样本均值作为总体 期望的估计？期望的估计？3.为何正态分布在概率论中占为何正态分布在概率论中占 有极其重要

3、的地位有极其重要的地位？4.大样本统计推断的理论基础大样本统计推断的理论基础 是什么？是什么？ANSWER大数大数定律定律中心极中心极限定理限定理大数定律和中心极限定理是概率论的重要基本大数定律和中心极限定理是概率论的重要基本理论理论，它们揭示了随机现象的重要统计规律，在概率论与数它们揭示了随机现象的重要统计规律，在概率论与数理统计的理论研究和实际应用中都具有重要的意义。理统计的理论研究和实际应用中都具有重要的意义。迄今为止迄今为止,人们已发现很多大数定律人们已发现很多大数定律(laws of large(laws of large numbers)numbers)所谓大数定律，简单地说，就是

4、大量数目的随机变量所谓大数定律，简单地说，就是大量数目的随机变量所呈现出的规律，这种规律一般用随机变量序列的某种所呈现出的规律，这种规律一般用随机变量序列的某种收敛性来刻画。收敛性来刻画。仅仅介绍几个最基本的大数定律。下面，先介绍几个最基本的大数定律。下面，先介绍介绍二二个重个重要要的不等式。的不等式。设非负随机变量设非负随机变量 X 的期望的期望 E(X)存在，存在，则对于任意实数则对于任意实数 a 0,1.1.马尔可夫马尔可夫（MarkovMarkov）不等式不等式 重要不等式重要不等式 证明证明（我们仅对连续性的随机变量进行证明）（我们仅对连续性的随机变量进行证明）设设 f(x)为为 X

5、 的密度函数，的密度函数，则则设随机变量设随机变量 X 的均值的均值 E(X)及方差及方差D(X)都都存在，存在，则对于则对于任意实数任意实数 0，有有2 2 契比雪夫（契比雪夫（chebyshev chebyshev）不等式）不等式或或示意图Ex xEx x+Ex x-j j(x)x Dx x/2证明证明（我们仅对连续性的随机变量进行证明）（我们仅对连续性的随机变量进行证明）设设 f(x)为为 X 的密度函数，记的密度函数，记则则是非负随机变量，是非负随机变量，也可由也可由马尔可夫马尔可夫不等式证明，取不等式证明，取 a=说明说明 从从定理中看出，如果定理中看出，如果D D(x)(x)越小，

6、那么随越小，那么随机变量机变量 X X 取值于开区间取值于开区间 中的概率就越大，这就说明方差是一个反映中的概率就越大，这就说明方差是一个反映随机变量的概率分布对其分布中心随机变量的概率分布对其分布中心(E(X)E(X)的离散程度的数量指标的离散程度的数量指标例例1 设有一大批种子，其中良种占设有一大批种子，其中良种占1/6.试估计试估计 在任选的在任选的 6000 粒种子中粒种子中,良种所占比例与良种所占比例与 1/6 比较上下小于比较上下小于1%的概率的概率.解解 设设 X 表示表示 6000 粒种子中的良种数粒种子中的良种数,X B(6000,1/6)-注：二项分布注：二项分布实际精确计

7、算实际精确计算：用用Poisson Poisson 分布近似计算分布近似计算：取取 =1000 契比雪夫不等式契比雪夫不等式说明说明，随机变量，随机变量X X 取值基本上取值基本上集集中中在在 EX EX 附近附近，这进一步说明了方差的意义。，这进一步说明了方差的意义。同时当同时当EX EX 和和DX DX 已知时已知时，契比雪夫不等式，契比雪夫不等式给出了给出了概率概率 的一个上界，该上界并不涉的一个上界，该上界并不涉及及随机变随机变量量 X X 的的具体概率分布，而只与其具体概率分布，而只与其方差方差 DX DX 和和 有关有关，因此，因此，契比雪夫不等式，契比雪夫不等式在理论和实际在理论

8、和实际中都有相当广泛的应用。需要中都有相当广泛的应用。需要指出指出的是，的是，虽然契比虽然契比雪夫不等式雪夫不等式应用广泛，但在一个具体应用广泛，但在一个具体问题问题中，由它中，由它给出的概率上界通常比较保守。给出的概率上界通常比较保守。在叙述大数定律之前，首先介绍两个基本概念在叙述大数定律之前，首先介绍两个基本概念。定义定义1 1 设设 为一个随机变量序列，记为为一个随机变量序列，记为 ，若对，若对任何任何 n n22，随机变量，随机变量 都相都相互互独立独立，则称，则称 是相互独立的随机变量序列。是相互独立的随机变量序列。定义定义2 2 设设 为一随机变量序列，为一随机变量序列，X X 为

9、为一一随机变量随机变量或常数，若对任意或常数，若对任意0 0，有，有则则称称 依概率收敛依概率收敛于于 X X,记记为为 或或 ，.设相互独立的随机变量设相互独立的随机变量序列序列 分别具有均值分别具有均值 及及方差方差 且且若若存在常数存在常数C，使使 则对于任意给定的则对于任意给定的 ，有有3 3 契比雪夫大数契比雪夫大数定律定律大数定律大数定律证明证明 由于由于 相互独立，那么对于相互独立，那么对于任意的任意的 相互独立相互独立.于是于是由由契比雪夫不等式契比雪夫不等式可得可得即即推论推论1 一般地，一般地，称概率接近于称概率接近于1 1 的事件为的事件为大概率事件大概率事件，而称概率接

10、近于而称概率接近于0 0 的事件为的事件为小概率事件小概率事件.在一次试验在一次试验中大概率事件几乎肯定要发生，而小概率事件几乎不中大概率事件几乎肯定要发生，而小概率事件几乎不可能发生，这一规律称之为可能发生，这一规律称之为实际推断原理实际推断原理 推论推论1 1意义：意义：当当 n 足够大时，算术平均值几乎就是一个常数足够大时，算术平均值几乎就是一个常数,可以用算术平均值近似地代替数学期望可以用算术平均值近似地代替数学期望.具有具有相同数学期望和方差的独立随机变量序列相同数学期望和方差的独立随机变量序列的算术平均值的算术平均值依概率收敛于数学期望依概率收敛于数学期望.即即推论推论1 1使我们

11、关于算术平均值的法则有了理论上的依使我们关于算术平均值的法则有了理论上的依据。据。如我们如我们要测量某段距离，在相同条件下重复进要测量某段距离，在相同条件下重复进行行n n次，得次，得n n个测量个测量值值 ，它们可以看成，它们可以看成是是n n个相互独立的个相互独立的随机变量随机变量,具有相同的分布、相同具有相同的分布、相同的数学期望的数学期望和方差和方差 ，由，由推论推论1 1的大数定律知，的大数定律知，只要只要n n充分大，则以接近于充分大，则以接近于1 1的的概率保证概率保证 这这便是在便是在n n较大情况下反映出的客观规律较大情况下反映出的客观规律,故称为故称为“大数大数”定律。定律

12、。比比推论推论1 1条件更宽的一个大数定律是辛钦条件更宽的一个大数定律是辛钦（KhinchinKhinchin）大数）大数定律定律,它它不需要推论不需要推论1 1条件条件中中“方差方差 存在存在”的限制的限制，而，而在其它条在其它条件不变的情况件不变的情况下，仍有契比雪夫式的结论下，仍有契比雪夫式的结论。设设相互独立，服从同一相互独立，服从同一分布，且具有数学期望分布，且具有数学期望 E(X k)=,k=1,2,则对任意正数则对任意正数 0，有，有4 4 辛钦辛钦大数定律大数定律强强大数定律大数定律5 5 贝努利贝努利（BernoulliBernoulli）大数定律）大数定律 设设 nA 是是

13、 n 次独立重复试验中事件次独立重复试验中事件 A 发生发生的次的次数数,p 是每次试验是每次试验中中事件事件 A 发生的概率，则发生的概率，则，有，有或或辛钦定理的特殊情况辛钦定理的特殊情况证明证明引入随机变量引入随机变量显然显然根据根据推论推论1 1有有证毕证毕.该定理该定理 称为称为贝努利大数贝努利大数定理定理.这这是历史上最早的大数定律，是贝努利在是历史上最早的大数定律，是贝努利在17131713年年建立的建立的。概率论的研究到现在约有。概率论的研究到现在约有300300多年的历史，多年的历史，最终以最终以事件的事件的频率稳定值来定义其概率。作为概率这频率稳定值来定义其概率。作为概率这

14、门学科的基础门学科的基础，其，其“定义定义”的合理性这一悬而未决的的合理性这一悬而未决的带根本性的问题带根本性的问题,由贝努利于由贝努利于17131713年发表的这个年发表的这个“大大数定律数定律”给予了解决，被称为给予了解决，被称为概率论概率论的第一篇论文的第一篇论文,为概率论的公理化体系奠定了理论基础。为概率论的公理化体系奠定了理论基础。之所以之所以被成为被成为“定律定律”,是这一规律表述了一种是这一规律表述了一种全人类多年全人类多年的集体经验。因此的集体经验。因此，对尔后的类似定理统，对尔后的类似定理统称为大数称为大数“定律定律”。在概率的统计定义中，事件在概率的统计定义中，事件 A 发

15、生的频率发生的频率“稳定于稳定于”事件事件 A 在一次试验中发生的在一次试验中发生的概率概率是指是指：频频率率与与 p 有有较大偏差较大偏差是是小概率事件小概率事件,因而在因而在 n 足够大时足够大时,可以用频率可以用频率近似代替近似代替 p.这种稳定称为依概率稳定这种稳定称为依概率稳定.贝努里（贝努里（BernoulliBernoulli）大数定律的意义：大数定律的意义：在在 Bernoulli 定理的证明过程中，定理的证明过程中，Y n 是是相相互独立的互独立的服从服从 0-1分布的随机变量序列分布的随机变量序列 Xk 的的算术平均值算术平均值,Y n 依概率收敛于其数学期望依概率收敛于其

16、数学期望 p.结果同样适用于服从其它分布的独立结果同样适用于服从其它分布的独立随机变量序列随机变量序列中心极限定理中心极限定理 人们已经知道，在自然界和生产实践中遇到的大量人们已经知道，在自然界和生产实践中遇到的大量随随机变量机变量都服从或近似服从正态分布，正因如此，正态分布都服从或近似服从正态分布，正因如此，正态分布占有特别占有特别重要的地位。那么，如何判断一个随机变量服从重要的地位。那么，如何判断一个随机变量服从正态分布正态分布显得尤为重要。如经过长期的观测，人们已经知显得尤为重要。如经过长期的观测，人们已经知道，道，很多工程测量很多工程测量中产生的误差中产生的误差X X 都是都是服从正态

17、分布的随服从正态分布的随机变量。机变量。分析分析起来，造成误差的原因有仪器偏差起来，造成误差的原因有仪器偏差X X1 1、大气、大气折射偏差折射偏差X X2 2,温度温度变化偏差变化偏差X X3 3、估读误差造成的偏差、估读误差造成的偏差X X4 4等等，等等，这些偏差这些偏差XiXi 对对总误差总误差 的影响都很微小，没有一的影响都很微小，没有一个起到特别个起到特别突出突出的影响，虽然每个的影响，虽然每个XiXi的分布并不知道，的分布并不知道，但但 却却服从正态分布。类似的例子不胜枚举。服从正态分布。类似的例子不胜枚举。设设 为一随机变量序列，其标准化为一随机变量序列，其标准化随机变量随机变

18、量在在什么条件下，什么条件下，,这是十八世纪以来这是十八世纪以来概率论研究概率论研究的中心课题，因而，从二十世纪二十年代的中心课题，因而，从二十世纪二十年代开始，习惯上开始，习惯上把研究把研究随机变量和的分布收敛到正态分随机变量和的分布收敛到正态分布的这类定理称为布的这类定理称为中心极限定理中心极限定理（Central Limit Central Limit TheoremsTheorems）。这里这里仅介绍仅介绍独立同分布独立同分布场合下的中心极限定理。场合下的中心极限定理。定理定理6 6 独立同分布的中心极限定理独立同分布的中心极限定理 设随机变量序列设随机变量序列相互相互独立，服从同一分

19、布，且有期望和方差：独立，服从同一分布，且有期望和方差：则则随机变量之和随机变量之和 的标准化的标准化随机变量随机变量 Y n定理表明定理表明:的的分布函数分布函数Fn(x)对于任意的对于任意的x满足满足 当当 n 足够大时，足够大时，Y n 的分布函数近似于标的分布函数近似于标准正准正态随机变量态随机变量的分布函数的分布函数近似近似（，（，1）近似近似（，（，1）或或推论推论2 近似服从正态分布近似服从正态分布设相互独立的随机变量设相互独立的随机变量服从同一分布，已知均值服从同一分布，已知均值为为，方差，方差为为但分布函数未知，但分布函数未知，当当n 充分大时，充分大时，推论推论3 近似服从

20、正态分布近似服从正态分布设相互独立的随机变量设相互独立的随机变量服从同一分布，已知均值服从同一分布，已知均值为为，方差，方差为为但分布函数未知，但分布函数未知，当当n 充分大时，充分大时，1nkk=推论推论2 2表明表明:当当n很大的时候很大的时候,近似地服从正态分布近似地服从正态分布那么它们的和那么它们的和只要满足定理的条件只要满足定理的条件,分布，分布，服从什么服从什么无论各个随机变量无论各个随机变量X定理定理7 7 李雅普诺夫李雅普诺夫(Liapunov)(Liapunov)定理定理 设随机变量序列设随机变量序列相互相互独立，且有有限的期望和方差：独立，且有有限的期望和方差：记记若若则随

21、机变量之和的标准化变量则随机变量之和的标准化变量定理表明定理表明:(如实例中射击偏差服从正态分布如实例中射击偏差服从正态分布)下面介绍的下面介绍的定理定理8是定理是定理6的的特殊情况特殊情况.定理定理8 8 德莫佛德莫佛拉普拉斯拉普拉斯中心极限定理中心极限定理 （DeMoivre-LaplaceDeMoivre-Laplace ）设设 Y n B(n,p),0 p 1,n=1,2,则对任一实数则对任一实数 x，有，有即对任意的即对任意的 a b,Y n N(np,np(1-p)(近似近似)定理表明定理表明:正态分布是二项分布的极限分布正态分布是二项分布的极限分布.一般来说，当一般来说，当 n

22、较大时二项分布的概率计算起来非常复杂，根据该较大时二项分布的概率计算起来非常复杂，根据该定理就可以利用正态分布来近似地计算二项分布定理就可以利用正态分布来近似地计算二项分布 正态分布的概率密度的图形x +s s-s s二项分布的随机变量可看作许多相互独立的二项分布的随机变量可看作许多相互独立的0-10-1分布的分布的随机变量之和随机变量之和,下面是当下面是当x x-B-B(20,0.5)(20,0.5)时时,x x的概率分布图的概率分布图泊松分布相当于二项分布中泊松分布相当于二项分布中p p很小很小n n很大的分布很大的分布,因此因此,参参数数l l=npnp当很大时也相当于当很大时也相当于n

23、 n特别大特别大,这个这个时候泊松分布时候泊松分布也也近似服从正态分布近似服从正态分布,下面是下面是l l=30=30时时的泊松的泊松概率分布图概率分布图.中心极限定理的意义中心极限定理的意义 在在实际问题中，若某随机变量可以实际问题中，若某随机变量可以看作看作是有相互独立的大量随机变量综合是有相互独立的大量随机变量综合作用的作用的结结果，每一个因素在总的影响中的果，每一个因素在总的影响中的作用都作用都很微很微小，则综合作用的结果服从小，则综合作用的结果服从正态分布正态分布.例例 设有一大批种子，其中良种占设有一大批种子，其中良种占1/6.试估计试估计 在任选的在任选的6000粒种子中，良种所

24、占比例与粒种子中，良种所占比例与 1/6比较上下不超过比较上下不超过1%的概率的概率.解解 设设 X 表示表示6000粒种子中的良种数粒种子中的良种数,则则X B(6000,1/6)近似近似比较几个近似计算的结果比较几个近似计算的结果用中心极限定理用中心极限定理用二项分布用二项分布(精确结果精确结果)用用Poisson 分布分布用用Chebyshev 不等式不等式小结独立同分布的中心极限定理独立同分布的中心极限定理李雅普诺夫定理李雅普诺夫定理德莫佛拉普拉斯定理德莫佛拉普拉斯定理 中心极限定理表明中心极限定理表明,在相当一般的条件下在相当一般的条件下,当独当独立随机变量的个数增加时立随机变量的个数增加时,其和的分布趋于正态分布其和的分布趋于正态分布.2个不等式个不等式3个大数定律个大数定律3个极限定理个极限定理契比雪夫契比雪夫大数大数定律定律辛钦大数辛钦大数定律定律贝努里大数定律贝努里大数定律马尔可夫不等式马尔可夫不等式契比雪夫不等式契比雪夫不等式