第四章 大数定律与中心极限定理.doc

《第四章 大数定律与中心极限定理.doc》由会员分享，可在线阅读，更多相关《第四章 大数定律与中心极限定理.doc（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章 大数定律与中心极限定理教学目的：1使学员理解随机变量序列依概率收敛、按分布收敛的含义，知道两种收敛的关系，理解连续性定理的意义。2使学员牢固掌握马尔科夫大数定律、辛钦大数定律及其证明、理解契贝晓夫、贝努力里大数定律的意义。3使学员能熟练应用De Moivre-Laplace中心极限定理作近似计算及解决生产、生活中的实际问题。4使学员掌握、独立同分布场合下的Lindeberg-Leve中心极限定理的证明及应用，知道德莫佛拉斯定理是其特例。本课程一开始引入事件与概率的概念时，我们就知道就一次试验而言，一个随机事件可以出现也可不出现，但作大量的重复试验则呈现出明显的规律性统计规律性。即，任一

2、事件出现的频率是稳定于某一固定数的，这固定数就是该事件在一次试验下发生的概率，这里说的“频率稳定于概率”实质上是频率依某种收敛意义趋于概率，“大数定律”就是解释这一问题的。另外在前一章介绍正态分布时，我们一再强调正态分布在概率统计中的重要地位和作用，为什么实际上有许多随机现象会遵循正态分布？这仅仅是一些人的经验猜测还是确有理论依据，“中心极限定理”正是讨论这一问题的。4.2 4.2使用的是原教材的编号，是方便学员看书复习。随机变量序列的两种收敛性假设是定义在同一概率空间（，F, P）上的一列随机变量，显然，其中每个r.v，可以看成是定义在概率空间上的一个有限可测函数，因此，我们可以象在实变函数

3、论中对可测函数列定义收敛性一样，给出随机变量列的收敛性概念。以下我们讨论时，总假定r.v列和r.v.都是定义在同一概率空间（，F,P）上的，对于某样本点，显然可视为一普通实数列，则可看作一实数，此时若有，则称随机变量列在点收敛到。若对任意，均有，则称在上点点收敛到。但在本章的讨论中，我们没有必要对要求这么高，一般是考虑下面给出的收敛形式。定义4.2 设有一列随机变量，如对任意的0，有 （4.6）则称依概率收敛到，并记作 或 （4.6）式也等价于 从定义可见，依概率收敛就是实函中的依测度收敛。 我们知道，随机变量的统计规律由它的分布函数完全刻划，当时，其相应的分布函数与之间的关系怎样呢？例42

4、设都服从退化分布：对任给0，当n时，有所以 而的d.f为 的d.f为 易验证 当时，有（n）但，不趋于 上例表明，一个随机变量依概论收敛到某随机变量，相应的分布函数不是在每一点都收敛，但如果仔细观察这个例，发现不收敛的点正是的不连续点，类似的例子可以举出很多，使人想到要求在每一点都收敛到是太苛刻了，可以去掉的不连续点来考虑。定义4.3 设为一分布函数序列，如存在一个函数，使在的每一连续点x，都有则称分布函数列弱收敛于，并记作 （4.7）定义4. 设r.v.和的分布函数分别为，若 ，则称按分布收敛于，并记作 （）定理4.4 若，则证 对于，因有故 即 因 ，故所以有 同理可证，对 有于是对任意

5、有令，有若x是的连续点，就有。 证毕。此定理的逆不真。例4.3 抛掷一枚均匀硬币，记=“出现正面”，=“出现反面”则令 n=1，2， 因与完全相同，显然有对成立。但 =。 对成立 不成立。一般来说，按分布收敛不能推出依概率收敛，但在特殊情况下，却有下面的结果。定理4.5 设C是一常数，则（即），证（）由定理4.1推得（）（不妨就设）对任给0，有 (4.8) 因 的分布函数为 只在处不连续，而处都是连续的，由在（(4.8）中令得本章将要向大家介绍的大数定律实际上就是随机变量列依概率收敛于常数的问题，由定理4.5知，它可归结为相应的分布函数列弱收敛于一退化分布，而中心极限定理就是随机变量的分布函数

6、列弱收敛问题，可见分布函数列的弱收敛在本章讨论中占重要地位。然而，要直接判断一个分布函数列是否弱收敛是很困难的上一章我们就知道，分布函数与特征函数一一对应，而特征函数较之分布函数性质优良很多，故判断特征函数的收敛一般较易，那么是否有相应的答案是肯定的。定理4.6 分布函数列弱收敛于分布函数的充要条件是相应的特征函数列收敛于的特征函数例4.4 若证明随机变量到依pr收敛具有如下性质。定理4.7（斯鲁茨基）若则有 （1） （2）时，书P220习题4.8 ，为连续函数则有 （4.9）4.1 大数定律本章一开始我们就指出大数定律是从讨论“频率稳定于概率”这件事引入的，概率的发展史上，这件事又是从贝努里

7、试验这个概型入手的。设事件A在一次试验中发生的概率为P，将试验独立重复地进行n次，如果其中事件A发生的次数为，则就是这n次试验中事件A发生的频率。所谓频率稳定到概率P，是指当n增大时，依某种收敛意义向P逼近。很容易验证，这里的收敛意义不是普通的收敛。 （4.1）事实上，（4.1）意味着，对任给，能找到N，当时，有 我们知道，在n重贝努里试验中，不管n多大，A出现n次这一结果都是可能发生的，当这个结果发生时，即，因此，对于0，不管N取多大，也不能保证时（4.1）成立。但可以想见，当n很大时，不发生的可能性很小了，比如。于是猜想可能有。这个猜想是正确的，其证明暂放后一步。现不妨先承认有事实 （4.

8、2）若令 则（4.2）意味着上式反映出大量随机现象的平均结果具有的一种稳定性，我们称之为大数定律。定义4.1，设为一随机变量序列，它们具有有限的数学期望。令，若（或（），则称随机序列服从大数定律。下面的定理给出随机序列服从大数律的一个充分条件。定理4.1 （契贝晓夫大数定律）设是一列两两不相关的随机变量序列，其中每一随机变量都有有限的数学期望和方差，且方差有公共上界：则服从大数定律。证明：只须证，对任给，均有 （4.3）由契贝晓夫不等式0下面我们来证明（4.2）式定理4.2（贝努里大数定律）设是n重贝努重试验中事件A出现的次数，每次试验都有。证明照（4.2）定义随机序列，则由定理4.1知，服从

9、大数律，因此上面所述的两个大数定律，后一个是前一个的特款，从定理4.1的证明看出，服从大数律的一个充分条件是 (4.4)(4.4)所示的条件常称为马尔可夫条件，由此得如下的马尔可夫大数定律（书P222习题4.23）若随机变量序列满足（4.4）所示的马尔可夫条件，则它服从大数定律。证：对任给，由契贝晓夫不等式，有0再由(4.4)立得结论。我们注意到，马尔可夫大数律并没有附加相互独立的条件。另方面，显然定理4.1又是它的特款。因此，上面所述的三个大数定律，马尔可夫大数律才是最基本的，当然，它的条件也是充分而非必要的。我们还注意到上面的三个大数定律，其证明都要依靠契贝晓夫不等式，所以要求随机变量的方

10、差存在。但进一步的研究表明，方差存在这个条件并不一定必要。比如在独立同分布的场合，就可去掉这个条件。著名的俄国数学家X证明了这点。定理4.3 （辛钦大数定律）设为相互独立，同分布的随机序列，具有有限的数学期望，则服从大数定律。证：因同分布，故有相同的特征函数，将（t）在t=0处展开，有由相互独立，得的特征函数为对于任意，由定理4.6知，再由定理4.5得，即服从大数定理。贝努里大数定律显然是辛钦大数定律的特款。例4.1 设为独立同分布随机变量序列，存在，令 证明 证：iid 则 亦iid由辛钦大数律 ， 由（4.9）， 由斯鲁茨基定理 （4.5）4.3 中心极限定理大数定律仅仅从定性的角度解决了

11、频率稳定于概率p，即，为了定量地估计用频率估计概率的误差，历史上DeMoivre、Laplace等数学家经过许多努力，证明了的标准化随机变量渐近于N（0，1）分布：定理4.8 （德莫佛拉普拉斯）在n重贝努里试验中，事件A在每次试验中出现的概率为，一致地有， （4.10）本定理的原始证明较复杂，但它是下面要证明的定理4.9的特例，现在来看定理4.8的重要意义。定理4.8在实际的数值计算中有重要作用主要表现在（1）较为精确地估计出用频率估计概率的误差。当n充分大时 由上式，中已知其二，可求另一（2）较好地解决了二项分布的近似近计算。当较大时，无论p是否接近0或1，均由（4.10）得 （4.10）另

12、方面，定理4.8在理论研究上也有很大价值，这里仅指出这样一个事实依分布收敛于标准正态变量（这时称渐近于正态分布N（0，1）若令 则上面的事实等价于有渐近正态分布，这一重要发现具有普遍意义。前面我们介绍正态分布时曾说过，已发现许多随机现象，比如测量误差，射击偏差等都可用正态分布来描述。经过长期观察、总结、发现那些服从正态分布的随机现象往往是由许多彼此无关，谁也不起突出作用，只均匀地起微小作用的随机因素共同作用而产生。换句话说，这类随机现象往往可视为独立（或弱相依）随机变量之和，在什么条件下有渐近正态分布的问题，在长达两个世纪的时间内成为概率论讨论的中心课题，为使问题规范化，数学家们将问题归结为讨

13、论规范和。有渐近分布N（0，1）的条件。并称有此结论的随机序列服从中心极限定理。下面是勒维（）和林德贝尔格（Lindeberg）的成果定理4.9 若是一列独立同分布的随机变量，且，（）则有 （4.11）对一切实数x成立证：在定理4.8中，由于可看作独立同贝努里分布的一列随机变量的部分和，因此定理4.8是定理4.9的特例。在处理近似计算时，定理4.9较之定理4.8有更广泛的应用。在实际应用中，只要n较大，便可把独立同分布的随机变量之和近似当作正态变量。这种处理方法对于解决大子样问题非常方便。常用的近似计算式为： （4.12）例4.5 某单位有260架电话分机，每个分机有4%的时间要用外线通话，可

14、以认为各个电话分机用不用外线是相互独立的，问总机要备多少条外线才能以95%的把握保证各个分机在需用外线时不必等候。例4.6 （近似数定点运算的误差分析）数值计算时，任何数x都只能用一定数位的有限小数y来近似，这就产生了一个误差，在下面讨论中，我们假定参加运算的数都用十进制定点表示，每个数都用四舍五入的方法取到小数点后五位，这时相应的四舍五入误差可以看作是上的均匀分布。如果要求n个数的和S，在数值计算中就只能求出相应的有限位小数，的和T,并用T作S的近似值，现在问，这样做造成的误差是多少？因为 故 .传统的估计方法是，根据得 以为例，所得误差估计为今用（4.12）估计。如果假定舍入误差是相互独立的，这里。有若取，则上面的概率约为0.997，即能以99.7%的概率断言这只及传统估计上限的60分之一。