概率论与数理统计第四章.pdf
第四章第四章 极限定理极限定理 一、教材说明一、教材说明 本章内容包括常用的几个大数定律与中心极限定理。大数定律涉及的是一种依概率收敛，中心极限定理涉及按分布收敛。这些极限定理不仅是概率论研究的中心议题，而且在数理统计中有广泛的应用。1、教学目的与教学要求、教学目的与教学要求 本章的教学目的是：（1）使学生深刻理解和掌握大数定律，会熟练运用几个大数定律证明题目；（2）使学生理解并熟练掌握独立同分布下的中心极限定理。本章的教学要求是：（1）深刻理解并掌握大数定律，能熟练应用大数定律证明题目；（2）深刻理解与掌握中心极限定理，并要对之熟练应用。2、重点与难点、重点与难点 本章的重点是讲清大数定律与中心极限定理的条件、结论，难点是大数定律和中心极限定理的应用。二、教学内容教学内容 本章共分大数定律、中心极限定理两节来讲述本章的基本内容。4.1 大数定律 4.1 大数定律 一、大数定律的意义 一、大数定律的意义 1.引入 1.引入 在第一章中引入事件与概率的概念时曾经指出，尽管随机事件 A 在一次试验可能出现也可能不出现，但在大量的试验中则呈现出明显的统计规律性频率的稳定性。频率是概率的反映，随着观测次数的增加，频率将会逐渐稳定到概率。这里说的“频率逐渐稳定于概率频率逐渐稳定于概率”实质上是频率依某种收敛意义趋于概率，这个稳定性就是“大数定律”研究的客观背景。n详细地说：设在一次观测中事件 A 发生的概率()pAP=，如果观测了n次（也就是 71一个n重贝努利试验），A 发生了n次，则 A 在次观测中发生的频率为nnn，当n充分大时，频率nn逐渐稳定到概率p。若用随机变量的语言表述，就是：设iX表示第i次观测中事件 A 发生次数，即 1,0,iiAXiA=第 次试验中 发生第 次试验中 不发生 ni,2,1?=则12,nXX?X是个相互独立的随机变量，显然n1nniiX=。从而有11nniiXnn=因此“nn稳定于”，又可表述为n次观测结果的平均值稳定于。pp 现在的问题是：“稳定”的确切含义是什么？nn稳定于是否能写成 p pnnn=lim （1）亦即，是否对0，pnNnNn有时当,?（2）对重贝努里试验的所有样本点都成立？n实际上，我们发现事实并非如此，比如在n次观测中事件 A 发生次还是有可能的，此 时n1,=nnnn，从 而 对p10，不 论多 么 大，也 不 可 能 得 到NpnNnn有时当,）还是有可能发生的，不过当很大时，事件（n pnn）发生的可能性很小。例如，对上面的nn=，有 nnpnP=1。72显然，当n时，01=nnpnP，所以“nn稳定于”是意味着对p0，有 0)(|lim=pnPnn （3）（概率上“nn稳定于p”还有其他提法，如波雷尔建立了1)lim(=pnPnn，从而开创了另一形式的极限定理-强大数定律的研究）沿用前面的记号，（3）式可写成11lim()0niniPXpn=一般地，设是随机变量序列，为常数，如果对12,nXXX?a0，有 11lim()0niniPXan=（4）即 11lim()1niniPXan=，有 11lim()1ninniPXan=，有 731111lim()1nniiniiPXEXnn=，由切比雪夫不等式，有 11110()nniiiiPXEXnn=1111(nniiiiPXEXnn)=2111niiDXn=22110,niiDXnn=因此 1111lim()0nniiniiPXEXnn=即 1111lim()1nniiniiPXEXnn=C,1,2,iDXC i=?则随机变量序列nX服从大数定律，即对0，有 741111lim()1nniiniiPXEXnn=证明：因为iX为独立随机变量列，且由它们的方差有界即可得到 110()nniiiiDXDXn=c 从而有 2110,niiDXnn=满足马尔可夫条件，因此由马尔可夫大数定律，有 1111lim()1nniiniiPXEXnn=注：注：切比雪夫大数定律是马尔可夫大数定律的特例。例 4.1例 4.1 设为独立同分布随机变量序列，均服从参数为12,XX?的泊松分布，则由独立性及,1,2iiEXDXi,=?知其满足定理 4.2 的条件，因此有 11lim()1niniPXn=注：注：此例题也可直接验证满足马尔可夫条件。定理 4.3（贝努利定理或贝努利大数定律）定理 4.3（贝努利定理或贝努利大数定律）设n是重贝努利试验中事件 A 出现的次数，又 A 在每次试验中出现的概率为n()10,，有 1)(lim=pnPnn 证明：令 1,0,iiAXiA=第 次试验中 发生第 次试验中 不发生ni,2,1?=显然1nniiX=由定理条件，独立同分布（均服从二点分布）。(1,2,iXin=?)且都是常数，从而方差有界。(,1iiEXp DXpp=由切比雪夫大数定律，有 7511lim()lim1nninniPpPXpnn=，有 11lim()1niniPXan=成立。注：注：贝努利大数定律是辛钦大数定律的特例。辛钦大数定律的数学意义辛钦大数定律的数学意义：辛钦大数定律为实际生活中经常采用的算术平均值法提供了理论依据。它断言：如果诸iX是具有数学期望、相互独立、同分布的随机变量，则当n充分大时，算术平均值12nXXXn+?一定以接近1的概率落在真值的任意小的邻域内。据此，如果要测量一个物体的某指标值，可以独立重复地测量次，得到一组数据：，当n充分大时，可以确信aannxxx,21?nxxxan+?21，且把nxnxx+?21作为的近似值比一次测量作为的近似值要精确的多，因aaiEXa=，11niiEXn=a；但2iDX=，211iniDXnn=，即11niiXn=关于的偏差程度是一次测量的偏差程度的an1，越大，偏差越小。n 76辛钦大数定律也是数理统计学中参数估计理论的基础，辛钦大数定律也是数理统计学中参数估计理论的基础，通过第六章的学习，我们对它会有更深入的认识。例 4.2 例 4.2 见书 p98 例 1。例 4.3例 4.3 设随机变量X1,X2,Xn,相互独立同分布，且EXn=0,求 1lim()niniPXn=解 由辛钦大数定律有(=1)11lim(|0|1)1niniPXn=即 11lim(|1)1niniPXn=显然有 )()11()1|1(|111nXXnXnniiniinii=故 111lim()lim(|1)1nniinniiPXnPXn=。从而有 1lim()1niniPXn=。例 4.4例 4.4 设nX独立同分布，且knEX存在，则knX也服从大数定律。证明：nX独立同分布，所以knX也独立同分布；又knEX存在，故由辛钦大数定律知knX服从大数定律。注：注：例 4.4 是统计学中矩估计法的理论依据。4.2 中心极限定理 4.2 中心极限定理 第二章介绍正态分布时，我们一再强调正态分布在概率统计中的重要地位和作用，为什么实际上有许多随机现象会遵循正态分布？这仅仅是一些人的经验猜测还是确有理论依据，“中心极限定理”正是讨论这一问题的。在长达两个世纪的时间内成为概率论讨论的中心课题，因此得到了中心极限定理的名称。一、中心极限定理的概念 一、中心极限定理的概念 77设nX为一独立随机变量序列，且，,nnEXDX?,2,1=n均存在，称 111nnkkkknnkkXEXYDX=为nX的规范和。概率论中，一切关于随机变量序列规范和的极限分布是标准正态分布的定理统称为中心极限定理中心极限定理，即设nX的规范和，有 nY()221lim2txnnP Yxedt=则称 n服从中心极限定理。中心极限定理实质上为111nnkkkknkkXEXDX=近似服从标准正态分布。(1,0N)二、中心极限定理 二、中心极限定理 大数定律仅仅从定性的角度解决了频率nn稳定于概率p，即nnpP，为了定量地估计用频率nn估计概率的误差，历史上 De MoivreLaplace 给出了概率论上第一个中心极限定理，这个定理证明了pn的标准化随机变量渐近于分布。)1,0(N定理 4.5（德莫佛拉普拉斯）极限定理 定理 4.5（德莫佛拉普拉斯）极限定理 在重贝努里试验中，事件 A 在每次试验中出现的概率为n)10(pp，n为次试验中事件 A 发生的次数，则 n=xtnndtexnpqnpP2221lim 注注：定理 4.5 说明npqnpn近似服从，从而)1,0(Nn近似服从，又),(npqnpNn服从二项分布(,)B n p，所以定理 4.5 也称为二项分布的正态近似或二项分布收敛于正态分布定理 4.5 也称为二项分布的正态近似或二项分布收敛于正态分布。78在第二章，泊松定理也被说成是“二项分布收敛于泊松分布”泊松定理也被说成是“二项分布收敛于泊松分布”。同样一列二项分布，一个定理说是收敛于泊松分布，另一个定理又说是收敛于正态分布，两者不是说有矛盾吗？请仔细比较两个定理的条件和结论，就可以知道其中并无矛盾之处。这里应该指出的是在定理 4.5中，而泊松定理中则要求这里应该指出的是在定理 4.5中，而泊松定理中则要求np)(?,2,1=k 则有 2121lim2ntkxknXnaPxn=edt 注：注：德莫佛拉普拉斯极限定理是林德贝尔格-勒维极限定理的特例。证明：略。注：注：定理 4.6 表明：当n充分大时，1nkknXnaYn=的分布近似于，从而)1,0(N12na+nXXXnnY+=?具有近似分布。这意味大量相互独立、同分布且存在方差的随机变量之和近似服从正态分布。这意味大量相互独立、同分布且存在方差的随机变量之和近似服从正态分布。该结论在数理统计的大样本理论中有广泛应用，同时也提供了计算独立同分布随机变量之和的近似概率的简便方法。),(2nnaN三、应用 三、应用 德莫佛拉普拉斯中心极限定理是概率论历史上的第一个中心极限定理，它有许多重要的应用。下面介绍它在数值计算方面的一些具体应用。1、二项概率的近似计算 设n是重贝努里试验中事件nA发生的次数，则n();B n p，对任意有 ba()(knkbkaknnppCbaP=1)79 当很大时，直接计算很困难。这时如果不大（即较小接近于 0）或不大（即接近于 1）则用泊松定理来近似计算（大小适中）；nnpp()pn 1pnp当不太接近于 0 或 1 时，可用正态分布来近似计算（较大）：pnp()=（2）若一年中死亡人数，则利润元。8040000令 1,0,iiXi=第 个人在一年内死亡第 个人在一年内活着 则，记(1)0.006iP Xp=1nniiX=,10000=n已足够大，于是由德莫佛拉普拉斯中心极限定理可得欲求事件的概率为（1）0211)120(1)120(22=bxnndxebnpqnpnpqnpPP（其中723.760b）同理可求得 （2）（对应的59.2995.0)80(bPn。例 4.6例 4.6 某单位内部有 260 架电话分机，每个分机有 4%的时间要用外线通话。可以认为各个电话分机用不同外线是相互独立的。问：总机需备多少条外线才能以 95%的把握保证各个分机在使用外线时不必等候？解：由题意，任意一个分机或使用外线或不使用外线只有两种可能结果，且使用外线的概率 80p=0.04，260 个分机中同时使用外线的分机数260()260;0.04B 设总机确定的最少外线条数为x,则有()95.0260 xP 由于较大，故由德莫佛拉普拉斯定理，有 260=n()95.0260260260pqpxxP 查正态分布表可知 65.1260260pqpx 解得 16x 所以总机至少备有 16 条外线，才能以 95%的把握保证各个分机使用外线时不必等候。2、用频率估计概率的误差估计 由贝努利大数定律 0lim=pnPnn 那么对给定的和较大的，npnPnnlim究竟有多大？贝努利大数定律没有给出回答，但利用德莫佛拉普拉斯极限定理可以给出近似的解答。对充分大的 n=pqnnpqnpPpnPnn 12=pqnpqnpqn 故 =pnPpnPnn12 1npq 由此可知，德莫佛拉普拉斯极限定理比贝努利大数定律更精细，也更有用。德莫佛拉普拉斯极限定理比贝努利大数定律更精细，也更有用。例 4.7例 4.7 重复掷一枚质地不均匀的硬币，设在每次试验中出现正面的概率p未知。试问要掷多少次才能使出现正面的频率与p相差不超过1001的概率达 95%以上？解：依题意，欲求n，使 819604411964119696.101.0975.001.095.0101.02100195.01001222=npqpqnpqnpqnpqnpnPpnPnn 所以要掷硬币 9604 次以上就能保证出现正面的频率与概率之差不超过1001。作业：作业：82
