西北工业大学《概率论与数理统计》4-1 大数定律.pdf
下下下下回回回回停停停停一、问题的提出二、常用的四种大数定律一、问题的提出二、常用的四种大数定律第一节 大数定律第一节 大数定律第一节 大数定律第一节 大数定律一、问题的提出一、问题的提出一、问题的提出一、问题的提出在第一章有关概率的统计定义中讲到在第一章有关概率的统计定义中讲到,随机现象在大量重复试验中呈现明显的统计规律性随机现象在大量重复试验中呈现明显的统计规律性,即事件发生的频率具有稳定性即事件发生的频率具有稳定性.贝努里于贝努里于1713年首先提出关于频率稳定性的定理年首先提出关于频率稳定性的定理,被称为贝努里大数定律被称为贝努里大数定律.大量抛掷硬币正面出现频率大量抛掷硬币正面出现频率生产过程中的废品率生产过程中的废品率字母使用频率在实践中字母使用频率在实践中,人们认识到大量测量值的算术平均值也具有稳定性人们认识到大量测量值的算术平均值也具有稳定性.大数定律就是用于研究大量随机现象中平均结果的稳定性的理论大数定律就是用于研究大量随机现象中平均结果的稳定性的理论.大数定律的客观背景大数定律的客观背景=niinXnY11恒有对任意的恒有对任意的,0,?naaa21序列如果存在这样一个常数 序列如果存在这样一个常数 0lim=aYPnnn,是随机变量序列设是随机变量序列设?nXXX21定义定义4.1.服从大数定律则称随机变量序列服从大数定律则称随机变量序列nX二、常用的四种大数定律二、常用的四种大数定律二、常用的四种大数定律二、常用的四种大数定律令令,21是随机变量序列设是随机变量序列设?nYYY定义定义4.2 0lim=YYPnnYYPn,YYn依概率收敛于则称随机变量序列依概率收敛于则称随机变量序列记为记为有有,0 Y是随机变量是随机变量.如果对任意的如果对任意的,21量序列是两两不相关的随机变设量序列是两两不相关的随机变设?nXXX恒有则对任意的恒有则对任意的,0 011lim11=EXnXnPniiniin()()()?,21CXDCXDCXDn 并有公共的上界的方差每一随机变量都有有限并有公共的上界的方差每一随机变量都有有限,定理定理4.1 切比谢夫大数定律切比谢夫大数定律定理定理4.1 切比谢夫大数定律切比谢夫大数定律 故两两不相关因为故两两不相关因为,nX证证().1.4,0,得证因此定理上式右端趋于时当于是得证因此定理上式右端趋于时当于是 n2211nCXnDnii=EXnXnPniinii11110到再由切比谢夫不等式得 到再由切比谢夫不等式得()nCXDnXnDniinii=12111注注1 的随机变量很大时当的随机变量很大时当nXXXn,21?的接近于它们的数学期望平均值算术的接近于它们的数学期望平均值算术=niiXn11().=niiXEn11算术平均值算术平均值这种接近是概率意义下的！这种接近是概率意义下的！通俗地说通俗地说,在定理条件下在定理条件下,n 个随机变量的算术平均值个随机变量的算术平均值,当当 n无限增加时无限增加时,几乎变成一个常数几乎变成一个常数.,21量序列是两两不相关的随机变设量序列是两两不相关的随机变设?nXXX()()()?,21CXDCXDCXDn 并有公共的上界的方差每一随机变量都有有限并有公共的上界的方差每一随机变量都有有限,2 切比谢夫大数定律的另一种叙述切比谢夫大数定律的另一种叙述()(),1111=niniiiXEnXnX依概率收敛于则序列依概率收敛于则序列()()=niiPXEnX11即即.依概率收敛到依概率收敛到()()=+=+=niiniXnnY112证明均存在序列证明均存在序列,)(,)(,2XDXEii=解解()()()()+=+=niiniXnnEYE112因为因为()()()()=+=+=niiXiEnn112()()=+=+=niinn112 =设设X1,X2,Xn是独立同分布的随机变量是独立同分布的随机变量例例1例例1()()()()()()=+=+=niinXDinnYD122214()()=+=+=niinn1222214()()()()()()()()131221612142222+=+=+=+=nnnnnnnn()2|0YDYPnn()()()()()+=+=nnnn01312222.PnY因此因此从而对任意给定的从而对任意给定的 0,由由切比谢夫不等式切比谢夫不等式得得解解设随机变量设随机变量?,21nXXX相互独立相互独立,具有如下分布律具有如下分布律:2222111210nnnPnanaXn 问是否满足切比谢夫大数定律问是否满足切比谢夫大数定律?由题意可知独立性由题意可知独立性.=)(nXE2222111021nnannna+,0=可见可见,每个随机变量的数学期望都存在每个随机变量的数学期望都存在.检验是否有数学期望检验是否有数学期望例例2例例2()22221110nnPnaXn因为因为()()()()22221annaXEn=所以=所以()()()()222aXEXEXDnnn=检验是否有有限方差检验是否有有限方差().,2,1,公共上界且有有有限的方差随机变量因此公共上界且有有有限的方差随机变量因此?=nXn故满足故满足切比谢夫大数定律切比谢夫大数定律的条件的条件.(),常数且为一随机变量序列设常数且为一随机变量序列设CYYPnn()()()()().,CgYgCgPn则处连续在点又函数则处连续在点又函数定理定理4.2Ann中事件次独立重复贝努里试验是设中事件次独立重复贝努里试验是设0lim=pnPnn有则对任意的有则对任意的,0,率在每次试验中发生的概是事件发生的次数率在每次试验中发生的概是事件发生的次数Ap定理定理4.3 贝努里大数定律贝努里大数定律定理定理4.3 贝努里大数定律贝努里大数定律证证引入随机变量引入随机变量发生次试验中事件在第不发生次试验中事件在第发生次试验中事件在第不发生次试验中事件在第AkAkXk,1,0且同服从是相互独立的由于显然且同服从是相互独立的由于显然,21nXXX?()故有分布 故有分布,1 pB()()()()()()()()nkppXDpXEkk,2,1411,?=.,2,1nk?=由由定理定理4.1对任意的对任意的 0,有有0lim=pnPnn即即01lim1=pXnPniin证毕证毕.注注1 nA 件发生的频率贝努里大数定律表明事 件发生的频率贝努里大数定律表明事.p率依概率收敛于事件的概率依概率收敛于事件的概用严格的数学形式表达频率的稳定性用严格的数学形式表达频率的稳定性!当当 n 很大时很大时,事件发生的频率与概率有较大偏差的可能性很小事件发生的频率与概率有较大偏差的可能性很小.在实际应用中在实际应用中,当试验次数很大时当试验次数很大时,便可以用事件发生的频率来代替事件的概率便可以用事件发生的频率来代替事件的概率.01lim1=pnnPnkknn次在第事件列中如果在一个独立试验序次在第事件列中如果在一个独立试验序kA,次记在前以试验中出现的概率等于次记在前以试验中出现的概率等于npnk,0,A则对任意的出现的次数试验中事件则对任意的出现的次数试验中事件都有都有定理定理4.4 泊松大数定律泊松大数定律定理定理4.4 泊松大数定律泊松大数定律()()nkAkAkXk,2,1,1,0?=发生次试验中第不发生次试验中第=发生次试验中第不发生次试验中第证证令由令由定理定理4.1可得结论可得结论.,21服从同一分布相互独立设随机变量服从同一分布相互独立设随机变量nXXX?01lim1=niinXnP都有任意的都有任意的,0 ()()则对且具有数学期望则对且具有数学期望,2,1nkXEk?=注注1 与与切比谢夫大数定律切比谢夫大数定律相比相比,不要求方差存在且有界不要求方差存在且有界.2 贝努里大数定律贝努里大数定律是是辛钦大数定律辛钦大数定律的特例的特例.定理定理4.5 辛钦大数定律辛钦大数定律定理定理4.5 辛钦大数定律辛钦大数定律?,21nXXX设随机变量独立同分布设随机变量独立同分布,2,1,)(,0)(2?=kXDXEkk且证明对任意且证明对任意11lim212=XnPnkkn解解所以是相互独立的因为所以是相互独立的因为,21?nXXX.,22221也是相互独立的也是相互独立的?nXXX有正数有正数,(),0=kXE 由由()()().)(222=+=+=kkkXEXDXE得得例例3例例3由由辛钦大数定律辛钦大数定律知知,有对于任意正数有对于任意正数,.11lim212=0),f(x)的最小值为的最小值为h,则则(),120 Mhxf故不妨假定故不妨假定 0 f(x)1,引进新变量引进新变量z:x=(b a)z+a后后,可将可将 x 轴上的区间轴上的区间a,b变为变为 z 轴上轴上0,1,故不妨设故不妨设a=0,b=1.例例4例例4Oyxyf(x)A11考虑几何型随机试验考虑几何型随机试验E:向矩形向矩形 0 x 1,0 y 1 中均匀分布地掷点中均匀分布地掷点,将将E独立地重复做下去独立地重复做下去,以以 A表示此矩形中曲线表示此矩形中曲线 y=f(x)下的区域下的区域,即即A=(x,y):0 y f(x);x0,1并定义随机变量序列并定义随机变量序列=反之中次掷的点落于第=反之中次掷的点落于第,0,1AkXk则则Xk:k 1独立同分布独立同分布,而且而且E(Xk)=P(Xk=1)=|A|=()()xxfd10|A|表示表示A的面积的面积,由由贝努里大数定律贝努里大数定律知知()()()()xxfXEXnkPnkkd=1011这表示当这表示当n充分大时充分大时,前前n次试验中落于次试验中落于A中的点数中的点数=nkkX1除以除以n后后,以任意接近于以任意接近于1的概率与的概率与()()xxfd 10近似近似.这种近似计算法叫这种近似计算法叫蒙特卡洛蒙特卡洛(Monte-Carlo)方法方法.四个大数定律四个大数定律辛钦大数定律泊松大数定律贝努里大数定律切比谢夫大数定律辛钦大数定律泊松大数定律贝努里大数定律切比谢夫大数定律内容小结内容小结内容小结内容小结频率的稳定性是概率定义的客观基础频率的稳定性是概率定义的客观基础,而贝努里大数定律以严密的数学形式论证了频率的稳定性而贝努里大数定律以严密的数学形式论证了频率的稳定性.设设Xn为独立同分布的随机变量序列为独立同分布的随机变量序列,其共同分布为其共同分布为.2,1,21)2(2?=kkXpkkn例例3-1例例3-1试问试问Xn是否服从大数定律是否服从大数定律?+=+=+=+=6121.2)(21212kkkknkkXE即即E(Xn)存在)存在,由由辛钦大数定律辛钦大数定律知服从大数定律知服从大数定律.解解备用题备用题备用题备用题贝努里贝努里(Jacob Bernoulli)贝努里贝努里(Jacob Bernoulli)1654-1705提出贝努里大数定理提出贝努里大数定理,建立了贝努里概型建立了贝努里概型.在无穷级数理论、变分法和概率论等反面都有贡献在无穷级数理论、变分法和概率论等反面都有贡献.瑞士人瑞士人,贝努里家族的三大杰出的数学家之一贝努里家族的三大杰出的数学家之一.首先发展无穷小分析首先发展无穷小分析,1960年提出悬连线问题年提出悬连线问题,首创积分首创积分“integral”这一术语这一术语.切比谢夫切比谢夫(Pafnuty Chebyshev)切比谢夫切比谢夫(Pafnuty Chebyshev)1821-1894俄国数学家、机械学家俄国数学家、机械学家.对数论、积分理论、概率论和力学都有很大贡献对数论、积分理论、概率论和力学都有很大贡献.证明了贝尔特兰公式证明了贝尔特兰公式,关于自然数列中素数分布的定理关于自然数列中素数分布的定理,大数定律的一般公式以及中心极限定理大数定律的一般公式以及中心极限定理.创立了切比谢夫多项式创立了切比谢夫多项式.辛钦辛钦(Aleksandr Yakovlevich Khinchin)辛钦辛钦(Aleksandr Yakovlevich Khinchin)1894-1959苏联数学家苏联数学家,现代概率论的奠基人之一现代概率论的奠基人之一.辛钦在函数的度量理论、数论、概率论、数学分析、信息论等方面都有重要的研究成果辛钦在函数的度量理论、数论、概率论、数学分析、信息论等方面都有重要的研究成果.他最早的概率论成果是贝努里试验序列的重对数律他最早的概率论成果是贝努里试验序列的重对数律.
