第一章-基础知识(共10页).doc

《第一章-基础知识(共10页).doc》由会员分享，可在线阅读，更多相关《第一章-基础知识(共10页).doc（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选优质文档-倾情为你奉上第一章 概率与统计基础1.1 概率基础1.1.1 概率定义1. 代数设是一个集合，如果的子集构成的族F满足下述条件（1）F；（2）如果A F，则 = - AF；（3）如果Ai F，i = 1，2，n，则AiF那么称F是代数。2. 事件域设是随机试验可能结果（样本点）的集合（样本空间），一些样本点的集合称为随机事件，如果所有事件构成一个代数，则称该代数为事件域，记为 F。3. 概率设P是定义在事件域F上的一个集合函数，如果(1) 对于任意的A F，P(A)0；(2) P() = 1；(3) 如果Ai F，i = 1，2，n，且两两不相容，则P(Ai)=P(Ai)则称P是

2、概率，并称(，F，P)为概率空间。1.1.2 随机变量与分布函数1. 随机变量设() 是定义于概率空间(，F，P)上的单值实函数，如果对于实直线上的任何波雷尔集B，有 ：() BF，则称是概率空间(，F，P)上的随机变量。2. 分布函数设是概率空间(，F，P)上的随机变量，函数F(x) = P() x，- x 0左偏，S0右偏峰度：K = E(X-)4/ 4 4阶矩 随机变量分布的峰尾特征，K3高峰厚尾，K 0，那么对于任何事件AF，记P(A|B)= 并称P(A|B)为在事件B发生的条件下事件A发生的条件概率。2. 条件分布（1）离散情况如果已知X =x，Y =y的条件概率定义为P(Y =y|

3、X =x)= （2）连续情况P(Y |X)= 3. 条件矩（1）条件期望在离散情况下，E(Y|X =x)= 在连续情况下，E(Y|X =x)= 显然，条件期望是随机变量，并且，EXE(Y|X =x)= E(X) （2）条件方差Var(Y|X =x)=E(Y-E(Y|X =x)2| X =x由定义，Var(Y|X)= E(Y2| X ) - E(Y| X ) 2两边对X求期望EVar(Y|X) = EE(Y2| X ) - E(Y| X )2EVar(Y|X) = E (Y2) EE(Y| X )2 （1）又因为, EE (Y|X)= E (Y)VarE(Y|X) = E(E (Y|X) EE

4、(Y|X)2= EE (Y|X)2 (E (Y)2 （2）（1）+（2）得EVar(Y|X)+ VarE(Y|X)= E (Y2) (E (Y)2= Var(Y)即， Var(Y) = EVar(Y|X)+ VarE(Y|X)条件期望的两个性质（1） Et(Xt+2)= EtEt+1(Xt+2) （迭代预期）（2） Et(Yt Xt+1)= YtEt(Xt+1)4. 新息如果Xt =Et-1(Xt) + t ，则称t是Xt的新息，它是Xt中在t-1期不能预测的“干扰”。并且，Et-1(t) = 0；Cov(Xt-1, t) = 01.1.5 极限定理1. 随机变量序列的几种收敛(1) 概率收敛

5、(convergence in probability)对于随机变量序列Xn，如果存在随机变量X，使得对任意的 0， 则称随机变量序列Xn依概率收敛于随机变量X，记为，XnX，或者，plim nXn = X.(2) 分布收敛(convergence in distribution)设F和Fn分别是随机变量X和Xn的分布函数，对于所有的 zR，如果F在z处连续，并且则称随机变量序列Xn依分布收敛于随机变量X，记为，XnX，或者，FnF.(3) 几乎处处收敛或有概率1收敛(almost sure convergence)对于随机变量序列Xn，如果则称随机变量序列Xn有概率1收敛于随机变量X，记为，

6、XnX.(4) 均方收敛(mean square convergence)如果，则称随机变量序列Xn均方收敛于随机变量X，记为，XnX. (5) 各种收敛的关系有概率1收敛依概率收敛依分布收敛均方收敛2. 大数定理大数定理研究n 趋于无穷时，随机变量序列Xn的样本均值的渐近行为。当样本均值依概率收敛时，称为弱大数定理；如果样本均值以概率1收敛时，称为强大数定理。Khinchine大数定理(Khinchines SLLN I)：设Xn是独立同分布的随机变量序列，则Khinchine大数定理说明：样本均值是对总体均值最好的近似。3. 中心极限定理大数定理研究了n 趋于无穷时，随机变量序列Xn的样本

7、均值的收敛性质。中心极限定理则讨论n 趋于无穷时，随机变量序列Xn样本均值的分布。Lindeberg-Levy中心极限定理(LL CLT)：设Xn是独立同分布的随机变量序列，如果，则或者显然，与Komolgorov大数定理SLLN I相比，尽管有i.i.d.的假设，但是，Lindeberg-Levy中心极限定理仍然要求二阶矩存在。1.2 假设检验假设检验的原理：在一次随机试验中小概率事件发生即可作出拒绝原假设的统计推断，概率反证法。1.2.1 假设检验的步骤（1）确定零假设和备择假设注意：零假设和备择假设相互独立；选择零假设的原则：如果零假设是错误的，造成的损失是可以接受的；例如，在诊断病人是

8、否患有癌症时，零假设应该是“病人患有癌症”；备择假设是“病人没有患癌症”。因为，如果病人没有患癌症，而且，错误地推断为零假设“病人患有癌症”，则造成的损失仅仅为“病人花费一些金钱”。但是，如果零假设是“病人没有患癌症”，则错误地推断零假设造成的损失就不仅仅是“金钱”，而是“病人的生命”。零假设是不容易被推翻的，即，零假设成立的事件是小概率事件；（2）构造统计量构造统计量，并在零假设成立的情况下，确定它的分布。（3）选择置信水平，例如，1%，5%，或10%（4）统计推断，即，对于一次随机试验的具体样本，在选择的置信水平下，依据上述统计量的分布推断是否拒绝零假设。如果一次随机试验小概率事件发生，则

9、拒绝零假设；否则，接受零假设。1.2.2 假设检验的错误由于假设检验是应用小概率推断原理进行推理的，所以，假设检验可能犯两类错误第 I类错误：在零假设正确的情况下，而拒绝零假设的错误。第II类错误：在零假设错误的情况下，而接受零假设的错误。显然，在各种情况下，假设检验犯第 I类错误和第II类错误的概率如下表所示。假设检验犯错误的概率零假设正确零假设错误拒绝零假设（犯第I类错误的概率,size）1- （检验的功效,power）接受零假设1- （犯第II类错误的概率）检验功效：在零假设错误时，检验拒绝零假设的概率1-.功效曲线：在零假设的各种错误情况下，检验功效的曲线。例如，如果数据的生成过程是，

10、 i.i.d. N(0, 1)， =1零假设是 =1，备择假设是 1当 时，零假设错误，这时，各种值所对应检验功效的曲线，就是该检验的功效曲线。良好的假设检验应该是犯第 I类错误的概率 （），则拒绝零假设H0，即，样本数据的总体不服从正态分布；否则，接受零假设H0，即，样本数据的总体服从正态分布。1.4.2 KS检验1. 经验分布函数设xi是随机变量X的n个样本观测值，将样本观测值从小到大排列，记为x(i)， 定义为样本数据的经验分布函数。2. KS检验KS检验的思想是利用正态分布函数与样本数据经验分布函数离差推断样本数据的总体是否服从正态分布。为此，Kolmogorov-Smirnov构造K

11、S统计量检验零假设H0：样本数据的总体服从正态分布但是，对于有限样本，经验分布函数是阶梯函数，所以，KS统计量并且，Kolmogorov-Smirnov证明，当n 时， 即，是统计量的渐近分布。因此，KS检验的步骤：（1）根据样本数据计算统计量的值；（2）对于给定的显著性水平，例如，1%，5%，或10%，计算的临界值；（3）如果 ，则拒绝零假设H0，即，样本数据的总体不服从正态分布；否则，接受零假设H0，即，样本数据的总体服从正态分布。注：KS检验不是利用统计量的精确分布进行统计检验，而是，借助统计量的渐近分布做假设检验。3. 离群点（Outliers）离群点：样本数据中，一些特别大或特别小的

12、观测点。离群点对样本数据的统计分析影响非常大，通常，在进行统计分析之前，要剔除离群点。识别离群点的方法：（1）标准化法将样本数据标准化，即，将 3 的样本作为离群点。因为，标准正态分布中， 3的概率约为0.001.（2） T分数法设xi是n个样本观测值，被称为xi的T分数，其中，是n个样本观测值xi的中位数。将T分数 5 的样本作为离群点。因为，标准正态分布中，T分数 5的概率约为0.001.例：对1996/1/1-2002/12/31深发展、上证指数和深成指数市场日收益率数据的描述性统计分析。深发展（考虑现金红利再投资的日收益率）剔除17个停盘日，共有交易日1675.指数：上证综合指数指数：上证综合A股指数专心-专注-专业