计量经济学数学基础.docx

《计量经济学数学基础.docx》由会员分享，可在线阅读，更多相关《计量经济学数学基础.docx（36页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、计量经济学数学基础计量经济学数学基础 数学基础 (Mathematics) 第一节 矩阵(Matrix)及其二次型(Quadratic Forms) 其次节 分布函数(Distribution Function)，数学期望(Expectation)及方差(Variance) 第三节 数理统计（Mathematical Statistics） 第一节 矩阵及其二次型(Matrix and its Quadratic Forms) 1.1 矩阵的基本概念与运算 一个mn矩阵可表示为： 矩阵的加法较为简洁，若C=A+B，cij=aij+bij 但矩阵的乘法的定义比较特别，若A是一个mn1的矩阵，B是

2、一个n1n的矩阵，则C=AB是一个mn的矩阵，而且，一般来讲，ABBA，但如下运算是成立的： l 结合律（Associative Law） (AB)C=A（BC） l 安排律（Distributive Law） A(B+C)=AB+AC 问题：(A+B)2=A2+2AB+B2是否成立？ 向量（Vector）是一个有序的数组，既可以按行，也可以按列排列。行向量(row vector)是只有一行的向量，列向量(column vector)只有一列的向量。假如是一个标量，则A=aij。矩阵的转置矩阵(transpose matrix)记为，是通过把的行向量变成相应的列向量而得到。明显()=，而且（+

3、）=+， l 乘积的转置（Transpose of production ） ，。l 可逆矩阵（inverse matrix），假如n级方阵(square matrix)A和B，满意AB=BA=I。则称A、B是可逆矩阵，明显，。如下结果是成立的： 。 1.2 特别矩阵 1）恒等矩阵(identity matrix) 对角线上元素全为1，其余全为0，可记为I； 2）标量矩阵(scalar matrix) 即形如I的矩阵，其中是标量； 3）幂等矩阵(idempotent matrix) 假如矩阵具有性质，这样的矩阵称为幂等矩阵。 定理：幂等矩阵的特征根要么是1，要么是零。4）正定矩阵（positi

4、ve definite）和负定矩阵（negative definite），非负定矩阵(nonnegative)或半正定矩阵（positive semi-definite ），非正定矩阵(nonpositive definite)或半负定矩阵（negative semi-definite）； 对于随意的非零向量，如有0（0），则称A是正（负）定矩阵；如有0（0），非负（非正）定矩阵。假如A是非负定的，则记为A0；假如是正定的，则记为A0。协方差矩阵是半正定矩阵，几个结论： a）恒等矩阵或单位矩阵是正定的； b）假如是正定的，则也是正定的； c）假如是正定的，是可逆矩阵，则是正定的； d）假如是一

5、个nm矩阵，且nm，则是正定的，是非负定矩阵。5）对称矩阵（symmetric matrix）； 假如=，则称为对称矩阵。 1.3 矩阵的迹（trace） 一个nn矩阵的迹被定义为它的对角线上的元素之和，记为，则，如下结论是明显的。 1） （是标量） 特例 2） 3） 4），特例 ）循环排列原则tr(ABCD)=tr(BCDA)=tr(CDAB)=tr(DABC) 定理：实对称矩阵A的迹等于它的特征根之和。因为A是实对称矩阵，故有在矩阵C，使得，其中，所以，。 1.4 矩阵的秩(rank) 一个矩阵A的行秩和列秩肯定相等，一个矩阵的秩就可以定义为它的行秩或列秩，记为r(A)，不加证明，我们给出

6、如下结果： 1）（行数、列数） 2），其中A、B分别为mn1、n1n矩阵，特例：假如A、B为nn矩阵，而且AB=0，则 3），其中是nn的方阵 4） 5）设是nn矩阵，且，则 6）设是nn矩阵，且，则 1.5 统计量的矩阵表示 向量可理解为特别的矩阵。是一个其元素都为1的n维列向量，即=（1，1，1），假如我们再假定，计量经济模型中的很多统计量就可以用矩阵的形式表示出来，很便利进行数学推导。 自不待言，样本的均值与方差的矩阵表示如下： 1）样本均值矩阵表示； 事实上即，而，； 2）样本方差矩阵表示 易知：。其中矩阵是一个每个元素都为的阶方阵，从而。矩阵的对角线上的元素为，非对角线的元素为，是一

7、个对称矩阵。故样本方差： 。定理：矩阵是幂等矩阵。 1.6 矩阵的二次型与多元正态分布 1）矩阵的二次型（Quadratic Forms）和线性变换（lineartransferring） 设P是一数域，一个系数在数域P中的的二次齐次多项式 （1） 称为数域P上的一个n元二次型，或者，在不致引起混淆时简称二次型。例如 就是有理数域上的一个三元二次型，为了以后探讨上的便利，在（1）中，的系数写在。而不简洁地写成。 和在几何中一样，在处理很多其它问题时也经常希望通过变量的线性替换简化有关的二次型，为此，我们引入 定义1 设；是两组文字，系数在数域P中的一级关系式 （2） 称为由，到的一个线性替换，

8、或简称线性替换，假如系数行列式 那么线性替换（2）就称为非退化的。在探讨二次型时，矩阵是一个有力的工具，因此我们先把二次型与线性替换用矩阵来表示。令 ， 由于 所以二次型（1）可以写成 （3） 把（3）的系数排成一个nn矩阵 （4） 它就称为二次型（3）的矩阵，因为，所以 我们把这样的矩阵称为对称矩阵，因此，二次型的矩阵都是对称的。令 于是，二次型可以用矩阵的乘积表示出来， 故 应当看到，二次型（1）的矩阵的元素正是它的项的系数的一半，因此二次型和它的矩阵是相互唯一确定的，由此还能得到，若二次型 且，则。令 于是线性替换（2）可以写成 或者 我们知道，经过一个非退化的线性替换，二次型还是变成二

9、次型，现在就来看一下，替换后的二次型与原来的二次型之间有什么关系，也就是说，找出替换后的二次的矩阵与原二次型的矩阵之间的关系。设 （5） 是一个二次型，作非退化线性替换 （6） 我们得到一个的二次型 现在来看矩阵B与A的关系。把（6）代入（5），有 简单看出，矩阵也是对称的，事实上， 由此，即得 这就是前后两个二次型的矩阵的关系，与之相应，我们引入 定义2 数域P上nn矩阵A，B称为合同的，假如有数域P上可逆的nn矩阵C，使 合同是矩阵之间的一个关系，不难看出，合同关系具有 1）反身性：； 2）对称性：由即得； 3）传递性：由即得 因之，经过非退化的线性替换，新二次型的矩阵与原二次型的矩阵是合

10、同的。这样，我们就把二次型的变换通过矩阵表示出来，为以下的探讨供应了有力的工具。最终指出，在变换二次型时，我们总是要求所作的线性替换是非退化的。从几何上看，这一点是自然的，因为坐标变换肯定是非退化的，一般地，当线性替换 是非退化时，由上面的关系即得 这也是一个线性替换，它把所得的二次型还原。这样就使我们从所得二次型的性质可以推知原来二次型的一些性质。定理：若A是实对称矩阵，则存在可逆矩阵C，满意：。2）多元正态分布 a）二元正态分布 直观上，二元正态分布是两个正态随机变量的联合分布。假如两个随机变量X1和X2的联合密度函数为 这里，0，0，1， ， 我们称X1和X2听从二元正态分布。通过计算可

11、得X1和X2的边际分布分别为和。上式中的参数是X1和X2的相关系数。假如X1和X2听从二元正态分布，那么在给定的条件下X2的条件分布也是正态的。它的条件密度函数为 这里 条件均值是的线性函数。并且，二元正态分布具有一个独特的性质，那就是假如，那么X1和X2是相互独立的。这是由于当时，我们有。这对于一般的两个随机变量是不对的。有时假如把联合概率密度函数写成矩阵的形式，则从形式上来看就简洁多了。记，那么二元正态概率密度函数可以写成如下的简洁形式 这里 b）多元正态分布 ，这就是均值为协方差矩阵为的多元正态分布，记为。c）多元正态分布的二次型的分布 假如，那么 这里n是X的维数。我们可以简洁地证明这

12、个结果。由于是对称可逆矩阵，那么存在一个可逆的矩阵A，使得。我们有，所以。 1.7 幂等矩阵与二次型 1、幂等矩阵满意A2=A的矩阵称为幂等矩阵。 幂等矩阵可以是对称的，也可以是非对称的，但在我们计量统计学中，所探讨的幂等矩阵都是对称的。与幂等矩阵的有关的结果有： 1）幂等矩阵的特征根要么是1，要么是零。证明：设是A的特征根，则AE=，同时=A=A2=，故，从而或。2）唯一满秩的对称幂等矩阵是单位矩阵。证明：A2=A 即除了单位矩阵外，全部幂等矩阵是奇异的。3）A是幂等矩阵，则IA也是幂等矩阵，且秩（A）+秩（IA）=n。4）对称幂等矩阵的秩等于它的迹。从而我们很简单知道M0的秩。因M0的每个

13、对角元素都是，因此。5）的听从分布（假如 这是因为：和。6） X是一个nm的矩阵，秩（X）=m 则M是幂等矩阵。 1.8 微分及其矩阵的微分表示 1）微分的应用 微分的应用在经济学领域中被广泛地用来作近似计算。为了说明这种技巧如何运作，考虑一个例子。设P代表GDP平减指数，Y代表实际GDP，则名义GDP为PY，于是有： （PY）变动的百分比的（P变动的百分比）+（Y变动的百分比）； 同样一个比率变动的百分比近似地是分子变动的百分比减去分母变动的百分比。例如：设Y代表GDP，而L代表人口数，则人均GDP为，则： （Y/L）变动的百分比（Y变动的百分比）（L变动的百分比） 问题1：1）上述2个近似

14、公式在什么条件下成立？ 2）推导上述两个公式 3）宏观经济中，GDP的确定由4个组成部分，即：GDP=C+I+G+NX。能否按如下公式计算GDP变动百分比： GDP变动的百分比（消费C变动的百分比）+（投资I变为的百分比）+（政府购买G变动的百分比）+（净出口NX变动百分比）。 假如不能，哪边的值较大？为什么？ 2）计量模型的推导 带技术进步的Solow模型 假定生产函数为希克斯（Hicks）中性技术进步条件下的产出增长型函数，其一般形式Solow模型为： （1） 对A（t）作进一步假定，令，这里A0为基本的技术水平，表示由于技术进步而使产出增长的部分，称为技术进步增长率。于是（1）式变为：

15、（2） 对（2）式两边取对数并求导得到： （3） 由于Y、L、K的实际数据都是离散的，故对（3）进行离散化，并令年，于是有： （4） 表示产出的劳动力弹性，表示产出的资本弹性。于是（4）式事实上就是我们的科技进步贡献率的测算模型，留意到： 这里表示科技进步对产出增长的贡献率，表示劳动力增长对产出增长的贡献率，表示资本增长对产出增长的贡献率。从而有： （5） （5）式就给出了技术进步贡献率的测算公式。通过假定肯定规模酬劳不变，即这一条件，比较合理有效地预防或克服了变量间可能出现的共线性。由（4）式，依据，有： 设，则有： （6） 一般来讲，只要D1序列不存在异方差性，（6）式就是测算科技进步增长

16、率所用的最终模型。3）矩阵的微分 假如或写成，那么梯度向量为 二阶偏导数矩阵为 特殊地，假如，那么 同样地可得 假如A是对称矩阵，那么 一般地，有 4）矩阵的分块（partitioned matrix） 在表述一个矩阵的元素时如构造一个方程组将一些元素以子矩阵的形式进行分组有时是有用的，例如，我们可以写 A称为一个分块矩阵，子矩阵的下标和矩阵中的元素的下标按同样方式定义，一个一般的特别情形是分块对角矩阵。 其中A11和A22都是方阵。 分块矩阵的加法和乘法 加法和乘法可以推广到分块矩阵，对一样的分块矩阵A和B有： （1） 和 （2） 其中全部矩阵必需适于所用运算，对于加法，Aij和Bij的阶数

17、必需相同；在乘法中，对全部的数对i和j，Aij的列数必需等于Bij的行数，即矩阵相乘所必需的条件都要得到满意。两个常常遇到的状况是如下的形式： （3） 和 （4） 分块矩阵的行列式 类似于对角矩阵的行列式，分块对角矩阵的行列式可以得到 （5） 一个一般的22分块矩阵的结果为： （6） 大于22分块矩阵的结果极其繁琐，且在我们的工作中也不必要。分块矩阵的逆 分块对角矩阵的逆是： （7） 这可由干脆相乘证明。对一般的22分块矩阵，分块逆的一个形式是： （8） 其中 这可以最简洁地用逆去乘A来证明。由于计算的对称性，左上块可以写作： 问题：请推倒上面的公式（5）、（6）、（7）和（8）。对均值的偏差

18、 上述内容的一个有用的应用是如下的计算：假设我们从一个n个元素的列向量x起先。且令 我们关切的是A-1中的右下角元素，依据（8）中F2的定义，这将是 所以，逆矩阵中的右下角值是 现在，假设以含有若干列的矩阵X代替只有一列的x，我们要求ZZ-1中的右下块，这里Z=i,X，类似的结果是 这示意着ZZ-1的右下块，KK矩阵是第jk元素为的KK矩阵的逆，这样，当一个数据矩阵含有一列1时，平方和及交叉积矩阵的逆的元素将用原始数据以对其相对应列均值的离差的形式计算得出。 其次节 分布函数(Distribution function)、数学期望(Expectation)与 方差(Variance) 本节主要

19、介绍概率及其分布函数，数学期望，方差等方面的基础学问。 一、概率(Probability) 1、概率定义(Definition of Probability) 在自然界和人类社会中有着两类不同的现象，一类是确定性现象，其特征是在肯定条件必定会发生的现象；另一类是随机现象，其特征是在基本条件不变的状况下，视察到或试验的结果会不同。换句话说，就个别的试验或视察而言，它会时而出现这种结果，时而出现那样结果，呈现出一种偶然状况，这种现象称为随机现象。随机现象有其偶然性的一面，也有其必定性的一面，这种必定性表现为大量试验中随机事务出现的频率的稳定性，即一个随机事务出现的频率常在某了固定的常数旁边变动，这

20、种规律性我们称之为统计规律性。频率的稳定性说明随机事务发生可能性大小是随机事务本身固定的，不随人们意志而变更的一种客观属性，因此可以对它进行度量。对于一个随机事务A，用一个数P（A）来表示该事务发生的可能性大小，这个数P（A）就称为随机事务A的概率，因此，概率度量了随机事务发生的可能性的大小。对于随机现象，光知道它可能出现什么结果，价值不大，而指出各种结果出现的可能性的大小则具有很大的意义。有了概率的概念，就使我们能对随机现象进行定量探讨，由此建立了一个新的数学分支概率论。概率的定义 定义在事务域F上的一个集合函数P称为概率，假如它满意如下三个条件： （i）P（A）0，对一切F （ii）P（）

21、=1； （iii）若，i=1,2，且两两互不相容，则 性质（iii）称为可列可加性（conformable addition）或完全可加性。推论1：对任何事务A有； 推论2：不行能事务的概率为0，即； 推论3：。2、条件概率(Conditional Probability) 假如P（B）0，记，称P（A|B）为在事务B发生的条件下事务A发生的条件概率。转化后有：假如（P（A）0），称为概率的乘法原理。推广后的乘法原理： 其中0。3、全概率公式与贝叶斯（Bayes）公式 设事务A1，A2，An是样本空间的一个分割，即AiAj=，ij，而且：。从而，这里AiB也两两互不相容。则。这个公式称为全概率

22、公式。由于 故 再利用全概率公式即得 这个公式称为贝叶斯公式。贝叶斯公式在概率论和数理统计中有着多方面的应用，假定A1，A2，是导致试验结果的“缘由”，P（Ai）称为先验概率，它反映了各种“缘由”发生的可能性大小，一般是以往阅历的总结，在这次试验前已经知道，现在若试验产生了事务B，这个信息将有助于探讨事务发生的“缘由”，条件概率P（Ai|B）称为后验概率，它反映了试验之后对各种“缘由”发生的可能性大小的新学问。4、事务(Random event)独立性(Independence) 1）两个事务的独立性 定义 对事务A及B，若 P（AB）=P（A）P（B） 则称它们是统计独立的，简称独立的。推论

23、1 若事务独立，且P（B）0，则 P（A|B）=P（A） 证明由条件概率定义 因此，若事务A，B相互独立，由A关于B的条件概率等于无条件概率P（A），这表示B的发生对于事务A是否发生没有供应任何消息，独立性就是把这种关系从数学上加以严格定义。推论2 若事务A与B独立，则下列各对事务也相互独立： 证明 由于 所以与B相互独立，由它立即推出与相互独立，由又推出A，相互独立。2）多个事务的独立性 定义 对n个事务A1，A2，An，若对于全部可能的组合1ijn成立着 则称A1，A2，An相互独立。这里第一行有个式子，其次行有个式子，等等，因此共应满意 个等式。二、随机变量(Random Variabl

24、e)和概率分布函数(Probability Distribution Function) 1、随机变量(Random Variable) 假如A为某个随机事务，则肯定可以通过如下示性函数使它与数值发生联系： 这样试验的结果就能有一个数来表示，这个数是随着试验的结果的不同而改变，也即它是样本点的一个函数，这种量以后称为随机变量，随机变量可分为离散型随机变量和连续型随机变量。2、概率分布函数（p.d.f=probability density function） 称F（x）=Px，x为随机变量的分布函数cdf，对于连续型随机变量，存在可能函数f(x)，使 ，f（x）称为随机变量的（分布）密度函数（

25、density function）。3、随机向量（Random Vector）及其分布 在有些随机现象中，每次试验的结果不能只用一个数来描述，而要同时用几个数来描述。试验的结果将是一个向量（1，2，n），称n维随机向量。随机向量的联合分布函数也有离散型与连续型的分别，在离散型场合，概率分布集中在有限或可列个点上，多项分布，就是一个例子；在连续型场合，存在着非负函数f(x1,x2,xn)，使 这里的f(x1，xn)称为密度函数，满意如下两个条件 0 一般地，若(,)是二维随机向量，其分布函数为F(x,y)，我们能由F(x,y)得出或的分布函数，事实上， 同理 F1(x)及F2(y)称为F(x,y

26、)的边际分布函数（Marginal Distribution Function）。例 若F(x,y)是连续型分布函数，有密度函数f(x,y)，那么 因此F1(x)是连续型分布函数，其密度函数为 同理F2(x)是连续型分布函数，其密度函数为 f1(x)及f2(y)的边际分布密度函数。二元正态分布 函数 这里a,b,，r为常数，0，0，|r|1，称为二元正态分布密度函数。定理：二元正态分布的边际分布仍为正态分布。条件分布(Conditional Distribution) 离散型：若已知=xi，（p1(xi)0）则事务=yi的条件概率为 这式子定义了随机变量关于随机变量的条件分布。连续型：在给定=

27、x的条件下，的分布密度函数为 同理可行在给定=y的条件下，的分布密度函数为 这里当然也要求f2(y)0 定理：二元正态分布的条件分布仍旧是正态分布 其均值 是x的线性函数，这个结论在一些统计问题中很重要。4、随机变量的独立性 定义 设1，n为n个随机变量，若对于随意的x1，xn成立 （1） 则称是相互独立的。若的分布函数为，它们的联合分布函数为，则（1）等价于对一切x1,xn成立 在这种场合，由每个随机变量的（边际）分布函数可以唯一地确定联合分布函数(Joint Distribution Function)。对于离散型随机变量，（1）等价于任何一组可能取的值（x1,xn）成立 对于连续型随机变

28、量，条件（1）的等价形式是对一切x1,xn成立 这里f(x1,xn)是联合分布密度函数(Joint density function)，而fi(xi)是各随机变量的密度函数。此外，留意到若相互独立，则其中的随意r(2rn）个随机变量也相互独立，例如，我们证明相互独立。 随机变量的独立性概念是概率论中最基本的概念之一，也是最重要的概念之一。5、随机向量变换(Transformation)及其分布 若的密度函数为，求的分布，这时有 （1） 若对存在唯一的反函数，且的密度函数为，那么 （2） 比较（1）与（2）可知 其中J为坐标变换的雅可比行列式(Jacobian Determinant) 这里，我

29、们假定上述偏导数存在而且连续。随机变量的函数的独立性 定理 若1，n是相互独立的随机变量，则也是相互独立的，这里是随意的一元函数。三、数字期望及方差 1、数学期望 一般地，假如X是随机变量，它的概率密度函数为f(x)，那么它的期望值为 在很多问题中我们不仅须要知道EX，而且还想知道X的某个函数g(X)的数学期望。 我们可以用同样的方法定义多元随机变量的函数的数学期望。假设随机变量X1，X2，Xn的联合概率密度函数为，那么 假如随机变量是离散的，那么上面公式里的积分号用和号代替。 利用这个定义我们可以得到下列结果 （1）假如a0,a1,an是常数，那么 （2）假如X1，X2，Xn是相互独立的随机

30、变量，那么 2、方差(Variance)与协方差(Covariance) 一个随机变量X的r阶中心矩被定义为记为。假如被称为X的分布的方差或X的方差，经常记为。的正平方根被称为X的标准差。关于方差，我们有一个有用的公式 X和Y之间的协方差，记为或 X和Y之间的协方差是对它们之间的相关性的一个测度。假如X和Y是相互独立的，那么=0。这导致下面的相关系数的定义，X和Y之间的相关系数记为被定义为 由这个定义，的取值肯定在-1和1之间。假如X和Y是相互独立的，那么=0。假如Y=aX+b，这里a,b是不等于0的常数，那么|XY|=1，此时，我们说X和Y是完全相关的。X和Y的值越接近线性关系，|XY|值接

31、近1。利用这些定义，我们可以得到下面的结果：假如a0,a1,an是常数，X1，X2，Xn是随机变量，那么 特殊地，有 3、随机向量的协方差矩阵 对于随机向量而言，我们可以相像地定义它的期望和协方差矩阵。用X表示随机变量组成的向量，即 假设。那么X的期望值为 也即是一个随机向量的期望值等于它的各个重量的期望值组成的向量。我们定义一个随机向量X的协方差矩阵(Covariance Matrix)如下 X的协方差矩阵经常记为，它是一个正定矩阵，如下是证明： 对于随意的不为零的向量， 我们构造一个变量 那么Y的方差 ，即证明白是非负定的。线性变换后的向量的均值与协方差 假如P是一个mn常数矩阵，mn，那

32、么Z=PX是一个m维随机向量，可以得到 a） b） 四、条件分布(Conditional Distribution)、条件数学期望(Conditional Expectation)及其条件方差（Conditional Variance） 条件均值（Conditional Mean）是条件分布的均值，其定义为 条件均值函数。条件方差（Conditional Variance） 条件方差是条件分布的方差： 或 （离散时） 利用下式可以简化计算 并且有： 记号Ex表示对X的值的期望。几个重要的公式 1）、 思索：是否成立？ 2）、 3）、方差分解公式(Decomposition of Varianc

33、e ) 推导：分两步，先证明 i） 这是因为： 进而有 我们考察 ii）对于随意Y有： 因为X与E（Y|X）是不相关，故 而 我们得到方差分解公式： 方差分解结果表明，在双变量分布中，y的变差出自两个来源： 1、由于Ey|x随x改变的事实所产生的变差为回来方差（Regression Variance）： 回来方差=VarxEy|x 2、由于在每一条件分布中，y都围绕条件均值改变而产生的变差为残差方差(Residual Variance)： 残差方差=ExVary|x 这样， Vary=回来方差 + 残差方差。由方差分解公式，我们得到，这个是特别重要的公式，它常被应用到寻求最小方差估计量的方法中

34、.我们可以看一个实际的例子。例子 设X和Y听从二元正态分布联合分布，我们已经知道，在给定X的条件下，其条件分布仍旧是正态分布，并且 则，然而 = 在11条件下，。满意方差分解公式，并且我们很简单知道，。六、极限分布理论(Limit Distribution Theory) 1 几个极限的定义 1）分布函数的弱收敛(Weak Convergence of the Distribution Function) 定义1 对于分布函数列Fn(x)，假如存在一个非降函数F(x)使 在F(x)的每一连续点上都成立，则称Fn(x)弱收敛于F(x)，并记为。中心极限定理就是一个分布函数弱收敛的例子。2）随机变

35、量的收敛性(Convergence of the Random Variable) 概率论中的极限定理探讨的是随机变量序列的某种收敛性，对随机变量收敛性的不同定义将导致不同的极限定理，而随机变量的收敛性的确可以有各种不同的定义，理解这些不同的极限定义，对于我们分析线性回来的大样本结果很重要。现在就来探讨这个问题。a）依分布收敛(Convergence in Distribution) 分布函数弱收敛的探讨启发我们引进如下定义。定义2（依分布收敛） 设随机变量n、的分布函数分别为Fn(x)及F(x)，假如，则称n依分布收敛于，并记为。b）依概率收敛(Convergence in Probabil

36、ity) 定义3（依概率收敛） 假如 对随意的0成立，则称依概率收敛于，并记为。c）r-阶收敛 定义4（r-阶收敛） 设对随机变量，其中r0为常数，假如 ，则称-阶收敛于，并记为。下面定理揭示了r-阶收敛与依概率收敛的关系。定理8 。2）极限的应用 贝努里分布与普松分布 a）近似计算 在n次贝努里试验中正好出现k次胜利的概率b（k;n,p）： 其中q=1-p。b(k;n,p)，k=0,1,2,，n称为二项分布。在许多应用问题中，我们经常遇到这样的贝努里试验，其中，相对地说，n大，p小，而乘积大小适中，在这种状况下，有一个便于运用的近似公式。定理（普松） 在贝努里试验中，以pn代表事务A在试验中

37、出现的概率，它与试验总数n有关，假如，则当时， b) 中心极限定理(Central Limit Theorem) 若X1，X2，Xn，是一串相互独立相同分布的随机变量序列，且 我们来探讨标准化随机变量和 的极限分布。林德贝格与勒维（Lindeberg and Levy）建立了下列中心极限定理。定理2（林德贝格-勒维） 若0，则 2 契比雪夫（Chebyshevs Inequality）不等式 对于任何具有有限方差的随机变量X，都有 （1） 其中是任一正数。证明 若F(x)是X的分布函数，则明显有 （2） 这就证得了不等式（1），有时把（1）改写成 或 （3） 契比雪夫不等式利用随机变量X的数学

38、期望EX及方差=对X的概率分布进行估计。例如（3）断言不管X的分布是什么，X落在中的概率不小于，因为契比雪夫不等式只利用数学期望及方差就描述了随机变量的改变状况，因此它在理论探讨及实际应用中很有价值。3、大数定律 定义 若1,2,n,是随机变量序列，令 假如存在这样的一个常数序列a1,a2,an,，对随意的0，恒有 则称序列n听从大数定律（或大数法则）。契比雪夫大数定律 设X1，X2，Xn，是由两两不相关的随机变量所构成的序列，每一随机变量都有有限的方差，并且它们有公共上界C，即 C，C，C， 则对随意的0，皆有 =1 （4） 证明 因为k两两不相关，故 再由契比雪夫不等式得到 所以 1 于是

39、，当时有（4），因此定理得证。贝努里大数定律 设是n次贝努里试验中事务A出现的次数，而p是事务A在每次试验中出现的概率，则对随意0，都有 =1 证明 定义随机变量，则 ， 而 贝努里大数定律建立了在大量重复独立试验中事务出现频率的稳定性，正因为这种稳定性，概率的概念才有客观意义，贝努里大数定律还供应了通过试验来确定事务概率的方法，既然频率与概率p有较大偏差的可能性很小，那么我们便可以通过做试验确定某事务发生的频率并把它作为相应概率的估计，这种方法称为参数估计，它是数理统计中的主要探讨课题之一，参数估计的重要理论基础就是大数定律。 第三节 数理统计（Mathematical Statistics

40、） 数理统计的方法及考虑的问题不同于一般的资料统计，它更侧重于应用随机现象本身的规律性来考虑资料的收集、整理和分析，从而找出相应的随机变量的分布律或它的数字特征。由于大量的随机试验必能呈现出它的规律性，因而从理论上讲，只要对随机现象进行足够多次视察，被探讨的随机现象的规律性肯定能清晰地呈现出来，但是事实上所允许的视察恒久只能是有限的，有时甚至是少量的。因此我们所关切的问题是怎样有效地利用有限的资料，便能去掉那些由于资料不足所引起的随机干扰，而把那些实质性的东西找出来，一个好的统计方法 就在于能有效地利用所获得的资料，尽可能作出精确而牢靠的结论。 1、数理统计的基本概念 1）母体和子样 我们把所

41、探讨的全部元素组成的集合称为母体或总体，而把组成母体的每个元素称为个体。为了对母体的分布律进行各种探讨，就必需对母体进行抽样视察。一般来说，我们还不止进行一次抽样视察，而要进行几次视察。设X1，X2，Xn是所视察到的结果，明显它是随机变量，称它为容量是n的子样。把X1，X2，Xn所取值的全体称为子样空间。我们抽取子样的目的是为了对母体的分布律进行各种分析推断，因而要求抽取的子样能很好地反映母体的特性，这就必需对随机抽样的方法提出肯定的要求。通常提出下面两点： （i）代表性：要求子样的每个重量Xi与所考察的母体X具有相同的分布F(x)； （ii）独立性：X1，X2，Xn为相互独立的随机变量，也就

42、是说，每个视察结果即不影响其它视察结果，也不受其它视察结果的影响。满意上述两点性质的子样称为简洁随机子样，获得简洁随机子样的抽样方法称为简洁随机抽样。对于简洁随机子样X=（X1，X2，Xn），其分布可以由母体的分布函数F（x）完全确定，X的分布函数是。2）统计量 一般来说，子样的某种不含任何未知参数的函数，在统计学中都可以称为统计量。统计量： 非统计量： 3）常用的统计量子样矩 r阶矩（或r阶原点矩）：为子样均值。r阶中心矩：为子样方差。总结：对于母体，我们有母体均值，母体方差，母体的k阶原点矩和k阶中心矩； 对于子样，我们有子样均值，子样方差，子样的r阶矩Ar和r阶中心矩Br。我们可以得到如

43、下结论： 定理1 设母体听从分布F(x)，X=（X1，Xn）是从该母体中抽得的一个简洁随机子样，假如F(x)的二阶矩阵存在，则对子样均值，有 和 证明 思索：是否存在更简洁的证明方法？ 定理2 对于子样方差，其均值 证明：因为，所以 （其中） 4）依次统计量、阅历分布函数与子样矩 设（X1，Xn）是从母体 中抽取的一个子样，记（x1,x2,xn）是子样的一个视察值，将视察值的各重量按大小递增次序排列，得到 当（X1，Xn）取值为（x1,xn）时，我们定义取值为。称由此得到的为（X1，Xn）的一组依次统计量。明显，即的视察值是子样视察值中最小的一个，而，的视察值是子样视察值中最大的一个。记 明显01，且作为x的函数是一非减左连续函数，把看作为x的函数，它具备分布函数所要求的性质，故称为阅历分布函数（或子样分布函数）。阅历分布函数也是子样的函数，它与子样矩之间具有下列关系：设（x1,x2,xn）是子样视察值，是对应的阅历分布函数，则有： 2、正态母体子样的线性函数的分布 定理1 设X1，Xn是抽自正态母体的一个子样，统计量U是子样的任一确定的线性函数