普通最小二乘法.ppt

《普通最小二乘法.ppt》由会员分享，可在线阅读，更多相关《普通最小二乘法.ppt（34页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、普通最小二乘法（普通最小二乘法（OLSOLS）（rdinary Least Squares)rdinary Least Squares)17771855 高斯被认为是历史上最重要的数学家之一，并享有“数学王子”之称。高斯和阿基米德、牛顿并列为世界三大数学家。一生成就极为丰硕，以他名字“高斯”命名的成果达110个，属数学家中之最。1.OLS的基本思想的基本思想普通最小二乘法（普通最小二乘法（OLSOLS）（rdinary Least Squares)rdinary Least Squares)对对于于 ，不不同同的的估估计计方方法法可可以以得得到到不不同同的的样样本本回回归归参参数数 和和 ，所

2、估计的，所估计的 也就不同。也就不同。理理想想的的估估计计结结果果应应使使估估计计的的 与与真真实实的的 的的差差(即即剩剩余余 )总总的的来来说越小越好说越小越好 因因 可正可负，总有可正可负，总有 ，所以可以取，所以可以取 最小，即最小，即在观测值在观测值Y和和X确定时，确定时，的大小决定于的大小决定于 和和 。要解决的问题要解决的问题:：如何寻求能使如何寻求能使 最小的最小的 和和 。3普通最小二乘法（普通最小二乘法（OLSOLS）（rdinary Least Squares)rdinary Least Squares)使因变量的观察值与估计值之间的离差平方和达到最小来求得 和 的方法。

3、即用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小1.OLS的基本思想的基本思想普通最小二乘法（普通最小二乘法（OLSOLS）（rdinary Least Squares)rdinary Least Squares)用克莱姆法则求解得以观测值表现的用克莱姆法则求解得以观测值表现的OLS估计量：估计量：5取偏导数并令其为取偏导数并令其为0，可得，可得正规方程正规方程或整理得或整理得即即2.正规方程和估计量正规方程和估计量6 为表达得更简洁，或者用离差形式的为表达得更简洁，或者用离差形式的OLS估计量估计量：容易证明容易证明由正规方程：由正规方程：注意：注意：其中：其

4、中：本课程中本课程中:大写的大写的 和和 均表示观测值；均表示观测值；小写的小写的 和和 均表示观测值的均表示观测值的离差离差而且由而且由样本回归函数可用样本回归函数可用离差形式离差形式写为写为 用离差表现的用离差表现的OLSOLS估计量估计量在家庭可支配收入可支配收入-消费支出消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表进行。因此，由该样本估计的回归方程为：参数估计的最大或然法参数估计的最大或然法(ML)最大或然法最大或然法(Maximum Likelihood,简称ML)，也称最大似然法最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的

5、其他估计方法的基础。基本原理基本原理：对于最大或然法最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。在满足基本假设条件下，对一元线性回归模型：随机抽取n组样本观测值（Xi,Yi）（i=1,2,n）。那么Yi服从如下的正态分布：于是，Y的概率函数为（i=1,2,n）假如模型的参数估计量已经求得，为因为Yi是相互独立的，所以的所有样本观测值的联合概率，也即或然函数或然函数(likelihood function)(likelihood function)为：将该或然函数极大化，即可求得到模型参数的极大或然估计量。由于或然函数的极大

6、化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：解得模型的参数估计量为：可见，在满足一系列基本假设的情况下，模型结构参数的最最大大或或然然估估计计量量与普普通通最最小小二二乘乘估估计计量量是相同的。用样本去估计总体回归函数，总要使用特定的方法，而任何估用样本去估计总体回归函数，总要使用特定的方法，而任何估计参数的方法都需要有一定的前提条件计参数的方法都需要有一定的前提条件假定条件假定条件简单线性回归的基本假定简单线性回归的基本假定 为什么要作基本假定？为什么要作基本假定？只只有有具具备备一一定定的的假假定定条条件件，所所作作出出的的估估计计才才具具有有良良好好的的统统计计性质。性

7、质。模模型型中中有有随随机机扰扰动动项项，估估计计的的参参数数是是随随机机变变量量，显显然然参参数数估估计计值值的的分分布布与与扰扰动动项项的的分分布布有有关关，只只有有对对随随机机扰扰动动的的分分布布作作出出假假定定，才才能能比比较较方方便便地地确确定定所所估估计计参参数数的的分分布布性性质质，也才可能进行假设检验和区间估计等统计推断。也才可能进行假设检验和区间估计等统计推断。假定分为：假定分为：对对模型和变量模型和变量的假定的假定对对随机扰动项随机扰动项的假定的假定 14简单线性回归模型的最小二乘估计简单线性回归模型的最小二乘估计例如对于例如对于 假定模型设定是正确的（变量和模型无设定误差

8、）假定模型设定是正确的（变量和模型无设定误差）假定解释变量假定解释变量X在重复抽样中取固定值。在重复抽样中取固定值。假定解释变量假定解释变量X是非随机的，或者虽然是非随机的，或者虽然X是随机的，是随机的，但与扰动项但与扰动项u是不相关的。是不相关的。(从变量从变量X角度看是外生的角度看是外生的)注意注意:解释变量非随机在自然科学的实验研究中相对解释变量非随机在自然科学的实验研究中相对容易满足，经济领域中变量的观测是被动不可控的，容易满足，经济领域中变量的观测是被动不可控的，X X非随机的假定并不一定都满足。非随机的假定并不一定都满足。15对模型和变量的假定对模型和变量的假定 假定假定1 1：零

9、均值假定：零均值假定:在给定在给定X X的条件下，的条件下，的条件期望为零的条件期望为零 假定假定2 2：同方差假定：同方差假定:在给定在给定X X的条件下，的条件的条件下，的条件方差为某个常数方差为某个常数 16X Y对随机扰动项对随机扰动项u u的假定的假定17 假定假定3 3：无自相关假定无自相关假定:随机扰动项随机扰动项 的逐次值互不相关的逐次值互不相关 假定假定4 4：解释变量解释变量 是非随机的，或者虽然是非随机的，或者虽然 是随是随机的但与扰动项机的但与扰动项 不相关不相关(从随机扰动从随机扰动 角度看角度看)18假定假定5 5：对随机扰动项分布的对随机扰动项分布的对随机扰动项分

10、布的对随机扰动项分布的正态性假定正态性假定，即假定即假定即假定即假定 服从均值为零、方差为服从均值为零、方差为服从均值为零、方差为服从均值为零、方差为 的正态分布的正态分布的正态分布的正态分布 （说明：说明：正态性假定并不影响对参数的点估计，所以有时不列正态性假定并不影响对参数的点估计，所以有时不列正态性假定并不影响对参数的点估计，所以有时不列正态性假定并不影响对参数的点估计，所以有时不列入基本假定，但这对确定所估计参数的分布性质是需要的。且入基本假定，但这对确定所估计参数的分布性质是需要的。且入基本假定，但这对确定所估计参数的分布性质是需要的。且入基本假定，但这对确定所估计参数的分布性质是需

11、要的。且根据中心极限定理，当样本容量趋于无穷大时，根据中心极限定理，当样本容量趋于无穷大时，根据中心极限定理，当样本容量趋于无穷大时，根据中心极限定理，当样本容量趋于无穷大时，的分布会趋的分布会趋的分布会趋的分布会趋近于正态分布。所以正态性假定有合理性）近于正态分布。所以正态性假定有合理性）近于正态分布。所以正态性假定有合理性）近于正态分布。所以正态性假定有合理性）由于由于其中的其中的 和和 是非随机的，是非随机的，是随机变量，因此是随机变量，因此Y是随机变量，是随机变量，的分布性质决定了的分布性质决定了 的分布性质。的分布性质。对对 的一些假定可以等价地表示为对的一些假定可以等价地表示为对

12、的假定：的假定：假定假定1：零均值假定：零均值假定 假定假定2：同方差假定：同方差假定 假定假定3：无自相关假定：无自相关假定 假定假定5：正态性假定：正态性假定 19在对在对 的基本假定下的基本假定下 Y Y 的分布性质的分布性质 剩余项剩余项 的均值为零的均值为零 OLS回归线通过样本均值回归线通过样本均值 估计值估计值 的均值等于实际观测的均值等于实际观测 值值 的均值的均值 20(由OLS第一个正规方程直接得到)(由OLS正规方程 两边同除n得到)OLSOLS回归线的数学性质回归线的数学性质 解释变量解释变量 与剩余项与剩余项 不相关不相关 由OLS正规方程有:被解释变量估计值被解释变

13、量估计值 与剩余项与剩余项 不相关不相关22 面临的问题面临的问题:参数参数估计值估计值 参数真实值参数真实值对参数估计式的优劣需要有评价的标准对参数估计式的优劣需要有评价的标准 为什么呢为什么呢?参数无法直接观测，只能通过样本去估计。样本的获得存参数无法直接观测，只能通过样本去估计。样本的获得存 在在抽样波动抽样波动，不同样本的估计结果不一致。，不同样本的估计结果不一致。估计参数的方法有多种，不同方法的估计结果可能不相同，估计参数的方法有多种，不同方法的估计结果可能不相同，通过样本估计参数时，估计方法及所确定的估计量不一定通过样本估计参数时，估计方法及所确定的估计量不一定 完备，不一定能得到

14、理想的总体参数估计值。完备，不一定能得到理想的总体参数估计值。对各种估计方法优劣的比较与选择需要有评价标准。对各种估计方法优劣的比较与选择需要有评价标准。估计准则的基本要求：估计准则的基本要求：参数估计值应参数估计值应尽可能地接近尽可能地接近总体参数真实值总体参数真实值”。什么是什么是“尽可能地接近尽可能地接近”原则呢？原则呢？用统计语言表述就是用统计语言表述就是:无偏性、有效性、一致性无偏性、有效性、一致性等等OLSOLS估计量的统计性质估计量的统计性质23 (1)无偏性 前提：前提：重复抽样重复抽样中中估计方法固定估计方法固定、样本数不变样本数不变、由重复抽样得到的观测值由重复抽样得到的观

15、测值,可得一系列参数估计可得一系列参数估计值值 ,的分布称为的分布称为 的抽样分布，其密度的抽样分布，其密度函数记为函数记为概念概念:如如果果 ，则则称称 是是参参数数 的的无无偏估计量，偏估计量，如果如果 ，则称，则称 是有偏的估计，其偏倚为是有偏的估计，其偏倚为 （见下页图）24 概 率 密 度 估计值 偏倚偏倚25 (2)(2)有效性有效性前提：前提：样本相同、用不同的方法估计参数，可以找到若样本相同、用不同的方法估计参数，可以找到若干个不同的无偏估计式干个不同的无偏估计式 目标目标:努力寻求其抽样分布具有最小方差的估计量努力寻求其抽样分布具有最小方差的估计量 （见下页图）（见下页图）既

16、既是是无无偏偏的的同同时时又又具具有有最最小小方方差差特特性性的的估估计计量量，称称为为最佳（有效）估计量。最佳（有效）估计量。26概概率率密密度度估计值估计值思想思想:当样本容量较小时，有时很难找到方差最小的无偏估计，当样本容量较小时，有时很难找到方差最小的无偏估计，需要考虑样本扩大后的性质（需要考虑样本扩大后的性质（估计方法不变估计方法不变，样本数逐步增大样本数逐步增大）一致性：一致性：当样本容量当样本容量 n 趋于无穷大时，如果估计式趋于无穷大时，如果估计式 依概率收敛于总体参数的依概率收敛于总体参数的真实值，就称这个估计式真实值，就称这个估计式 是是 的一致估计式。即的一致估计式。即

17、或或 （渐近无偏估计式是当样本容量变得足够大时其偏倚趋于零的（渐近无偏估计式是当样本容量变得足够大时其偏倚趋于零的估计式）估计式）(见下页图见下页图)渐近有效性：渐近有效性：当样本容量当样本容量 n 趋于无穷大时，在所有的一致估计趋于无穷大时，在所有的一致估计式中，具有最小的渐近方差。式中，具有最小的渐近方差。273、渐近性质、渐近性质（大样本性质）（大样本性质）28概率密度估计值图 4先明确几点先明确几点:由由OLS估计式可以看出估计式可以看出 都都由可观测的样本值由可观测的样本值 和和 唯一表示。唯一表示。因存在抽样波动，因存在抽样波动，OLS估计估计 是随机变量是随机变量 OLS估计式是

18、估计式是点估计量点估计量 29OLSOLS估计是否符合估计是否符合“尽可能地接近总体参数真实值尽可能地接近总体参数真实值”的的要求呢要求呢?分析分析OLS估计量的统计性质估计量的统计性质 2、无偏特性无偏特性 可以证明可以证明 30OLSOLS估计式的统计性质估计式的统计性质高斯定理高斯定理（注意（注意:无偏性的证明中用到了基本假定中无偏性的证明中用到了基本假定中 零均值等假定）零均值等假定）1 1、线性特征线性特征 是是Y Y的线性函数的线性函数证：证：易知故同样地，容易得出（2）证明最小方差性其中，ci=ki+di，di为不全为零的常数则容易证明 普通最小二乘估计量普通最小二乘估计量（ordinary least Squares Estimators）称为最佳线性无偏估计量最佳线性无偏估计量（best linear unbiased estimator,BLUE）由于最小二乘估计量拥有一个由于最小二乘估计量拥有一个“好好”的估计量的估计量所应具备的小样本特性，它自然也拥有大样本特性所应具备的小样本特性，它自然也拥有大样本特性。