第8章多元回归分析:推断问题.ppt
《第8章多元回归分析:推断问题.ppt》由会员分享,可在线阅读,更多相关《第8章多元回归分析:推断问题.ppt(54页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第八章第八章 多元回归分析:推断问题多元回归分析:推断问题第八章第八章 多元回归分析:推断问题多元回归分析:推断问题 学习目的学习目的 理解多元线性回归模型的区间估计和假设检验。多元回归中的假设检验多元回归中的假设检验检验个别偏回归系数的假设检验个别偏回归系数的假设检验样本回归的总显著性检验样本回归的总显著性检验线性等式约束条件检验线性等式约束条件邹至庄检验邹至庄检验第八章第八章 多元回归分析:推断问题多元回归分析:推断问题第一节第一节 多元回归的假设检验多元回归的假设检验 一、正态性假定一、正态性假定假定假定ui 遵循均遵循均值为值为零、方差零、方差2 为常数的正常数的正态分布。分布。前面前
2、面证证明明过过,偏回,偏回归归系数的系数的OLS估估计计量,是最量,是最优线优线性无偏估性无偏估计计量。量。此外,估此外,估计量量 、本身也是正本身也是正态分布的,期均分布的,期均值等于等于1、2、3 。方差由第方差由第7章章给出。在出。在标准差的准差的计算中,算中,2 由它的无偏估由它的无偏估计 代替代替时知:知:均遵循自由度均遵循自由度为n-3的的t分布。因分布。因为在在计算算 和和 之前,我之前,我们要先估要先估计三个偏回三个偏回归系数,系数,从而从而给残差平方和残差平方和RSS的的计算加上了三个算加上了三个约束。束。二、多元回归中的假设检验:总评二、多元回归中的假设检验:总评一旦我一旦
3、我们们走出走出简单简单的双的双变变量量线线性回性回归归模型的范模型的范围围,假,假设检验设检验就会以就会以多种有趣的形式出多种有趣的形式出现现:1.检验检验关于个关于个别别偏回偏回归归系数的假系数的假设设。2.检验检验所估所估计计的多元回的多元回归归模型的模型的总显总显著性,即判明是否全部偏斜著性,即判明是否全部偏斜率系数同率系数同时为时为零。零。3.检验检验两个或多个系数是否相等。两个或多个系数是否相等。4.检验检验偏回偏回归归系数是否系数是否满满足某种足某种约约束条件。束条件。5.检验检验所估所估计计的回的回归归模型在模型在时间时间上或不同横截面上或不同横截面单单元上的元上的稳稳定性。定性
4、。6.检验检验回回归归模型的函数形式。模型的函数形式。第二节第二节 检验个别偏回归系数的假设检验个别偏回归系数的假设引用假定引用假定 ,我,我们们可用可用t检验统计检验统计量量对对任一个任一个别别的偏回的偏回归归系数的假系数的假设进设进行行检验检验。考。考虑虑儿童死亡率的例子:儿童死亡率的例子:例例8.1 8.1 修正儿童死亡率例子修正儿童死亡率例子在第在第7章,我章,我们们用一个用一个64个国家构成的个国家构成的样样本将儿童死亡率本将儿童死亡率对对人均人均GNP和和妇妇女女识识字率字率进进行回行回归归。回。回归结归结果如下:果如下:第一行括号是估第一行括号是估计标计标准差,第二行准差,第二行
5、为为假假设设相关相关总总体系数体系数为为零下的零下的t值值,第三行第三行为为估估计计的的p值值。接下来我接下来我们们要要检验检验:PGNP和和FLR的系数是否是的系数是否是统计显统计显著的呢?著的呢?假假设设:虚虚拟拟假假设设表明,保持表明,保持X3 不不变变,X2 对对Y无影响。利用无影响。利用8.1节给节给出的出的t检验检验:本例中自由度本例中自由度为为61,查查表最接近的自由度是表最接近的自由度是60。假。假设显设显著性水平著性水平为5%,则双尾双尾检验的的 =2.0(本例中(本例中对立建立建设是双是双侧的。)的。)2.81872.0,拒,拒绝PGNP对儿童死亡率没有影响的虚儿童死亡率没
6、有影响的虚拟假假设。更明确的更明确的讲,保持,保持妇女女识字率不字率不变,人均,人均GNP对儿童死亡率具有儿童死亡率具有显著的著的负面影响,面影响,这与先与先验预期完全一致。如期完全一致。如图。接受域临界域实际实际上,我上,我们们不必假定一个特定的不必假定一个特定的值值来来进进行假行假设检验设检验,仅仅使用使用p值值即可。即可。本例中的本例中的p值值是是0.0065,其解,其解释为释为:如果虚:如果虚拟拟假假设设正确,正确,则则得到一个得到一个大于等于大于等于2.8187的的t值值的概率的概率仅为仅为0.65%,这这个概率比人个概率比人为选为选定的定的=5%小得多。小得多。既然推既然推测测儿童
7、死亡率与人均儿童死亡率与人均GNP负负相关,那我相关,那我们们就就应该应该使用使用单单位位检检验验。即虚。即虚拟拟和和对对立假立假设应该设应该是:是:单单位位检验检验的的 =1.671,拒,拒绝绝虚虚拟拟假假设设。假假设检验设检验和置信区和置信区间间估估计计之之间间的关系的关系2 的的95%置信区置信区间间是:是:具体到本例具体到本例变为变为:即是:即是:这样这样,如果,如果选选取了大小同取了大小同为为64的的100个个样样本并构造像(本并构造像(8.4.2)这样这样的的100个置信区个置信区间间,则则我我们预们预期其中的期其中的95个包含着真个包含着真实总实总体参数体参数2。由。由于虚于虚拟
8、拟假假设设的零的零值值不落在(不落在(8.4.2)区)区间间内,故以内,故以95%的置信系数拒的置信系数拒绝绝虚虚拟拟假假设设2=0。qtdist(p,v):自由度自由度为为v的的t统计统计量的量的p显显著性水平(双尾)。著性水平(双尾)。scalar h1=eq01.coefs(2)+qtdist(0.975,61)*stderrs(2)scalar h2=eq01.coefs(2)-qtdist(0.975,61)*stderrs(2)注意:注意:t检验检验是基于是基于误误差差项项ui 服从正服从正态态分布的假定。我分布的假定。我们们能能够观测够观测到到误误差差项项的代理的代理变变量量 ,
9、即残差。,即残差。对对儿童死亡率一例而言,残差直方儿童死亡率一例而言,残差直方图为图为:第三节第三节 检验样本回归的总显著性检验样本回归的总显著性前面两前面两节讨论节讨论的是个的是个别别的偏回的偏回归归系数系数为为零假零假设设下的下的显显著性著性问题问题,现现考考虑虑如下假如下假设设:该该虚虚拟拟假假设设是关于是关于2 和和3 同同时时等于零的一个等于零的一个联联合假合假设设(joint hypothesis)。对这样对这样一个假一个假设设的的检验检验被称作被称作对对所估回所估回归线归线的的总总显显著性著性检验检验(overall significance)。能否用上能否用上节节逐一逐一检验检
10、验 和和 的的显显著性的方法来著性的方法来检验联检验联合假合假设设呢?呢?答案是否定的。答案是否定的。我我们隐们隐含的假定是每一个含的假定是每一个显显著性著性检验检验都是根据一个不同的都是根据一个不同的样样本本进进行的。行的。如果用同一如果用同一样样本数据去本数据去检验联检验联合假合假设设,和和 有可能相关,有可能相关,则违则违背背了了检验检验方法的基本假定。方法的基本假定。怎怎样检验联样检验联立的虚立的虚拟拟假假设设 呢?呢?一、检验多元回归的总显著性的方差分析法:一、检验多元回归的总显著性的方差分析法:F检验检验TSS有有n-1个自由度,个自由度,RSS有有n-3个自由度,个自由度,ESS
11、是是TSS和和RSS的函数,有的函数,有2个自由度。个自由度。则则在在ui 的正的正态态分布假定下以及在虚分布假定下以及在虚拟拟假假设设 下,下,变变量量遵循自由度遵循自由度为为2和和n-3的的F分布。分布。可以可以证证明,在明,在 的假定下:的假定下:再加一个假定再加一个假定 ,可以,可以证证明:明:因此,如果虚因此,如果虚拟拟假假设为设为真,真,则则(8.5.4)和()和(8.5.5)都将)都将对对真真实实2 给出同出同样估估计。如果虚。如果虚拟假假设错误,即,即X2 和和X3 确确实实影响影响Y,则则不能在不能在这这两式两式划等号。划等号。(8.5.3)(8.5.4)(8.5.5)如果从
12、(如果从(8.5.3)算出的)算出的F值值大于大于2%显显著水平的著水平的F表中的表中的临临界界F值值,我,我们们就拒就拒绝绝H0;否;否则则不拒不拒绝绝。另一种方法是,如果所。另一种方法是,如果所测测的的p值值足足够够低,可拒低,可拒绝绝H0.得到一个大于等于得到一个大于等于73.8325的的F值值的的p值值几乎几乎为为0,从而拒,从而拒绝绝虚虚拟拟假假设设。如果使用如果使用惯惯常的常的5%的的显显著性水平,分子自由度著性水平,分子自由度为为2和分母自由度和分母自由度为为60(实际为实际为61)的)的临临界界F值约为值约为3.15。若用。若用1%的的显显著性水平,著性水平,临临界界F值约值约
13、为为4.98.显显然,然,观观察到察到约为约为74的的F值值比比临临界界值值大得多,大得多,则则拒拒绝绝PGNP和和FLR同同时时对对儿童死亡率都没有影响的假儿童死亡率都没有影响的假设设。二、检验多元回归的总显著性:二、检验多元回归的总显著性:F检验检验决策规则决策规则给给定定k变变量回量回归归模型:模型:假假设检验设检验:相相对对于于H1:非全部斜率系数同:非全部斜率系数同时为时为零。零。计计算:算:如果如果 ,则则拒拒绝绝H0;否;否则则不拒不拒绝绝它,其中它,其中 是是显著水平、(著水平、(k-1)个分子自由度和)个分子自由度和(n-k)个分母自由度的个分母自由度的临界界F值。另一种方法
14、,如果另一种方法,如果F的的p值足足够低,即可拒低,即可拒绝H0。三、三、R2和和F之间的一个重要关系式之间的一个重要关系式假定干假定干扰项扰项ui为为正正态态分布,并且虚分布,并且虚拟拟假假设设 成立,成立,对对于三于三变变量情形曾看到:量情形曾看到:推广到推广到k变变量情形,如果假定干量情形,如果假定干扰项扰项是正是正态态分布的,且虚分布的,且虚拟拟假假设设:则则有:有:遵循遵循k-1和和n-k个自由度的个自由度的F分布。分布。待估参数的待估参数的总总个数个数为为k,其中之一,其中之一为为截距截距项项。做如下演算:做如下演算:其中其中 。该该式可以看出,式可以看出,F和和R2是同向是同向变
15、变化的。化的。当当R2=0时时,F=0;当当R2 越大,越大,F值值也越大。也越大。当当R2=1,F变为变为无限大。无限大。因此,因此,F检验检验既是所估回既是所估回归归的的总显总显著著性的度量,也是性的度量,也是R2 的一个的一个显显著性著性检验检验。例例四、检验用四、检验用R2 表示的多元回归表示的多元回归 的总显著性的总显著性决策规则决策规则给给定定k变变量回量回归归模型:模型:假假设检验设检验:相相对对于于H1:非全部斜率系数同:非全部斜率系数同时为时为零。零。计计算:算:如果如果 ,则则拒拒绝绝H0;否;否则则不拒不拒绝绝它,其中它,其中 是是显著水平、(著水平、(k-1)个分子自由
16、度和)个分子自由度和(n-k)个分母自由度的个分母自由度的临界界F值。另一种方法,如果另一种方法,如果F的的p值足足够小,即可拒小,即可拒绝H0。例例 119119个发展中国家个发展中国家1960-19851960-1985年的年的GDPGDP增长率与相对增长率与相对人均人均GDPGDP 该该模型只解模型只解释释了了GDPG变动变动的的53%。但。但查查F表可得,在表可得,在5%的的显显著性著性水平上是水平上是显显著的,著的,p值实际值实际上是上是0.0425。因此,尽管。因此,尽管R2只有只有0.053,我我们们仍能拒仍能拒绝这绝这两个回两个回归归元元对对回回归归子没有影响的虚子没有影响的虚
17、拟拟假假设设。五、解释变量的五、解释变量的“增量增量”或或“边际边际”贡献贡献第第7章章说过说过,我,我们们一般不能将一般不能将R2 值值在各个回在各个回归归元之元之间间分配。在儿童死分配。在儿童死亡率的例子中,我亡率的例子中,我们发现们发现R2 为为0.7077,但由于,但由于这这两个回两个回归归元在元在样样本中本中可能相关,我可能相关,我们们不知道哪些属于不知道哪些属于PGNP的功的功劳劳,哪些属于,哪些属于妇妇女女识识字率字率的功的功劳劳。利用。利用协协方差分析方差分析的方法,可以有更深入的了解。的方法,可以有更深入的了解。首先,将儿童死亡率首先,将儿童死亡率对对PGNP回回归归并并评评
18、价其价其显显著性,然后在模型中增著性,然后在模型中增加加FLR,以判明它是否有任何,以判明它是否有任何贡贡献。献。所谓贡献,是指增加一个变量到模型中来,是否相对于所谓贡献,是指增加一个变量到模型中来,是否相对于RSSRSS“显著地显著地”增加了增加了ESSESS。把这一贡献称作一个解释变量。把这一贡献称作一个解释变量的的增量增量(incremental)(incremental)或边际或边际(marginal)(marginal)贡献。贡献。假假设设先做儿童死亡率先做儿童死亡率对对PGNP的回的回归归,得到如下,得到如下结结果:果:由于由于p=0.0008,所以,所以这这个个值值是高度是高度显
19、显著的。我著的。我们们拒拒绝绝PGNP对对CM没没有影响的假有影响的假设设。这时这时把把X3引入到模型中来,需回答:引入到模型中来,需回答:(1)知道)知道PGNP在模型中和在模型中和CM有有显显著关系,著关系,FLR的的边际贡边际贡献献为为何?何?(2)FLR的增量的增量贡贡献在献在统计统计上上显显著著吗吗?(3)根据什么准)根据什么准则则把把变变量加量加进进模型?模型?为为了了评评估在扣除估在扣除X2的的贡贡献后献后X3的增量的增量贡贡献,我献,我们们构造:构造:新回归元个数新模型中的参数个数例子例子Q2Q4这这个个F值值是高度是高度显显著的,表明模型中增加了著的,表明模型中增加了FLR明
20、明显显提高了提高了ESS并因并因此提高此提高R2值值。F比率比率还还可可仅仅用用R2值值重新表达出来:重新表达出来:新回归元个数新模型中的参数个数第四节第四节 受约束的最小二乘法:受约束的最小二乘法:检验线性等式约束条件检验线性等式约束条件经济经济理理论论有有时时会提出某一回会提出某一回归归模型中的系数模型中的系数满满足一些足一些线线性等式性等式约约束条件。考察束条件。考察Cobb-Douglas生生产产函数:函数:对对数形式:数形式:,。Y=产产出,出,X2=劳劳力投入,力投入,X3=资资本投入。本投入。现现在如果是在如果是规规模模报报酬不酬不变变(每一同比例的投入(每一同比例的投入变变化有
21、同比例的化有同比例的产产出出变变化),化),经济经济理理论论将提出:将提出:这这就是就是线线性等式性等式约约束条件束条件。如何判断如何判断约约束条件是否正确?束条件是否正确?(8.7.2)一、一、t检验方法检验方法步步骤骤:1.先不考先不考虑约虑约束条件,按通常方法估束条件,按通常方法估计计,做所,做所谓谓的无的无约约束或无束或无限制的回限制的回归归(unrestricted or unconstrained regression)。2.用用OLS法估法估计计出了出了2 和和3,就可通,就可通过t检验来来检验约束:束:3.如果如果计算的算的t值超超过选定定显著性水平上的著性水平上的临界界t值,
22、则拒拒绝规模模报酬不酬不变的假的假设;否;否则不拒不拒绝。二、二、F检验法:受约束最小二乘法检验法:受约束最小二乘法步步骤骤:1.利用利用 把把Cobb-Douglas生生产产函数写成:函数写成:=产产出出/劳动劳动比率,比率,=资资本本/劳动劳动比率,有重要比率,有重要经济经济意意义义。2.一旦我一旦我们们从(从(8.7.8)计计算出算出3,2 很容易从第一个关系式得出。很容易从第一个关系式得出。(8.7.8)所描述的程序被称)所描述的程序被称为受受约束的最小二乘法束的最小二乘法(restricted least squares,RLS)。(8.7.8)(8.7.7)怎怎样样比比较较无无约约
23、束和受束和受约约束的两个最小二乘回束的两个最小二乘回归归呢?可通呢?可通过过F检验检验达到。达到。令:令:=无无约约束回束回归归(8.7.2)的的RSS =受受约约束回束回归归(8.7.7)的)的RSS m =线线性性约约束个数束个数 k =无无约约束回束回归归中的参数个数中的参数个数 n =观测观测次数次数于是,于是,注意:注意:和和 分分别别得自得自(8.7.2)无无约约束和束和(8.7.7)受受约约束回束回归归的的R2 值值。(8.7.10)表表8.8 墨西哥的真实墨西哥的真实GDP、就业和真实固定资本、就业和真实固定资本年份年份GDP就业就业固定资本固定资本19551140438310
24、182113195612041085291937491957129187873820519219581347058952215130195913996091712250211960150511956923702619611578979527248897196216528696622606611963178491103342754661964199457109812953781965212323117463157151966226977115213376421967241194115403635991968260881120663918471969277498122974223821970296
25、53012955455049197130671213338484677197232903013738520553197335405715924561531197437497714154609825例例8.3 1955-8.3 1955-19741974年墨西哥年墨西哥经济的经济的Cobb-Cobb-DouglasDouglas生产生产函数函数Dependent Variable:LNGDPMethod:Least SquaresDate:02/21/12 Time:16:22Sample:1955 1974Included observations:20VariableCoefficientS
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元 回归 分析 推断 问题
限制150内