03-多元线性回归模型.pdf

《03-多元线性回归模型.pdf》由会员分享，可在线阅读，更多相关《03-多元线性回归模型.pdf（34页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第3章 多元线性回归模型章 多元线性回归模型多元线性回归模型与假定条件最小二乘法（多元线性回归模型与假定条件最小二乘法（OLS）最小二乘估计量的特性可决系数显著性检验与置信区间预测预测的评价指标建模过程中应注意的问题案例分析）最小二乘估计量的特性可决系数显著性检验与置信区间预测预测的评价指标建模过程中应注意的问题案例分析第第3章 多元线性回归模型章 多元线性回归模型3.1 多元线性回归模型与假定条件多元线性回归模型与假定条件经济意义：经济意义：xt j是是yt的重要解释变量代数意义：的重要解释变量代数意义：yt与与xt j存在线性关系几何意义：存在线性关系几何意义：yt表示一个多维平面表示一

2、个多维平面（第（第2版教材第版教材第49页）（第页）（第3版教材第版教材第45页）页）yt=0 0+1xt1+2xt2 +k-xt k +ut 当给定一个样本（当给定一个样本（yt,xt1,xt2,xt k）,t=1,2,T 时时,上述模型表示为上述模型表示为 y1=0 0+1x11+2x12 +k-x1 k+u1,y2=0 0+1x21+2x22 +k x2 k+u2,.yT=0 0+1x T 1+2x T 2+k-x T k+uT 1211)1(10)1(122211111121111+=TTkkkTkTTjTkjkjTTuuuxxxxxxxxxyyy?Y=X +u 此时此时 yt与与 x

3、 t i已知，已知，j与与 ut未知。未知。3.1 多元线性回归模型与假定条件多元线性回归模型与假定条件为保证得到最优估计量，回归模型应满足如下假定条件：为保证得到最优估计量，回归模型应满足如下假定条件：假定（假定（1）：）：E(u)=0=00?假定（假定（2）：）：误差项同方差、非自相关误差项同方差、非自相关 Var(u)=E(u u )=2I=210000001?假定（假定（3）：）：解释变量与误差项相互独立。解释变量与误差项相互独立。E(X u)=0 假定（假定（4）：）：解释变量之间线性无关。解释变量之间线性无关。rk(X X)=rk(X)=k+1 假定（假定（5）：）：解释变量是非随

4、机的，且当解释变量是非随机的，且当 T 时，时，T 1X X Q 其中其中 Q 是一个有限值的非退化矩阵。是一个有限值的非退化矩阵。（第（第2版教材第版教材第51页）（第页）（第3版教材第版教材第47页）页）最小二乘最小二乘(OLS)法的原理是求残差平方和最小。代数上是求极值问题。法的原理是求残差平方和最小。代数上是求极值问题。minS=(Y-X)(Y-X)=Y Y-X Y-Y X +X X =Y Y-2 X Y+X X 因为因为 Y X 是一个标量，所以有是一个标量，所以有 Y X =X Y。上式的一阶条件为：。上式的一阶条件为：S=-2X Y+2X X=0 X Y=X X 因为因为(X X

5、)是一个非退化矩阵（假定（是一个非退化矩阵（假定（5），所以有），所以有 =(X X)-1 X Y 3.2 最小二乘法（最小二乘法（OLS）（第（第2版教材第版教材第55页）（第页）（第3版教材第版教材第51页）页）3.2 最小二乘法（最小二乘法（OLS）的最小二乘的最小二乘(OLS)估计公式也可以用下面的方式推导。估计公式也可以用下面的方式推导。对估计的回归模型对估计的回归模型 Y=X+u 左乘一个左乘一个 X，X Y=X X+X u 根据（最小二乘）估计的回归函数的性质（根据（最小二乘）估计的回归函数的性质（4），），X u=0 有有 X Y=X X =(X X)-1X Y 高斯高斯马尔可

6、夫定理：马尔可夫定理：若前述假定条件成立，若前述假定条件成立，OLS 估计量是估计量是 最佳线性无偏估计量最佳线性无偏估计量。具有具有无偏性，最小方差特性，一致性。无偏性，最小方差特性，一致性。求出求出，估计的回归模型写为，估计的回归模型写为 Y=X+u=Y+u 例题例题3.1Y：某商品需求量：某商品需求量X1：该商品价格：该商品价格X2：消费者平均收入：消费者平均收入（第（第2版教材第版教材第60页）（第页）（第3版教材第版教材第54页）页）obsY X1 X2 1 58 9 56 2 48 8 53 3 63 7 60 4 68 6 70 5 73 7 78 6 98 5 84 7 98

7、4 91 8 78 6 82 9 108 3 100 10 88 5 120 =113.83-8.36 X1+0.18 X2(4.0)(-3.6)(0.9)R2=0.88,F=26.4,T=10Y3.3 最小二乘（最小二乘（OLS）估计量的特性）估计量的特性（第（第2版教材第版教材第64页）（第页）（第3版教材第版教材第58页）页）1 的分布的分布 E()=E(X X)-1 X Y =E(X X)-1X(X +u)=+(X X)-1X E(u)=Var()=E()()=E(X X)-1X u u X(X X)-1 =E(X X)-1X 2I X(X X)-1=2(X X)-1 因为因为 u N

8、(0,2 2I)，Y N(X,2 2I)，=(X X)-1X Y，是是 Y 的线性函数，所以的线性函数，所以 N(,2(X X)-1)。3.3 最小二乘（最小二乘（OLS）估计量的特性）估计量的特性（第（第2版教材第版教材第62页）（第页）（第3版教材第版教材第57页）页）2.残差的方差残差的方差 s2=2=u u/(T k-1)s2是是 2 2 的无偏估计量，的无偏估计量，E(s2)=E(2)=2 2。的估计的方差协方差矩阵是的估计的方差协方差矩阵是 Var()=s2 2(X X)-1=2(X X)-1 1.多重确定系数（多重可决系数）多重确定系数（多重可决系数）Y=X+u=Y+u，TSS=

9、RSS+ESS R2=22yTyTSSTSSR-YYYY=有有 0 R 2 1。R 2 1，拟合优度越好。，拟合优度越好。2.调整的多重确定系数调整的多重确定系数 2R=1-)(11(1)1/()1/(SSTSSRSSTkTTTSSTkTSSE=1-)1(112RkTT 3.4 可决系数可决系数（R2）（第（第2版教材第版教材第73页）（第页）（第3版教材第版教材第64页）页）例题例题3.1Y：某商品需求量：某商品需求量X1：该商品价格：该商品价格X2：消费者平均收入：消费者平均收入8831.095789.191813.40395789.19)110(.)110(.22222=DSSSEDSS

10、STSSESSTSSTSSRR8497.0)8831.01(12101101)1(111222=RkTTR（第（第2版教材第版教材第63页）（第页）（第3版教材第版教材第57页）（第页）（第2版教材第版教材第72页）（第页）（第3版教材第版教材第65页）页）5973.5712101813.4031=kTuuF 检验检验 与与 SST=RSS+ESS 相对应，自由度相对应，自由度 T-1 也被分解为两部分，也被分解为两部分，（T-1）=(k)+(T-k-1)回归均方定义为回归均方定义为 MSR=kSSR，误差均方定义为，误差均方定义为 MSE=1 kTSSE H0:1=2=k=0;H1:j不全为

11、零不全为零 F=MSEMSR=)1/()/(kTSSEkSSR F(k,T-k-1)设检验水平为设检验水平为，则检验规则是，则检验规则是，若若 F F (k,T-k-1)，接受，接受 H0；若；若 F F (k,T-k-1)，拒绝，拒绝 H0。3.5 显著性检验与置信区间显著性检验与置信区间（第（第2版教材第版教材第74页）（第页）（第3版教材第版教材第67页）页）3.5 显著性检验与置信区间显著性检验与置信区间（第（第2版教材第版教材第76页）（第页）（第3版教材第版教材第69页）页）回归系数的回归系数的 t 检验检验 H 0：j=0,(j=1,2,k),H 1：j 0 t=)(jjs=11

12、21)()(+=jjjjVarXX t(T-k-1)判别规则：判别规则：若若 t t(T-k-1)接受接受 H 0；若若 t t(T-k-1)拒绝拒绝 H 0。(第第2版教材版教材75-78页页)(第第3版教材版教材67-70页页)Y：某商品需求量：某商品需求量X1：该商品价格：该商品价格X2：消费者平均收入：消费者平均收入45.267/95789.192/)1813.40395789.19(7/)110(.2/)110(.()1/(/)()1/(/2222=DSSSEDSknESSkSSESSTknESSkRSSF例题例题3.16474.32907.23553.8)(111=st9017.0

13、1997.01801.0)(222=st3.5 显著性检验与置信区间显著性检验与置信区间(第第2版教材版教材78页页)(第第3版教材版教材70页页)i的置信区间的置信区间（1）全部）全部 i的联合置信区间的联合置信区间 F=k1(-)(X X)(-)/s2 F (k,T-k)(-)(X X)(-)s2 k F (k,T-k)，是一个，是一个 k 维椭球体。维椭球体。（2）单个）单个 i的置信区间的置信区间 i=i)(ist/2/2(k-1)=i)(ius1+iCt/2/2(k-1)=i11)(+iXXt/2/2(k-1)(第第2版教材版教材78页页)(第第3版教材版教材70页页)回归系数的联合

14、置信区间回归系数的联合置信区间例题例题3.1 1 的置信区间上下限：的置信区间上下限：-8.36 2.36 2.29 2 的置信区间上下限：的置信区间上下限：0.18 2.36 0.20Y：某商品需求量：某商品需求量X1：该商品价格：该商品价格X2：消费者平均收入：消费者平均收入单个回归系数的置信区间单个回归系数的置信区间（1）点预测）点预测 C=(1 xT+1 1 xT+1 2 xT+1 k )则则 T+1 期被解释变量期被解释变量 yT+1的点预测式，的点预测式，1+Ty=C=0+1 xT+1 1+k xT+1 k （2）单个）单个 yT+1的置信区间预测的置信区间预测 yT+1值与点预测

15、值值与点预测值1+Ty有以下关系有以下关系 yT+1=1+Ty+uT+1 E(yT+1)=E(1+Ty+uT+1)=C Var(yT+1)=Var(1+Ty)+Var(uT+1)=2 C(X X)-1C +2 =2(C(X X)-1C +1)yT+1是一个多元正态分布变量是一个多元正态分布变量,yT+1 N(C,2C(X X)-1C+1)单个单个 yT+1的置信区间是的置信区间是 C t/2(T-k-1)1)(1+CXXC 3.6 预测预测Y：某商品需求量：某商品需求量X1：该商品价格：该商品价格X2：消费者平均收入：消费者平均收入例题例题3.1 样本内样本内10点与样本外点与样本外1点预测点

16、预测204060801001201168.0105.630.4YF(第第2版教材版教材91-98页页)(第第3版教材版教材74-79页页)obs Y YF X1 X2 1 58 48.72 9 56 2 48 56.54 8 53 3 63 66.15 7 60 4 68 76.31 6 70 5 73 69.39 7 78 6 98 87.18 5 84 7 98 96.80 4 91 8 78 78.47 6 82 9 108 106.78 3 100 10 88 93.67 5 120 11 68.02 8.5 140 样本外样本外1点点点预测点预测与与区间预测区间预测预测的预测的EVi

17、ews操作操作3.7 预测的评价指标预测的评价指标(1)预测误差预测误差。预测误差定义为。预测误差定义为 et=ty-yt,t=T+1,T+2,是对单点预测误差大小的测量。是对单点预测误差大小的测量。(2)相对误差相对误差 PE(Percentage Error)。PE=tttyyy,t=T+1,T+2,是对单点预测相对误差大小的测量。是对单点预测相对误差大小的测量。(3)误差均方根误差均方根 rms error(Root Mean Squared Error)rms error=TtttyyT12)(1 通过若干个预测值对预测效果进行综合评价。通过若干个预测值对预测效果进行综合评价。(4)绝

18、对误差平均绝对误差平均 MAE(Mean Absolute Error)MAE=TtttyyT11 通过若干个预测值对预测的绝对误差进行综合评价。通过若干个预测值对预测的绝对误差进行综合评价。(5)相对误差绝对值平均相对误差绝对值平均 MAPE(Mean Absolute Percentage Error)MAPE=TttttyyyT11 MAPE 在在 EViews 中是以中是以 MAPE 100 的形式出现。的形式出现。（6）Theil 不等系数不等系数（Theil inequality coefficent）取值区间）取值区间0，1，等于零时，预测无误差。等于零时，预测无误差。3.7 预

19、测的评价指标预测的评价指标预测评价指标的应用预测评价指标的应用2040608010012014012345678910YFForecast:YFActual:YForecast sample:1 10Included observations:10Root Mean Squared Error 6.349656Mean Absolute Error 5.225690Mean Abs.Percent Error 7.637698Theil Inequality Coefficient 0.039658 Bias Proportion 0.000000 Variance Proportion 0.

20、031059 Covariance Proportion 0.968941例题例题3.13.8 建模过程中应注意 的问题建模过程中应注意 的问题05000100001500020000250003000080818283848586878889909192GDPGDP(f)(1)研究经济变量之间的关系要剔除物价变动因素。研究经济变量之间的关系要剔除物价变动因素。注意：价格指数应该用定基价格指数。注意：价格指数应该用定基价格指数。(2)依照经济理论以及对具体经济问题的深入分析初步确定解释变量。依照经济理论以及对具体经济问题的深入分析初步确定解释变量。例：例：我国粮食产量我国粮食产量=f（耕地面积

21、、农机总动力、施用化肥量、农业人口等）。（耕地面积、农机总动力、施用化肥量、农业人口等）。例：关于食用油消费量模型例：关于食用油消费量模型(3)当引用现成数据时，要注意数据的定义是否与所选定的变量定义相符。当引用现成数据时，要注意数据的定义是否与所选定的变量定义相符。例：例：“农业人口农业人口”要区别是要区别是“从事农业劳动的人口从事农业劳动的人口”还是相对于城市人口的还是相对于城市人口的“农业人口农业人口”。(4)养成看散点图的习惯。养成看散点图的习惯。中国移动电话用户数（亿户）序列 硫酸透明度（中国移动电话用户数（亿户）序列 硫酸透明度（y）与铁杂质含量（）与铁杂质含量（x）的关系）的关系

22、GDP与与FDI 市场用煤销售量季节性数据（市场用煤销售量季节性数据（1982:1-1988:4）3.8 建模过程中应注意的问题建模过程中应注意的问题（5）谨慎对待离群值（）谨慎对待离群值（outlier）01020304050607880828486889092949698000204LABOR(6)过原点回归模型与非过原点回归模型相比有如下不同点过原点回归模型与非过原点回归模型相比有如下不同点:残差和等于零不一定成立。可决系数 有时会得负值！残差和等于零不一定成立。可决系数 有时会得负值！48121620242850556065707580859095DEATHRATER23.8 建模过程

23、中应注意的问题建模过程中应注意的问题(8)回归模型给出估计结果后，首先应进行回归模型给出估计结果后，首先应进行F检验。检验。F检验是对模型整体回归显著性的检验。检验是对模型整体回归显著性的检验。(检验一次，检验一次，H0:1=2=k=0;H1:j 不全为零。不全为零。)若若F检验结果能拒绝原假设，应进一步作检验结果能拒绝原假设，应进一步作t检验检验。t检验是对单个解释变量的回归显著性的检验。若回归系数估计值未通过检验是对单个解释变量的回归显著性的检验。若回归系数估计值未通过t检验，则相应解释变量应从模型中剔除。检验，则相应解释变量应从模型中剔除。剔除该解释变量后应重新回归。剔除该解释变量后应重

24、新回归。按经济理论选择的变量剔出时要慎重。按经济理论选择的变量剔出时要慎重。(7)改变变量的测量单位可能会引起回归系数值的改变，但不会影响改变变量的测量单位可能会引起回归系数值的改变，但不会影响t值。值。即不会影响统计检验结果。即不会影响统计检验结果。3.8 建模过程中应注意的问题建模过程中应注意的问题(11)利用回归模型预测时，解释变量的值最好不要离开样本范围太远。利用回归模型预测时，解释变量的值最好不要离开样本范围太远。原因是 根据预测公式离样本平均值越远，预测误差越大。有时，样本以外变量的关系不清楚。当样本外变量的关系与样本内变量的关系完全不同时，在样本外预测就会发生错误。原因是 根据预

25、测公式离样本平均值越远，预测误差越大。有时，样本以外变量的关系不清楚。当样本外变量的关系与样本内变量的关系完全不同时，在样本外预测就会发生错误。4681012556065707580859095LOG(TRADE)(10)对于多元回归模型，当解释变量的量纲不相同时，不能对于多元回归模型，当解释变量的量纲不相同时，不能在估计的在估计的回归系数之间比较大小。回归系数之间比较大小。若要在多元回归模型中比较若要在多元回归模型中比较解释变量的解释变量的相对重要性，应该用标准化变量回归。相对重要性，应该用标准化变量回归。3.8 建模过程中应注意的问题建模过程中应注意的问题(13)残差项应非自相关。残差项应

26、非自相关。否则说明仍有重要解释变量被遗漏在模型之外。选用的模型形式不妥。否则说明仍有重要解释变量被遗漏在模型之外。选用的模型形式不妥。(14)残差项不应有异方差。残差项不应有异方差。(15)避免多重共线性。避免多重共线性。(16)解释变量应具有外生性，与误差项不相关。解释变量应具有外生性，与误差项不相关。(12)回归模型的估计结果应与经济理论或常识相一致。回归模型的估计结果应与经济理论或常识相一致。(17)模型应具有高度概括性。模型应具有高度概括性。若模型的各种检验及预测能力大致相同，应选择解释变量较少的一个。若模型的各种检验及预测能力大致相同，应选择解释变量较少的一个。(18)模型的结构稳定

27、性要强，超样本特性要好。模型的结构稳定性要强，超样本特性要好。(19)世界是变化的，应该随时间的推移及时修改模型。世界是变化的，应该随时间的推移及时修改模型。3.8 建模过程中应注意的问题建模过程中应注意的问题案例案例1：中国国债发行额模型：中国国债发行额模型（file:b1c4）首先分析中国国债发行额序列的特征。）首先分析中国国债发行额序列的特征。1980年国债发行额 是年国债发行额 是43.01亿元（占亿元（占GDP的的1%），），2001年国债发行额是 年国债发行额是 4604亿元（占亿元（占GDP的的4.8%）。）。以当年价格计算，以当年价格计算，21年间 年间（1980-2001）增

28、长了增长了106倍。倍。平均年增长率是平均年增长率是24.9%。0100020003000400050008082848688909294969800DEBT中国当前正处在社会主义市场经济逐步完善，宏观经济平稳运行的阶段。国债发行总量（中国当前正处在社会主义市场经济逐步完善，宏观经济平稳运行的阶段。国债发行总量（DEBTt，亿元）应该与经济总规模，财政赤字的多少，每 年的还本付息能力有关系。选择，亿元）应该与经济总规模，财政赤字的多少，每 年的还本付息能力有关系。选择3个解释变量，国内生产总值（个解释变量，国内生产总值（GDPt：百亿元），财政赤字额（：百亿元），财政赤字额（DEFt：亿元），

29、年还本付息额（：亿元），年还本付息额（REPAYt：亿元），根据散点图建立中国国债发行 额（：亿元），根据散点图建立中国国债发行 额（DEBTt，亿元）模型如下：，亿元）模型如下：DEBTt=0+1 GDPt+2 DEFt+3 REPAYt+ut案例案例1：中国国债发行额模型：中国国债发行额模型（file:b1c4）案例案例1：中国国债发行额模型：中国国债发行额模型（file:b1c4）DEBTt=4.38+0.34 GDPt+1.00 DEFt+0.88 REPAYt+(0.2)(2.1)(26.6)(17.2)R2=0.9986,DW=2.12,T=21,(1980-2000)u u预测预

30、测2001年的国债发行额（年的国债发行额（DEBTt，亿元）。，亿元）。DEBT2001=4608.71预测误差是 预测误差是 =0.0014604460471.4608案例案例1：中国国债发行额模型：中国国债发行额模型（file:b1c4）444044804520456046004640468047204760480020014608.74748.04469.4DEBTFForecast:DEBTFActual:DEBTForecast sample:2001 2001Included observations:1Root Mean Squared Error 4.709123Mean Ab

31、solute Error 4.709123Mean Abs.Percent Error 0.102283建模案例建模案例2：中国客运总量：中国客运总量模型（file:5line01）有中国客运总量（有中国客运总量（Yt，10亿人次）、总人口数（亿人次）、总人口数（X1t，亿人），年人均国内生 产总值（，亿人），年人均国内生 产总值（X2t：千元）数据（：千元）数据（1990 2002）。建立中国客运总量模型）。建立中国客运总量模型Yt=0+1 X1t+2 X2t+utX1t 表示年底总人口数（亿人），表示年底总人口数（亿人），X2t 表示年人均国内生产总值（千元）。表示年人均国内生产总值（千元

32、）。68101214161811.211.612.012.412.813.2X1Y68101214161812345678910X2Y建模案例建模案例2：中国客运总量：中国客运总量模型（file:5line01）Yt=-19.85+2.30 X1t+0.77 X2t+(-2.0)(2.6)(4.2)R2=0.997,DW=2.0,T=13,(1990-2002)u u建模案例建模案例2：中国客运总量：中国客运总量模型（file:5line01）16.216.416.616.817.017.217.42003YF 2 S.E.68101214161889909192939495969798990

33、00102Forecast:YFActual:YForecast sample:1989 2002Included observations:14Root Mean Squared Error 0.235032Mean Absolute Error 0.158737Mean Abs.Percent Error 1.656332Theil Inequality Coefficient 0.009735 Bias Proportion 0.045175 Variance Proportion 0.087463 Covariance Proportion 0.867362样本外一期点预测 样本内预测评价样本外一期点预测 样本内预测评价第第3章结束章结束.