多元线性回归异方差问题.ppt

《多元线性回归异方差问题.ppt》由会员分享，可在线阅读，更多相关《多元线性回归异方差问题.ppt（39页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于多元线性回归异方差问题1现在学习的是第1页，共39页2一、异方差及其影响一、异方差及其影响1、异方差的定义：、异方差的定义：对于多元线性回归模型，如果随机扰动项的方差并非是不变的常数，对于多元线性回归模型，如果随机扰动项的方差并非是不变的常数，则称为存在异方差（则称为存在异方差（heteroscedasticity)。异方差可以表示。异方差可以表示为为 。 或或 2iiVar 22221nEVar现在学习的是第2页，共39页3两变量线性回归模型的异方差两变量线性回归模型的异方差 Y0XiXjX现在学习的是第3页，共39页41、异方差的定义、异方差的定义 异方差主要出现在截面数据分析中，例如

2、大公司的利润变化幅度要比小异方差主要出现在截面数据分析中，例如大公司的利润变化幅度要比小公司的利润变化幅度大，即大公司利润的方差比小公司利润的方差大。这公司的利润变化幅度大，即大公司利润的方差比小公司利润的方差大。这取决于公司的规模、产业特点和研究开发支出多少等因素。又如高收入家取决于公司的规模、产业特点和研究开发支出多少等因素。又如高收入家庭通常比低收入家庭对某些商品的支出有更大的方差。庭通常比低收入家庭对某些商品的支出有更大的方差。例例6-1：人均家庭支出（：人均家庭支出（cum)和可支配收入（和可支配收入（in)的关系模型的关系模型 给出中国给出中国1998年各地区城镇居民平均每人全年家

3、庭交通及通讯支出年各地区城镇居民平均每人全年家庭交通及通讯支出（cum)和可支配收入（和可支配收入（in)的数据，估计两者之间的关系模型的数据，估计两者之间的关系模型现在学习的是第4页，共39页52、异方差的影响、异方差的影响1、OLS估计量不再是估计量不再是BLUE，其是无偏和一致的，但并非有效的，其是无偏和一致的，但并非有效的，即不再具有方差最小性。即不再具有方差最小性。2、检验假设的统计量不再成立，建立在、检验假设的统计量不再成立，建立在t分布和分布和F分布之上的分布之上的置信区间和假设检验不可靠。置信区间和假设检验不可靠。现在学习的是第5页，共39页6二、异方差的发现和判断二、异方差的

4、发现和判断（一）残差的图形检验（一）残差的图形检验（二）帕克检验（二）帕克检验（Park test）（三）戈里瑟检验（三）戈里瑟检验（Glejser test）（四）怀特检验（四）怀特检验（White test）现在学习的是第6页，共39页7（一）残差的图形检验（一）残差的图形检验 这是一种最直观的方法，它以某一变量（通常取因变量）作为横坐这是一种最直观的方法，它以某一变量（通常取因变量）作为横坐标，以随机项的估计量标，以随机项的估计量e或或e2为纵坐标，根据作出的散点图直观地判为纵坐标，根据作出的散点图直观地判断是否存在相关性。如果存在相关性，则存在异方差。通常的方法断是否存在相关性。如果存

5、在相关性，则存在异方差。通常的方法是先产生残差序列，再把它和因变量一起绘制散点图。是先产生残差序列，再把它和因变量一起绘制散点图。 例例6-2：利用该方法绘制上一章关于美国机动车消费量的模利用该方法绘制上一章关于美国机动车消费量的模型中型中QMG与残差的散点图。与残差的散点图。现在学习的是第7页，共39页8（二）（二）Breusch-Pagan检验检验假设回归模型如下：假设回归模型如下：检验假定线性函数检验假定线性函数(1) 22110uxxxYkk(2) 221102vxxxukk现在学习的是第8页，共39页9步骤：步骤： 1、作普通最小二乘回归（、作普通最小二乘回归（1），不考虑异方差问题

6、。），不考虑异方差问题。 2、从原始回归方程中得残差、从原始回归方程中得残差ui，并求其平方。，并求其平方。 3、利用原始模型中的解释变量作形如上式、利用原始模型中的解释变量作形如上式(2)的回归，记下这个的回归，记下这个回归的回归的R平方平方 。 4、检验零假设是、检验零假设是 对方程（对方程（2）进行）进行F检验检验，或计算或计算LM统计量进行检验。统计量进行检验。22uR0:210kH222kuRnLM现在学习的是第9页，共39页10（三）戈里瑟检验（三）戈里瑟检验1、通常拟合、通常拟合 和和 之间的回归模型：之间的回归模型： 根据图形中的分布选择根据图形中的分布选择2、再检验零假设、再

7、检验零假设 0（不存在异方差）。如果零假设被拒绝，则表（不存在异方差）。如果零假设被拒绝，则表明可能存在异方差。明可能存在异方差。 ejXljXe 211,1或l现在学习的是第10页，共39页11（四）怀特检验（四）怀特检验假设有如下模型：假设有如下模型： （3）基本步骤：基本步骤：1、首先用、首先用OLS方法估计回归方程（方法估计回归方程（3）式。）式。2、然后作辅助回归：、然后作辅助回归： （4）iiiiuxBxBBy22110iiiiiiiivxxAxAxAxAxAAu216224213221102现在学习的是第11页，共39页123、求辅助回归方程的、求辅助回归方程的R2值。在零假设：

8、不存在异方差下，值。在零假设：不存在异方差下，White证明了，证明了，从方程（从方程（4）中获得）中获得R2值与样本容量（值与样本容量（n）的积服从卡方分布）的积服从卡方分布 自由度等于（自由度等于（4）式中的解释变量的个数。）式中的解释变量的个数。4、根据样本计算统计量、根据样本计算统计量n*R2值，并与所选取的显著性水平进行比较，值，并与所选取的显著性水平进行比较，看是否接受零假设（零假设为残差不存在异方差性）。看是否接受零假设（零假设为残差不存在异方差性）。5、Eviews计算：计算：View-Residual Tests-White Heteroskedasticity .应用应用：

9、对例：对例6-1进行进行White异方差检验异方差检验22Rn（四）怀特检验（四）怀特检验现在学习的是第12页，共39页13等价的等价的White检验检验（1）用）用OLS估计模型（估计模型（3），得到残差和拟合值，计算它们的平方；），得到残差和拟合值，计算它们的平方；（2）做回归）做回归 记下这个回归的记下这个回归的R平方平方（3）构造）构造F或或LM统计量并计算统计量并计算p值（前者为值（前者为 F2，n3分布，后者用分布，后者用 分布。分布。vyyu2210222现在学习的是第13页，共39页14（五）（五） 实例实例 使用使用Wooldridge中的数据中的数据HPRICE.RAW中的

10、数据来检验一个中的数据来检验一个简单的住房价格方程中的异方差性。水平变量模型为（分别采用水简单的住房价格方程中的异方差性。水平变量模型为（分别采用水平变量和其对数项分别进行回归分析）平变量和其对数项分别进行回归分析）发现：发现：采用水平模型存在异方差性，但采用对数模型不存在异方采用水平模型存在异方差性，但采用对数模型不存在异方差性。差性。bdrmssqrftlotsizeprice3210现在学习的是第14页，共39页15三、异方差的解决方法三、异方差的解决方法p 加权最小二乘法p 模型的重新设定现在学习的是第15页，共39页16（一）加权最小二乘法（一）加权最小二乘法p基本思路：赋予残差的每

11、个观测值不同权数，从而使模基本思路：赋予残差的每个观测值不同权数，从而使模型的随机误差项具有同方差性。型的随机误差项具有同方差性。现在学习的是第16页，共39页17（一）加权最小二乘法（一）加权最小二乘法方差已知的情形方差已知的情形假设已知随机误差项的方差为假设已知随机误差项的方差为var(ui)= i2 , 设权数设权数wi与异方差的变与异方差的变异趋势相反异趋势相反, wi =1/ i, 将原模型两端同乘以将原模型两端同乘以wi。wi使异方差经受了使异方差经受了“压缩压缩”和和“扩张扩张”变为同方差。变为同方差。现在学习的是第17页，共39页18（一）加权最小二乘法（一）加权最小二乘法22

12、2201iiiwwiiybb x方差已知的情形方差已知的情形对于一元线性回归模型对于一元线性回归模型y=b0+b1x+u，加权最小化残差平方和为，加权最小化残差平方和为获得的估计量就是加权最小二乘估计量。对于多元线性回归模型获得的估计量就是加权最小二乘估计量。对于多元线性回归模型y=Xu，令权数序列，令权数序列wi =1/ i ，W为为NN对角矩阵，对角线上为对角矩阵，对角线上为wi ，其，其他元素为他元素为0。则变换后的模型为。则变换后的模型为WyWXWu现在学习的是第18页，共39页19（一）加权最小二乘法（一）加权最小二乘法方差已知的情形方差已知的情形（1）误差方差与）误差方差与xi成比

13、例成比例Var(ui)=2 * xi其中其中2为常数，这时可以令权序列为常数，这时可以令权序列（2）误差方差与）误差方差与xi2成比例成比例Var(ui)=2 * xi2其中其中2为常数，这时可以令权序列为常数，这时可以令权序列1/iiwx1/iiwx现在学习的是第19页，共39页20（一）加权最小二乘法（一）加权最小二乘法方差已知的情形方差已知的情形实例：住房支出模型实例：住房支出模型 给出由四组家庭住房支出和年收入组成的截面数据，建立住房给出由四组家庭住房支出和年收入组成的截面数据，建立住房支出模型，并检验和修正异方差。支出模型，并检验和修正异方差。（3）其他的与自变量）其他的与自变量xi

14、的加权形式的加权形式f(xi)01iifxxrr现在学习的是第20页，共39页21（一）加权最小二乘法（一）加权最小二乘法方差已知的情形方差已知的情形220101010101010101220101()1iiiiiiiiiiiiiiiiVarVarVarxrrybb xxxxxrrrrrrrrxrrxrrxrrxrr现在学习的是第21页，共39页22（一）加权最小二乘法（一）加权最小二乘法 （4）用随机误差项的近似估计量求权重序列）用随机误差项的近似估计量求权重序列首先利用首先利用OLS估计原模型得到残差序列估计原模型得到残差序列 ，然后利用残，然后利用残差序列的绝对值的倒数序列作为加权序列，

15、即令差序列的绝对值的倒数序列作为加权序列，即令实例实例：采用该方法修正：采用该方法修正6-1模型的异方差性模型的异方差性1/iiwuiu现在学习的是第22页，共39页23（一）加权最小二乘法（一）加权最小二乘法 OLS是加权最小二乘法的特例是加权最小二乘法的特例显然，当满足同方差假定时，显然，当满足同方差假定时， w1 = w2 = = wn = 1/ = 常数常数 即权数相等且等于常数，加权最小二乘法，就是即权数相等且等于常数，加权最小二乘法，就是OLS法法。现在学习的是第23页，共39页24纠正异方差性的一个可行程序（1）将）将y对对x1, x2,xk做回归并得到残差做回归并得到残差u;（

16、2）将残差进行平方，然后再取自然对数而得到）将残差进行平方，然后再取自然对数而得到log(u2);（3）做）做log(u2)对对x1, x2,xk的回归并得到拟合值的回归并得到拟合值g；（4）求拟合值的指数：）求拟合值的指数：h=exp(g)（5）以）以1/h为权数用为权数用WLS来估计方程。来估计方程。在（在（3）中做）中做log(u2)对对 的回归本质上是完全一样的的回归本质上是完全一样的2, yy现在学习的是第24页，共39页25实例：实例： 采用采用Wooldridge中的数据中的数据Smoke.Raw中的数据来估计一个对日香烟中的数据来估计一个对日香烟消费量的需求函数。消费量的需求函

17、数。基本回归模型如下：基本回归模型如下： cigs=a0+a1log(income)+a2log(cigpric)+a3educ +a4age+a5age2+a6restaurn 其中其中cigs为每天吸烟的数量；为每天吸烟的数量； income为年收入；为年收入； cigpric为每包香为每包香烟的价格（以美分为单位）；烟的价格（以美分为单位）；educ为受教育年数；为受教育年数；age为年龄；为年龄；restaurn为一个二值变量（若此人居住的州禁止在餐馆吸烟，则取为一个二值变量（若此人居住的州禁止在餐馆吸烟，则取值值1，否则取值，否则取值0）。）。现在学习的是第25页，共39页26（二）

18、模型的重新设定在计量经济学实践中，计量经济学家偏爱使用对数变换解决问题，在计量经济学实践中，计量经济学家偏爱使用对数变换解决问题，往往一开始就把数据化为对数形式，再用对数形式数据来构成模型，往往一开始就把数据化为对数形式，再用对数形式数据来构成模型，进行回归估计与分析。进行回归估计与分析。这主要是因为对数形式可以减少异方差和自相关的程度。这主要是因为对数形式可以减少异方差和自相关的程度。现在学习的是第26页，共39页27案例居民储蓄模型估计1、问题的提出、问题的提出2、初步模型估计、初步模型估计3、异方差检验、异方差检验4、异方差模型的估计、异方差模型的估计加权加权LS法和模型变换法法和模型变

19、换法现在学习的是第27页，共39页281、问题的提出 储蓄是居民的储蓄是居民的金融消费金融消费，也是满足相应收入水平的，也是满足相应收入水平的“基本生活基本生活”以后的以后的扩展消费扩展消费，从具体问题的经验分析，储蓄具有异方差特性。，从具体问题的经验分析，储蓄具有异方差特性。因此建立储蓄模型就不能使用最小二乘法。因此建立储蓄模型就不能使用最小二乘法。现在学习的是第28页，共39页292、初步模型估计首先，估计居民储蓄与可支配收入之间的回归模型首先，估计居民储蓄与可支配收入之间的回归模型现在学习的是第29页，共39页30残差与收入残差与收入x的散点图的散点图现在学习的是第30页，共39页313

20、、异方差检验 图示法检验：图示法检验：残差平方与自变量呈比较典型的喇叭型残差平方与自变量呈比较典型的喇叭型现在学习的是第31页，共39页32现在学习的是第32页，共39页33异方差：残差随收入增大而增大异方差：残差随收入增大而增大 现在学习的是第33页，共39页344 4、异方差模型的估计、异方差模型的估计加权最小二乘法加权最小二乘法在分析收入对储蓄的影响的时候，权数变量可以选在分析收入对储蓄的影响的时候，权数变量可以选取取hi=inci于是基本模型于是基本模型savi=a0+a1 inci+ei变为变为iiiiincaincaincsav10)/1 (/现在学习的是第34页，共39页35权数序列名权数序列名Proce=Equation=Option=选定异方差、给出权数名选定异方差、给出权数名=OK同质性同质性现在学习的是第35页，共39页36加权最小二乘法估计结果加权最小二乘法估计结果现在学习的是第36页，共39页37加权最小二乘法残差与加权最小二乘法残差与X的散点图的散点图现在学习的是第37页，共39页38WLS处理后的残差图处理后的残差图 现在学习的是第38页，共39页感谢大家观看感谢大家观看现在学习的是第39页，共39页