其他回归方法.ppt
《其他回归方法.ppt》由会员分享,可在线阅读,更多相关《其他回归方法.ppt(78页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第四章 其他回归方法 本本章章讨讨论论加加权权最最小小二二乘乘估估计计,异异方方差差性性和和自自相相关关一一致致协协方方差差估估计计,两两阶阶段段最最小小二二乘乘估估计计(TSLS),非非线线性性最最小小二二乘乘估估计计、广广义义矩矩估估计计(GMM)、多多项项式式分分布布滞滞后后模模型型、逐逐步步最最小小二二乘乘回回归归、分分位位数数回回归归和和非非参参数数回回归归。这这里里的的大大多多数数方方法法在第十二章的联立方程系统中也适用。在第十二章的联立方程系统中也适用。本章中某些估计方法中含有本章中某些估计方法中含有AR和和MA误差项,这些概念误差项,这些概念将在第五章中深入介绍。将在第五章中深
2、入介绍。线性回归模型的基本假设线性回归模型的基本假设线性回归模型的基本假设线性回归模型的基本假设 i=1,2,N 在在普普通通最最小小二二乘乘法法中中,为为保保证证参参数数估估计计量量具具有有良良好好的的性性质质,通常对模型提出若干基本假设:通常对模型提出若干基本假设:1解释变量之间互不相关;解释变量之间互不相关;2随机误差项具有随机误差项具有0均值和同方差。即均值和同方差。即 i=1,2,N 即随机误差项的方差是与观测时点即随机误差项的方差是与观测时点 i 无关的常数;无关的常数;3不同时点的随机误差项互不相关(序列不相关),即不同时点的随机误差项互不相关(序列不相关),即 s 0,i=1,
3、2,N 当随机误差项满足假定当随机误差项满足假定1 4时,将回归模型时,将回归模型”称为称为“标标准回归模型准回归模型”,当随机误差项满足假定,当随机误差项满足假定1 5时,将回归模时,将回归模型称为型称为“标准正态回归模型标准正态回归模型”。如果实际模型满足不了这些。如果实际模型满足不了这些假定,普通最小二乘法就不再适用,而要发展其他方法来假定,普通最小二乘法就不再适用,而要发展其他方法来估计模型。估计模型。5随机误差项服从随机误差项服从0均值、同方差的正态分布。即均值、同方差的正态分布。即 i=1,2,N 4随机误差项与解释变量之间互不相关。即随机误差项与解释变量之间互不相关。即 j=1,
4、2,k,i=1,2,N 古古典典线线性性回回归归模模型型的的一一个个重重要要假假设设是是总总体体回回归归方方程程的的随随机机扰扰动动项项 ui 同同方方差差,即即他他们们具具有有相相同同的的方方差差 2。如如果果随随机机扰扰动动项项的的方方差差随随观观测测值值不不同同而而异异,即即ui 的的方方差差为为 i2,就就是是异异方方差差。用用符号表示异方差为符号表示异方差为E(ui2)=i2。异异方方差差性性在在许许多多应应用用中中都都存存在在,但但主主要要出出现现在在截截面面数数据据分分析析中中。例例如如我我们们调调查查不不同同规规模模公公司司的的利利润润,会会发发现现大大公公司司的的利利润润变变
5、化化幅幅度度要要比比小小公公司司的的利利润润变变化化幅幅度度大大,即即大大公公司司利利润润的的方方差差比比小小公公司司利利润润的的方方差差大大。利利润润方方差差的的大大小小取取决决于于公公司司的的规规模模、产产业业特特点点、研研究究开开发发支支出出多多少少等等因因素素。又又如如在在分分析析家家庭庭支支出出模模式式时时,我我们们会会发发现现高高收收入入家家庭庭通通常常比比低低收收入入家家庭庭对对某某些些商商品品的的支出有更大的方差。支出有更大的方差。4.1 4.1 异方差异方差异方差异方差 变量变量可支配收入可支配收入 交通和通讯支出交通和通讯支出变量变量可支配收入可支配收入交通和通讯支出交通和
6、通讯支出 地区地区INCUM地区地区INCUM 甘甘 肃肃 山山 西西 宁宁 夏夏 吉吉 林林 河河 南南 陕陕 西西 青青 海海 江江 西西黑龙江黑龙江内蒙古内蒙古 贵贵 州州 辽辽 宁宁 安安 徽徽 湖湖 北北 海海 南南4009.614098.734112.414206.644219.424220.244240.134251.424268.504353.024565.394617.244770.474826.364852.87159.60137.11231.51172.65193.65191.76197.04176.39185.78206.91227.21201.87237.16214.
7、37265.98新新 疆疆 河河 北北四四 川川山山 东东广广 西西湖湖 南南重重 庆庆江江 苏苏云云 南南福福 建建天天 津津浙浙 江江北北 京京上上 海海广广 东东5000.795084.645127.085380.085412.245434.265466.576017.856042.786485.637110.547836.768471.988773.108839.68212.30270.09212.46255.53252.37255.79337.83255.65266.48346.75258.56388.79369.54384.49640.56表表表表1 1 中国中国中国中国19981
8、998年各地区城镇居民平均每人全年家庭可支配收入及交通和通讯支出年各地区城镇居民平均每人全年家庭可支配收入及交通和通讯支出年各地区城镇居民平均每人全年家庭可支配收入及交通和通讯支出年各地区城镇居民平均每人全年家庭可支配收入及交通和通讯支出 单位:元单位:元单位:元单位:元 例例例例4.14.1:我我们们研研究究人人均均家家庭庭交交通通及及通通讯讯支支出出(cum)和和可可支支配配收收入入(in)的关系,考虑如下方程的关系,考虑如下方程:cumi=0+1ini+ui 利用普通最小二乘法,得到如下回归模型利用普通最小二乘法,得到如下回归模型:cumi=-56.917+0.05807 ini (4.
9、1.4)(-1.57)(8.96)R2=0.74 D.W.=2.008 从图形上可以看出,平均而言,城镇居民家庭交通和通从图形上可以看出,平均而言,城镇居民家庭交通和通讯支出随可支配收入的增加而增加。但是,值得注意的是:讯支出随可支配收入的增加而增加。但是,值得注意的是:随着可支配收入的增加,交通和通讯支出的变动幅度也增大随着可支配收入的增加,交通和通讯支出的变动幅度也增大了,可能存在异方差。如果我们把回归方程中得到的残差对了,可能存在异方差。如果我们把回归方程中得到的残差对各个观测值作图,则可以清楚地看到这一点。各个观测值作图,则可以清楚地看到这一点。异方差的存在并不破坏普通最小二乘法的无偏
10、性,但是异方差的存在并不破坏普通最小二乘法的无偏性,但是估计量却不是有效的,即使对大样本也是如此,因为缺乏有估计量却不是有效的,即使对大样本也是如此,因为缺乏有效性,所以通常的假设检验值不可靠。若怀疑存在异方差或效性,所以通常的假设检验值不可靠。若怀疑存在异方差或者已经检测到异方差的存在,则必须采取补救措施。否则,者已经检测到异方差的存在,则必须采取补救措施。否则,将影响模型的所有检验、预测、和应用。将影响模型的所有检验、预测、和应用。4.1.1 4.1.1 异方差检验异方差检验异方差检验异方差检验 1.1.图示检验法图示检验法图示检验法图示检验法 (1)(1)用用用用X-YX-Y的散点图进行
11、判断的散点图进行判断的散点图进行判断的散点图进行判断 观察是否存在明显的散点扩大、缩小或复杂型趋势(即观察是否存在明显的散点扩大、缩小或复杂型趋势(即不在一个固定的带型域中)不在一个固定的带型域中)(2 2)X-X-i i2 2的散点图进行判断的散点图进行判断的散点图进行判断的散点图进行判断 首先采用首先采用OLS方法估计模型,以求得随机误差项方法估计模型,以求得随机误差项u的方差的方差 i2的的估计量估计量(注意,该估计量是不严格的注意,该估计量是不严格的),我们称之为,我们称之为“近似估计量近似估计量”,用,用 ei2 表示。于是有表示。于是有(4.1.5)即用即用 ei2 来表示随机误差
12、项的方差。用来表示随机误差项的方差。用 解释变量解释变量x 和和 ei2的散点图的散点图进行进行观察是否随着观察是否随着x增加,出现方差的逐渐增加、下降或者不规增加,出现方差的逐渐增加、下降或者不规则变化。则变化。2.White 2.White异方差性检验异方差性检验异方差性检验异方差性检验 White(1980)提提出出了了对对最最小小二二乘乘回回归归中中残残差差的的异异方方差差性性的的检检验验。包包括括有有交交叉叉项项和和无无交交叉叉项项两两种种检检验验。普普通通最最小小二二乘乘估估计计虽虽然然在在存存在在异异方方差差性性时时是是一一致致的的,但但是是通通常常计计算算的的标标准准差差不不再
13、再有有效效。如如果果发发现现存存在在异异方方差差性性,利利用加权最小二乘法可以获得更有效的估计。用加权最小二乘法可以获得更有效的估计。检验统计量是通过利用解释变量所有可能的交叉乘积对残检验统计量是通过利用解释变量所有可能的交叉乘积对残差进行回归来计算的。例如:假设估计如下方程差进行回归来计算的。例如:假设估计如下方程(4.1.6)式中式中b是估计系数,是估计系数,i 是残差。检验统计量基于辅助回归:是残差。检验统计量基于辅助回归:(4.1.7)EViews显显示示两两个个检检验验统统计计量量:F统统计计量量和和 Obs*R2 统统计计量量。WhiteWhite检检检检验验验验的的的的原原原原假
14、假假假设设设设:不不不不存存存存在在在在异异异异方方方方差差差差性性性性(也也就就是是,式式(4.1.7)中除中除 0以外的所有系数都为以外的所有系数都为0成立)成立)。White证明出:证明出:(4.1.8)其其中中:N是是样样本本容容量量,k为为自自由由度度,等等于于式式(4.1.7)中中解解释释变变量量个个数数(不不包包含含截截距距项项)。如如果果计计算算的的 2值值大大于于给给定定显显著著性性水水平平对对应应的的临临界界值值,则则可可以以拒拒绝绝原原假假设设,得得出出存存在在异异方方差差的的结结论论。也也就就是是说说,回回归归方方程程(4.1.7)的的R2越越大大,说说明明残残差差平平
15、方方受受到到解解释变量影响越显著,也就越倾向于认为存在异方差。释变量影响越显著,也就越倾向于认为存在异方差。如果原模型中包含的解释变量较多,那么辅助回归中将包如果原模型中包含的解释变量较多,那么辅助回归中将包含太多的变量,这会迅速降低自由度。因此,在引入变量太多含太多的变量,这会迅速降低自由度。因此,在引入变量太多时,必须谨慎一些。时,必须谨慎一些。White检验的另外一种形式,就是辅助回检验的另外一种形式,就是辅助回归中不包含交叉项。归中不包含交叉项。因此因此White检验有两个选项:交叉项和无检验有两个选项:交叉项和无交叉项。交叉项。例例例例4.24.2:人人均均家家庭庭交交通通及及通通讯
16、讯支支出出(CUM)和和可可支支配配收收入入(IN)的回归方程的的回归方程的 White 异方差检验的结果:异方差检验的结果:该结果该结果F 统计量和统计量和 Obs*R2 统计量的统计量的P值均很小,表明值均很小,表明拒绝原假设,即残差存在异方差性。拒绝原假设,即残差存在异方差性。由于假设的异方差形式不同,使用的辅助回归也不同,由于假设的异方差形式不同,使用的辅助回归也不同,导致了不同的检验方法。各不同方法的异方差形式和辅助导致了不同的检验方法。各不同方法的异方差形式和辅助回归方程:回归方程:Breusch-Pagan-Godfrey(BPG)异方差检验方法异方差检验方法 ,Harvey异方
17、差检验异方差检验 ,Glejser异方差检验异方差检验 ,m=1,2,4.1.2 4.1.2 加权最小二乘估计加权最小二乘估计加权最小二乘估计加权最小二乘估计 1 1方差已知的情形方差已知的情形方差已知的情形方差已知的情形 考虑一个一元回归线性方程:考虑一个一元回归线性方程:(4.1.11)假假设设已已知知随随机机误误差差项项的的真真实实的的方方差差,var(ui)=i2,则则令令wi=1/i,将模型两端同乘将模型两端同乘wi,变换为变换为 (4.1.12)令令ui*=wiui,则则 (4.1.13)因因此此,变变换换后后的的模模型型(4.1.12)不不再再存存在在异异方方差差的的问问题,可以
18、用题,可以用OLS估计。加权最小化残差平方和为:估计。加权最小化残差平方和为:(4.1.14)由此获得的估计量就是权重序列为由此获得的估计量就是权重序列为 wi的加权最小二乘估的加权最小二乘估计量。计量。假设有已知形式的异方差性,并且假设有已知形式的异方差性,并且有序列有序列有序列有序列w w,其值与误差标其值与误差标其值与误差标其值与误差标准差的倒数成比例准差的倒数成比例准差的倒数成比例准差的倒数成比例。这时可以采用权数序列为。这时可以采用权数序列为w 的加权最小二乘的加权最小二乘估计来修正异方差性。对加权最小化残差平方和得到估计结果估计来修正异方差性。对加权最小化残差平方和得到估计结果:其
19、中其中 是是k 1维向量。在矩阵概念下,令权数序列维向量。在矩阵概念下,令权数序列 w 在权数矩阵在权数矩阵W的对角线上,其他地方是零,即的对角线上,其他地方是零,即W 矩阵是对角矩阵,矩阵是对角矩阵,y 和和X是是因变量和自变量矩阵。则加权最小二乘估计量为:因变量和自变量矩阵。则加权最小二乘估计量为:()()估计协方差矩阵为:估计协方差矩阵为:()()例例例例4.3 4.3 加权最小二乘估计加权最小二乘估计加权最小二乘估计加权最小二乘估计 本例考虑对由四组家庭住房支出和年收入组成的截面数据本例考虑对由四组家庭住房支出和年收入组成的截面数据进行研究进行研究(表表4.2)。假设住房支出模型为假设
20、住房支出模型为 其中其中:yi是住房支出,是住房支出,xi是收入。普通最小二乘估计得出如下回归是收入。普通最小二乘估计得出如下回归结果:结果:t=(4.4)(15.9)R2=0.93 F=252.7 对数据图形的研究及以前有关支出的研究结果都说明这个对数据图形的研究及以前有关支出的研究结果都说明这个模型具有异方差现象。模型具有异方差现象。对住房支出模型进行异方差修正,然后进行估计。变换后对住房支出模型进行异方差修正,然后进行估计。变换后的模型为的模型为其结果为:其结果为:t=(21.3)(7.7)R2=0.76 F=58.7 注意,修改后关于收入的回归系数的估计值为注意,修改后关于收入的回归系
21、数的估计值为0.249,比,比原来普通最小二乘估计有所增加。原来普通最小二乘估计有所增加。R2下降,但是,并不能直接下降,但是,并不能直接比较比较R2,因为因变量已经发生了变化。,因为因变量已经发生了变化。使用加权最小二乘法,也可以得到:使用加权最小二乘法,也可以得到:2 2方差未知的情形方差未知的情形方差未知的情形方差未知的情形 由由于于一一般般不不知知道道异异方方差差的的形形式式,人人们们通通常常采采用用的的经经验验方方法法是是,并并不不对对原原模模型型进进行行异异方方差差检检验验,而而是是直直接接选选择择加加权权最最小小二二乘乘法法,尤尤其其是是采采用用截截面面数数据据作作样样本本时时。
22、如如果果确确实实存存在在异异方方差差性性,则则被被有有效效地地消消除除了了;如如果果不不存存在在异异方方差差性性,则则加加权权最小二乘法等价于普通最小二乘法。最小二乘法等价于普通最小二乘法。具体步骤是:具体步骤是:1选选择择普普通通最最小小二二乘乘法法估估计计原原模模型型,得得到到随随机机误误差差项项的近似估计量的近似估计量 t;2建立建立 wi=1/|t|的权数序列;的权数序列;3选择加权最小二乘法,以选择加权最小二乘法,以 wi=1/|t|序列作为权,序列作为权,进行估计得到参数估计量。实际上是以进行估计得到参数估计量。实际上是以 1/|t|乘原模型的两乘原模型的两边,得到一个新模型,采用
23、普通最小二乘法估计新模型。边,得到一个新模型,采用普通最小二乘法估计新模型。使用加权最小二乘法估计方程,首先到主菜单使用加权最小二乘法估计方程,首先到主菜单中选中选Quick/Estimate Equation ,然后选择然后选择LS-Least Squares(NLS and ARMA)。在对话框中输入。在对话框中输入方程说明和样本,然后按方程说明和样本,然后按Options钮钮,出现如下对话出现如下对话框:框:单击单击Weighted LS/TSLS选项在选项在Weighted 项后填写权数序列项后填写权数序列名,单击名,单击OK。例子:。例子:例例例例4.44.4:EViews会打开结果
24、窗口显示标准系数结果(如上图),会打开结果窗口显示标准系数结果(如上图),包括加权统计量和未加权统计量。加权统计结果是用加权数包括加权统计量和未加权统计量。加权统计结果是用加权数据计算得到的:据计算得到的:未加权结果是基于原始数据计算的残差得到的:未加权结果是基于原始数据计算的残差得到的:估计后,未加权残差存放在估计后,未加权残差存放在RESID序列中。序列中。如如果果残残差差方方差差假假设设正正确确,则则加加权权残残差差不不应应具具有有异异方方差差性性。如如果果方方差差假假设设正正确确的的话话,未未加加权权残残差差应应具具有有异异方方差差性性,残残差差标标准准差差的的倒倒数数在在每每个个时时
25、刻刻 t 与与 w 成成比比例例。检检验验加加权权残残差差的的异异方差性:方差性:可以看到加权最小二乘法消除了残差的异方差性。可以看到加权最小二乘法消除了残差的异方差性。4.24.2 二阶段最小二乘法二阶段最小二乘法二阶段最小二乘法二阶段最小二乘法 回回归归分分析析的的一一个个基基本本假假设设是是方方程程的的解解释释变变量量与与扰扰动动项项不不相相关关。但但是是,由由于于解解释释变变量量测测量量误误差差的的存存在在,用用于于估估计计模模型型参参数数的的数数据据经经常常与与它它们们的的理理论论值值不不一一致致;或或者者由由于于遗遗漏漏了了变变量量,使使得得随随机机误误差差项项中中含含有有可可能能
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 其他 回归 方法
限制150内