张晓峒分位数回归讲义_经济学_高等教育_教育专区.docx
《张晓峒分位数回归讲义_经济学_高等教育_教育专区.docx》由会员分享,可在线阅读,更多相关《张晓峒分位数回归讲义_经济学_高等教育_教育专区.docx(27页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、1第第 15 章章 分位数回归模型分位数回归模型15.1 总体分位数和总体中位数15.2 总体中位数的估计15.3 分位数回归15.4 分位数回归模型的估计15.5 分位数回归模型的检验15.6 分位数的计算与分位数回归的 EViews 操作15.7 分位数回归的案例分析以往介绍的回归模型实际上是研究被解释变量的条件期望。人们当然也关心解释变量与被解释变量分布的中位数,分位数呈何种关系。这就是分位数回归,它最早由 Koenker 和 Bassett(1978)提出,是估计一组回归变量 X 与被解释变量 Y 的分位数之间线性关系的建模方法。正如普通最小二乘 OLS 回归估计量的计算是基于最小化残
2、差平方和一样,分位数回归估计量的计算也是基于一种非对称形式的绝对值残差最小化,其中,中位数回归运用的是最小绝对值离差估计(LAD,least absolute deviations estimator)。它和 OLS 主要区别在于回归系数的估计方法和其渐近分布的估计。在残差检验、回归系数检验、模型设定、预测等方面则基本相同。分位数回归的优点是,(1)能够更加全面的描述被解释变量条件分布的全貌,而不是仅仅分析被解释变量的条件期望(均值),也可以分析解释变量如何影响被解释变量的中位数、分位数等。不同分位数下的回归系数估计量常常不同,即解释变量对不同水平被解释变量的影响不同。另外,中位数回归的估计方
3、法与最小二乘法相比,估计结果对离群值则表现的更加稳健,而且,分位数回归对误差项并不要求很强的假设条件,因此对于非正态分布而言,分位数回归系数估计量则更加稳健。15.1 总体总体分位数分位数和和总体总体中中位数位数在介绍分位数回归之前先介绍分位数和中位数概念。对于一个连续随机变量 y,其总体第分位数是 y()的定义是:y 小于等于 y()的概率是,即=P(y y()=F(y()其中 P()表示概率,F(y()表示 y 的累积(概率)分布函数(cdf)。比如 y(0.25)=3,则意味着 y 3 的概率是 0.25。且有y()=F-1(y()即 F(y()的反函数是 y()。当=0.5 时,y()
4、是 y 的中位数。=0.75 时,y()是 y 的第 3/4 分位数,=0.25 时,y()是 y 的第 1/4 分位数。若 y 服从标准正态分布,y(0.5)=0,y(0.95)=1.645,y(0.975)=1.960。另外,如果随机变量 y 的分布是对称的,那么其均值与中位数是相同的。当其中位数小于均值时,分布是右偏的。反之,分布是左偏的。对于回归模型,被解释变量 yt对以 X 为条件的第分位数用函数 y()tX 表示,其含义是:以 X为条件的 yt小于等于 y()tX 的概率是。这里的概率是用 yt对 X 的条件分布计算的。且有y()tX=F-1(y()tX)其中 F(y()tX)是
5、yt在给定 X 条件下的累积概率分布函数(cdf)。则 y()tX 称作被解释变量 yt对 X的条件分位数函数。而 F(y()tX)=f(y()tX)则称作分位数概率密度函数。其中F(y()tX)表示 F(y()tX)2对 y()tX 求导。15.2 总体总体中中位数的估计位数的估计在介绍分位数回归之前,先来看中位数的估计和中位数回归。下面以连续变量为例介绍定理15.1。定理 15.1连续变量用 y 表示,其概率密度函数用 f(y)表示,累计概率密度函数用 F(y)表示,y 的中位数用 y(0.5)表示,则 y 与任一值的离差绝对值的期望)(yE以=y(0.5)时为最小。证明:)(yE=dyy
6、fydyyfy)()()()(-=)()()()(-ydFyydFy(15.1)根据莱布尼兹公式,若dyyfFba),()(,则有dyyfFba),()(。令-),(yyf,则有babadydyyF-)-()(。运用于式(15.1),得)(tyE=dyyfydyyfy)()()()(-=)(-)(-ydFydF=1-)(2)(-(1-)()(-1-)(-FFFydFF式(15.1)求极小的一阶条件是)(tyE=0,即1-)(2F=0,0.5)(F。这意味着等于中位数 y(0.5)。=y(0.5)与定理 15.1 等价的表述是y以=y(0.5)(中位数)时为最小。因此,中位数回归估计量可以通过最
7、小绝对离差法(least absolute deviation,LAD)估计。其中 X 和 分别为(k1)阶列向量。同理,对于线性回归模型 yt=X +ut,通过求(0.5)Xty最小,估计 的中位数回归系数估计量(0.5),从而得到 yt的中位数回归估计量(0.5)5.0()(XX ty。15.3 分位数回归分位数回归Koenker 和 Bassett(1978)证明,若用ty)(表示 yt的分位数回归估计量,则对于以检查函数(check function)w为权数,yt对任意值的加权离差绝对值和tyw只有在=ty)(时取得最小值。其中tyw=)()(1(:TyttTyitiiyy(15.2
8、)3(0,1)。据此,分位数回归可以通过加权的最小绝对离差和法(weighted least absolute deviation,WLAD)进行估计。根据式(15.2),对于线性回归模型 yt=X +ut,求第分位数回归方程系数的估计量)(的方法是求下式(目标函数)最小,TutTutttuuQ0)(0)()()()1(TXyttTXyttttyy)()(:)(:)()()(1(XX(15.3)其中tu)(表示第分位数回归方程对应的残差。(0,1)。第分位数的回归方程表达式是ty)(=)(X其中 X,都是 k1 阶列向量。)(称作分位数回归系数估计量,或最小绝对离差和估计量,估计方法称作最小绝
9、对离差和估计法。当=0.5 时,式(15.3)变为TttTXyttTXyttyyyQtt1)0.5(:)0.5(:)0.5(0.5)(0.5)(0.5)0.5()0.5(XXXty)0.5(=)0.5(X称作中位数回归方程,)0.5(称作中位数回归系数估计量。一旦得到估计的分位数回归方程,就可以计算分位数回归的残差tu)(。ttttyyyu)()(-)(X对一个样本,估计的分位数回归式越多,对被解释变量 yt条件分布的理解就越充分。以一元回归为例,如果用 LAD 法估计的中位数回归直线与用 OLS 法估计的均值回归直线有显著差别,则表明被解释变量 yt的分布是非对称的。如果散点图上侧分位数回归
10、直线之间与下侧分位数回归直线之间相比,相互比较接近,则说明被解释变量 yt的分布是左偏倚的。反之是右偏倚的。对于不同分位数回归函数如果回归系数的差异很大,说明在不同分位数上解释变量对被解释变量的影响是不同的。15.4 分位数回归模型的估计分位数回归模型的估计由于目标函数(15.3)不可微,因此传统的对目标函数求导的方法不再适用。估计分位数回归方程参数)(的一种较好的方法是线性规划方法。基于 Barrodale 和 Roberts(1973,以下简写为 BR)提出的单纯形法(simplex algorithm),Koenker和 DOrey(1987)提出一种估计分位数回归系数的方法。EView
11、s 中应用的是上述算法的改进形式。BR算法由于其非有效性和大样本下的一些非优良特性曾备受批评。Koenker和Hallock(2001)以及 Portnoy 和 Koenker(1997)通过模拟证实,与内点法(interior point method)等替代方法相比,BR 算法的估计次数往往较多,大约是样本容量的平方次数。然而,改进的 BR 算法的估计次数在一定程度上是可以接受的,大约是样本容量的线性倍次数,在实际中是可以使用的。4分位数回归方程的 BR 算法原理略。下面讨论分位数回归系数估计量的渐近分布。在弱条件下,分位数回归系数渐近服从正态分布(Koenker,2005)。回归系数的方
12、差协方差矩阵的计算在分位数回归的系数估计中占有重要位置。其方差协方差矩阵的估计方法根据分位数密度函数是否与解释变量相关分为三种方法:误差项独立同分布(i.i.d.)假设下的直接估计方法。由 Koenker 和 Bassett(1978)提出。误差项独立但不同分布(i.n.i.d.)条件下的直接估计方法。误差项独立同分布(i.i.d.)和独立但不同分布(i.n.i.d.)条件下都可使用的自举法。(1)独立同分布假设下的参数渐近分布独立同分布假设下的参数渐近分布Koenker 和 Bassett(1978)在独立同分布假设下得出分位数回归系数渐近服从正态分布,可以表述为在弱条件下:)()()(n)
13、1(,0(12)(JsN(15.5)其中)(lim)(limTXXTXXJniiin(15.6)(/1)(11)(FfFs(15.7)其中 s()称为稀疏函数(Sparsity function)或分位数密度函数(quantile density function)。s()是分位数函数的导数,或在第分位数条件下概率密度函数的倒数(见 Welsh,1988)。另外,模型误差项独立同分布假设意味着 s()与解释变量 X 无关,因此,分位数方程只和 X 在局部期间相关,即所有的条件分位数平面互相平行。事实上,式(15.5)中的)1(12)(Js就是误差项独立同分布假设下解释变量的回归系数估计量的渐近
14、方差协方差矩阵表达式,而2)()1(s代表的是一般回归方程中随机误差项的方差。误差项独立同分布假设下,分位数回归参数估计量的渐近方差协方差矩阵表达式中含有s(),但 s()是未知分布的函数,而且必须要估计。EViews 提供了三种估计 s()的方法。两种是基于 Siddiqui(1960)的方法分别提出的差分商方法(Siddiqui Difference Quotient)(Koenker(1994)以及Bassett和Koenker(1982)),一种是核密度(KernelDensity)估计法。简述如下:Siddiqui 差分商法:差分商方法是用实际的分位数函数构造一个简单的差分商,从而求
15、得 s()的估计量,表达式如下:nnnhhFhFs2)()()(11(15.8)其中带宽 hn随着样本容量 n而趋向于 0。要计算()需要做两件事,一是得到分位数函数)(1F在两个点上的值,二是确定带宽。EViews 中提供了两种 Siddiqui 差分商法。计算分位数密度函数的第一种方法由 Bassett 和 Koenker(1982)提出,EViews 将其称之为Siddiqui(mean fitted)方法。这种方法需要重新估计两个分位数回归模型在-hn和+hn上的拟和值,进而用不同的估计参数计算分位数函数的拟和值。最终 s()的估计量的数学表达式如下,对5任意 X*有:nnnhhhXs
16、2)()(*)(15.9)独立同分布假设意味着 X*可以取任何值,Bassett 和 Koenker 建议取 X 的均值,其优点是:估计的精度在该点达到最大;且估计的分位数函数对是单调的,因此对一个恰当的 hn,()的值总是正的。另一种 Siddiqui 差分商法由 Koenker(1994)提出。其计算量相对较小,只需计算原分位数回归方程中残差的第-hn和+hn实际分位数,计算时排除在估计中设为零的 k 个残差,并插入新值以获得分位数的分段线性形式。EViews 中把这种方法叫做 Siddiqui(residual)方法。上述两种 Siddiqui 方法都需要估计带宽 hn。EViews 提
17、供了三种估计带宽的方法:Bofinger(1975)法,Hall-Sheather(1988)法和 Chamberlain(1994)方法。Bofinger(1975)提出的估计带宽的表达式为:5/1221415/1 1)(2)(5.4Thn(15.10)可以近似最小化()的均方误差(MSE)。另外两个带宽的表达式中含有显著性水平,因此常常用来进行假设检验。其中Hall和Sheather(1988)的表达式为:3/121213/23/11)(2)(5.1ZThn(15.11)其中T表示样本容量,表示正态分布的积累分布函数,表示正态分布的密度函数,Z=-1(1-/2)为选择的显著性水平对应的Z值
18、。Chamberlain(1994)的表达式为:TZhn)1(15.12)图1是样本容量1300时Hall和Sheather(1988)方法在第0.1、0.3、0.5、0.7、0.9分位数下得到的带宽。图2是样本容量11000时三种方法在第0.5分位数下的带宽比较图(=0.05,MATLAB计算)。图1图2从图2可以看出随着样本的增加,三种带宽都减小,并且在小样本时,减小的速度较大,在大样本情况下减小的速度较小。并且在大样本情况下,带宽的大小顺序为:Bofinger的最大,Hall和Sheather的次之,Chamberlain的最小。核密度法(Kernel Density):6根据(15.7
19、)式有 s()=)(1F=1/f()(1F),Falk(1988)和 Welsh(1988)提出了用核密度法估计)(1F进而得到 s()的方法。而 Powell(1986)、Jones(1992)以及 Buchinsky(1995)则通过估计1/f()(1F)来得到 s()。EViews 中使用的方法属于后者,沿用了 Powell(1984,1989)中的计算方法,其选项名称为 Kernel(residual):TiTiTcuKcTs1)(1)/()/1/(1)(15.13)其中()表示分位数回归的残差;cT为带宽;K 表示核密度函数。EViews 中可以选择的核密度函数有 Epanechni
20、kov 核函数、均匀(Uniform)核函数、三角(Triangular)核函数、二权(Biweight)核函数、三权(Triweight)核函数、正态(Normal)核函数、余弦(Cosinus)核函数。EViews 中使用了 Koenker(2005)提出的带宽,表达式为:)()(11TTThhkc(15.14)其中 k 表示 Silverman(1986)的一个稳健估计量;hn是 Siddiqui 带宽。(2)独立但不同分布假设下的参数渐近分布当分位数密度函数独立但不同分布即与解释变量 X 相关时)()(T的渐近分布服从Huber sandwich 形式:)()()(T)()()1(,0
21、(11JHHN(15.15)其中 J 同(15.6)式,H 的表达式如下:)/)(lim)(TqfXXHiiiiiT(15.16)其中)(iiqf是个体 i 在第分位数上的条件密度函数。如果条件密度函数不依赖于观测值,式(15.15)中的方差就退化为(15.5)式中的方差。对于 H,EViews 提供了两种计算方法。第一种是 Hendricks 和 Koenker(1992)提出的 Siddiqui差分法;另一种是 Powell(1984,1989)提出的核密度法。这两种方法与在独立同分布假设时计算s()的算法相同,因此在 EViews 选单中的名称相同,分别为 Siddiqui(mean f
22、itted)和 Kernel(residual)。Siddiqui 差分商法这种方法需要对每个个体估计-hn和+hn两个分位数回归模型,将拟和值代入下式:)()(/(2 )()(/(2)(11TTiTTiiTiiTiihhXhhqFhqFhqf(15.17)由于分位数密度函数非同分布,因此,我们需要为每一个个体估计)(iiqf,这时当取XXi时,不能保证(15.17)式为正,因此,Hendricks 和 Koenker 对其进行了修正:)()(/(2,0max()(TTiTiihhXhqf(15.18)其中是一个很小的正数,避免上式中分母为零。将(15.18)式代入(15.16)式,得到 H
23、的估计量为TXXqfHiiiii/)()(15.19)7核密度法Powell(1984,1989)提出的用核密度法估计 H 的表达式为:iiTiTiTXXcuKcTH1)(1)/()/1()(15.20)其中()表示分位数回归的残差;cn为带宽;K 表示核密度函数;各参数含义与(15.13)式相同。(3)参数渐近分布的自举法前面的方法都是先求出分位数密度函数,然后再得到参数的渐近分布。自举法则可以省略这一步,直接得到参数的方差协方差阵。EViews 中给出了四种自举方法,分别为:残差自举,XY对自举,以及两种马尔可夫链边际自举法 MCMB 和 MBMB-A。其中前两种方法见 Buchinsky
24、(1995)。残差自举法(residual bootstrap)这种方法要求解释变量与随机误差项不相关。它是对残差和解释变量分别进行有放回的再抽样,构造样本容量为 m 的新序列 u*和 X*(其中 m 可以小于原样本容量 T),然后运用初始参数估计量构造被解释变量,即*)(*uXy,最后用 X*和 Y*估计新的参数().如此重复 K 次,则参数方差协方差阵的估计量为:)()()()(1)()(1jBjjBTmTV(15.21)其中)(是自举参数估计量序列的均值。EViews 选单中称这种方法为 Residual。XY 对自举法(XY-pair or design bootstrap)这是最常用
25、的一种自举方法,它不要求随机误差项与解释变量相互独立。使用这种方法时,我们从原始数据中有放回的抽取 K 次样本容量为 m 的子序列(y*,X*),然后用每个子序列计算(),最后运用(15.21)式计算参数方差协方差阵的估计量。EViews 选单中这种方法称为 XY-Pair。马尔可夫链边际自举法(Markov Chain Marginal Bootstrap)以上两种自举法往往计算量过大,当方程中含有 p 个参数时,每次自举都需要解一个 p 维的线性规划问题。He 和 Hu(2002)提出了一种新的自举法,将一个 p 维的最优问题简化为求解一个含 p 个元素的序列的一维问题。这个序列的一维解就
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 张晓峒分 位数 回归 讲义 经济学 高等教育 教育 专区
限制150内