stata上机实验——面板数据的处理.pptx
会计学1stata上机实验上机实验(shyn)面板数据的面板数据的处理处理第一页，共40页。一些面板一些面板(min bn)数据教材数据教材n n面板数据分析 （美）萧政 著n n横截面与面板数据的经济计量分析 伍德里奇著，王忠玉译n nBaltagi.Econometric Analysis of Panel Datan n最新动态(dngti)可关注期刊：n n Journal of Econometrics第1页/共40页第二页，共40页。面板数据一些面板数据一些(yxi)前沿问题前沿问题 面板(min bn)向量自回归模型(Panel VAR)面板(min bn)单位根检验(Panel Unit Root test)面板(min bn)协整分析(Panel Cointegeration)门槛面板(min bn)数据模型(Panel Threshold)面板(min bn)联立方程组 面板(min bn)空间计量第2页/共40页第三页，共40页。静态静态(jngti)面板数据面板数据n n静态面板数据模型，是指解释变量中不包含(bohn)被解释变量的滞后项(通常为一阶滞后项)的情形。但严格地讲，随机干扰项服从某种序列相关的模型，如AR(1),AR(2),MA(1)等，也不是静态模型。静态面板数据主要有两种模型-固定效应模型和随机效应模型。第3页/共40页第四页，共40页。面板数据面板数据(shj)的格式的格式companycompanyyearyearinvestinvestmvaluemvalue11951755.9483311952891.24924.9119531304.46241.7119541486.75593.621951588.22289.521952645.52159.4219536412031.321954459.32115.531951135.21819.431952157.32079.731953179.52371.631954189.62759.9第4页/共40页第五页，共40页。面板面板(min bn)数据模型数据模型n n考虑如下模型：n n Yit=Xitb+Uitn n uit=ai+itn n其中，i=1,2,N;t=1,2,T(既有i又有t的情况则一般是用面板数据）n nuit称为复合(fh)扰动项。第5页/共40页第六页，共40页。固定固定(gdng)效应模型效应模型n n对于特定的个体i而言，ai 表示那些不随时间改变的影响因素，如个人的消费习惯、国家的社会制度、地区的特征、性别等，一般称其为“个体效应”(individual effects)。如果把“个体效应”当作不随时间改变的固定性因素，相应(xingyng)的模型称为“固定效应”模型。第6页/共40页第七页，共40页。固定固定(gdng)效应模型效应模型n n固定效应模型的公式变为：n n Yit=ai+Xitb+itn n回归(hugu)结果是每个个体都有一个特定的截距项。（ai在这里就独立出来了）第7页/共40页第八页，共40页。第8页/共40页第九页，共40页。随机随机(su j)效应模型效应模型n n随机效应模型将个体效应ai视为随机因素，即把个体效应设定为干扰项的一部分。公式将变为：n n Yit=Xitb+(ai+it)n n回归的结果是随机效应模型的所有的个体具有相同的截距项，个体的差异(chy)主要反应在随机干扰项的设定上。第9页/共40页第十页，共40页。n n怎样(znyng)选择固定效应和随机效应？n n随机效严格要求个体效应与解释变量不相关，即n nCov(ai,XitB)=0n n而固定效应模型并不需要这个假设条件。n n这是两种模型选择的关键。第10页/共40页第十一页，共40页。面板面板(min bn)数据基本命令数据基本命令n n1 1、指定个体截面变量和时间变量：、指定个体截面变量和时间变量：xtsetxtset（n n2 2、对数据截面个数、时间跨度的整体描述：、对数据截面个数、时间跨度的整体描述：xtdesxtdes。分组内、组间和样本整。分组内、组间和样本整体计算各个体计算各个(gg)(gg)变量的基本统计量变量的基本统计量xtsumxtsum。采用列表的方式显示某个变量的。采用列表的方式显示某个变量的分布分布xttabxttab，较少使用。，较少使用。n n3 3、listlist、sumsum、desdes、tabstattabstat、histogramhistogram、kdensitykdensity等命令都可以用。等命令都可以用。n n4 4、对每个个体分别显示该变量的时间序列图：、对每个个体分别显示该变量的时间序列图：xtline xtline。n n5 5、静态面板数据基本回归命令：、静态面板数据基本回归命令：xtregxtreg，系统默认，系统默认GLSGLS估计（广义最小二乘法）估计（广义最小二乘法）。第11页/共40页第十二页，共40页。use grunfeld,clear use grunfeld,clear xtset company year xtset company year xtdes xtdes xtline invest xtline invest混合回归：混合回归：reg invest mvalue kstockreg invest mvalue kstock（poolpool回归，其会扩大样本量，）回归，其会扩大样本量，）固定效应：固定效应：xtreg invest mvalue kstock,fextreg invest mvalue kstock,fe随机效应：随机效应：xtreg invest mvalue kstock,rextreg invest mvalue kstock,re用用F F值或值或P P值进行判断，如果值进行判断，如果p p值较大值较大(jio d)(jio d)，则应该用，则应该用poolpool回归）回归）第12页/共40页第十三页，共40页。n nxtreg xtreg Fixed-,between-and random-effects,and Fixed-,between-and random-effects,and population-averaged linear models population-averaged linear models n nxtregar xtregar Fixed-and random-effects linear models with an Fixed-and random-effects linear models with an AR(1)disturbance AR(1)disturbance n nxtgls xtgls Panel-data models using GLS Panel-data models using GLS n nxtpcse xtpcse OLS or Prais-Winsten models with panel-OLS or Prais-Winsten models with panel-corrected standard errors corrected standard errors n nxtrchh xtrchh Hildreth-Houck random coefficients Hildreth-Houck random coefficients models models n nxtivreg xtivreg Instrumental variables and two-stage least squares Instrumental variables and two-stage least squares for panel-data models for panel-data models 第13页/共40页第十四页，共40页。n nxtabond xtabond Arellano-Bond linear,dynamic panel data estimator Arellano-Bond linear,dynamic panel data estimator（动态面板估计）（动态面板估计）n nxtabond2 xtabond2 Arellano-Bond system dynamic panel data estimator(Arellano-Bond system dynamic panel data estimator(需要需要(xyo)(xyo)从从网上下载网上下载)n nxttobit xttobit Random-effects tobit models Random-effects tobit models n nxtintreg xtintreg Random-effects interval data regression models Random-effects interval data regression models n nxtreg xtreg Fixed-,between-and random-effects,and population-averaged linear models Fixed-,between-and random-effects,and population-averaged linear models n nxtregar xtregar Fixed-and random-effects linear models with an AR(1)disturbance Fixed-and random-effects linear models with an AR(1)disturbance n nxtgls xtgls Panel-data models using GLSPanel-data models using GLS第14页/共40页第十五页，共40页。n nxtpcse xtpcse OLS or Prais-Winsten models with panel-corrected standard errors OLS or Prais-Winsten models with panel-corrected standard errors n nxtrchh xtrchh Hildreth-Houck random coefficients models Hildreth-Houck random coefficients models n nxtivreg xtivreg Instrumental variables and two-stage least squares for panel-data models Instrumental variables and two-stage least squares for panel-data models n nxtabond xtabond Arellano-Bond linear,dynamic panel data estimator Arellano-Bond linear,dynamic panel data estimator n nxtabond2 xtabond2 Arellano-Bond system dynamic panel data estimator(Arellano-Bond system dynamic panel data estimator(需要需要(xyo)(xyo)从网上下载从网上下载)n nxttobit xttobit Random-effects tobit models Random-effects tobit models n nxtintreg xtintreg Random-effects interval data regression models Random-effects interval data regression models 第15页/共40页第十六页，共40页。结果结果(ji gu)解读解读n n固定效应固定效应n n随机效应随机效应n n特别特别(tbi)(tbi)注意：注意：n n1 1、三个、三个R2R2哪个重要？哪个重要？组内、组间、总体拟合优度。组内、组间、总体拟合优度。n n2 2、固定效应为什么有两个、固定效应为什么有两个F F检验？检验？n n3 3、corr(u_i,Xb)corr(u_i,Xb)的含义。的含义。n n4 4、sigma_u sigma_u、sigma_esigma_e、rhorho的含义。的含义。第16页/共40页第十七页，共40页。n nsigma_usigma_u是固定效应模型估计中的个体效应的方差估计值是固定效应模型估计中的个体效应的方差估计值n nsigma_esigma_e随机干扰项的方差估计值随机干扰项的方差估计值n nrhorho：rho=sigma_u 2/(sigma_u2+sigma_e2)rho=sigma_u 2/(sigma_u2+sigma_e2)，是两者之间，是两者之间的关系（的关系（u-iu-i）以及）以及(y(y j)j)针对针对u_iu_i显著性的联合检验统计量显著性的联合检验统计量（F F值和值和p p值）。值）。n ncorr(u_i,Xb)corr(u_i,Xb)个体效应与解释变量的相关系数，相关系数为个体效应与解释变量的相关系数，相关系数为0 0或者接近于或者接近于0 0，可以使用随机效应模型；相关系数不为，可以使用随机效应模型；相关系数不为0 0，需要使用固定效应模型。需要使用固定效应模型。u-iu-i不表示残差，表示个体效应。不表示残差，表示个体效应。第17页/共40页第十八页，共40页。模型模型(mxng)选择选择n n固定效应还是混合OLS？n n 可以直接观测F值n n随机(su j)效应还是混合OLS？n n 先用随机(su j)效应回归，然后运行xttest0n n固定效应还是随机(su j)效应？n n Hausman检验第18页/共40页第十九页，共40页。n nHausman检验n n基本思想：如果 Corr(a_i,x_it)=0,Fe 和 Re 都是一致的，但Re更有效(yuxio)。n n 如果 Corr(a_i,x_it)!=0,Fe 仍然一致，但Re是有偏的。n n 因此原假设是Corr(a_i,x_it)=0，即应该采用随机效应。第19页/共40页第二十页，共40页。n nHausman检验步奏n nStep1：估计(gj)固定效应模型，存储估计(gj)结果；n nStep2：估计(gj)随机效应模型，存储估计(gj)结果；n nStep3：进行Hausman检验；第20页/共40页第二十一页，共40页。xtreg invest mvalue kstock,fe est store fixed xtreg invest mvalue kstock,re est store random hausman fixed random本题(bnt)接受原假设，即应该用随机效应。第21页/共40页第二十二页，共40页。几个几个(j)常见问题常见问题n n1、既然固定效应每个个体都有单独的截距项，如何获得每个个体的截距项？n n xi:reg invest mvalue kstock panyn n 即LSDV方法或者添加(tin ji)虚拟变量法。第22页/共40页第二十三页，共40页。n n2 2、非平衡面板如何处理？、非平衡面板如何处理？n n use nlswork,clear use nlswork,clearn n xtset idcode year xtset idcode yearn n xtdes xtdesn n 这是一份典型的大这是一份典型的大n n小小t t型非平衡面板数据。型非平衡面板数据。n n 方法一：下载命令方法一：下载命令xtbalancextbalance提取成一个平衡面板数据，但不推荐使用，提取成一个平衡面板数据，但不推荐使用，因为会损失大量样本因为会损失大量样本(yngbn)(yngbn)。n n 方法二：利用算法填补缺失值，需要经济理论和算法的支撑。方法二：利用算法填补缺失值，需要经济理论和算法的支撑。第23页/共40页第二十四页，共40页。n n3、面板数据格式不符合要求的处理。n n例如(lr)如下表格格式该如何处理？n n处理方法：n n扁平数据变长条数据的命令：reshapen n use invest2,clearn n editn n reshape long invest kstock,i(company)j(year)第24页/共40页第二十五页，共40页。companycompanyinvest2002invest2002invest2003invest2003invest2004invest2004kstock2002kstock2002kstock2003kstock2003kstock2004kstock20041 118.918.919.119.119.619.619.619.616.816.816.716.72 217.417.418.418.418.818.818.118.117.417.417173 3191919.619.620.120.120.220.2171717.117.14 4202020.420.420.320.320.420.417.517.517.317.35 518.118.118.318.318.418.418.518.516.416.416.116.16 619.719.7202019.919.917.217.216.316.316.316.3第25页/共40页第二十六页，共40页。其他其他(qt)回归方法回归方法n n1 1、聚类稳健的标准差、聚类稳健的标准差n n通常可以假设不同个体之间的扰动项相互独立，但同一个体在不同时期通常可以假设不同个体之间的扰动项相互独立，但同一个体在不同时期的扰动项之间往往存在自相关。故须采用聚类稳健的标准差。的扰动项之间往往存在自相关。故须采用聚类稳健的标准差。n n use grunfeld,clear use grunfeld,clearn n xtset company year xtset company yearn n reg invest mvalue kstock,vce(cluster company)reg invest mvalue kstock,vce(cluster company)n n 同理有：同理有：n n xtreg invest mvalue kstock,fe vce(cluster company)xtreg invest mvalue kstock,fe vce(cluster company)n n xtreg invest mvalue kstock,re vce(cluster company)xtreg invest mvalue kstock,re vce(cluster company)n n GLS GLS的缺点的缺点(qudi(qudi n)n)就是要满足一些特定的条件就是要满足一些特定的条件第26页/共40页第二十七页，共40页。n n2、对于固定效应模型，可采用虚拟变量法。n n基本思想：固定效应模型实质上就是在传统的线性回归模型中加入 N-1 个虚拟变量，使得(sh de)每个截面都有自己的截距项。由于固定效应模型假设存在着“个体效应”，每个个体都有其单独的截距项。这就相当于在原方程中引入n1个虚拟变量（如果省略常数项，则引入n个虚拟变量）来代表不同的个体，获得每个个体的截据项。第27页/共40页第二十八页，共40页。tab company,gen(dum)（批量生成变量）drop dum1 reg invest mvalue kstock dum*（*表示未知数）与上述方法比较一下：xi:reg invest mvalue kstock pany 结果完全(wnqun)一样。第28页/共40页第二十九页，共40页。组间估计组间估计(gj)法法n n对于随机效应模型，还可以采用“组间估计量”。对于那些每个个体的时间序列数据(shj)较不准确或“噪音”较大的数据(shj)，可对每个个体取时间平均值，然后用平均值来回归。n n xtreg invest mvalue kstock,ben n 由于损失了较多信息量，组间估计法并不常用。第29页/共40页第三十页，共40页。极大极大(j d)似然估计似然估计n n如果随机效应模型中假设扰动项服从正态分布，则可以(ky)使用最大似然估计法（MLE）来进行估计。n n xtreg invest mvalue kstock,mlen n与随机效应模型的估计比较结果几乎完全一致。第30页/共40页第三十一页，共40页。双向固定双向固定(gdng)效应模型效应模型n n固定效应模型：固定效应模型：Yit=ai+XitB+it Yit=ai+XitB+itn n双向固定效应模型：双向固定效应模型：Yit=ai+ft+XitB+itYit=ai+ft+XitB+it（既固定时间（既固定时间(shjin)(shjin)也固定个也固定个体的效应）体的效应）n n实际上添加了实际上添加了t-1t-1个时间个时间(shjin)(shjin)虚拟变量。主要反应随着时间虚拟变量。主要反应随着时间(shjin)(shjin)变化的一些特征。变化的一些特征。n n tab year,gen(yr)tab year,gen(yr)n n edit editn n drop yr1 drop yr1n n xtreg invest mvalue kstock yr*,fe xtreg invest mvalue kstock yr*,fen n 大部分时间大部分时间(shjin)(shjin)虚拟变量显著，说明随着时间虚拟变量显著，说明随着时间(shjin)(shjin)的变动，的变动，investinvest有不断变动的趋势。有不断变动的趋势。第31页/共40页第三十二页，共40页。n n检验：可以使用似然比检验。n n原假设：时间虚拟变量(binling)不显著。n n xtreg invest mvalue kstock,fen n est store fe1n n xtreg invest mvalue kstock yr*,fen n est store fe2n n lrtest fe1 fe2n n 整体来看时间虚拟变量(binling)不够显著。第32页/共40页第三十三页，共40页。异方差、序列相关异方差、序列相关(xinggun)和截面相关和截面相关(xinggun)n n大大n n小小T T 重点关注异方差重点关注异方差n n大大T T小小n n 重点关注序列相关重点关注序列相关n n由于面板由于面板(min b(min b n)n)数据中每个截面（公司、个人、地区）之间还可能存数据中每个截面（公司、个人、地区）之间还可能存在内在的联系，因此，截面相关性是面板在内在的联系，因此，截面相关性是面板(min b(min b n)n)数据的一个特有的特数据的一个特有的特征。征。n n三个假设：三个假设：n n1 1、Vare_it=sigma2 Vare_it=sigma2 同方差假设同方差假设n n2 2、Corre_it,e_it-s=0 Corre_it,e_it-s=0 序列无关假设序列无关假设n n3 3、Corre_it,e_jt=0 Corre_it,e_jt=0 截面不相关假设截面不相关假设第33页/共40页第三十四页，共40页。n n1、异方差(fn ch)的检验(组间)：n n findit xttest3 或者直接 n n ssc install xttest3n n xtreg invest mvalue kstock,fe n n xttest3第34页/共40页第三十五页，共40页。n n2、序列相关的检验(jinyn)：n n基本思想：若无序列相关，则一阶差分后残差相关系数应为-0.5。n n findit xtserialn n xtserial invest mvalue kstock n n xtserial invest mvalue kstock,output第35页/共40页第三十六页，共40页。n n3、截面相关(xinggun)的检验：n n ssc install xttest2n n xtreg invest mvalue kstock,fen n xttest2第36页/共40页第三十七页，共40页。FGLS估计估计(gj)n n1、xtgls命令n n xtgls invest mvalue kstock,panels(iid)n n Pooled OLSn n xtgls invest mvalue kstock,panel(het)n n 截面异方差n n xtgls invest mvalue kstock,corr(ar1)n n 所有个体(gt)具有相同的自相关系数n n 第37页/共40页第三十八页，共40页。xtgls invest mvalue kstock,corr(psar1)每个个体有自己的自相关(xinggun)系数 xtgls invest mvalue kstock,panel(corr)截面间相关(xinggun)且异方差 xtgls invest mvalue kstock,panel(corr)corr(ar1)异方差、序列相关(xinggun)和截面相关(xinggun)第38页/共40页第三十九页，共40页。n n2 2、xtpcse xtpcse命令命令(mng lng)(mng lng)n n xtpcse invest mvalue kstock xtpcse invest mvalue kstockn n OLS OLS估计，面板稳健性标准差估计，面板稳健性标准差n n xtpcse invest mvalue kstock,corr(ar1)xtpcse invest mvalue kstock,corr(ar1)n n Prais_Winsten Prais_Winsten估计，个体具有共同的自相关系数估计，个体具有共同的自相关系数n n xtpcse invest mvalue kstock,corr(psar1)xtpcse invest mvalue kstock,corr(psar1)n n 每个截面有自己的自相关系数每个截面有自己的自相关系数n n xtpcse invest mvalue kstock,corr(ar1)hetonly xtpcse invest mvalue kstock,corr(ar1)hetonly n n 不考虑截面相关不考虑截面相关第39页/共40页第四十页，共40页。
