计量经济第三章.ppt

《计量经济第三章.ppt》由会员分享，可在线阅读，更多相关《计量经济第三章.ppt（38页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Multiple Regression Analysis:Estimation(2)多元回归分析：估计（2）y=b0+b1x1+b2x2+.bkxk+u1Intermediate Econometrics,Yan ShenChapter Outline 本章大纲nMotivation for Multiple Regression使用多元回归的动因nMechanics and Interpretation of Ordinary Least Squares普通最小二乘法的操作和解释nThe Expected Values of the OLS Estimators OLS估计量的期望值估计量的

2、期望值nThe Variance of the OLS EstimatorsOLS估计量的方差估计量的方差nEfficiency of OLS:The Gauss-Markov TheoremOLS的有效性：高斯马尔科夫定理2Intermediate Econometrics,Yan ShenLecture Outline 课堂大纲nThe MLR.1 MLR.4 Assumptions假定假定MLR.1 MLR.4 nThe Unbiasedness of the OLS estimatesOLS估计值的无偏性估计值的无偏性nOver or Under specification of mo

3、dels模型设定不足或过度设定模型设定不足或过度设定nOmitted Variable Bias遗漏变量的偏误遗漏变量的偏误nSampling Variance of the OLS slope estimatesOLS斜率估计量的抽样方差斜率估计量的抽样方差3Intermediate Econometrics,Yan ShenThe expected value of the OLS estimatorsOLS估计量的期望值nWe now turn to the statistical properties of OLS for estimating the parameters in an

4、 underlying population model.我们现在转向我们现在转向OLS的统计特性，而我们知道的统计特性，而我们知道OLS是估是估计潜在的总体模型参数的。计潜在的总体模型参数的。nStatistical properties are the properties of estimators when random sampling is done repeatedly.We do not care about how an estimator does in a specific sample.统计特性是估计量在随机抽样不断重复时的性质。我们统计特性是估计量在随机抽样不断重复时

5、的性质。我们并不关心在某一特定样本中估计量如何并不关心在某一特定样本中估计量如何。4Intermediate Econometrics,Yan ShenAssumption MLR.1(Linear in Parameters)假定 MLR.1（对参数而言为线性）nIn the population model(or the true model),the dependent variable y is related to the independent variable x and the error u as在总体模型在总体模型(或称真实模型）中，因变量或称真实模型）中，因变量y与自变量

6、与自变量x和误差项和误差项u关系如下关系如下y=b b0+b b1x1+b b2x2+b bkxk+u (3.31)where b b1,b b2,b bk are the unknown parameters of interest,and u is an unobservable random error or random disturbance term.其中，其中，b b1,b b2,b bk 为所关心的未知参数，为所关心的未知参数，u为不可为不可观测的随机误差项或随机干扰项。观测的随机误差项或随机干扰项。5Intermediate Econometrics,Yan ShenAssu

7、mption MLR.2(Random Sampling)假定 MLR.2（随机抽样性）nWe can use a random sample of size n from the population,我们可以使用总体的一个容量为我们可以使用总体的一个容量为n的的随机随机样本样本 (xi1,xi2,xik;yi):i=1,n，where i denotes observation,and j=1,k denotes the jth regressor.其中其中i 代表观察，代表观察，j=1,k代表第代表第j个回归元个回归元nSometimes we write 有时我们将模型写为有时我们将模

8、型写为 yi=b b0+b b1xi1+b b2xi2+b bkxik+ui (3.32)6Intermediate Econometrics,Yan ShenAssumption MLR.3 假定MLR.3nMLR.3(No perfect collinearity)（不存在完全共线性）（不存在完全共线性）:In the sample,none of the independent variables is constant,and there are no exact linear relationships among the independent variables.在在样样本本中中

9、，没没有有一一个个自自变变量量是常数，自变量之间也不存在严格的线性关系。是常数，自变量之间也不存在严格的线性关系。nWhen one regressor is an exact linear combination of the other regressor(s),we say the model suffers from perfect collinearity.当当一一个个自自变变量量是是其其它它解解释释变变量量的的严严格格线线性性组组合合时时，我我们说此模型有严格共线性。们说此模型有严格共线性。nExamples of perfect collinearity：完全共线性的例子：完全共

10、线性的例子：y=b b0+b b1x1+b b2x2+b b3x3+u，x2=3x3，y=b b0+b b1log(inc)+b b2log(inc2)+uy=b b0+b b1x1+b b2x2+b b3x3+b b4x4 u，x1+x2+x3+x4=1.7Intermediate Econometrics,Yan ShennPerfect collinearity also happens when y=b b0+b b1x1+b b2x2+b b3x3+u,n(k+1).当当y=b b0+b b1x1+b b2x2+b b3x3+u,n 0Corr(x1,x2)0Positive bia

11、s偏误为正偏误为正Negative bias偏误为负偏误为负b b2 0Negative bias偏误为负偏误为负Positive bias偏误为正偏误为正17Intermediate Econometrics,Yan ShenThe More General Case更一般的情形n Technically,it is more difficult to derive the sign of omitted variable bias with multiple regressors.从技术上讲，要推出多元回归下缺省一个变量时各个变量从技术上讲，要推出多元回归下缺省一个变量时各个变量的偏误方向

12、更加困难。的偏误方向更加困难。n But remember that if an omitted variable has partial effects on y and it is correlated with at least one of the regressors,then the OLS estimators of all coefficients will be biased.我们需要记住，若有一个对我们需要记住，若有一个对y有局部效应的变量被缺省，有局部效应的变量被缺省，且该变量至少和一个解释变量相关，那么且该变量至少和一个解释变量相关，那么所有所有系数的系数的OLS估计量

13、都有偏。估计量都有偏。18Intermediate Econometrics,Yan ShenThe More General Case更一般的情形(3.49-3.50)19Intermediate Econometrics,Yan ShenThe More General Case更一般的情形20Intermediate Econometrics,Yan ShenVariance of the OLS EstimatorsOLS估计量的方差 Now we know that the sampling distribution of our estimate is centered aroun

14、d the true parameter。现在我们知道估计值的样本分布是以真实参数现在我们知道估计值的样本分布是以真实参数为中心的。为中心的。Want to think about how spread out this distribution is我们还想知道这一分布的分散状况。我们还想知道这一分布的分散状况。Much easier to think about this variance under an additional assumption,so 在一个新增假设下，度量这个方差就容易多了，有：在一个新增假设下，度量这个方差就容易多了，有：21Intermediate Econom

15、etrics,Yan ShenAssumption MLR.5(Homoskedasticity)假定MLR.5（同方差性）Assume Homoskedasticity:同方差性假定：同方差性假定：Var(u|x1,x2,xk)=s s2.Means that the variance in the error term,u,conditional on the explanatory variables,is the same for all combinations of outcomes of explanatory variables.意思是，不管解释变量出现怎样的组合，误差项意思是

16、，不管解释变量出现怎样的组合，误差项u的的条件方差都是一样的。条件方差都是一样的。If the assumption fails,we say the model exhibits heteroskedasticity.如果这个假定不成立，我们说模型存在异方差性。如果这个假定不成立，我们说模型存在异方差性。22Intermediate Econometrics,Yan ShenVariance of OLS(cont)OLS估计量的方差（续）n Let x stand for(x1,x2,xk)用用x表示表示(x1,x2,xk)n Assuming that Var(u|x)=s s2 als

17、o implies that Var(y|x)=s s2 假定假定Var(u|x)=s s2，也就意味着也就意味着Var(y|x)=s s2n Assumption MLR.1-5 are collectively known as the Gauss-Markov assumptions.假定假定MLR.1-5共同被称为高斯马尔科夫假定共同被称为高斯马尔科夫假定23Intermediate Econometrics,Yan ShenTheorem 3.2(Sampling Variances of the OLS Slope Estimators)定理定理 3.2（OLS斜率估计量的抽样方差

18、）斜率估计量的抽样方差）24Intermediate Econometrics,Yan ShenInterpreting Theorem 3.2对定理对定理3.2的解释的解释n Theorem 3.2 shows that the variances of the estimated slope coefficients are influenced by three factors:定理3.2显示：估计斜率系数的方差受到三个因素的影响：nThe error variance误差项的方差n The total sample variation总的样本变异n Linear relationshi

19、ps among the independent variables解释变量之间的线性相关关系25Intermediate Econometrics,Yan ShenInterpreting Theorem 3.2:The Error Variance对定理对定理3.2的解释（的解释（1）：误差项方差）：误差项方差nA larger s s2 implies a larger variance for the OLS estimators.更大的更大的s s2意味着更大的意味着更大的OLS估计量方差。估计量方差。nA larger s s2 means more noises in the e

20、quation.更大的更大的s s2意味着方程中的意味着方程中的“噪音噪音”越多。越多。nThis makes it more difficult to extract the exact partial effect of the regressor on the regressand.这使这使得得到自变量对因变量的准确局部效应变得更加困难。得得到自变量对因变量的准确局部效应变得更加困难。nIntroducing more regressors can reduce the variance.But often this is not possible,neither is it desir

21、able.引入更多的解释变量可以减小方差。但这样做不仅不一定可能，引入更多的解释变量可以减小方差。但这样做不仅不一定可能，而且也不一定总令人满意。而且也不一定总令人满意。ns s2 does not depends on sample size.s s2 不依赖于样本大不依赖于样本大小小26Intermediate Econometrics,Yan ShenInterpreting Theorem 3.2:The total sample variation对定理对定理3.2的解释（的解释（2）：总的样本变异）：总的样本变异nA larger SSTj implies a smaller va

22、riance for the estimators,and vice versa.更大的更大的SSTj意味着更小的意味着更小的估计量方差，反之亦然。估计量方差，反之亦然。nEverything else being equal,more sample variation in x is always preferred.其它条件不变情况其它条件不变情况下，下，x的样本方差越大越好。的样本方差越大越好。nOne way to gain more sample variation is to increase the sample size.增加样本方差的一种方法是增加样本方差的一种方法是增加样本

23、容量。增加样本容量。nThis components of parameter variance depends on the sample size.参数方差的这一组成部分依参数方差的这一组成部分依赖于样本容量。赖于样本容量。27Intermediate Econometrics,Yan ShenInterpreting Theorem 3.2:multicollinearity对定理3.1的解释（3）：多重共线性nA larger Rj2 implies a larger variance for the estimators更大的更大的Rj2意味着更大的估计量方差。意味着更大的估计量方差

24、。nA large Rj2 means other regressors can explain much of the variations in xj.如果如果Rj2较大，就说明其它解释变量较大，就说明其它解释变量解释可以解释较大部分的该变量。解释可以解释较大部分的该变量。nWhen Rj2 is very close to 1,xj is highly correlated with other regressors,this is called multicollinearity.当当Rj2非常接近非常接近1时，时，xj与其它解释变量高度相关，被称为多重共与其它解释变量高度相关，被称为

25、多重共线性。线性。nSevere multicollinearity means the variance of the estimated parameter will be very large.严重的多重共线严重的多重共线性意味着被估计参数的方差将非常大。性意味着被估计参数的方差将非常大。28Intermediate Econometrics,Yan ShenInterpreting Theorem 3.2:multicollinearity对定理3.2的解释（3）：多重共线性nMulticollinearity is a data problem.多重共线性是一个数据问题多重共线性是一

26、个数据问题nCould be reduced by appropriately dropping certain variables,or collecting more data,etc.可以通过适当的地舍弃某些变量，可以通过适当的地舍弃某些变量，或收集更多数据等方法来降低。或收集更多数据等方法来降低。nNotice that a high degree of correlation between certain independent variables can be irrelevant as to how well we can estimate other parameters i

27、n the model.n 注意：虽然某些自变量之间可能高度相关，但与模注意：虽然某些自变量之间可能高度相关，但与模型中其它参数的估计程度无关。型中其它参数的估计程度无关。29Intermediate Econometrics,Yan ShenVariances in Misspecified Models误设模型中的方差nThe tradeoff between bias and variance is important for considering whether to include an additional variable in the regression.n在考虑一个回归模

28、型中是否该包括一个特定变量的在考虑一个回归模型中是否该包括一个特定变量的决策中，偏误和方差之间的消长关系是重要的。决策中，偏误和方差之间的消长关系是重要的。nSuppose the true model is y=b b0+b b1x1+b b2x2+u then we have 假定真实模型是假定真实模型是 y=b b0+b b1x1+b b2x2+u，我们有我们有30Intermediate Econometrics,Yan ShenVariances in Misspecified Models误设模型中的方差nConsider the misspecified model考虑误设模型是

29、the estimated variance is估计的方差是nWhen x1 and x2 has zero correlation,当x1和x2不相关时 otherwise 否则31Intermediate Econometrics,Yan ShenConsequences of Dropping x2 舍弃x2的后果R12=0R12=0b b2=0Both estimates of b b1 are unbiased,Variances the same两个对两个对b b1的估计都是无偏的，的估计都是无偏的，方差相同方差相同Both estimates of b b1 are unbia

30、sed,dropping x2 results in smaller variance两个对两个对b b1的估计量都是无偏的，的估计量都是无偏的，舍弃舍弃x2使得方差更小使得方差更小b b2=0Dropping x2 gives biased estimates of b b1,but its variance is the same as that from the full model.舍弃舍弃x2导致对导致对b b1的估计量有的估计量有偏，但方差和从完整模型得偏，但方差和从完整模型得到的估计相同到的估计相同Dropping x2 gives biased estimates of b b

31、1,but its variance is smaller舍弃舍弃x2导致对导致对b b1的估计量有偏，的估计量有偏，但其方差变小但其方差变小32Intermediate Econometrics,Yan ShenEstimating the Error Variance估计误差项方差We wish to form an unbiased estimator of s s2.我们希望构造一个我们希望构造一个s s2 的无偏估计量的无偏估计量If we knew u,an unbiased estimator of s s2 can be formed by calculate the samp

32、le average of the u 2 如果我们知道如果我们知道 u，通过，通过计算计算 u 2的样本平均可以构造一个的样本平均可以构造一个s s2的无偏估计量的无偏估计量We dont know what the error variance,s s2,is,because we dont observe the errors,ui.我们观察不到误差项我们观察不到误差项 ui，所以我，所以我们不知道误差项方差们不知道误差项方差s s2。33Intermediate Econometrics,Yan ShenEstimating the Error Variance估计误差项方差 What

33、 we observe are the residuals,i我们能观察到的是残差项我们能观察到的是残差项i。We can use the residuals to form an estimate of the error variance我们可以用残差项构造一个误差项方差的估计我们可以用残差项构造一个误差项方差的估计n df=n (k+1),or df=n k 1n df(i.e.degrees of freedom)is the(number of observations)(number of estimated parameters)df（自由度）（自由度）,是观察点个数被估参数个数

34、是观察点个数被估参数个数34Intermediate Econometrics,Yan ShenEstimating the Error Variance估计误差项方差nThe division of n-k-1 comes from E(Sum of squared residuals)=(n-k-1)s s2.上式中除以上式中除以n-k-1是因为残差平方和的期望值是是因为残差平方和的期望值是(n-k-1)s s2.nWhy degree of freedom is n-k-1?为什么自由度是为什么自由度是n-k-1 nBecause k+1 restrictions are imposed

35、 when deriving the OLS estimates.That is,given n-k-1 residuals,the remaining k+1 residuals are known,hence the degree of freedom is n-k-1.因为推导因为推导OLS估计时，加入了估计时，加入了k+1个限制条件。也就是说，个限制条件。也就是说，给定给定n-k-1个残差，剩余的个残差，剩余的k+1个残差是知道的，因此自由个残差是知道的，因此自由度是度是n-k-1。35Intermediate Econometrics,Yan ShenEstimating the E

36、rror Variance估计误差项方差n Theorem 3.3(unbiased estimation of s s2)Under the Gauss-Markov Assumptions MLR.1-5,we have定理定理3.3（s s2的无偏估计）的无偏估计）在高斯马尔科夫假定在高斯马尔科夫假定 MLR.1-5下，我们有下，我们有nTerminology:The positive square root of s s2 is called standard deviation,and the positive square of is called standard error.定

37、义术语：定义术语：s s2 正的平方根称为正的平方根称为 标准偏差（标准离差）标准偏差（标准离差）（SD），），正的平方根称为正的平方根称为 标准误差（标标准误差（标 准准 差）（差）（SE）。）。nThe standard error of is 的标准误差是36Intermediate Econometrics,Yan ShenEfficiency of OLS:The Gauss-Markov TheoremOLS的有效性：高斯马尔科夫定理nQuestion:There are many unbiased estimators of b bj under MLR.1 5.Why OLS?

38、问题：在假定问题：在假定 MLR.1-5下有许多下有许多b bj的估计量，为什么选的估计量，为什么选OLS？n OLS is Best Linear Unbiased Estimator(BLUE)under MLR.1 5.在假定在假定 下，下，OLS是最优线性无偏估计量（是最优线性无偏估计量（BLUE）。）。nBest:smallest variance 最优：方差最小最优：方差最小nLinear:linear function of the data on the dependent variable线性：因变量数据的线性函数线性：因变量数据的线性函数nUnbiased:the expectation of the estimated parameter equals its true value.无偏：参数估计量的期望等于参数的真值。无偏：参数估计量的期望等于参数的真值。nEstimator:a rule to produce an estimator.估计量：产生一个估计量：产生一个估计量的规则估计量的规则37Intermediate Econometrics,Yan Shen高斯马尔科夫定理图示线性估计量线性无偏估计量无偏估计量所有估计量设此点估计量方差最小，则该估计量为OLS估计量38Intermediate Econometrics,Yan Shen