第2讲-简单线性回归课件.ppt

1计量经济学(1)简单二元回归y=b0+b1x+u2本章大纲本章大纲n简单回归模型的定义简单回归模型的定义n普通最小二乘法的推导普通最小二乘法的推导nOLS的操作技巧n测量单位和函数形式nOLS估计量的期望值和方差n过原点回归3讲义大纲讲义大纲n一些术语的注解n一个简单假定n条件期望零值假定 n何为普通最小二乘法n普通最小二乘法的推导4术语注解术语注解n在简单二元回归模型y=b0+b1x+u中，y通常被称为因变量因变量，左边变量，被解释变量被解释变量，或回归子。nx通常被称为自变量自变量，右边变量，解释变量解释变量，回归元，协变量，或控制变量控制变量。5n等式y=b0+b1x+u只有一个非常数回归元。我们称之为简单回归模型简单回归模型，两变量回归模型或双变量回归模型.nb0,b1被称为回归系数。b0也被称为常数项常数项或截矩项，或截矩参数。b1代表了回归元x的边际效果，也被成为斜率参数参数。nu 为误差项或扰动项扰动项，它代表了除了x之外可以影响y的因素。6n线性的含义：线性的含义：y 和x 之间并不一定存在线性关系，但是，只要通过转换可以使y的转换形式和x的转换形式存在相对于参数的线性关系，该模型即称为线性模型。n如,y=eb0+b1x+u。7简单二元回归模型例子简单二元回归模型例子n如：简单的工资方程wage=b0+b1(years of education)+un上述简单工资函数描述了受教育年限和工资之间的关系,b1 衡量了多接受一年教育工资可以增加多少。8.y4y1y2y3x1x2x3x4u1u2u3u4xy总体回归线，样本观察点和相应误差总体回归线，样本观察点和相应误差E(y|x)=b b0+b b1x9.y4y1y2y3x1x2x3x41234xy样本回归线，样本数据点和相关的误差估计项样本回归线，样本数据点和相关的误差估计项10推导方法（一）：推导方法（一）：OLSn正式解一个最小化问题，即通过选取参数而使下列值最小：11推导方法（一）推导方法（一）n如果直接解上述方程我们得到下面两式：12普通最小二乘法的推导普通最小二乘法的推导13因此因此OLS估计出的斜率为估计出的斜率为14普通最小二乘法的推导普通最小二乘法的推导根据样本均值的定义以及加总的性质，可将第一个条件写为15普通最小二乘法的推导（二）：普通最小二乘法的推导（二）：矩方法n回归的基本思想是从样本去估计总体参数。n我们用(xi,yi):i=1,n 来表示一个随机样本，并假定每一观测值满足yi=b0+b1xi+ui。16普通最小二乘法的推导普通最小二乘法的推导n 首先由E(u|x)=E(u)=0 可知：Cov(x,u)=E(xu)=0 n为什么?nCov(x,u)=E(xu)E(x)E(u)而由E(u|x)=E(u)=0 可得Cov(x,u)=E(xu)=0。17普通最小二乘法的推导普通最小二乘法的推导n可将u=y b0 b1x代入以得上述两个矩条件。n这样我们可以得到两个矩条件约束：n E(y b0 b1x)=0n Ex(y b0 b1x)=018普通最小二乘法的推导（二）普通最小二乘法的推导（二）n目标是通过选择参数值，使得在样本中矩条件也可以成立。n样本中矩条件可以表示为：19关于关于u的假定的假定n假定总体中误差项u的平均值为零 E(u)=0(2.5)n该假定是否具有很大的限制性呢?20关于关于u的假定的假定n比如,E(u)=5.那么 y=(b0+5)+b1x+(u-5),所以,E(u*)=E(u-5)=0.n上述推导说明我们总可以通过调整常数项来实现误差项的均值为零,因此该假定的限制性不大。21条件期望零值假定条件期望零值假定 我们需要对u和 x之间的关系做一个关键假定。理想状况是对x的了解并不增加对u的任何信息。换句话说，我们需要u和x完全不相关：E(u|x)=E(u)22由于我们已经假定了E(u)=0，因此有E(u|x)=E(u)=0。该假定是何含义？E(u|x)=E(u)=0.(2.6)条件期望零值假定条件期望零值假定23 n在教育一例中，假定u 代表内在能力，条件期望零值假定说明不管解释教育的年限如何，该能力的平均值相同。E(ability|edu=6)=E(ability|edu=18)=0.条件期望零值假定条件期望零值假定24n假设期末成绩分数取决于出勤次数和影响学生现场发挥的因素，如学生个人素质。score=b0+b1attend+un那么上述模型中假设（2.6）何时能够成立？条件期望零值假定条件期望零值假定25OLS斜率估计法总结斜率估计法总结n斜率估计量等于样本中x 和 y 的协方差除以x的方差。n若x 和 y 正相关则斜率为正，反之为负。26关于关于OLS的更多信息的更多信息nOLS法是要找到一条直线，使残差平方和最小。n残差是对误差项的估计，因此，它是拟合直线（样本回归函数）和样本点之间的距离。27讲义总结讲义总结n介绍简单线性回归模型n介绍通过随机样本的数据运用普通最小二乘法估计斜率和截距的参数值28(2)简单二元回归简单二元回归y=b0+b1x+u29本章大纲本章大纲n简单回归模型的定义n推导普通最小二乘法的估计量nOLS的操作技巧的操作技巧n测量单位和回归方程形式测量单位和回归方程形式nOLS估计量的期望值和方差n过原点的回归30讲义大纲讲义大纲nOLS的代数特性n拟合优度Goodness of fit n使用stata做OLS 回归n改变测量单位对OLS统计量的效果31OLS的代数性质的代数性质nOLS 的样本残差平均值也为零.32OLS的代数性质的代数性质n解释变量和OLS残差之间的样本协方差为零：33OLS的代数性质的代数性质nOLS回归线总是通过样本的均值。34 OLS的代数性质的代数性质n我们可把每一次观测看作由被解释部分和未解释部分构成.n预测值和残差在样本中是不相关的35 OLS的代数性质的代数性质36更多术语：拟合优度更多术语：拟合优度n定义总平方和为n总平方和SST是对y在样本中所有变动的度量，即它度量了y在样本中的分散程度n将总平方和除以n-1，我们得到y的样本方差。37更多术语更多术语n解释平方和定义为n它度量了y的预测值的在样本中的变动n残差平方和定义为n残差平方和度量了残差的样本变异38SST,SSR 和和 SSEny 的总变动可以表示为已解释的变动SSE和 未解释的变动SSR之和，即：SST=SSE+SSR39证明证明 SST=SSE+SSRn因此我们得到：SST=SSE+SSR.n该证明中我们使用了一个事实,即样本中因变量的拟合值和残差不相关.40拟合优度拟合优度n 我们如何衡量样本回归线是否很好地拟合了样本数据呢?n 可以计算模型解释的总平方和的比例，并把它定义为回归的R-平方n R2=SSE/SST=1 SSR/SST41拟合优度拟合优度nR-平方是已解释的变动占所有变动的比例n它因此可被看作是y的样本变动中被可以被x解释的部分nR-平方的值总是在0和1之间42拟合优度拟合优度n在社会科学中，特别是在截面数据分析中,回归方程得到小的R-平方值并不罕见。n值得强调的是表面上低的R-平方值不一定说明OLS回归方程是没有价值的43拟合优度拟合优度nExample 2.8CEO薪水和净资产回报nExample 2.9竞选结果和选举活动开支44 例：CEO的薪水和资本权益报酬率45例：例：CEO的薪水和的薪水和资本权益报酬率资本权益报酬率n变量salary衡量了已1000美元为单位的年薪，其最小值，均值和最大值分别为：(min,mean,max)=(223,1281,14822).nRoe净收入/所有者权益，为三年平均值。nN=209.估计得到的关系为：(estimated salary)=963.191+18.501 roe.46例：例：CEO的薪水和的薪水和资本权益报酬率资本权益报酬率n对估计量的解释：n963.19:常数项的估计值衡量了当roe为零时CEO的薪水。n18.5:b1 的估计值反应了ROE若增加一个百分点工资将增加18500美元。n如果 roe=30,估计的薪水应该是多少?47使用使用 Stata 进行进行OLS回归回归n n我们已经推导出公式计算参数的OLS估计值，所幸的是我们不必亲手去计算它们。n 在Stata中进行回归非常简单，要让y对x进行回归，只需要输入n reg y x48测量单位测量单位n假定薪水的单位是美元，而不是千美元，salarys.n在Salarys对roe进行回归时OLS截距和斜率的估计值是多少？49测量单位测量单位n原估计方程(estimated salarys)=963.191+18.501 roen现在估计方程(estimated salarys)=963191+18501 roen一般而言，当因变量乘上常数c，而自变量不改变时，OLS的截距和斜率估计量也要乘上c。50测量单位测量单位n如果定义 roedec=roe/100，那么样本回归线将会从(estimated salary)=963.191+18.501roe 改变到 (estimated salary)=963.191+1850.1roedecn一般而言，如果自变量除以或乘上某个非零常数，c，那么OLS斜率将乘以或除以c，而截距则不改变。51在简单回归中加入非线性在简单回归中加入非线性n线性关系并不适合所有的经济学运用n然而，通过对因变量和自变量进行恰当的定义,我们可以在简单回归分析中非常容易地处理许多y和x之间的非线性关系.52自然对数自然对数n 53n在工资教育的例子中，假定每增加一年的教育，工资的百分比增长都是相同的n能够给出不变的百分比效果的模型是：n如果 ,可以得到54例例 2.10n将对数工资方程将对数工资方程n和该方程相比和该方程相比55n自然对数的另一个重要用途是用于获得弹性为常数的模型n在CEO的薪水和企业销售额的例子中，常数弹性模型是56 变量的原始形式和其自然对数的不同组合变量的原始形式和其自然对数的不同组合 57简单二元回归简单二元回归 (3)y=b0+b1x+u58本章大纲本章大纲 n二元回归模型的定义n推导普通最小二乘法的估计量nOLS的操作技巧n测量单位和函数形式nOLS估计量的期望值和方差估计量的期望值和方差n过原点回归59OLS估计量的期望值和方差估计量的期望值和方差n从总体中抽取的不同的随机样本可得到不同的OLS估计量，我们将研究这些OLS估计量的分布。n首先，我们在一些假定下证明OLS的无偏性。60假定假定SLR.1（关于参数是线性的）（关于参数是线性的）n在总体模型中，因变量 y 和自变量 x 和误差 u 的关系可写作y=b0+b1x+u,其中 b0 和 b1 分别是总体的截距参数和斜率参数61假定假定SLR.2（随机抽样）：（随机抽样）：n假定我们从总体模型随机抽取容量为n的样本,(xi,yi):i=1,2,n,那么可以写出样本模型为：yi=b0+b1xi+ui62假定假定 SLR.3 和和 SLR.4n SLR.3,零条件期望：n假定 E(u|x)=0.那么在随机样本中我们有 E(ui|xi)=0nSLR.4 (自变量中的样本变动)：在样本中，自变量 x 并不是一个不变常数。63定理定理2.1（OLS的无偏性）的无偏性）n使用假定SLR.1到SLR.4，我们可以得到无论b0,和b1 取什么值，它们的OLS估计量的期望值等于它们各自的真值。n证明:64OLS的无偏性（继续）的无偏性（继续）n 为了考虑无偏性，我们需要用总体的参数改写 估计量n 把公式简单地改写为65OLS的无偏性（继续）的无偏性（继续）66OLS的无偏性（继续）的无偏性（继续）因此，分子可被改写为:67OLS的无偏性（继续）的无偏性（继续）68OLS的无偏性（继续）的无偏性（继续）69无偏性总结无偏性总结n b1 和 b0 的OLS估计量是无偏的n 无偏性的证明依赖于我们的四个假定-如果任何假定不成立，OLS未必是无偏的n记住无偏性是对估计量的描述-对于一个给定的样本我们可能靠近也可能远离真实的参数值70例例2.12n 学生的数学表现和学校的午餐项目nUsing 409 Michigan high school data for 1992 1993,we estimated thatPredicted math10=32.14-0.319lnchprg,Math10:maths score for the 10th gradeLnchprg:partipation of the lunch program该例研究了是否参加学校的免费午餐项目是否能够提高学生在数学考试中的成绩。我们用Math10来表示10年级学生的数学成绩，用Lnchprg表示可以参加学校的免费午餐项目的学生的比例。71学生的数学成绩和学校的免费午餐项目学生的数学成绩和学校的免费午餐项目n估计所得方程说明参加免费午餐的学生的比例越多，他们的成绩越差。可信吗？72学生的数学成绩和学校的免费午餐项目学生的数学成绩和学校的免费午餐项目n产生上述结果的一个可能是u 和 x是相关的。比如，u包括了贫困率，它影响学生的学习表现，又和是否有资格参加免费午餐项目高度相关。73OLS估计量的抽样方差估计量的抽样方差n现在我们知道估计量的随机抽样分布以真值为中心;n接下来想知道的是这个分布散开的程度;n了解这一点（分布的分散程度），将对我们如何能够在所有的估计量中，或至少在无偏估计量这一类估计量中选出最优的一个具有一定的指导意义。74OLS估计量的抽样方差估计量的抽样方差n在一个附加假定下计算这个方差会容易的多，因此有n假定 SLR.5(同方差性):Var(u|x)=s2(Homoskedasticity)75.x1x2同方差的情形同方差的情形E(y|x)=b0+b1xyf(y|x)76.x x1x2yf(y|x)异方差的情形异方差的情形x3.E(y|x)=b0+b1x77OLS的抽样方差（继续）的抽样方差（继续）n Var(u|x)=E(u2|x)-E(u|x)2n E(u|x)=0,所以 s2=E(u2|x)=E(u2)=Var(u)n因此 s2 也是无条件方差，被称作误差方差n s,误差方差的平方根，被称作是误差的标准差n 所以:E(y|x)=b0+b1x and Var(y|x)=s278工资方程中的异方差性工资方程中的异方差性n当Var(y|x)值和x 相关时，我们称误差项具有异方差性。n举例来说，如果我们假设工资一式满足同方差性，那么就意味着不管educ值为何水平，工资的分布相对于教育水平而言都是相同的。Var(u|educ)=Var(wage|educ)=s2n如果接受高等教育的人面临的机会更多，收入的差异可能更大，在这一情形中，上述假定未必成立。79OLS的方差（继续）的方差（继续）80OLS的方差（继续）的方差（继续）81定理定理 2.2(OLS 估计量的抽样方差估计量的抽样方差)n在假定 SLR.1 到 SLR.5 下，我们有(2.57):n并且82OLS估计量样本方差的总结估计量样本方差的总结n 误差方差 s2 越大，斜率估计量的方差也越大n xi 的变动越大，斜率估计量的方差越小，因此我们应该选择尽可能的分散开的xi。在实验数据中这一点（增大xi的变动）有时是可能的，但在社会科学中我们很少可以人为地增加xi的变动。n大的样本容量能够减小样本斜率估计量的方差。83估计误差方差估计误差方差n 我们不知道误差方差 s2 是多少，因为我们不能观察到误差 uin 我们观测到的是残差 in我们可以用残差构成误差方差的估计84估计误差方差估计误差方差n首先，我们注意到 s2=E(u2),所以s2的无偏估 计量是nui 是不可观测的，但我们能够找到一个ui的无偏 估计量 85误差方差估计量（继续）误差方差估计量（继续）86误差方差估计量（继续）误差方差估计量（继续）误差方差的估计误差方差的估计n由前面我们知道由前面我们知道OLS的残差满足两个约的残差满足两个约束：束：如果我们知道了残差中的如果我们知道了残差中的n-2个，就能够通个，就能够通过以上约束求出剩余两个残差。因此过以上约束求出剩余两个残差。因此OLS的残差只有的残差只有n-2个自由度，我们得到个自由度，我们得到的无偏估计：的无偏估计：8788过原点的回归某些情形下，我们希望如下约束：某些情形下，我们希望如下约束：x=0时，时，y 的期望值也是的期望值也是0.此时原本有非零截距的此时原本有非零截距的回归模型就变换成无截距的模型。回归模型就变换成无截距的模型。规范回归模型：规范回归模型：此时估计值此时估计值例如：若收入（例如：若收入（x）为零时，那么所得税）为零时，那么所得税（y）也必须是零，此时适用于无截距线）也必须是零，此时适用于无截距线性回归。性回归。8990总结总结nOLS的无偏性n OLS的抽样方差n标准差和标准误的定义n估计误差方差误差方差的估计误差方差的估计n定理2.3 的无偏估计 在假定SLR.1-SLR.5下，我们有 91