《计量经济学》第二章-简单线性回归模型.ppt
《《计量经济学》第二章-简单线性回归模型.ppt》由会员分享,可在线阅读,更多相关《《计量经济学》第二章-简单线性回归模型.ppt(109页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、计量经济学第二章计量经济学第二章-简单线性回归模型简单线性回归模型第二章第二章简单线性回归模型简单线性回归模型本章主要讨论本章主要讨论:回归分析与回归函数回归分析与回归函数 简单线性回归模型参数的估计简单线性回归模型参数的估计 拟合优度的度量拟合优度的度量 回归系数的区间估计和假设检验回归系数的区间估计和假设检验 回归模型预测回归模型预测2第一节 回归分析与回归方程 本节基本内容本节基本内容:回归与相关回归与相关 总体回归函数总体回归函数 随机扰动项随机扰动项 样本回归函数样本回归函数 3一、回归与相关一、回归与相关回归的回归的历史渊源历史渊源:高尔顿遗传学的回归概念高尔顿遗传学的回归概念回归
2、的回归的现代意义现代意义:回归分析是关于研究一个叫做因变量的变量回归分析是关于研究一个叫做因变量的变量对另一个或多个叫做解释变量的变量的依赖关系,对另一个或多个叫做解释变量的变量的依赖关系,其用意在于通过后者(在重复抽样中)的已知或其用意在于通过后者(在重复抽样中)的已知或设定值,去估计和(或)预测前者的(总体)均设定值,去估计和(或)预测前者的(总体)均值。值。1.1.回归回归4(对统计学的回顾)对统计学的回顾)确定性的函数关系确定性的函数关系不确定性的统计关系不确定性的统计关系相关关系相关关系(为随机变量为随机变量)没有关系没有关系 2.2.经济变量间的相互关系经济变量间的相互关系53.3
3、.相关关系相关关系相关关系的描述相关关系的描述相关关系最直观的描述方式相关关系最直观的描述方式坐标图坐标图(散布图)散布图)6相关关系的类型相关关系的类型从涉及的变量数量看从涉及的变量数量看简单相关简单相关多重相关(复相关)多重相关(复相关)从变量相关关系的表现形式看从变量相关关系的表现形式看线性相关线性相关散布图接近一条直线散布图接近一条直线非线性相关非线性相关散布图接近一条曲线散布图接近一条曲线从变量相关关系变化的方向看从变量相关关系变化的方向看正相关正相关变量同方向变化,同增同减变量同方向变化,同增同减负相关负相关变量反方向变化,一增一减变量反方向变化,一增一减不相关不相关7 4.4.相
4、关程度的度量相关程度的度量相关系数相关系数 总体线性相关系数总体线性相关系数:其中:其中:X 的方差;的方差;Y的方差的方差 X和和Y的协方差的协方差样本线性相关系数样本线性相关系数:其中:其中:和和分别是变量分别是变量 和和的样本观测值的样本观测值和和分别是变量分别是变量和和样本值的平均值样本值的平均值8和和都是相互对称的随机变量都是相互对称的随机变量线线性性相关系数只反映变量间的线性相关程度,不相关系数只反映变量间的线性相关程度,不能说明非线性相关关系能说明非线性相关关系样本相关系数是总体相关系数的样本估计值,由样本相关系数是总体相关系数的样本估计值,由于抽样波动,样本相关系数是个随机变量
5、,其统于抽样波动,样本相关系数是个随机变量,其统计显著性有待检验计显著性有待检验相关系数只能反映线性相关程度,不能确定因果相关系数只能反映线性相关程度,不能确定因果关系,从逻辑上讲,统计关系式不可能意味着任关系,从逻辑上讲,统计关系式不可能意味着任何因果关系何因果关系 使用相关系数时应注意使用相关系数时应注意9二者对变量的处理方法不同二者对变量的处理方法不同在回在回归归分析中,因分析中,因变变量被当成是量被当成是统计统计的,随机的,的,随机的,也就是它有一个概率分布,而解也就是它有一个概率分布,而解释变释变量是固定的量是固定的或非随机的。或非随机的。在相关分析中,对待任何两个变量不加以区别,在
6、相关分析中,对待任何两个变量不加以区别,且大部分的相关理论都是建立在变量是随机性的且大部分的相关理论都是建立在变量是随机性的假定之上。假定之上。5.5.回归分析和相关分析的区别回归分析和相关分析的区别10 的的条件分布条件分布当当解解释释变变量量 取取某某固固定定值值时时(条条件件),的的值值不不确确定定,的的不不同同取取值值形形成成一一定定的的分分布布,即即 的的条条件分布。件分布。的的条件期望条件期望对于对于 的每一个取值,的每一个取值,对对 所形成的分布确所形成的分布确定其期望或均值,称定其期望或均值,称为为 的条件期望或条的条件期望或条件均值件均值回归分析的几个概念回归分析的几个概念1
7、1回归线回归线:对于每一个对于每一个 的取值,的取值,都有都有 的条件期望的条件期望与之对应,与之对应,代表这些代表这些 的条件期的条件期望的点的轨迹所形成望的点的轨迹所形成的直线或曲线,称为的直线或曲线,称为回归线。回归线。回归线与回归函数回归线与回归函数12回归函数:回归函数:应变量应变量的条件期望的条件期望随解随解释变量释变量的的变化而有规律的变化,如果把的的变化而有规律的变化,如果把的条件期望的条件期望表现为表现为的某种函数的某种函数这个函数称为回归函数。这个函数称为回归函数。回归函数分为:回归函数分为:总体回归函数和样本回归函数总体回归函数和样本回归函数举例:假如已知举例:假如已知6
8、0个家庭构成的总体。个家庭构成的总体。回归线与回归函数回归线与回归函数13 1.1.总体回归函数的概念总体回归函数的概念 前前提提:假假如如已已知知所所研研究究的的经经济济现现象象的的总总体体应应变变量量 和和解解释释变变量量 的的每每个个观观测测值值,可可以以计计算算出出总总体体应应变变量量 的的条条件件均均值值,并并将将其其表表现现为为解解释释变量变量 的某种函数的某种函数这个函数称为总体回归函数(这个函数称为总体回归函数(PRF)二、总体回归函数二、总体回归函数(PRFPRF)14 (1)条件均值条件均值表现形式表现形式 假如假如 的条件均值的条件均值 是解是解 释变量释变量 的线性函数
9、,可表示为:的线性函数,可表示为:(2)个别值个别值表现形式表现形式 对于一定的对于一定的 ,的各个别值的各个别值 分布分布 在在 的周围,若令各个的周围,若令各个 与条件与条件 均值均值 的偏差为的偏差为 ,显然显然 是随机变量是随机变量,则有则有 或或 2.2.总体回归函数的表现形式总体回归函数的表现形式15实实际际的的经经济济研研究究中中总总体体回回归归函函数数通通常常是是未未知知的的,只只能能根根据据经经济济理理论论和和实实践践经经验验去去设设定定。“计计量量”的目的就是寻求的目的就是寻求PRFPRF。总总体体回回归归函函数数中中 与与 的的关关系系可可是是线线性性的的,也也可可是是非
10、线性非线性的。的。对线性回归模型的对线性回归模型的“线性线性”有两种解释有两种解释 就变量而言就变量而言是线性的是线性的 的条件均值是的条件均值是 的线性函数的线性函数 就参数而言就参数而言是线性的是线性的 的条件均值是参数的条件均值是参数 的线性函数的线性函数 3.3.如何理解总体回归函数如何理解总体回归函数16变量、参数均为变量、参数均为变量、参数均为变量、参数均为“线性线性线性线性”参数参数参数参数“线性线性线性线性”,变量,变量,变量,变量”非线性非线性非线性非线性”变量变量变量变量“线性线性线性线性”,参数,参数,参数,参数”非线性非线性非线性非线性”计量经济学中计量经济学中:线性回
11、归模型主要指就参数而言是线性回归模型主要指就参数而言是“线性线性”,”,因因为只要对参数而言是线性的为只要对参数而言是线性的,都可以用类似的方法估计都可以用类似的方法估计其参数。其参数。“线性线性”的判断的判断17三、随机扰动项三、随机扰动项概念概念:各个各个值与条件均值值与条件均值的偏差的偏差代表代表排除在模型以外的所有排除在模型以外的所有因素对因素对 的影响。的影响。性质:性质:是期望为是期望为0有一定分布的随机变量有一定分布的随机变量重要性:重要性:随机扰动项的性质决定着计量经济方随机扰动项的性质决定着计量经济方法的选择法的选择18未知未知影响因素的代表影响因素的代表无法取得数据无法取得
12、数据的已知影响因素的代表的已知影响因素的代表众多细小影响因素众多细小影响因素的综合代表的综合代表模型的模型的设定误差设定误差变量的变量的观测误差观测误差变量内在变量内在随机性随机性引入随机扰动项的原因引入随机扰动项的原因19四、样本回归函数四、样本回归函数(SRFSRF)样本回归线样本回归线:对于对于 的一定值,取得的一定值,取得 的样本观测值,可计算其条的样本观测值,可计算其条件均值,样本观测值条件均值的轨迹称为样本回归线。件均值,样本观测值条件均值的轨迹称为样本回归线。样本回归函数:样本回归函数:如果把应变量如果把应变量的样本条件均值表示为解释变量的样本条件均值表示为解释变量的某的某种函数
13、,这个函数称为样本回归函数(种函数,这个函数称为样本回归函数(SRF)。)。20SRF SRF 的特点的特点每次抽样都能获得一个样本,就可以拟合一条每次抽样都能获得一个样本,就可以拟合一条样本回样本回归线,所以样本回归线随抽样波动而变归线,所以样本回归线随抽样波动而变化,可以有许多条化,可以有许多条(SRF不唯一)。不唯一)。SRF2SRF121样本回归函数的函数形式应与设定的总体回样本回归函数的函数形式应与设定的总体回归函数的函数形式一致。归函数的函数形式一致。样本回归线还不是总体回归线,至多只是未样本回归线还不是总体回归线,至多只是未知总体回归线的近似表现。知总体回归线的近似表现。22样本
14、回归函数如果为线性函数,可表示为样本回归函数如果为线性函数,可表示为其中:其中:是与是与相对应的相对应的的样本条件均值的样本条件均值和和分别是样本回归函数的参数分别是样本回归函数的参数应变量应变量的实际观测值的实际观测值不完全等于样本条件不完全等于样本条件均值,二者之差用均值,二者之差用表示表示,称为称为剩余项剩余项或或残差项残差项:或者或者样本回归函数的表现形式样本回归函数的表现形式23 对样本回归的理解对样本回归的理解如果能够获得如果能够获得和和的数值,显然的数值,显然:和和是对总体回归函数参数是对总体回归函数参数和和的估计的估计是对总体条件期望是对总体条件期望的估计的估计在概念上类似总体
15、回归函数中的在概念上类似总体回归函数中的,可,可视为对视为对的估计。的估计。24 样本回归函数与总体回归函数的关系SRFPRFA25 回归分析的目的回归分析的目的用样本回归函数用样本回归函数SRF去估计总体回归函数去估计总体回归函数PRF。由于样本对总体总是存在代表性误差,由于样本对总体总是存在代表性误差,SRF 总会过总会过 高或过低估计高或过低估计PRF。要解决的问题:要解决的问题:寻求一种规则和方法,使得到的寻求一种规则和方法,使得到的SRF的参数的参数 和和 尽可能尽可能“接近接近”总体回归函数中的参数总体回归函数中的参数 和和 。这样的这样的“规则和方法规则和方法”有多种,最常用的是
16、最小二乘有多种,最常用的是最小二乘法法26 第二节第二节 简单线性回归模型的最小二乘估计简单线性回归模型的最小二乘估计 本节基本内容本节基本内容:普通最小二乘法普通最小二乘法 简单线性回归的基本假定简单线性回归的基本假定 OLS OLS回归线的性质回归线的性质 参数估计式的统计性质参数估计式的统计性质27OLS的基本思想的基本思想 不同的估计方法可得到不同的样本回归参数不同的估计方法可得到不同的样本回归参数不同的估计方法可得到不同的样本回归参数不同的估计方法可得到不同的样本回归参数和和和和,所估计的,所估计的,所估计的,所估计的也不同。也不同。也不同。也不同。理想的估计方法应使理想的估计方法应
17、使理想的估计方法应使理想的估计方法应使与与与与的差即剩余的差即剩余的差即剩余的差即剩余越小越好越小越好越小越好越小越好 因因因因可正可负,所以可以取可正可负,所以可以取可正可负,所以可以取可正可负,所以可以取最小最小最小最小即即即即一、普通最小二乘法一、普通最小二乘法(rdinaryLeastSquares)28正规方程和估计式正规方程和估计式用克莱姆法则求解得观测值形式的用克莱姆法则求解得观测值形式的OLS估计式:估计式:取偏导数为取偏导数为0,得正规方程,得正规方程29部分公式的推导部分公式的推导30 为表达得更简洁,或者用离差形式为表达得更简洁,或者用离差形式OLS估计式估计式:注意注意
18、其中:其中:而且样本回归函数可写为而且样本回归函数可写为用离差表现的用离差表现的OLSOLS估计式估计式31二、OLSOLS回归线的性质回归线的性质可以证明可以证明:回归线通过样本均值回归线通过样本均值估计值估计值的均值等于实的均值等于实际观测值际观测值的均值的均值32剩余项剩余项的均值为零的均值为零应变量估计值应变量估计值 与剩余项与剩余项 不不相关相关 解释变量解释变量 与剩余项与剩余项 不相关不相关 33 三、经典线性回归的基本假定三、经典线性回归的基本假定1.为什么要作基本假定?为什么要作基本假定?模型中有随机扰动,估计的参数是随机变量,模型中有随机扰动,估计的参数是随机变量,只有对随
19、机扰动的分布作出假定,才能确定只有对随机扰动的分布作出假定,才能确定所估计参数的分布性质,也才可能进行假设所估计参数的分布性质,也才可能进行假设检验和区间估计检验和区间估计只有具备一定的假定条件,所作出的估计才只有具备一定的假定条件,所作出的估计才具有较好的统计性质。具有较好的统计性质。34 (1 1)对变量和模型的假定)对变量和模型的假定 假定假定1:线性回归模型:线性回归模型:对参数而言:对参数而言如如假定假定2:在重复抽样中:在重复抽样中X的值是固定的的值是固定的或者说是非随机的,这意味着我们的回归或者说是非随机的,这意味着我们的回归分析都是条件回归分析分析都是条件回归分析2、基本假定的
20、内容、基本假定的内容35 (1 1)对变量和模型的假定)对变量和模型的假定 假定假定3:观测次数:观测次数n必须大于待估参数的个数必须大于待估参数的个数假定假定4:X值要有变异性值要有变异性假定假定5:恰当地设定了模型:恰当地设定了模型假定假定6:没有完全的多重共线性:没有完全的多重共线性36假定假定1 1:零均值假定零均值假定在给定在给定的条件下的条件下,的条件期望为零的条件期望为零假定假定2 2:同方差假定同方差假定在给定在给定的条件下,的条件下,的条件方差为某个常数的条件方差为某个常数(2)对随机扰动项)对随机扰动项 的假定的假定37图形表示图形表示38 假定假定3 3:无自相关假定无自
21、相关假定 随机扰动项随机扰动项 的逐次值互不相关的逐次值互不相关 假定假定4 4:随机扰动随机扰动 与解释变量与解释变量 不相关不相关39对随机扰动项分布的正态性假定对随机扰动项分布的正态性假定即假定即假定服从均值为零、方差为服从均值为零、方差为的正态分布的正态分布(说说明明:正正态态性性假假定定不不影影响响对对参参数数的的点点估估计计,但但对对确确定定所所估估计计参参数数的的分分布布性性质质是是需需要要的的。且且根根据据中中心心极极限限定定理理,当当样样本本容容量量趋趋于于无无穷穷大大时时,的的分分布布会会趋近于正态分布。所以正态性假定是合理的)趋近于正态分布。所以正态性假定是合理的)40的
22、分布性质的分布性质由于由于的分布性质决定了的分布性质决定了的分布性质。的分布性质。对对的一些假定可以等价地表示为对的一些假定可以等价地表示为对的假定:的假定:假定假定1:零均值假定:零均值假定假定假定2:同方差假定:同方差假定假定假定3:无自相关假定:无自相关假定假定假定5:正态性假定:正态性假定41四、四、参数估计式的统计性质参数估计式的统计性质(一)(一)OLSOLS估计式的精度估计式的精度421.线性特征线性特征是是的线性函数的线性函数2.无偏特性无偏特性(证明见教材P37)3.最小方差特性最小方差特性(证明见教材P68附录21)在所有的线性无偏估计中,在所有的线性无偏估计中,OLS估计
23、估计具有最小方差具有最小方差结论:在古典假定条件下结论:在古典假定条件下,OLS,OLS估计式是最佳线性无估计式是最佳线性无 偏估计式(偏估计式(BLUEBLUE)(二)(二)OLSOLS估计式的统计性质估计式的统计性质高斯定理高斯定理43第三节第三节 拟合优度的度量拟合优度的度量本节基本内容本节基本内容:什么是拟合优度什么是拟合优度 总变差的分解总变差的分解 可决系数可决系数44 一、一、什么是拟合优度?概念概念:样本回归线是对样本数据样本回归线是对样本数据的一种拟合,不同估计方的一种拟合,不同估计方法可拟合出不同的回归线,法可拟合出不同的回归线,拟合的回归线与样本观测拟合的回归线与样本观测
24、值总有偏离。值总有偏离。样本回归线对样本观测数据拟合的优劣程度样本回归线对样本观测数据拟合的优劣程度拟合优度拟合优度拟合优度的度量建立在对总变差分解的基础上拟合优度的度量建立在对总变差分解的基础上45 可决系数的直观理解可决系数的直观理解 可决系数可决系数(双变量情形)或(双变量情形)或说明这条样说明这条样本回归线对数据的拟合有多么好的一个度量本回归线对数据的拟合有多么好的一个度量通过韦恩图看通过韦恩图看:对这一重叠的数值度量对这一重叠的数值度量YXYXY XYXY XX=Y(a)(b)(c)(d)(e)(f)46二、总变差的分解二、总变差的分解分析分析Y Y 的观测值、估计值与平均值的关系的
25、观测值、估计值与平均值的关系将上式两边平方加总,可证得将上式两边平方加总,可证得 (TSSTSS)(ESSESS)(RSSRSS)47 总变差总变差 (TSSTSS):应变量):应变量Y Y的观测值与其平均的观测值与其平均值的离差平方和(总平方和)值的离差平方和(总平方和)解释了的变差解释了的变差 (ESSESS):应变量):应变量Y Y的估计值与的估计值与其平均值的离差平方和(回归平方和)其平均值的离差平方和(回归平方和)剩余平方和剩余平方和 (RSSRSS):应变量观测值与估计):应变量观测值与估计值之差的平方和(未解释的平方和)值之差的平方和(未解释的平方和)48变差分解的图示变差分解的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 计量经济学 计量 经济学 第二 简单 线性 回归 模型
限制150内