经典线性回归模型精选文档.ppt
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《经典线性回归模型精选文档.ppt》由会员分享,可在线阅读,更多相关《经典线性回归模型精选文档.ppt(107页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、经典线性回归模型本讲稿第一页,共一百零七页2.1 2.1 回归分析概述回归分析概述一、变量间的关系及回归分析的基本概念一、变量间的关系及回归分析的基本概念二、总体回归函数(二、总体回归函数(PRFPRF)三、随机扰动项三、随机扰动项四、样本回归函数(四、样本回归函数(SRFSRF)本讲稿第二页,共一百零七页一、变量间的关系及回归分析的基本概念一、变量间的关系及回归分析的基本概念1.变量间的关系变量间的关系(1)确定性关系确定性关系或函数关系函数关系:研究的是确定现象非随机变量间的关系。(2)统计依赖)统计依赖或相关关系:相关关系:研究的是非确定现象随机变量间的关系。本讲稿第三页,共一百零七页2
2、.回归分析的基本概念回归分析的基本概念回归分析回归分析(regression analysis)(regression analysis)是研究一个变量关于另一个(些)变量的具体依赖关系的计算方法和理论。其目的其目的在于通过后者的已知或设定值,去估计和(或)预测前者的(总体)均值。被解释变量被解释变量(Explained Variable)或应变量应变量(Dependent Variable)。解释变量解释变量(Explanatory Variable)或自变量自变量(Independent Variable)。本讲稿第四页,共一百零七页回归分析构成计量经济学的方法论基础,其主回归分析构成计量
3、经济学的方法论基础,其主要内容包括:要内容包括:(1)根据样本观察值对经济计量模型参数进行估计,求得回归方程;(2)对回归方程、参数估计值进行显著性检验;(3)利用回归方程进行分析、评价及预测。本讲稿第五页,共一百零七页二、总体回归函数二、总体回归函数回归分析回归分析关心的是根据解释变量的已知或给关心的是根据解释变量的已知或给定值,考察被解释变量的总体均值定值,考察被解释变量的总体均值,即当解释变量取某个确定值时,与之统计相关的被解释变量所有可能出现的对应值的平均值。本讲稿第六页,共一百零七页例例2.1:一个假想的社区有100户家庭组成,要研究该社区每月家庭消费支出家庭消费支出Y与每月家庭可支
4、配收入家庭可支配收入X的关系。即如果知道了家庭的月收入,能否预测该社区家庭的平均月消费支出水平。为达到此目的,将该100户家庭划分为组内收入差不多的10组,以分析每一收入组的家庭消费支出。本讲稿第七页,共一百零七页本讲稿第八页,共一百零七页由于不确定因素的影响,对同一收入水平X,不同家庭的消费支出不完全相同;但由于调查的完备性,给定收入水平X的消费支出Y的分布是确定的,即以X的给定值为条件的Y的条件分布条件分布(Conditional distribution)是已知的,例如:P(Y=561|X=800)=1/4。本讲稿第九页,共一百零七页因此,给定收入X的值Xi,可得消费支出Y的条条件均值件
5、均值(conditional mean)或条件期望条件期望(conditional expectation):E(Y|X=Xi)。该例中:E(Y|X=800)=605描出散点图发现:随着收入的增加,消费“平均地平均地说说”也在增加,且Y的条件均值均落在一根正斜率的直线上。这条直线称为总体回归线总体回归线。本讲稿第十页,共一百零七页05001000150020002500300035005001000150020002500300035004000每月可支配收入X(元)每月消费支出Y(元)本讲稿第十一页,共一百零七页在给定解释变量Xi条件下被解释变量Yi的期望轨迹称为总体回归线总体回归线(pop
6、ulation regression line),或更一般地称为总体回归曲线总体回归曲线(population regression curve)。称为(双变量)总体回归函数总体回归函数(population regression function,PRF)。相应的函数:本讲稿第十二页,共一百零七页含义:含义:回归函数(PRF)说明被解释变量Y的平均状态(总体条件期望)随解释变量X变化的规律。函数形式:函数形式:可以是线性或非线性的。例2.1中,将居民消费支出看成是其可支配收入的线性函数时:为一线性函数。线性函数。其中,0,1是未知参数,称为回归回归系数系数(regression coeffi
7、cients)。本讲稿第十三页,共一百零七页三、随机扰动项三、随机扰动项总体回归函数说明在给定的收入水平Xi下,该社区家庭平均的消费支出水平。但对某一个别的家庭,其消费支出可能与该平均水平有偏差。称为观察值围绕它的期望值的离差离差(deviation),是一个不可观测的随机变量,又称为随机干扰项随机干扰项(stochastic disturbance)或随机误差项随机误差项(stochastic error)。本讲稿第十四页,共一百零七页例2.1中,给定收入水平Xi,个别家庭的支出可表示为两部分之和:(1)该收入水平下所有家庭的平均消费支出E(Y|Xi),称为系统性(系统性(systemati
8、c)或确定性(确定性(deterministic)部分;部分;(2)其他随机随机或非非确定性确定性(nonsystematic)部分部分 i。本讲稿第十五页,共一百零七页称为总体回归函数(PRF)的随机设定形式。表明被解释变量除了受解释变量的系统性影响外,还受其他因素的随机性影响。由于方程中引入了随机项,成为计量经济学模型,因此也称为总体回归模型。本讲稿第十六页,共一百零七页随机误差项主要包括下列因素:随机误差项主要包括下列因素:在解释变量中被忽略的因素的影响;变量观测值的观测误差的影响;模型关系的设定误差的影响;其他随机因素的影响。产生并设计随机误差项的主要原因:产生并设计随机误差项的主要原
9、因:理论的含糊性;数据的欠缺;节省原则。本讲稿第十七页,共一百零七页四、样本回归函数(四、样本回归函数(SRF)问题:问题:能从一次抽样中获得总体的近似的信息吗?如果可以,如何从抽样中获得总体的近似信息?例例2.2:在例2.1的总体中有如下一个样本,能否从该样本估计总体回归函数PRF?回答:能本讲稿第十八页,共一百零七页 该样本的散点图散点图(scatter diagram):画一条直线以尽好地拟合该散点图,由于样本取自总体,可以该直线近似地代表总体回归线。该直线称为样本回归样本回归线线(sample regression lines)。)。本讲稿第十九页,共一百零七页 记样本回归线的函数形式
10、为:称为样本回归函数样本回归函数(sample regression function,SRF)。本讲稿第二十页,共一百零七页 注意:注意:这里将样本回归线样本回归线看成总体回归线总体回归线的近似替代则本讲稿第二十一页,共一百零七页样本回归函数的随机形式样本回归函数的随机形式/样本回归模型:样本回归模型:同样地,样本回归函数也有如下的随机形式:由于方程中引入了随机项,成为计量经济模型,因此也称为样本回归模型样本回归模型(sample regression model)。本讲稿第二十二页,共一百零七页 回回归归分分析析的的主主要要目目的的:根据样本回归函数SRF,估计总体回归函数PRF。即,根据
11、 估计本讲稿第二十三页,共一百零七页注意:注意:这里PRF可能永远无法知道。本讲稿第二十四页,共一百零七页2.2 2.2 双变量线性回归模型的参数估计双变量线性回归模型的参数估计 一、双变量线性回归模型的基本假设一、双变量线性回归模型的基本假设 二、参数的普通最小二乘估计(二、参数的普通最小二乘估计(OLSOLS)三、最小二乘估计量的性质三、最小二乘估计量的性质 四、参数估计量的概率分布及随机干四、参数估计量的概率分布及随机干 扰项方差的估计扰项方差的估计 本讲稿第二十五页,共一百零七页回归分析的主要目的回归分析的主要目的是要通过样本回归函数(模型)SRF尽可能准确地估计总体回归函数(模型)P
12、RF。估计方法估计方法有多种,其中最广泛使用的是普通最小二普通最小二乘法乘法(ordinary least squares,OLS)。为保证参数估计量具有良好的性质,通常对模型提出若干基本假设。实际这些假设与所采用的估计方法紧密相关。本讲稿第二十六页,共一百零七页 一、线性回归模型的基本假设一、线性回归模型的基本假设-P99-100-105P99-100-105 假设1.解释变量X是确定性变量,不是随机变量;假设2.随机误差项具有零均值、同方差和无自相关:E(i)=0 i=1,2,n Var(i)=2 i=1,2,n Cov(i,j)=0 ij i,j=1,2,n 本讲稿第二十七页,共一百零七
13、页异方差XYXY本讲稿第二十八页,共一百零七页序列自相关XXYY负相关正相关本讲稿第二十九页,共一百零七页假设3.随机误差项与解释变量X之间不相关:Cov(Xi,i)=0 i=1,2,n 假设4.服从零均值、同方差、零协方差的正态分布 iN(0,2)i=1,2,n本讲稿第三十页,共一百零七页1.如果假设1、2满足,则假设3也满足;2.如果假设4满足,则假设2也满足。注意:注意:以上假设也称为线性回归模型的经典假设经典假设或高斯(高斯(Gauss)假设)假设,满足该假设的线性回归模型,也称为经典线性回归模型经典线性回归模型(Classical Linear Regression Model,CL
14、RM)。本讲稿第三十一页,共一百零七页二、参数的普通最小二乘估计(二、参数的普通最小二乘估计(OLSOLS)给定一组样本观测值(Xi,Yi)(i=1,2,n)要求样本回归函数尽可能好地拟合这组值.普通最小二乘法普通最小二乘法(Ordinary least squares,OLS)给出的判断标准是:二者之差的平方和最小。本讲稿第三十二页,共一百零七页最小二乘法的思路为了精确地描述Y与X之间的关系,必须使用这两个变量的每一对观察值(n组观察值),才不至于以点概面(做到全面)。Y与X之间是否是直线关系(用协方差或相关系数判断)?若是,可用一条直线描述它们之间的关系。在Y与X的散点图上画出直线的方法很
15、多。找出一条能够最好地描述Y与X(代表所有点)之间的直线。问题是:怎样算“最好”?最好指的是找一条直线使得所有这些点到该直线的纵向距离的和(平方和)最小。本讲稿第三十三页,共一百零七页最小二乘法的思路yx纵向距离横向距离距离A为实际点,B为拟合直线上与之对应的点本讲稿第三十四页,共一百零七页最小二乘法的思路纵向距离是Y的实际值与拟合值之差,差异大拟合不好,差异小拟合好,所以称为残差、拟合误差或剩余。将所有纵向距离平方后相加,即得误差平方和,“最好”直线就是使误差平方和最小的直线。拟合直线在总体上最接近实际观测点。于是可以运用求极值的原理,将求最好拟合直线问题转换为求误差平方和最小的问题。本讲稿
16、第三十五页,共一百零七页YX0*Y7Y9Min数学形式本讲稿第三十六页,共一百零七页最小二乘法的数学原理纵向距离是Y的实际值与拟合值之差,差异大拟合不好,差异小拟合好,所以又称为拟合误差或残差。将所有纵向距离平方后相加,即得误差平方和,“最好”直线就是使误差平方和最小的直线。于是可以运用求极值的原理,将求最好拟合直线问题转换为求误差平方和最小。本讲稿第三十七页,共一百零七页得到的参数估计量可以写成:称为OLS估计量的离差形式离差形式(deviation form)。)。由于参数的估计结果是通过最小二乘法得到 的,故称为普通普通最小二乘估计量最小二乘估计量(ordinary least squa
17、res estimators)。本讲稿第三十八页,共一百零七页 例例2.2.1:在上述家庭可支配收入可支配收入-消费支出消费支出例中,对于所抽出的一组样本数,参数估计的计算可通过下面的表2.2.1进行。本讲稿第三十九页,共一百零七页计量经济学与电脑必须指出,模型的建立和实际使用,离开了电脑几乎是不可能的。目前,已有很多计量经济学软件包,可以完成计量经济学模型的参数估计、模型检验、预测等基本运算。几种常见计量软件SAS,SPSS,ET,ESP,GAUSS,MATLAB,MICROTSP,STATA,MINITAB,SYSTAT,SHAZAM,EViews,DATA-FIT。本课程采用国家教委推荐
18、的EViews进行案例教学。要求同学们掌握EViews,比较熟练地使用它,并掌握EViews与其它Windows软件共享信息。本讲稿第四十页,共一百零七页学习计量软件的要求鼯鼠五能,不如乌贼一技!本讲稿第四十一页,共一百零七页本讲稿第四十二页,共一百零七页本讲稿第四十三页,共一百零七页因此,由该样本估计的回归方程为:本讲稿第四十四页,共一百零七页 四、最小二乘估计量的性质四、最小二乘估计量的性质 当模型参数估计出后,需考虑参数估计值的精度,即是否能代表总体参数的真值,或者说需考察参数估计量的统计性质。一个用于考察总体的估计量,可从如下几个方面考察其优劣性:(1)线性)线性,即它是否是另一随机变
19、量的线性函数;本讲稿第四十五页,共一百零七页(2)无偏性)无偏性,即它的均值或期望值是否等于总体的真实值;(3)有效性)有效性,即它是否在所有线性无偏估计量中具有最小方差。这三个准则也称作估计量的小样本性质。小样本性质。拥有这类性质的估计量称为最佳线性无偏估计量最佳线性无偏估计量(best liner unbiased estimator,BLUE)。本讲稿第四十六页,共一百零七页(4)渐渐近近无无偏偏性性,即样本容量趋于无穷大时,是否它的均值序列趋于总体真值;(5)一一致致性性,即样本容量趋于无穷大时,它是否依概率收敛于总体的真值;(6)渐渐近近有有效效性性,即样本容量趋于无穷大时,是否它在
20、所有的一致估计量中具有最小的渐近方差。当不满足小样本性质时,需进一步考察估计量的大样本大样本或或渐近性质渐近性质:本讲稿第四十七页,共一百零七页OLS参数估计量的有效性指的是:在一切线性、无偏估计量中,OLS参数估计量的方差最小。所有参数估计量线性参数估计量无偏参数估计量最小二乘参数估计量本讲稿第四十八页,共一百零七页高高 斯斯 马马 尔尔 可可 夫夫 定定 理理(Gauss-Markov theorem)在在给给定定经经典典线线性性回回归归的的假假定定下下,最最小小二二乘乘估估计量是具有最小方差的线性无偏估计量。计量是具有最小方差的线性无偏估计量。本讲稿第四十九页,共一百零七页 五、参数估计
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 经典 线性 回归 模型 精选 文档
![提示](https://www.taowenge.com/images/bang_tan.gif)
限制150内