多元线性回归模型ppt课件计量经济学.pptx
《多元线性回归模型ppt课件计量经济学.pptx》由会员分享,可在线阅读,更多相关《多元线性回归模型ppt课件计量经济学.pptx(54页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第三章 多元线性回归模型电子课件计量经济学第三章 多元线性回归模型3.1多元回归线性回归模型多元回归线性回归模型3.1.1为什么使用多元回归许多经济现象往往要受多个因素的影响,为了更好地研究被解释变量是如何受多个解释变量影响的,就要利用多元线性回归模型。要把所有影响被解释变量的因素考虑到模型中来。例如,在教育回报率的研究中,除了教育水平之外,工作经历也是一个显著的影响因素,因此需要增加自变量个数,建立多元回归模型。其中wage为工资,educ为教育水平,exper为工作经历。即使我们只关心某个因素对被解释变量的影响,若还有其它因素影响被解释变量,此时也必须使用多元回归模型。若使用一元回归模型的
2、话,则模型估计一般情况下是有偏估计。在简单(一元)回归中,最大的困难在于:要得到在其它因素不变的情况下,x对y的影响(ceterisparibuseffect)是很有挑战的。如果影响y的其它因素与x不相关,则改变x,利用模型的斜率,就可识别出在其它条件不变情况下x对y的影响。但通常影响y的其它因素(包含在u中)往往与x相关,此时改变x,利用简单回归模型,就无法识别出在其它条件不变情况下x对y的影响。3.1多元回归线性回归模型多元回归线性回归模型3.1.1为什么使用多元回归一个策略就是,将与x相关的其他因素从误差项u中取出来,放在方程里,作为新的解释变量,这就构成多元回归模型。多元回归分析可以明
3、确地控制许多其它同时影响因变量的因素,而不是放在不可观测的误差项中,故多元回归分析更适合于其它条件不变情况下考察特定因素x对y的影响。多元回归模型也能实现更好的预测。预测一个变量的变化,往往需要尽可能多地知道影响该变量变化的因素。简单回归模型,只包含一个解释变量,有时只能解释y的变动的很小部分,常常拟合优度很低。多元回归模型由于可以控制更多的解释变量,因此可以解释更多的因变量变动。多元回归模型由于包含更多的解释变量,也可以利用函数变化,在模型中表达更复杂的函数关系。因此,多元线性回归模型,是实证分析中应用最广泛的分析工具。3.1多元回归线性回归模型多元回归线性回归模型3.1.2多元回归的代数和
4、矩阵表示所谓的多元线性总体回归模型:就是指被解释变量y与多个解释变量之间具有线性关系,是解释变量的多元线性函数。用一个式子来表达即:其中:y是被解释变量;是解释变量;为随机扰动项;k为解释变量的数目,为回归系数(regressioncoefficient),(i=0,1,2,k)。对于n组观测值,将其代入(3.1.1)式,得到多元线性样本回归模型。其方程组形式为:(3.1.1)(3.1.2)3.1多元回归线性回归模型多元回归线性回归模型3.1.2多元回归的代数和矩阵表示式(3.1.2)是由n个方程,k+1个未知参数组成的一个线性方程组,即:(3.1.3)把线性方程组写成矩阵的形式:即(3.1.
5、4)式:(3.1.4)3.1多元回归线性回归模型多元回归线性回归模型3.1.2多元回归的代数和矩阵表示这个模型相应的矩阵表达式简记为:(3.1.5)其中:注意:Y是被解释变量样本观测值n*1阶列向量;X是解释变量样本观测值的阶矩阵;是未知参数的(k+1)*1阶列向量;是随机误差项列向量。从上面线性方程组的表示形式可以看出,多元线性回归模型相对于一元线性回归模型来说,其解释变量较多,因而计算公式比较复杂。在现实中如果解释变量多于三个,手工计算此时一般是不太现实的,则需要借助计算机来进行。3.2参数估计和系数的解释在一元线性回归模型中,普通最小二乘法(Ordinaryleastsquares,OL
6、S)给出的准则是:残差的平方和最小。根据此原理,考虑含有k个解释变量的多元线性回归模型(3.1.2)与一元线性回归模型一样,根据最小二乘法准则,使得:(3.2.1)为了计算的简便,我们令,接下来用分别对求偏导数,并令其为零,满足该条件的可以使得最小,也即最小。这是因为多元函数达最小必须满足一阶条件和二阶条件,二阶条件为二阶偏导形成的海塞矩阵为正定,容易验证Q的海塞矩阵为正定。所以,最小化Q只需求满足一阶条件的解,3.2参数估计和系数的解释(3.2.2)把式(3.2.2)经过整理,可得:(3.2.3)上述式(3.2.3)称为有(k+1)个方程的正规方程组,其矩阵形式为:(3.2.7)3.2参数估
7、计和系数的解释样本回归模型两边同乘样本观测值矩阵的转置矩阵,则有(3.2.6)由正规方程组可知,最小二乘估计满足,也就是对应的总体满足,即随机误差项是零数学期望且与每个解释变量都不相关。当时,为(k+1)阶方阵,满秩,所以,的逆矩阵存在。因而(3.2.8)则为参数向量的OLS估计量。3.3 多元回归模型的基本假设多元回归模型的基本假设要从样本得到对总体参数的估计,并讨论它们的统计性质,需要一系列的假设。只有在满足一些假设情况下,OLS估计量才是总体参数的无偏估计,或者具备一些良好的统计性质。这里讨论的假设,很多是简单回归模型假设的推广。回归分析是社会科学研究中最基本,也是最常用的工具,但它同样
8、有可能是最容易被滥用的工具。理解回归假设可以让研究人员看到应用该模型所需要的条件,同时也能够使他们更好地驾驭回归分析,以得到更有效的估计。首先是关于模型关系的假设。假设假设1:模型设定正确:模型设定正确/线性于参数线性于参数这个假设是在说模型设定是正确的。模型的正确设定主要包括两方面的内容:(1)模型选择了正确的变量;(2)模型选择了正确的函数形式模型选择了正确的变量指既没有遗漏重要的相关变量,也没有多选无关变量且有经济理论支持该因果关系。一般来讲,我们认为正确的模型就是线性回归模型,但要注意的是,这里的线性是指针对参数的线性,回归模型对变量不一定是线性的。这个假设是简单回归模型假设的直接推广
9、3.3 多元回归模型的基本假设多元回归模型的基本假设接下来是关于解释变量的假设。假假设2:X固定固定这个假设是在说X在重复抽样中是固定的,也就是说X是非随机的。同简单回归,在很多情形中,X往往也是随机的,这里这样假设可以简化对参数估计性质的讨论。当X是随机时,模型参数估计的性质都是在X给定情况下讨论的。假假设3:X有有变异异解释变量X在所抽取的样本中具有变异性,而且随着样本容量的无限增加,解释变量X的样本协方差阵趋于一个非零的有限正定矩阵。回归分析的目的就是用X的变化来解释Y的变化,因此,解释变量X要有足够的变异性,否则无法回答这个问题。假假设4:不存在完全共:不存在完全共线性性这个假设指在样
10、本中(从而也在总体中),没有一个自变量是常数,自变量之间不存在严格(完全)的线性关系。我们现在必须关注所有自变量之间的关系,如果方程中有一个自变量是其他自变量的线性组合,那么我们说这个模型遇到了完全共线性问题。3.3 多元回归模型的基本假设多元回归模型的基本假设假设5是个关键假设,它涉及解释变量X和随机误差项u之间的关系,以及随机误差项u的性质。假设假设5:零条件数学期望:零条件数学期望这是一个关键假设,它指给定自变量的任何值,误差u的期望值为零。换句话说,E(u|x1,x2xk)=0当这个假定成立时,我们常说xj是外生解释变量。如果由于某种原因某个解释变量xj与u有关,那么我就成xj是内生解
11、释变量。从零条件数学期望假设可以推导出两个结论:E(u)=0,cov(X,u)=0在很多教科书上是给出了这两个假设,但零条件数学期望的表述更加严谨,因为协方差只是表示X和u之间没有线性相关关系,但它们可能存在非线性的统计依赖关系。零条件均值则表明X和u之间是统计独立的,没有任何统计依赖关系。假设5a:随机误差项零数学期望,E(u)=0假设5b:解释变量与随机误差项不相关,cov(X,u)=0以上5个假设满足的情况下,最小二乘估计量是无偏的。以下是关于随机误差项u的假设。3.3 多元回归模型的基本假设多元回归模型的基本假设假设假设6:同方差:同方差对于解释变量的所有观测值,随机误差项有相同的方差
12、假设假设7:无序列相关:无序列相关满足以上7个假设,OLS估计量是最优线性无偏估计量,这被称为高斯-马尔可夫定理。这7个假设也称为高斯-马尔可夫假设。假设假设8:正态性假设:正态性假设随机误差项服从均值为零,方差为2的正态分布:_iN(0,2),i=1,2,n。以上假设(正态性假设除外)也称为线性回归模型的经典假设,满足该假设的线性回归模型,也称为经典线性回归模型(ClassicalLinearRegressionModel,CLRM)。同时满足正态性假设的线性回归模型,称为经典正态线性回归模型(ClassicalNormalLinearRegressionModel,CNLRM)。3.4 若
13、干若干问题3.4.1回归的解释多元线性回归方程将被解释变量分解成为两部分:(1)(2)这部分是可以由解释变量来解释。回归系数最小二乘估计量仍然是最佳线性无偏估计量并依概率收敛到实际参数值,为正态分布。的最小二乘估计具有无偏性和一致性(依概率收敛于实际参数值)。与相互独立。这部分是解释变量无法解释的随机噪声。并且被分解的这两部分是正交的,即这两部分没有信息的重叠。多元回归OLS估计值具有偏效应偏效应或其他情况不变其他情况不变的解释。以只有2个解释变量的多元回归模型为例,从方程中我们可以得到所以我们能在给定x1,x2的变化时预测y值的变化。特别地,当x2=0时,有。这里的关键是通过把x2包含在模型
14、中,我们所得到的x1的系数可解释为在其他条件不变的情况下的影响。这正是多元回归分析如此有用的原因所在。3.4 若干若干问题3.4.2遗漏变量偏误多元回归模型的误差项u包括那些影响y但没有被包含在回归方程中的因素,而遗漏变量总是存在的。那么存在遗漏变量的后果是什么?在某些时候,遗漏某些变量会导致OLS估计量有偏。(非一致估计量)遗漏变量导致的OLS估计量的偏差被称为遗漏变量偏差。遗漏因素“z”必须满足:(1)是y的一个决定因素(即z是u中的一部分);(2)与回归变量x相关(即corr(z,x)0)。两个条件都成立时,遗漏z才会导致遗漏变量偏差。3.4.3拟合优度拟合优度:是指样本回归直线对观测数
15、据拟合的优劣程度。我们所希望的就是围绕回归直线的剩余尽可能的小。样本观测值距离回归线越近,拟合优度越好,X对Y的解释能力就越强。为了较好地理解样本的可决系数,我们首先要引入总离差平方和的分解问题。3.4若干问题3.4.3拟合优度假如我们给定了X和Y的样本观测值,并得到了样本回归函数则观测值的离差可以分解为两部分之和:图3.4.1可以看出这种分解情况。其中是样本回归直线理论值与观测值的平均值之差,它是由样本回归线解释的部分;是样本观测值与回归直线所确定的估计值之差。是回归直线不能解释的部分。3.4若干问题3.4.3拟合优度我们可以记:(3.4.2)(3.4.3)(3.4.4.)称为回归平方和(e
16、xplainedsumofsquares),反映模型中解释变量所解释的那部分离差的大小。称为总离差平方和(totalsumofsquares),其反映了模型中样本观测值总体离差的大小。因为离差和为零,所以,其自由度少一个为n-1。TSS/服从2(n1)。称为残差平方和(residualsumofsquares),其反映样本观测值与估计值偏离的大小,也可以看作是模型中解释变量未解释的那部分离差的大小。因为残差和为零,残差与每个解释变量乘积之和为零,所以,其自由度少k+1为n-k-1。RSS/服从2(nk1)。3.4若干问题3.4.3拟合优度利用OLS估计的正规方程组容易推出:TSS=RSS+ES
17、S(3.4.4)即总离差平方和=残差平方和+回归平方和由式(3.4.4)左右两边自由度相等,可知回归平方和的自由度为k。ESS/服从2(k)。ESS与RSS相互独立。当根据样本采用最小二乘法确定了一条回归直线时,TSS的大小是一定的。ESS越大,RSS越小,该回归直线拟合的越好;反之,拟合的越差。拟合优度度量为:(3.4.5)它是介于0和1之间的数。因为所以(3.4.6)3.4若干问题3.4.3拟合优度与n和k有关。因为和都相当于一个标准正态随机变量的平方,所以,关于n是反向关系,关于k是正向关系。为了得到与n和k无关可以比较的拟合优度,将拟合优度用自由度进行修正,得到校正拟合优度:(3.4.
18、7)校正后的拟合优度与n和k无关且。当时,当时,3.5多元回归模型的统计检验与简单回归相比,多元回归的假设检验可以有更加丰富和复杂的形式,不仅可以检验个别的回归系数,还可以检验多个系数之间是否存在某种关系,回归系数是否同时满足某种或多个约束条件,甚至检验回归模型的函数形式和在时间上的稳定性等。3.5.1单个系数的检验:t检验多元回归模型单个系数的检验是简单回归模型单个系数检验的推广。总体多元回归模型可以写为:如果模型满足经典线性回归模型基本假设,那么我们有以下结论:(3.5.1)其中为(XX)-1的对角元素,k+1是总体回归模型中未知参数的个数,t(nk1)为自由度为n-k-1的t分布。3.5
19、多元回归模型的统计检验3.5.1单个系数的检验:t检验以上结论使我们能检验关于的假设,但实践中一个最常用的假设是:(3.5.2)这个假设的含义是,在原假设下,第j个解释变量对y的局部效应为0,即在其他条件不变的情况,对y没有影响。用来检验(3.5.2)的检验统计量被称为的t统计量或t比率(tratio),并被定义为:(3.5.3)t统计量度量了估计系数与零有多少个标准误。例3.5.1工资方程通过选取美国526个工人小时工资的相关数据,检验在控制了教育和任职期限后,更高的工作经验是否会导致更高的小时工资。使用stata16打开在目录“D:stata16shujuchap03”中“0301.dta
20、”数据文件,命令如下:useD:stata16shujuchap030301.dta,clear然后利用最小二乘法进行多元回归分析,在Command窗口中输入命令为:genlnwage=log(wage)reglnwageeducexpertenureEnter键得到如下结果:3.5多元回归模型的统计检验图图3.5.1工资方程回归结果工资方程回归结果3.5多元回归模型的统计检验根据上述回归结果,可得如下函数方程:如果我们想对形如H0:的假设进行检验,需要更一般的t统计量。此时,恰当的t统计量是:(3.5.4)在原假设成立的情况下,它服从自由度为n-k-1的t分布。3.5多元回归模型的统计检验例
21、3.5.2住房价格与空气污染选取某市506个社区组成的样本数据,考虑住房价格和空气污染的一个简单模型。其中Price表示社区中平均住房价格;nox表示空气中氧化亚氮的含量;dist表示该社区相距五个商业中心的加权距离;rooms表示该社区平均每套住房的房间数;而stratio则表示该社区学校的平均学生教师比。是price对nox的弹性。希望针对对立假设H1:-1来检验H0:=-1。做这个检验的统计量为式(3.5.4)。在这里假设=0是没有意义的,更有意义的假设是=-1,即社区污染程度每增加1%,房价大概下降1%3.5多元回归模型的统计检验例3.5.2住房价格与空气污染下面我们利用Stata对该
22、例子中的假设条件进行验证一下,使用stata16打开在目录“D:stata16shujuchap03”中“0302.dta”数据文件,命令如下use“D:stata16shujuchap030302.dta”,clear然后利用最小二乘法进行多元回归分析,在Command窗口中输入命令为gen lprice=log(price)gen lnox=log(nox)gen ldist=log(dist)reg lprice lnox ldist rooms stratioEnter键得到如下结果:图图3.5.2房屋价格于空气污染回归结果房屋价格于空气污染回归结果3.5多元回归模型的统计检验例3.5
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元 线性 回归 模型 ppt 课件 计量 经济学
限制150内