多元线性回归模型精选PPT.ppt
《多元线性回归模型精选PPT.ppt》由会员分享,可在线阅读,更多相关《多元线性回归模型精选PPT.ppt(93页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、关于多元线性回归模型第1页,讲稿共93张,创作于星期日2第一节 多元线性回归模型的概念 在许多实际问题中,我们所研究的因变量的变动可能不仅与一个解释变量有关。因此,有必要考虑线性模型的更一般形式,即多元线性回归模型:t=1,2,n 在这个模型中,Y由X1,X2,X3,XK所解释,有K+1个未知参数0、1、2、K。这里,“斜率”j的含义是其其它它变变量量不不变变的的情情况况下下,X Xj j改改变变一一个个单单位位对对因因变变量量所所产产生的影响。生的影响。第2页,讲稿共93张,创作于星期日3 例例1 1:其中,Y=在食品上的总支出 X=个人可支配收入 P=食品价格指数 用美国1959-1983
2、年的数据,得到如下回归结果(括号中数字为标准误差):Y和X的计量单位为10亿美元(按1972不变价格计算).第3页,讲稿共93张,创作于星期日4多元线性回归模型中斜率系数的含义上例中斜率系数的含义说明如下:价格不变的情况下,个人可支配收入每上升10亿美元(1个billion),食品消费支出增加1.12亿元(0.112个 billion)。收入不变的情况下,价格指数每上升一个点,食品消费支出减少7.39亿元(0.739个billion)第4页,讲稿共93张,创作于星期日5例例2:其中,Ct=消费,Dt=居民可支配收入 Lt=居民拥有的流动资产水平 2的含义是,在流动资产不变的情况下,可支配收入变
3、动一个单位对消费额的影响。这是收入对消费额的直接影响。收入变动对消费额的总影响=直接影响+间接影响。(间接影响:收入影响流动资产拥有量影响消费额)但在模型中这种间接影响应归因于流动资产,而不是收入,因而,2只包括收入的直接影响。在下面的模型中:这里,是可支配收入对消费额的总影响,显然和2的 含义是不同的。第5页,讲稿共93张,创作于星期日6回到一般模型 t=1,2,,n即对于n组观测值,有第6页,讲稿共93张,创作于星期日7其矩阵形式为:其中 第7页,讲稿共93张,创作于星期日8第二节 多元线性回归模型的估计 多元线性回归模型的估计与双变量线性模型类似,仍采用最小二乘法。当然,计算要复杂得多,
4、通常要借助计算机。理论推导需借助矩阵代数。下面给出最小二乘法应用于多元线性回归模型的假设条件、估计结果及所得到的估计量的性质。一一假设条件(1)E(ut)=0,t=1,2,n (2)E(ui uj)=0,ij (3)E(ut2)=2,t=1,2,n (4)Xjt是非随机量,j=1,2,k t=1,2,n 第8页,讲稿共93张,创作于星期日9 除上面4条外,在多个解释变量的情况下,还有两个条件需要满足:(5)(K+1)n;即观测值的数目要大于待估计的参数的个数 (要有足够数量的数据来拟合回归线)。(6)各解释变量之间不存在严格的线性关系。第9页,讲稿共93张,创作于星期日10上述假设条件可用矩阵
5、表示为以下四个条件:(1)E(u)=0 (2)由于 显然,仅当 E(ui uj)=0,ij E(ut2)=2,t=1,2,n 这两个条件成立时才成立,因此,此条件相当前面条件(2),(3)两条,即各期扰动项互不相关,并具有常数方差。第10页,讲稿共93张,创作于星期日11(3)X 是是一个非随机元素矩阵。(4)Rank(X)=(K+1)n.-相当于前面(5)、(6)两条 即矩阵X的秩=(K+1)n 当然,为了后面区间估计和假设检验的需要,还要加 上一条:(5),t=1,2,n第11页,讲稿共93张,创作于星期日12二最小二乘估计二最小二乘估计我们的模型是:t=1,2,n问题是选择 ,使得残差平
6、方和最小。残差为:第12页,讲稿共93张,创作于星期日13要使残差平方和 为最小,则应有:我们得到如下K+1个方程(即正规方程):第13页,讲稿共93张,创作于星期日14按矩阵形式,上述方程组可表示为:第14页,讲稿共93张,创作于星期日15=即第15页,讲稿共93张,创作于星期日16 上述结果,亦可从矩阵表示的模型 出发,完全用矩阵代数推导出来。残差可用矩阵表示为:其中:第16页,讲稿共93张,创作于星期日17残差平方和 第17页,讲稿共93张,创作于星期日18注意到上式中所有项都是标量,且 故令用矩阵微分法,我们可得到 与采用标量式推导所得结果相同。由上述结果,我们有 第18页,讲稿共93
7、张,创作于星期日19三.最小二乘估计量 的性质 我们的模型为 估计式为 1 的均值第19页,讲稿共93张,创作于星期日20(由假设3)(由假设1)即 这表明,OLS估计量 是无偏估计量。第20页,讲稿共93张,创作于星期日212 的方差为求Var(),我们考虑 这是一个(K+1)*(K+1)矩阵,其主对角线上元素即构成 Var(),非主对角线元素是相应的协方差,如下所示:第21页,讲稿共93张,创作于星期日22下面推导此矩阵的计算公式.第22页,讲稿共93张,创作于星期日23由上一段的结果,我们有因此,第23页,讲稿共93张,创作于星期日24 如前所述,我们得到的实际上不仅是 的方差,而且是一
8、个方差-协方差矩阵,为了反映这一事实,我们用下面的符号表示之:展开就是:第24页,讲稿共93张,创作于星期日253 2 的估计 与双变量线性模型相似,2的无偏估计量是 这是因为我们在估计 的过程中,失去了(K+1)个自由度。4 高斯-马尔科夫定理对于 以及标准假设条件(1)-(4),普通最小二乘估计量是最佳线性无偏估计量(BLUE)第25页,讲稿共93张,创作于星期日26 我们已在上一段中证明了无偏性,下面证明线性和最小方差性。证明的路子与双变量模型中类似,只不过这里我们采用矩阵和向量的形式。由OLS估计量 的公式 可知,可表示为一个矩阵和应变量观测值向量 的乘积:其中 是一个(K+1)*n
9、非随机元素矩阵。因而显然有 是线性估计量。第26页,讲稿共93张,创作于星期日27 现设 为 的任意一个线性无偏估计量,即其中 是一个(K+1)*n非随机元素矩阵。则 显然,若要 为无偏估计量,即 ,只有 ,为(K+1)阶单位矩阵。第27页,讲稿共93张,创作于星期日28 的方差为:我们可将 写成 从而将 的任意线性无偏估计量 与OLS估计量 联系起来。第28页,讲稿共93张,创作于星期日29由 可推出:即 因而有 由 从而 ,因此上式中间两项为0,我们有第29页,讲稿共93张,创作于星期日30 因此 最后的不等号成立是因为 为半正定矩阵。这就证明了OLS估计量 是 的所有线性无偏估计量中方差
10、最小的。至此,我们证明了高斯-马尔科夫定理。第30页,讲稿共93张,创作于星期日31第三节 拟合优度一决定系数R2 对于双变量线性模型 Y=+X+u我们有其中,=残差平方和第31页,讲稿共93张,创作于星期日32对于多元线性模型 我们可用同样的方法定义决定系数:为方便计算,我们也可以用矩阵形式表示R2第32页,讲稿共93张,创作于星期日33 我们有:残差 ,其中,残差平方和:第33页,讲稿共93张,创作于星期日34而 将上述结果代入R2的公式,得到:这就是决定系数R2 的矩阵形式。第34页,讲稿共93张,创作于星期日35二修正决定系数:残差平方和的一个特点是,每当模型增加一个解释变量,并用改变
11、后的模型重新进行估计,残差平方和的值会减小。由此可以推论,决定系数是一个与解释变量的个数有关的量:解释变量个数增加 减小 R2 增大也就是说,人们总是可以通过增加模型中解释变量的方法来增大 R2 的值。因此,用 R2 来作为拟合优度的测度,不是十分令人满意的。为此,我们定义修正决定系数 (Adjusted )如下:第35页,讲稿共93张,创作于星期日36 是经过自由度调整的决定系数,称为修正决定系数。我们有:(1)(2)仅当K=0时,等号成立。即 (3)当K增大时,二者的差异也随之增大。(4)可能出现负值。第36页,讲稿共93张,创作于星期日37三例子三例子 下面我们给出两个简单的数值例子,以
12、帮助理解这两节的内容.例1Yt=1+2X2 t+3X3 t+u t 设观测数据为:Y:3 1 8 3 5 X2:3 1 5 2 4 X3:5 4 6 4 6 试求各参数的OLS估计值,以及 。解:我们有第37页,讲稿共93张,创作于星期日38第38页,讲稿共93张,创作于星期日39第39页,讲稿共93张,创作于星期日40第40页,讲稿共93张,创作于星期日41第41页,讲稿共93张,创作于星期日42 例例2.设 n=20,k=3,R2=0.70 求 。解:下面改变n的值,看一看 的值如何变化。我们有 若n=10,则 =0.55 若n=5,则 =-0.20 由本例可看出,有可能为负值。这与R2不
13、同 ()。第42页,讲稿共93张,创作于星期日43 第四节 非线性关系的处理 迄今为止,我们已解决了线性模型的估计问题。但在实际问题中,变量间的关系并非总是线性关系,经济变量间的非线性关系比比皆是。如大家所熟悉的柯布-道格拉斯生产函数:就是一例。在这样一些非线性关系中,有些可以通过代数变换变为线性关系处理,另一些则不能。下面我们通过一些例子来讨论这个问题。第43页,讲稿共93张,创作于星期日44一.线性模型的含义 线性模型的基本形式是:其特点是可以写成每一个解释变量和一个系数相乘的形式。线性模型的线性包含两重含义:(1)变量的线性 变量以其原型出现在模型之中,而不是以X2或X之 类的函数形式出
14、现在模型中。(2)参数的线性 因变量Y是各参数的线性函数。第44页,讲稿共93张,创作于星期日45二线性化方法 对于线性回归分析,只有第二种类型的线性才是重要的,因为变量的非线性可通过适当的重新定义来解决。例如,对于 此方程的变量和参数都是线性的。如果原方程的扰动项满足高斯马尔可夫定理条件,重写的方程的扰动项也将满足。第45页,讲稿共93张,创作于星期日46 参数的非线性是一个严重得多的问题,因为它不能仅凭重定义来处理。可是,如果模型的右端由一系列的X或eX项相乘,并且扰动项也是乘积形式的,则该模型可通过两边取对数线性化。例如,需求函数 其中,Y=对某商品的需求 X=收入 P=相对价格指数 =
15、扰动项可转换为:第46页,讲稿共93张,创作于星期日47 用X,Y,P的数据,我们可得到logY,logX和logP,从而可以用OLS法估计上式。logX的系数是的估计值,经济含义是需求的收入弹性,logP的系数将是的估计值,即需求的价格弹性。注释 弹性(elasticity):一变量变动1%所引起的另一变量变动的百分比:需求的收入弹性:收入变化1%,价格不变时,所引起的商品需求量变动的百分比。需求的价格弹性:价格变化1%,收入不变时,所引起的商品需求量变动的百分比。第47页,讲稿共93张,创作于星期日48三例子例1 需求函数 本章1中,我们曾给出一个食品支出为因变量,个人可支配收入和食品价格
16、指数为解释变量的线性回归模型例子。现用这三个变量的对数重新估计(采用同样的数据),得到如下结果(括号内数字为标准误差):回归结果表明,需求的收入弹性是0.64,需求的价格弹性是0.48,这两个系数都显著异于0。第48页,讲稿共93张,创作于星期日49 例2柯布-道格拉斯生产函数 生产函数是一个生产过程中的投入及其产出之间的一种关系。著名的柯布-道格拉斯生产函数(C-D函数)为 用柯布和道格拉斯最初使用的数据(美国1899-1922年制造业数据)估计经过线性变换的模型得到如下结果(括号内数字为标准误差):从上述结果可以看出,产出的资本弹性是0.23,产出的劳动弹性为0.81。第49页,讲稿共93
17、张,创作于星期日50例3货币需求量与利率之间的关系 M=a(r-2)b这里,变量非线性和参数非线性并存。对此方程采用对数变换 logM=loga+blog(r-2)令Y=logM,X=log(r-2),1=loga,2=b 则变换后的模型为:Yt=1+2Xt+ut 第50页,讲稿共93张,创作于星期日51 将OLS法应用于此模型,可求得1和2的估计值从而可通过下列两式求出a和b估计值:应当指出,在这种情况下,线性模型估计量的性质(如BLUE,正态性等)只适用于变换后的参数估计量 ,而不一定适用于原模型参数的估计量 和 。第51页,讲稿共93张,创作于星期日52 例4上例在确定货币需求量的关系式
18、时,我们实际上给模型加进了一个结束条件。根据理论假设,在某一利率水平上,货币需求量在理论上是无穷大。我们假定这个利率水平为2%。假如不给这一约束条件,而是从给定的数据中估计该利率水平的值,则模型变为:M=a(r-c)b 式中a,b,c均为参数。仍采用对数变换,得到 log(Mt)=loga+blog(rt-c)+ut t=1,2,n 我们无法将log(rt-c)定义为一个可观测的变量X,因为这里有一个未知量c。也就是说,此模型无法线性化。在这种情况下,只能用估计非线性模型参数值的方法。第52页,讲稿共93张,创作于星期日53四非线性回归 模型 Y=a(X-c)b是一个非线性模型,a、b和c是要
19、估计的参数。此模型无法用取对数的方法线性化,只能用非线性回归技术进行估计,如非线性最小二乘法(NLS)。该方法的原则仍然是残差平方和最小。计量经济软件包通常提供这类方法,这里给出有关非线性回归方法的大致步骤如下:第53页,讲稿共93张,创作于星期日54非线性回归方法的步骤1首先给出各参数的初始估计值(合理猜测值);2用这些参数值和X观测值数据计算Y的各期预测值 (拟合 值);3计算各期残差,然后计算残差平方和e2;4对一个或多个参数的估计值作微小变动;5计算新的Y预测值 、残差平方和e2;6若新的e2小于老的e2,说明新参数估计值优于老估 计值,则以它们作为新起点;7重复步骤4,5,6,直至无
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元 线性 回归 模型 精选 PPT
限制150内