多元线性回归模型 (2)精选PPT.ppt
《多元线性回归模型 (2)精选PPT.ppt》由会员分享,可在线阅读,更多相关《多元线性回归模型 (2)精选PPT.ppt(77页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、多元线性回归模型多元线性回归模型第1页,此课件共77页哦3.1 模型的建立及其假定条件模型的建立及其假定条件3.2 最小二乘法最小二乘法3.3 最小二乘估计量的特性最小二乘估计量的特性3.4 可决系数可决系数3.5 显著性检验与置信区间显著性检验与置信区间3.6 预测预测3.7 案例分析案例分析第2页,此课件共77页哦3.1 模型的建立及其假定条件模型的建立及其假定条件 1 基本的概念基本的概念 在在许许多多实实际际问问题题中中,我我们们所所研研究究的的因因变变量量的的变变动动可可能能不不仅仅与与一一个个解解释释变变量量有有关关。因因此此,有有必必要要考考虑虑线线性性模模型型的的更更一一般般形
2、式,即形式,即多元线性回归模型多元线性回归模型:t=1,2,n 在在这这个个模模型型中中,Y由由X1,X2,X3,XK所所解解释释,有有K+1个个未未知参数知参数0 0、1 1、2 2、K K。这这里里,“斜斜率率”j j的的含含义义是是其其它它变变量量不不变变的的情情况况下下,X Xj j改变一个单位对因变量所产生的影响改变一个单位对因变量所产生的影响。第3页,此课件共77页哦 例例1 1:其中,其中,Y=在食品上的总支出在食品上的总支出 X=个人可支配收入个人可支配收入 P=食品价格指数食品价格指数 用用美美国国1959-1983年年的的数数据据,得得到到如如下下回回归归结结果果(括括号号
3、中中数数字字为为标准误差):标准误差):Y和和X的计量单位为的计量单位为10亿美元亿美元(按按1972不变价格计算不变价格计算).第4页,此课件共77页哦多元线性回归模型中斜率系数的含义多元线性回归模型中斜率系数的含义上例中斜率系数的含义说明如下:上例中斜率系数的含义说明如下:价价格格不不变变的的情情况况下下,个个人人可可支支配配收收入入每每上上升升10亿亿美美元元(1个个billion),食食品品消消费费支支出出平平均均增增加加1.12亿亿元(元(0.112个个 billion)。)。收入不变的情况下,价格指数每上升一个点,收入不变的情况下,价格指数每上升一个点,食品消费支出平均减少食品消费
4、支出平均减少7.39亿元(亿元(0.739个个billion)第5页,此课件共77页哦问题:问题:一元线性回归模型斜率系数的经济含义与多元线性一元线性回归模型斜率系数的经济含义与多元线性回归模型斜率系数的经济含义的区别?回归模型斜率系数的经济含义的区别?第6页,此课件共77页哦回到一般模型回到一般模型 描描述述被被解解释释变变量量Y的的期期望望值值与与解解释释变变量量X1,X2,XK线线性关系的方程为性关系的方程为这个式子为多元线性回归方程这个式子为多元线性回归方程,简称简称总体回归方程总体回归方程第7页,此课件共77页哦对于对于n组观测值,有组观测值,有第8页,此课件共77页哦其矩阵形式为:
5、其中 第9页,此课件共77页哦由于总体回归模型的参数由于总体回归模型的参数 都是未知的都是未知的,我们我们可以利用样本观测值对它们进行估计可以利用样本观测值对它们进行估计,得到相应的得到相应的估计的回归方程估计的回归方程 上式为多元线性回归方程上式为多元线性回归方程,简称简称样本回归方程样本回归方程.估计的回归方程的矩阵表达形式为估计的回归方程的矩阵表达形式为第10页,此课件共77页哦问题:一元线性回归模型的假定条件包括哪些?问题:一元线性回归模型的假定条件包括哪些?第11页,此课件共77页哦2模型的假定模型的假定(1)E(ui)=0,i=1,2,n 其矩阵表达形式为其矩阵表达形式为:E(U)
6、=0(2)随机误差项有相同的方差随机误差项有相同的方差第12页,此课件共77页哦(3)随机误差项彼此之间不相关随机误差项彼此之间不相关 ij将条件将条件(2)和和(3)结合起来结合起来,其相应的矩阵表达形式为其相应的矩阵表达形式为(4)解释变量与随机误差项彼此不相关解释变量与随机误差项彼此不相关 i=1,2k j=1,2,.,n 第13页,此课件共77页哦(5)解释变量解释变量X1,X2,Xk之间不存在精确的之间不存在精确的(完全的完全的)线性关系线性关系,即即rank(X)=k+1n 观测值的数目要大于待估计的参数的个数观测值的数目要大于待估计的参数的个数 (要有足够数量的数据来拟合回归线)
7、。(要有足够数量的数据来拟合回归线)。(6)随机误差项服从正态分布随机误差项服从正态分布,即即 i=1,2,n第14页,此课件共77页哦问题:问题:1、一元线性回归模型的假定条件与多元线性回归、一元线性回归模型的假定条件与多元线性回归模型的假定条件有什么区别?模型的假定条件有什么区别?2、一元线性回归模型的参数是怎样估计的?、一元线性回归模型的参数是怎样估计的?第15页,此课件共77页哦 3.2最小二乘法最小二乘法1 我们的多元线性回归模型是:我们的多元线性回归模型是:t=1,2,n问问题题是是选选择择 ,使使得得残残差差平平方方和最小。和最小。残差为残差为:第16页,此课件共77页哦要使残差
8、平方和要使残差平方和 为最小,则应有:为最小,则应有:我们得到如下我们得到如下K+1个方程(个方程(即正规方程):即正规方程):第17页,此课件共77页哦按矩阵形式,上述方程组可表示为按矩阵形式,上述方程组可表示为:第18页,此课件共77页哦=即即第19页,此课件共77页哦 上述结果,亦可从矩阵表示的模型上述结果,亦可从矩阵表示的模型 出发,出发,完全用矩阵代数推导出来。完全用矩阵代数推导出来。残差可用矩阵表示为:残差可用矩阵表示为:其中:其中:第20页,此课件共77页哦残差平方和残差平方和 第21页,此课件共77页哦注意到上式中所有项都是标量,且注意到上式中所有项都是标量,且 故故令令用矩阵
9、微分法,我们可得到用矩阵微分法,我们可得到 与采用标量式推导所得结果相同。由上述结果,我们有与采用标量式推导所得结果相同。由上述结果,我们有 第22页,此课件共77页哦2离差形式的最小二乘估计量离差形式的最小二乘估计量多元线性回归模型的样本容量为多元线性回归模型的样本容量为n的样本观测的样本观测值的均值为值的均值为:得到多元线性回归模型的离差形式:得到多元线性回归模型的离差形式:第23页,此课件共77页哦其相应的矩阵表达形式为:其相应的矩阵表达形式为:得到其正规方程组:得到其正规方程组:并得到的最小二乘估计量:并得到的最小二乘估计量:第24页,此课件共77页哦3、随机误差项的方差、随机误差项的
10、方差 的估计量的估计量 的无偏估计量是的无偏估计量是这是因为我们在估计这是因为我们在估计 的过程中,的过程中,失去了(失去了(K+1)个自由度。)个自由度。2022/10/4中山学院经济与管理系25第25页,此课件共77页哦3.3最小二乘估计量的特性最小二乘估计量的特性1 线性性线性性2 无偏性无偏性3 最小方差性(有效性)最小方差性(有效性)高斯高斯-马尔科夫(马尔科夫(Gauss-Markov)定理)定理:对于对于 以及标准假设条件(以及标准假设条件(1)-(5),),普通最小二乘估计量是最佳线性无偏估计量普通最小二乘估计量是最佳线性无偏估计量(BLUE)2022/10/4中山学院经济与管
11、理系26第26页,此课件共77页哦问题:一元线性回归模型的可决系数是怎么样定义问题:一元线性回归模型的可决系数是怎么样定义的?它的含义是什么?的?它的含义是什么?第27页,此课件共77页哦283.4 可决系数可决系数一可决系数一可决系数 对于一元线性回归模型对于一元线性回归模型 我们有我们有其中,其中,=残差平方和残差平方和第28页,此课件共77页哦29对于多元线性模型对于多元线性模型 我们可用同样的方法定义可决系数:我们可用同样的方法定义可决系数:为方便计算,我们也可以用矩阵形式表示为方便计算,我们也可以用矩阵形式表示第29页,此课件共77页哦30我们有:残差我们有:残差 ,其中,其中,残差
12、平方和:残差平方和:第30页,此课件共77页哦31而而将上述结果代入将上述结果代入 的公式,得到:的公式,得到:这就是决定系数这就是决定系数 的矩阵形式。的矩阵形式。第31页,此课件共77页哦32二修正决定系数:二修正决定系数:残残差差平平方方和和的的一一个个特特点点是是,每每当当模模型型增增加加一一个个解解释释变变量量,并并用改变后的模型重新进行估计,残差平方和的值会减小。用改变后的模型重新进行估计,残差平方和的值会减小。由此可以推论,决定系数是一个与解释变量的个数有关的量:由此可以推论,决定系数是一个与解释变量的个数有关的量:解释变量个数增加解释变量个数增加 减小减小 增大增大 也也就就是
13、是说说,人人们们总总是是可可以以通通过过增增加加模模型型中中解解释释变变量量的的方方法法来来增增大大 的值。因此,用的值。因此,用 来作为拟合优度的测度,不是十分令人满意的。来作为拟合优度的测度,不是十分令人满意的。为此,我们定义修正决定系数为此,我们定义修正决定系数 (Adjusted )如下:)如下:第32页,此课件共77页哦33 是经过自由度调整的可决系数,称为修正可决系数是经过自由度调整的可决系数,称为修正可决系数我们有:(我们有:(1)(2)仅当)仅当K=0时,等号成立。即时,等号成立。即 (3)当)当K增大时,二者的差异也随之增大。增大时,二者的差异也随之增大。(4)可能出现负值。
14、可能出现负值。第33页,此课件共77页哦2022/10/4中山学院经济与管理系34例例1.设设 n=20,k=3,=0.70 求求 。当。当n=10、n=5时,时,分别等于多少分别等于多少第34页,此课件共77页哦35解:解:下下面面改改变变n的的值值,看看一一看看 的的值值如如何何变变化化。我我们们有有 若若n=10,则,则 =0.55 若若n=5,则则 =-0.20由由本本例例可可看看出出,有有可可能能为为负负值值。这这与与 不不同同 ()。)。第35页,此课件共77页哦 3.5 3.5 显著性检验与置信区间显著性检验与置信区间 方程的方程的F F 检验,旨在对模型中被解释变量与检验,旨在
15、对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立解释变量之间的线性关系在总体上是否显著成立作出推断。作出推断。1、方程显著性的、方程显著性的F检验检验 即检验模型即检验模型 Yi=0+1X1i+2X2i+kXki+i i=1,2,n中的参数中的参数 j是否显著不为是否显著不为0。可提出如下原假设与备择假设:可提出如下原假设与备择假设:H0:1=2=k=0 H1:j不全为不全为0第36页,此课件共77页哦 根据数理统计学中的知识,在原假设根据数理统计学中的知识,在原假设H0成立的成立的条件下,统计量条件下,统计量 服从自由度为服从自由度为(k,n-k-1)1)的的F分布分布 给定显
16、著性水平给定显著性水平,可得到临界值,可得到临界值F(k,n-k-1),由,由样本求出统计量样本求出统计量F的数值,通过的数值,通过 F F F(k,n-k-1)或或 F F F(k,n-k-1)来拒绝或接受原假设来拒绝或接受原假设H0,以判定原方程总体上的线,以判定原方程总体上的线性关系是否显著成立。性关系是否显著成立。第37页,此课件共77页哦2022/10/4中山学院经济与管理系38F(k,n-k-1)第38页,此课件共77页哦2022/10/4中山学院经济与管理系39方差来源平方和自由度均方回归RSSk RSS/(k)误差ESSn-k-1ESS/(n-k-1)总离差TSSn-1第39页
17、,此课件共77页哦2022/10/4中山学院经济与管理系40下表给出了下表给出了三变量三变量模型的回归的结果:模型的回归的结果:方差来源平方和(S S)自由度(d.f.)平方和的均值(M S S)来自回归(R S S)500来自残差(E S S)总离差(T S S)6001 4回答以下问题:回答以下问题:1)样本容量是多少?)样本容量是多少?2)求求ES S?3)E S S与与R S S的自由度各是多少?的自由度各是多少?4)求求R-square与与Adjusted R-square?5)在在5%的显著性水平下检验方程的显著性。的显著性水平下检验方程的显著性。第40页,此课件共77页哦问题:如
18、果回归方程经过检验是显著的,是不是表问题:如果回归方程经过检验是显著的,是不是表示方程的每一个回归参数都是显著的呢?示方程的每一个回归参数都是显著的呢?第41页,此课件共77页哦 2 2、t检验(变量的显著性检验)检验(变量的显著性检验)方程的方程的总体线性总体线性关系显著关系显著 每个解释变量每个解释变量对对被解释变量的影响都是显著的被解释变量的影响都是显著的 因此,必须对每个解释变量进行显著性检因此,必须对每个解释变量进行显著性检验,以决定是否作为解释变量被保留在模型验,以决定是否作为解释变量被保留在模型中。中。这一检验是由对变量的这一检验是由对变量的 t t 检验完成的检验完成的。第42
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元线性回归模型 2精选PPT 多元 线性 回归 模型 精选 PPT
限制150内