多元线性回归模型 (2)PPT讲稿.ppt
《多元线性回归模型 (2)PPT讲稿.ppt》由会员分享,可在线阅读,更多相关《多元线性回归模型 (2)PPT讲稿.ppt(77页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、多元线性回归模型多元线性回归模型第1页,共77页,编辑于2022年,星期六3.1 模型的建立及其假定条件模型的建立及其假定条件3.2 最小二乘法最小二乘法3.3 最小二乘估计量的特性最小二乘估计量的特性3.4 可决系数可决系数3.5 显著性检验与置信区间显著性检验与置信区间3.6 预测预测3.7 案例分析案例分析第2页,共77页,编辑于2022年,星期六3.1 模型的建立及其假定条件模型的建立及其假定条件 1 基本的概念基本的概念 在在许许多多实实际际问问题题中中,我我们们所所研研究究的的因因变变量量的的变变动动可可能能不不仅仅与与一一个个解解释释变变量量有有关关。因因此此,有有必必要要考考虑
2、虑线线性性模模型型的更一般形式,即的更一般形式,即多元线性回归模型多元线性回归模型:t=1,2,n 在在这这个个模模型型中中,Y由由X1,X2,X3,XK所所解解释释,有有K+1个个未未知参数知参数0 0、1 1、2 2、K K。这这里里,“斜斜率率”j j的的含含义义是是其其它它变变量量不不变变的的情情况况下下,X Xj j改变一个单位对因变量所产生的影响改变一个单位对因变量所产生的影响。第3页,共77页,编辑于2022年,星期六 例例1 1:其中,其中,Y=在食品上的总支出在食品上的总支出 X=个人可支配收入个人可支配收入 P=食品价格指数食品价格指数 用用美美国国1959-1983年年的
3、的数数据据,得得到到如如下下回回归归结结果果(括括号号中中数数字字为为标准误差):标准误差):Y和和X的计量单位为的计量单位为10亿美元亿美元(按按1972不变价格计算不变价格计算).第4页,共77页,编辑于2022年,星期六多元线性回归模型中斜率系数的含义多元线性回归模型中斜率系数的含义上例中斜率系数的含义说明如下:上例中斜率系数的含义说明如下:价价格格不不变变的的情情况况下下,个个人人可可支支配配收收入入每每上上升升10亿亿美美元元(1个个billion),食食品品消消费费支支出出平平均均增增加加1.12亿亿元元(0.112个个 billion)。)。收入不变的情况下,价格指数每上升一个点
4、,收入不变的情况下,价格指数每上升一个点,食品消费支出平均减少食品消费支出平均减少7.39亿元(亿元(0.739个个billion)第5页,共77页,编辑于2022年,星期六问题:问题:一元线性回归模型斜率系数的经济含义与多元线性一元线性回归模型斜率系数的经济含义与多元线性回归模型斜率系数的经济含义的区别?回归模型斜率系数的经济含义的区别?第6页,共77页,编辑于2022年,星期六回到一般模型回到一般模型 描描述述被被解解释释变变量量Y的的期期望望值值与与解解释释变变量量X1,X2,XK线线性性关系的方程为关系的方程为这个式子为多元线性回归方程这个式子为多元线性回归方程,简称简称总体回归方程总
5、体回归方程第7页,共77页,编辑于2022年,星期六对于对于n组观测值,有组观测值,有第8页,共77页,编辑于2022年,星期六其矩阵形式为:其中 第9页,共77页,编辑于2022年,星期六由于总体回归模型的参数由于总体回归模型的参数 都是未知的都是未知的,我我们可以利用样本观测值对它们进行估计们可以利用样本观测值对它们进行估计,得到相应的估得到相应的估计的回归方程计的回归方程 上式为多元线性回归方程上式为多元线性回归方程,简称简称样本回归方程样本回归方程.估计的回归方程的矩阵表达形式为估计的回归方程的矩阵表达形式为第10页,共77页,编辑于2022年,星期六问题:一元线性回归模型的假定条件包
6、括哪些?问题:一元线性回归模型的假定条件包括哪些?第11页,共77页,编辑于2022年,星期六2模型的假定模型的假定(1)E(ui)=0,i=1,2,n 其矩阵表达形式为其矩阵表达形式为:E(U)=0(2)随机误差项有相同的方差随机误差项有相同的方差第12页,共77页,编辑于2022年,星期六(3)随机误差项彼此之间不相关随机误差项彼此之间不相关 ij将条件将条件(2)和和(3)结合起来结合起来,其相应的矩阵表达形式为其相应的矩阵表达形式为(4)解释变量与随机误差项彼此不相关解释变量与随机误差项彼此不相关 i=1,2k j=1,2,.,n 第13页,共77页,编辑于2022年,星期六(5)解释
7、变量解释变量X1,X2,Xk之间不存在精确的之间不存在精确的(完全的完全的)线性关系线性关系,即即rank(X)=k+1n 观测值的数目要大于待估计的参数的个数观测值的数目要大于待估计的参数的个数 (要有足够数量的数据来拟合回归线)。(要有足够数量的数据来拟合回归线)。(6)随机误差项服从正态分布随机误差项服从正态分布,即即 i=1,2,n第14页,共77页,编辑于2022年,星期六问题:问题:1、一元线性回归模型的假定条件与多元线性回归、一元线性回归模型的假定条件与多元线性回归模型的假定条件有什么区别?模型的假定条件有什么区别?2、一元线性回归模型的参数是怎样估计的?、一元线性回归模型的参数
8、是怎样估计的?第15页,共77页,编辑于2022年,星期六 3.2最小二乘法最小二乘法1 我们的多元线性回归模型是:我们的多元线性回归模型是:t=1,2,n问问题题是是选选择择 ,使使得得残残差差平平方方和最小。和最小。残差为残差为:第16页,共77页,编辑于2022年,星期六要使残差平方和要使残差平方和 为最小,则应有:为最小,则应有:我们得到如下我们得到如下K+1个方程(个方程(即正规方程):即正规方程):第17页,共77页,编辑于2022年,星期六按矩阵形式,上述方程组可表示为按矩阵形式,上述方程组可表示为:第18页,共77页,编辑于2022年,星期六=即即第19页,共77页,编辑于20
9、22年,星期六 上述结果,亦可从矩阵表示的模型上述结果,亦可从矩阵表示的模型 出发,出发,完全用矩阵代数推导出来。完全用矩阵代数推导出来。残差可用矩阵表示为:残差可用矩阵表示为:其中:其中:第20页,共77页,编辑于2022年,星期六残差平方和残差平方和 第21页,共77页,编辑于2022年,星期六注意到上式中所有项都是标量,且注意到上式中所有项都是标量,且 故故令令用矩阵微分法,我们可得到用矩阵微分法,我们可得到 与采用标量式推导所得结果相同。由上述结果,我们有与采用标量式推导所得结果相同。由上述结果,我们有 第22页,共77页,编辑于2022年,星期六2离差形式的最小二乘估计量离差形式的最
10、小二乘估计量多元线性回归模型的样本容量为多元线性回归模型的样本容量为n的样本观测的样本观测值的均值为值的均值为:得到多元线性回归模型的离差形式:得到多元线性回归模型的离差形式:第23页,共77页,编辑于2022年,星期六其相应的矩阵表达形式为:其相应的矩阵表达形式为:得到其正规方程组:得到其正规方程组:并得到的最小二乘估计量:并得到的最小二乘估计量:第24页,共77页,编辑于2022年,星期六3、随机误差项的方差、随机误差项的方差 的估计量的估计量 的无偏估计量是的无偏估计量是这是因为我们在估计这是因为我们在估计 的过程中,失的过程中,失去了(去了(K+1)个自由度。)个自由度。2023/4/
11、20中山学院经济与管理系25第25页,共77页,编辑于2022年,星期六3.3最小二乘估计量的特性最小二乘估计量的特性1 线性性线性性2 无偏性无偏性3 最小方差性(有效性)最小方差性(有效性)高斯高斯-马尔科夫(马尔科夫(Gauss-Markov)定理)定理:对于对于 以及标准假设条件(以及标准假设条件(1)-(5),普通最小二乘估计量是最佳线性无偏估计量),普通最小二乘估计量是最佳线性无偏估计量(BLUE)2023/4/20中山学院经济与管理系26第26页,共77页,编辑于2022年,星期六问题:一元线性回归模型的可决系数是怎么样定义问题:一元线性回归模型的可决系数是怎么样定义的?它的含义
12、是什么?的?它的含义是什么?第27页,共77页,编辑于2022年,星期六283.4 可决系数可决系数一可决系数一可决系数 对于一元线性回归模型对于一元线性回归模型 我们有我们有其中,其中,=残差平方和残差平方和第28页,共77页,编辑于2022年,星期六29对于多元线性模型对于多元线性模型 我们可用同样的方法定义可决系数:我们可用同样的方法定义可决系数:为方便计算,我们也可以用矩阵形式表示为方便计算,我们也可以用矩阵形式表示第29页,共77页,编辑于2022年,星期六30我们有:残差我们有:残差 ,其中,其中,残差平方和:残差平方和:第30页,共77页,编辑于2022年,星期六31而而将上述结
13、果代入将上述结果代入 的公式,得到:的公式,得到:这就是决定系数这就是决定系数 的矩阵形式。的矩阵形式。第31页,共77页,编辑于2022年,星期六32二修正决定系数:二修正决定系数:残残差差平平方方和和的的一一个个特特点点是是,每每当当模模型型增增加加一一个个解解释释变变量量,并并用用改变后的模型重新进行估计,残差平方和的值会减小。改变后的模型重新进行估计,残差平方和的值会减小。由此可以推论,决定系数是一个与解释变量的个数有关的量:由此可以推论,决定系数是一个与解释变量的个数有关的量:解释变量个数增加解释变量个数增加 减小减小 增大增大 也也就就是是说说,人人们们总总是是可可以以通通过过增增
14、加加模模型型中中解解释释变变量量的的方方法法来来增增大大 的的值。因此,用值。因此,用 来作为拟合优度的测度,不是十分令人满意的。来作为拟合优度的测度,不是十分令人满意的。为此,我们定义修正决定系数为此,我们定义修正决定系数 (Adjusted )如下:)如下:第32页,共77页,编辑于2022年,星期六33 是经过自由度调整的可决系数,称为修正可决系数是经过自由度调整的可决系数,称为修正可决系数我们有:(我们有:(1)(2)仅当)仅当K=0时,等号成立。即时,等号成立。即 (3)当)当K增大时,二者的差异也随之增大。增大时,二者的差异也随之增大。(4)可能出现负值。可能出现负值。第33页,共
15、77页,编辑于2022年,星期六2023/4/20中山学院经济与管理系34例例1.设设 n=20,k=3,=0.70 求求 。当当n=10、n=5时,时,分别等于多少分别等于多少第34页,共77页,编辑于2022年,星期六35解:解:下下面面改改变变n的的值值,看看一一看看 的的值值如如何何变变化化。我我们们有有 若若n=10,则,则 =0.55 若若n=5,则则 =-0.20由由本本例例可可看看出出,有有可可能能为为负负值值。这这与与 不不同同 ()。)。第35页,共77页,编辑于2022年,星期六 3.5 3.5 显著性检验与置信区间显著性检验与置信区间 方程的方程的F F 检验,旨在对模
16、型中被解释变量与检验,旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立解释变量之间的线性关系在总体上是否显著成立作出推断。作出推断。1、方程显著性的、方程显著性的F检验检验 即检验模型即检验模型 Yi=0+1X1i+2X2i+kXki+i i=1,2,n中的参数中的参数 j是否显著不为是否显著不为0。可提出如下原假设与备择假设:可提出如下原假设与备择假设:H0:1=2=k=0 H1:j不全为不全为0第36页,共77页,编辑于2022年,星期六 根据数理统计学中的知识,在原假设根据数理统计学中的知识,在原假设H0成立的条件成立的条件下,统计量下,统计量 服从自由度为服从自由度为
17、(k,n-k-1)1)的的F分布分布 给定显著性水平给定显著性水平,可得到临界值,可得到临界值F(k,n-k-1),由样本,由样本求出统计量求出统计量F的数值,通过的数值,通过 F F F(k,n-k-1)或或 F F F(k,n-k-1)来拒绝或接受原假设来拒绝或接受原假设H0,以判定原方程总体上的线性关,以判定原方程总体上的线性关系是否显著成立。系是否显著成立。第37页,共77页,编辑于2022年,星期六2023/4/20中山学院经济与管理系38F(k,n-k-1)第38页,共77页,编辑于2022年,星期六2023/4/20中山学院经济与管理系39方差来源平方和自由度均方回归RSSk R
18、SS/(k)误差ESSn-k-1ESS/(n-k-1)总离差TSSn-1第39页,共77页,编辑于2022年,星期六2023/4/20中山学院经济与管理系40下表给出了下表给出了三变量三变量模型的回归的结果:模型的回归的结果:方差来源平方和(S S)自由度(d.f.)平方和的均值(M S S)来自回归(R S S)500来自残差(E S S)总离差(T S S)6001 4回答以下问题:回答以下问题:1)样本容量是多少?)样本容量是多少?2)求求ES S?3)E S S与与R S S的自由度各是多少?的自由度各是多少?4)求求R-square与与Adjusted R-square?5)在在5%
19、的显著性水平下检验方程的显著性。的显著性水平下检验方程的显著性。第40页,共77页,编辑于2022年,星期六问题:如果回归方程经过检验是显著的,是不是表问题:如果回归方程经过检验是显著的,是不是表示方程的每一个回归参数都是显著的呢?示方程的每一个回归参数都是显著的呢?第41页,共77页,编辑于2022年,星期六 2 2、t检验(变量的显著性检验)检验(变量的显著性检验)方程的方程的总体线性总体线性关系显著关系显著 每个解释变量每个解释变量对对被解释变量的影响都是显著的被解释变量的影响都是显著的 因此,必须对每个解释变量进行显著性检验,因此,必须对每个解释变量进行显著性检验,以决定是否作为解释变
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元线性回归模型 2PPT讲稿 多元 线性 回归 模型 PPT 讲稿
限制150内