第9章多元线性回归(精品).ppt
《第9章多元线性回归(精品).ppt》由会员分享,可在线阅读,更多相关《第9章多元线性回归(精品).ppt(63页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、作者作者 贾俊平贾俊平统计学统计学统统 计计 学学(第三版第三版)200820082008年8月9-2统计学统计学STATISTICS(第三版第三版)上好的模型选择可遵循一个称为奥克姆剃刀(Occams Razor)的基本原理:最好的科学模型往往最简单,且能解释所观察到的事实。William Navidi统计名言统计名言2008年8月第第 9 章章 多元线性回归多元线性回归9.1 多元线性回归模型多元线性回归模型 9.2 拟合优度和显著性检验拟合优度和显著性检验9.3 多重共线性及其处理多重共线性及其处理9.4 利用回归方程进行预测利用回归方程进行预测9.5 虚拟自变量的回归虚拟自变量的回归2
2、008年8月9-4统计学统计学STATISTICS(第三版第三版)学习目标学习目标l多元线性回归模型、回归方程与估计的回多元线性回归模型、回归方程与估计的回归方程归方程l回归方程的拟合优度与显著性检验回归方程的拟合优度与显著性检验l多重共线性问题及其处理多重共线性问题及其处理l利用回归方程进行预测利用回归方程进行预测l虚拟自变量的回归虚拟自变量的回归l用用Excel和和SPSS进行回归分析进行回归分析2008年8月9-5统计学统计学STATISTICS(第三版第三版)身高受那些因素影响?身高受那些因素影响?决决定定身身高高的的因因素素是是什什么么?父父母母遗遗传传、生生活活环环境境、体体育育锻
3、锻炼炼,还是以上各因素的共同作用还是以上各因素的共同作用20042004年年1212月月,中中国国人人民民大大学学国国民民经经济济管管理理系系0202级级的的两两位位学学生生,对对人人大大在在校校生生进进行行了了问问卷卷调调查查。问问卷卷采采取取随随机机发发放放、当面提问当场收回当面提问当场收回调调查查的的样样本本量量为为9898人人,男男性性5555人人,女女性性4343人人。调调查查内内容容包包括括被被调调查查者者的的身身高高(单单位位:cm)cm)、性性别别、其其父父母母身身高高、是是否否经经常常参参加加体体育育锻锻炼炼、家家庭庭所所在在地地是是在在南南方方还还是是在在北北方方等等等等。
4、部部分分数数据据如如教教材材中中的的表表所所示示(1(1代代表表男男性性,0 0代代表表女女性性)父父亲亲身身高高、母母亲亲身身高高、性性别别是是不不是是影影响响子子女女身身高高的的主主要要因因素素呢呢?如如果果是是,子子女女身身高高与与这这些些因因素素之之间间能能否否建建立立一一个个线性关系方程,并根据这一方程对身高做出预测?线性关系方程,并根据这一方程对身高做出预测?这就是本章将要讨论的多元线性回归问题这就是本章将要讨论的多元线性回归问题 2008年8月9.1 多元线性回归模型多元线性回归模型 9.1.1 回归模型与回归方程回归模型与回归方程 9.1.2 参数的最小二乘估计参数的最小二乘估
5、计第第 9 章章 多元线性回归多元线性回归2008年8月9.1.1 回归模型与回归方程回归模型与回归方程9.1 多元多元线性回性回归模型模型2008年8月9-8统计学统计学STATISTICS(第三版第三版)多元回归模型多元回归模型(multiple linear regression model)1.一个因变量与两个及两个以上自变量的回归一个因变量与两个及两个以上自变量的回归2.描描述述因因变变量量 y y 如如何何依依赖赖于于自自变变量量 x x1 1 ,x x2 2 ,x xk k 和误差项和误差项 的方程,称为多元回归模型的方程,称为多元回归模型3.涉涉及及 k k 个自变量的多元线性
6、回归模型可表示为个自变量的多元线性回归模型可表示为 0 0 ,1 1,k k是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y y 是是x x1,1,,x x2 2 ,x xk k 的线性函数加上误差项的线性函数加上误差项 包包含含在在y y里里面面但但不不能能被被k k个个自自变变量量的的线线性性关关系系所解释的变异性所解释的变异性2008年8月9-9统计学统计学STATISTICS(第三版第三版)多元回归模型多元回归模型(基本假定基本假定)1.正态性。误差项是一个服从正态分布的随机变量,且期望值为0,即N(0,2)2.方差齐性。对于自变量x1,x2,xk的所有值,的方差 2
7、都相同3.独立性。对于自变量x1,x2,xk的一组特定值,它所对应的与任意一组其他值所对应的不相关2008年8月9-10统计学统计学STATISTICS(第三版第三版)多元线性回归方程多元线性回归方程(multiple linear regression equation)1.描述因变量 y 的平均值或期望值如何依赖于自变量 x1,x2,xk的方程2.多元线性回归方程的形式为 E(y)=0+1 x1+2 x2+k xk 1 1,k k称为偏回归系数称为偏回归系数 i i 表表示示假假定定其其他他变变量量不不变变,当当 x xi i 每每变变动一个单位时,动一个单位时,y y 的平均变动值的平均
8、变动值2008年8月9-11统计学统计学STATISTICS(第三版第三版)估计的多元线性回归的方程估计的多元线性回归的方程(estimated multiple linear regression equation)(estimated multiple linear regression equation)是是 估计值估计值 是是 y y 的估计值的估计值1.用样本统计量 估计回归方程中的 参数 时得到的方程2.由最小二乘法求得3.一般形式为2008年8月9.1.2 参数的最小二乘估计参数的最小二乘估计9.1 多元多元线性回性回归模型模型2008年8月9-13统计学统计学STATISTIC
9、S(第三版第三版)参数的最小二乘估计参数的最小二乘估计2.求求解解各回归参数的标准方程如下各回归参数的标准方程如下1.使使因因变变量量的的观观察察值值与与估估计计值值之之间间的的离离差差平平方方和和达到最小来求得达到最小来求得 。即即2008年8月9-14统计学统计学STATISTICS(第三版第三版)参数的最小二乘法参数的最小二乘法(例题分析例题分析)【例例】一家大型商业银行在多个地区设有分行,为弄清楚不良贷款形成的原因,抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程,并解释各回归系数
10、的含义 用用Excel进行回归进行回归2008年8月9-15统计学统计学STATISTICS(第三版第三版)参数的最小二乘估计参数的最小二乘估计(例题分析例题分析)F F检验检验检验检验t t 检验检验检验检验偏回归系数偏回归系数偏回归系数偏回归系数2008年8月 9.2 拟合优度和显著性检验拟合优度和显著性检验 9.2.1 回归方程的拟合优度回归方程的拟合优度 9.2.2 显著性检验显著性检验第第 9 章章 多元线性回归多元线性回归2008年8月9.2.1 回归方程的拟合优度回归方程的拟合优度9.2 拟合合优度和度和显著性著性检验2008年8月9-18统计学统计学STATISTICS(第三版
11、第三版)多重判定系数多重判定系数(multiple coefficient of determination)1.回归平方和占总平方和的比例2.计算公式为3.因变量取值的变差中,能被估计的多元回归方程所解释的比例 2008年8月9-19统计学统计学STATISTICS(第三版第三版)修正多重判定系数修正多重判定系数(adjusted multiple coefficient of determinationadjusted multiple coefficient of determination)1.用样本量n和自变量的个数k去修正R2得到 2.计算公式为3.避免增加自变量而高估 R24.意
12、义与 R2类似5.数值小于R2 用用Excel进行回归进行回归2008年8月9-20统计学统计学STATISTICS(第三版第三版)多重相关系数多重相关系数(multiple correlation coefficient)1.多重判定系数的平方根R2.反映因变量y与k个自变量之间的相关程度3.实际上R度量的是因变量的观测值 与由多元回归方程得到的预测值 之间的关系强度,即多重相关系数R等于因变量的观测值 与估计值 之间的简单相关系数即 4.(一元相关系数r也是如此,即 。读者自己去验证)2008年8月9-21统计学统计学STATISTICS(第三版第三版)估计标准误差估计标准误差 Se1.对
13、误差项的标准差 的一个估计值2.衡量多元回归方程的拟合优度3.计算公式为 用用Excel进行回归进行回归2008年8月9.2.2 显著性检验显著性检验9.2 拟合合优度和度和显著性著性检验2008年8月9-23统计学统计学STATISTICS(第三版第三版)线性关系检验线性关系检验1.检验因变量与所有自变量之间的线性关系是否显著2.也被称为总体的显著性总体的显著性检验3.检验方法是将回归均方(MSR)同残差均方(MSE)加以比较,应应用用 F 检检验验来分析二者之间的差别是否显著n n如如果果是是显显著著的的,因因变变量量与与自自变变量量之之间间存存在在线线性性关系关系n n如如果果不不显显著
14、著,因因变变量量与与自自变变量量之之间间不不存存在在线线性性关系关系2008年8月9-24统计学统计学STATISTICS(第三版第三版)线性关系检验线性关系检验1.提出提出假设假设n nH H0 0:1 1 2 2 k k=0 =0 线性关系不显著线性关系不显著n nH H1 1:1 1,2 2,k k至少有一个不等于至少有一个不等于0 02.2.计算计算检验统计量检验统计量F F3.确定确定显著性水平显著性水平 和分子自由度和分子自由度k k、分母自由度、分母自由度n-n-k k-1-1找出临界值找出临界值F F 4.4.作出作出决策:若决策:若F F F F ,拒绝拒绝H H0 0 用用
15、用用ExcelExcel进行回归进行回归进行回归进行回归2008年8月9-25统计学统计学STATISTICS(第三版第三版)回归系数的检验回归系数的检验1.线性关系检验通过后,对各个回归系数有选择地进行一次或多次检验2.究竟要对哪几个回归系数进行检验,通常需要在建立模型之前作出决定3.对回归系数检验的个数进行限制,以避免犯过多的第类错误(弃真错误)4.对每一个自变量都要单独进行检验5.应用 t 检验统计量2008年8月9-26统计学统计学STATISTICS(第三版第三版)回归系数的检验回归系数的检验(步骤步骤)1.提出假设n nH H0 0:i i=0 (=0 (自变量自变量 x xi i
16、 与与 因变量因变量 y y 没有线性关系没有线性关系)n nH H1 1:i i 0 (0 (自变量自变量 x xi i 与与 因变量因变量 y y有线性关系有线性关系)2.计算检验的统计量 t3.确定显著性水平,并进行决策 t t t t,拒绝拒绝H H0 0;t t t t,不拒绝,不拒绝H H0 0 用用用用Excel Excel 进行回归进行回归进行回归进行回归2008年8月9-27统计学统计学STATISTICS(第三版第三版)回归系数的推断回归系数的推断(置信区间置信区间)回归系数在(1-)%置信水平下的置信区间为 回归系数的回归系数的抽样标准差抽样标准差 用用Excel进行回归
17、进行回归2008年8月 9.3 多重共线性及其处理多重共线性及其处理 9.3.1 多重共线性及其识别多重共线性及其识别 9.3.2 变量选择与逐步回归变量选择与逐步回归第第 9 章章 多元线性回归多元线性回归2008年8月9.3.1 多重共线性及其识别多重共线性及其识别9.3 多重共多重共线性及其性及其处理理2008年8月9-30统计学统计学STATISTICS(第三版第三版)多重共线性多重共线性(multicollinearity)1.回归模型中两个或两个以上的自变量彼此相关2.多重共线性带来的问题有 n n可可能能会会使使回回归归的的结结果果造造成成混混乱乱,甚甚至至会会把把分分析引入歧途
18、析引入歧途 n n可可能能对对参参数数估估计计值值的的正正负负号号产产生生影影响响,特特别别是是各各回回归归系系数数的的正正负负号号有有可可能能同同预预期期的的正正负负号相反号相反 用用Excel进行回归进行回归2008年8月9-31统计学统计学STATISTICS(第三版第三版)多重共线性的识别多重共线性的识别1.检检测测多多重重共共线线性性的的最最简简单单的的一一种种办办法法是是计计算算模模型型中中各各对对自自变变量量之之间间的的相相关关系系数数,并并对对各各相相关关系系数数进行显著性检验进行显著性检验n n若若有有一一个个或或多多个个相相关关系系数数显显著著,就就表表示示模模型型中中所所
19、用用的自变量之间相关,存在着多重共线性的自变量之间相关,存在着多重共线性2.如果出现下列情况,暗示存在多重共线性如果出现下列情况,暗示存在多重共线性n n模型中各对自变量之间显著相关模型中各对自变量之间显著相关n n当当模模型型的的线线性性关关系系检检验验(F F检检验验)显显著著时时,几几乎乎所所有有回回归系数的归系数的t t检验却不显著检验却不显著 n n回归系数的正负号与预期的相反回归系数的正负号与预期的相反 用用Excel进行回归进行回归2008年8月9-32统计学统计学STATISTICS(第三版第三版)多重共线性的处理多重共线性的处理1.将一个或多个相关的自变量从模型中剔除,使保留
20、的自变量尽可能不相关2.如果要在模型中保留所有的自变量,则应n n避免根据避免根据 t t 统计量对单个参数进行检验统计量对单个参数进行检验n n对对因因变变量量值值的的推推断断(估估计计或或预预测测)的的限限定定在在自变量样本值的范围内自变量样本值的范围内 用用Excel进行回归进行回归2008年8月9-33统计学统计学STATISTICS(第三版第三版)提提 示示1.在建立多元线性回归模型时,不要试图引入更多的自变量,除非确实有必要2.在社会科学的研究中,由于所使用的大多数数据都是非试验性质的,因此,在某些情况下,得到的结果往往并不令人满意,但这不一定是选择的模型不合适,而是数据的质量不好
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元 线性 回归 精品
限制150内