多元线性回归 讲稿.ppt

《多元线性回归 讲稿.ppt》由会员分享，可在线阅读，更多相关《多元线性回归 讲稿.ppt（70页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多元线性回归 第一页，讲稿共七十页哦好的模型选择可遵循一个称为奥克姆剃刀(Occams Razor)的基本原理：最好的科学模型往往最简单，且能解释所观察到的事实。William Navidi第二页，讲稿共七十页哦第 10 章 多元线性回归10.1 多元线性回归模型多元线性回归模型 10.2 拟合优度和显著性检验拟合优度和显著性检验10.3 多重共线性及其处理多重共线性及其处理10.4 利用回归方程进行预测利用回归方程进行预测10.5 哑变量回归哑变量回归第三页，讲稿共七十页哦学习目标l多元线性回归模型、回归方程与估计的回多元线性回归模型、回归方程与估计的回归方程归方程l回归方程的拟合优度与显著

2、性检验回归方程的拟合优度与显著性检验l多重共线性问题及其处理多重共线性问题及其处理l利用回归方程进行预测利用回归方程进行预测l哑变量的回归哑变量的回归l用用Excel和和SPSS进行回归分析进行回归分析第四页，讲稿共七十页哦身高受那些因素影响？决定身高的因素是什么？父母遗传、生活环境、体育锻炼，还是以上各因素的共同作用2004年12月，中国人民大学国民经济管理系02级的两位学生，对人大在校生进行了问卷调查。问卷采取随机发放、当面提问当场收回调查的样本量为98人，男性55人，女性43人。调查内容包括被调查者的身高(单位：cm)、性别、其父母身高、是否经常参加体育锻炼、家庭所在地是在南方还是在北方

3、等等。部分数据如教材中的表所示(1代表男性，0代表女性)父亲身高、母亲身高、性别是不是影响子女身高的主要因素呢？如果是，子女身高与这些因素之间能否建立一个线性关系方程，并根据这一方程对身高做出预测？这就是本章将要讨论的多元线性回归问题 第五页，讲稿共七十页哦第 10 章 多元线性回归第六页，讲稿共七十页哦10.1.1 回归模型与回归方程第七页，讲稿共七十页哦多元回归模型(multiple linear regression model)v一个因变量与两个及两个以上自变量的回归v描述因变量 y 如何依赖于自变量 x1，x2，xk 和误差项 的方程，称为多元回归模型v涉及 k 个自变量的多元线性回

4、归模型可表示为kkxxxy22110第八页，讲稿共七十页哦多元回归模型(基本假定)v正态性。误差项是一个服从正态分布的随机变量，且期望值为0，即N(0,2)v方差齐性。对于自变量x1，x2，xk的所有值，的方差 2都相同v独立性。对于自变量x1，x2，xk的一组特定值，它所对应的与任意一组其他值所对应的不相关第九页，讲稿共七十页哦多元线性回归方程(multiple linear regression equation)v描述因变量 y 的平均值或期望值如何依赖于自变量 x1，x2，xk的方程v多元线性回归方程的形式为1.E(y)=0+1 x1+2 x2+k xk第十页，讲稿共七十页哦二元回归方

5、程的直观解释22110 xxy22110)(xxyE第十一页，讲稿共七十页哦估计的多元线性回归的方程(estimated multiple linear regression equation)k,210k,210kkxxxy22110k,210k,210y v用样本统计量 估计回归方程中的 参数 时得到的方程v由最小二乘法求得v一般形式为第十二页，讲稿共七十页哦10.1.2 参数的最小二乘估计第十三页，讲稿共七十页哦参数的最小二乘估计最小niiniiikeyyQ1212210)(),()21(00000kiQQiii，k,210第十四页，讲稿共七十页哦参数的最小二乘法(例题分析)第十五页，讲

6、稿共七十页哦参数的最小二乘估计(Excel输出结果)第十六页，讲稿共七十页哦参数的最小二乘估计(SPSS输出结果)第十七页，讲稿共七十页哦第 10 章 多元线性回归第十八页，讲稿共七十页哦10.2.1 回归方程的拟合优度第十九页，讲稿共七十页哦多重判定系数(multiple coefficient of determination)v回归平方和占总平方和的比例v计算公式为v因变量取值的变差中，能被估计的多元回归方程所解释的比例 SSTSSESSTSSRyyyyRniinii112122第二十页，讲稿共七十页哦修正多重判定系数(adjusted multiple coefficient of d

7、etermination)v用样本量n和自变量的个数k去修正R2得到 v计算公式为v避免增加自变量而高估 R2v意义与 R2类似v数值小于R2111122knnRRa第二十一页，讲稿共七十页哦多重相关系数(multiple correlation coefficient)v多重判定系数的平方根Rv反映因变量y与k个自变量之间的相关程度v实际上R度量的是因变量的观测值 与由多元回归方程得到的预测值 之间的关系强度，即多重相关系数R等于因变量的观测值 与估计值 之间的简单相关系数即 v (一元相关系数r也是如此，即 。读者自己去验证)iy iyiyiy y yxyrryyrRR2第二十二页，讲稿共

8、七十页哦估计标准误差 Sev对误差项的标准差 的一个估计值v衡量多元回归方程的拟合优度v计算公式为MSEknSSEknyySniiie1112第二十三页，讲稿共七十页哦10.2.2 显著性检验第二十四页，讲稿共七十页哦线性关系检验v检验因变量与所有自变量之间的线性关系是否显著v也被称为总体的显著性总体的显著性检验v检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用应用 F 检验检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系1.如果不显著，因变量与自变量之间不存在线性关系第二十五页，讲稿共七十页哦线性关系检验v提出假设H0：12k=0 线性关系不显著H

9、1：1，2，k至少有一个不等于0)1,()1()1(1212knkFknyykyyknSSEkSSRFniinii第二十六页，讲稿共七十页哦回归系数的检验v线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验v究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定v对回归系数检验的个数进行限制，以避免犯过多的第类错误(弃真错误)v对每一个自变量都要单独进行检验v应用 t 检验统计量第二十七页，讲稿共七十页哦回归系数的检验(步骤)v提出假设H0：i=0 (自变量 xi 与 因变量 y 没有线性关系)H1：i 0 (自变量 xi 与 因变量 y有线性关系)1.计算检验的统计量 t)

10、1(kntStii第二十八页，讲稿共七十页哦回归系数的推断(置信区间)v回归系数在(1-)%置信水平下的置信区间为v v v isknti2)1(2xxssiei第二十九页，讲稿共七十页哦第 10 章 多元线性回归第三十页，讲稿共七十页哦10.3.1 多重共线性及其识别第三十一页，讲稿共七十页哦多重共线性(multicollinearity)v回归模型中两个或两个以上的自变量彼此相关v多重共线性带来的问题有 可能会使回归的结果造成混乱，甚至会把分析引入歧途 1.可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同预期的正负号相反 第三十二页，讲稿共七十页哦多重共线性的识别v检测多

11、重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性v如果出现下列情况，暗示存在多重共线性模型中各对自变量之间显著相关当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著 回归系数的正负号与预期的相反第三十三页，讲稿共七十页哦相关矩阵及其检验(SPSS)v SPSS 第三十四页，讲稿共七十页哦多重共线性的处理v将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关v如果要在模型中保留所有的自变量，则应避免根据 t 统计量对单个参数进行检验1.对因变量

12、值的推断(估计或预测)的限定在自变量样本值的范围内第三十五页，讲稿共七十页哦10.3.2 变量选择与逐步回归第三十六页，讲稿共七十页哦变量选择过程v在建立回归模型时，对自变量进行筛选v选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著地减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量1.变量选择的方法主要有：向前

13、选择、向后剔除、逐步回归、最优子集等 第三十七页，讲稿共七十页哦向前选择(forward selection)v从模型中没有自变量开始v对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量(P值最小的)，并将其首先引入模型 v分别拟合引入模型外的k-1个自变量的二元线性回归模型 v如此反复进行，直至模型外的自变量均无统计显著性为止第三十八页，讲稿共七十页哦向后剔除(backward elimination)v先对因变量拟合包括所有k个自变量的回归模型。然后考察p(pk)个去掉一个自变量的模型(这些模型中在每一个都有k-1个自变量)，使模型的SSE值

14、减小最少的自变量被挑选出来并从模型中剔除v考察p-1个再去掉一个自变量的模型(这些模型中每一个都有k-2个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除v如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止第三十九页，讲稿共七十页哦逐步回归(stepwise regression)v将向前选择和向后剔除两种方法结合起来筛选自变量v在增加了一个自变量后，它会对模型中所有的变量进行考察，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除v按照方法不停地增加变量并考虑剔除以前增加的变

15、量的可能性，直至增加变量已经不能导致SSE显著减少v在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中第四十页，讲稿共七十页哦参数的最小二乘估计(逐步回归)第四十一页，讲稿共七十页哦用SPSS进行逐步回归(stepwise regression)v第第1步：步：选择【Analyze】下拉菜单，并选择 v 【Regression-linear】选项进入主对话框v第第2步：步：在主对话框中将因变量选入【Dependent】，将v 所有自变量选入【Independent(s)】，并在v 【Method】下选择【Stepwise】v第第3

16、步：步：点击【Options】，并在【Stepping Method v Criteria】下选中【Use Probability of F】，并在v 【Entry】框中输入增加变量所要求的显著性水平v (隐含值为0.05，一般不用改变)；在v 【Removal】输入剔除变量所要求的显著性水平v (隐含值为0.10，一般不用改变)。点击v 【Continue】回到主对话框第四十二页，讲稿共七十页哦用SPSS进行逐步回归(stepwise regression)v第第4步：步：(需要预测时)点击【Save】：v 在【Predicted Values】下选中v 【Unstandardized】(输

17、出点预测值)v 在【Prediction interval】下选中【Mean】和v 【Individual】(输出置信区间 和预测区间)v 在【Confidence Interval】中选择所要求的置 v 信水平(隐含值为95%，一般不用改变)v (需要残差分析时)在【Residuals】下选中所v 需的残差，点击【Continue】回到主对话v 框。点击【OK】第四十三页，讲稿共七十页哦逐步回归(例题分析SPSS输出结果)变量的进入和移出标准 第四十四页，讲稿共七十页哦逐步回归(例题分析SPSS输出结果)两个模型的主要统计量 第四十五页，讲稿共七十页哦逐步回归(例题分析SPSS输出结果)两个

18、模型的方差分析表 第四十六页，讲稿共七十页哦逐步回归(例题分析SPSS输出结果)两个模型的参数估计和检验 41032.0050.0433.0 xxy第四十七页，讲稿共七十页哦第 10 章 多元线性回归第四十八页，讲稿共七十页哦置信区间和预测区间(例题分析)第四十九页，讲稿共七十页哦用SPSS做回归面图 v第第1步：步：点击【Graphs】【Interactive-Scatterplot】v第第2步：步：点击点击【3D Coordine】，将各坐标轴变量拖，将各坐标轴变量拖入相应坐标轴入相应坐标轴v第第3步：步：点击点击【Fit】，在，在【method】下选择下选择【Regression】，在，

19、在【Prediction Lines】下选择下选择【Mean】和和【Individual】。点击。点击【确定确定】第五十页，讲稿共七十页哦置信区间和预测区间(例题分析)v不良贷款的不良贷款的置信面置信面和和预测面预测面41032.0050.0433.0 xxy第五十一页，讲稿共七十页哦第 10 章 多元线性回归第五十二页，讲稿共七十页哦10.5.1 在模型中引进哑变量第五十三页，讲稿共七十页哦哑变量(dummy variable)v也称虚拟变量。用数字代码表示的定性自变量v哑变量可有不同的水平只有两个水平的哑变量v比如，性别(男，女)有两个以上水平的哑变量v贷款企业的类型(家电，医药，其他)v

20、哑变量的取值为0，1女男01x第五十四页，讲稿共七十页哦在回归中引进哑变量v回归模型中使用哑变量时，称为哑变量回归v当定性变量只有两个水平时，可在回归中引入一个哑变量比如，性别(男，女)1.一般而言，如果定性自变量有k个水平，需要在回归中模型中引进k-1个哑变量其他水平水平其他水平水平其他水平水平011,021,011121kxxxk第五十五页，讲稿共七十页哦在回归中引进哑变量(例题分析)第五十六页，讲稿共七十页哦10.5.2 含有一个哑变量的回归 第五十七页，讲稿共七十页哦在回归中引进哑变量(例题分析)第五十八页，讲稿共七十页哦哑变量回归(例题分析)引进哑变量时，回归方程表示为E(y)=0+

21、1x男(x=0)：E(y)=0男学生考试成绩的期望值女(x=1)：E(y)=0+1女学生考试成绩的期望值注意：当指定哑变量0，1时0总是代表与哑变量值0所对应的那个分类变量水平的平均值1总是代表与哑变量值1所对应的那个分类变量水平的平均响应与哑变量值0所对应的那个分类变量水平的平均值的差值，即 平均值的差值=(0+1)-0=1第五十九页，讲稿共七十页哦哑变量回归(例题分析)考试成绩与性别的回归v男 学 生 考试分数的平均值v女学生与男学生平均考试分数的差值第六十页，讲稿共七十页哦用SPSS进行哑变量回归(有一个哑变量和有一个数值变量)v第第1步：步：选择【Analyze】，并选择【Genera

22、l Linear Model-Univaiate】进入主对话框v第第2步：步：将因变量(考试成绩)选入【Dependent Variable】，将自变量(性别)选入【Fixed Factor(s)】(模型中还含有一个数值自变量时，将数值自变量选入【Covariate(s)】)v第第3步：步：点击【Model】，并点击【Custom】；将性别F选入【Model】(若模型中还含有工作年限自变量时，将工作年限C也选入【Model】；在【Build Term(s)】下选择【Main effects】。点击【Continue】回到主对话框。点击【Options】，在【Display】下选中【Parame

23、ter estimates】(估计模型中的参数)。点击【Continue】回到主对话框。点击【OK】第六十一页，讲稿共七十页哦哑变量回归(例题分析只含一个哑变量)SPSS的输出结果 T Te es st ts s o of f B Be et tw we ee en n-S Su ub bj je ec ct ts s E Ef ff fe ec ct ts sDependent Variable:考试成绩885.063a1885.0635.326.03788357.563188357.563531.731.000885.0631885.0635.326.0372326.37514166.17

24、091569.000163211.43815SourceCorrected ModelIntercept性别ErrorTotalCorrected TotalType III Sumof SquaresdfMean SquareFSig.R Squared=.276(Adjusted R Squared=.224)a.P Pa ar ra am me et te er r E Es st ti im ma at te es sDependent Variable:考试成绩81.7504.55817.937.00071.97591.525-14.8756.445-2.308.037-28.699

25、-1.0510a.ParameterIntercept性别=男性别=女BStd.ErrortSig.Lower Bound Upper Bound95%Confidence IntervalThis parameter is set to zero because it is redundant.a.v方差分析表：方差分析表：F=5.326，Sig.=0.037，回归模型，回归模型显著显著v男男=1，女，女=0。v女学生考试成绩的期望值女学生考试成绩的期望值=81.75分；男学生比女分；男学生比女学生平均低学生平均低14.875分分第六十二页，讲稿共七十页哦哑变量回归(例题分析)第六十三页，讲

26、稿共七十页哦哑变量回归(例题分析Excel)Excel输出的结果输出的结果第六十四页，讲稿共七十页哦哑变量回归(例题分析SPSS)第六十五页，讲稿共七十页哦哑变量回归(例题分析SPSS)第六十六页，讲稿共七十页哦哑变量回归(例题分析SPSS)均值图第六十七页，讲稿共七十页哦哑变量回归(例题分析)引进哑变量时，回归方程写为 E(y)=0+1x1+2x2女(x2=0)：E(y|女性)=0+1x1男(x2=1)：E(y|男性)=(0+2)+1x1 0的含义表示：女性职工的期望月工资收入(0+2)的含义表示：男性职工的期望月工资收入 1含义表示：工作年限每增加1年，男性或女性工资的平均增加值 2含义表示：男性职工的期望月工资收入与女性职工的期望月工资收入之间的差值(0+2)-0=2第六十八页，讲稿共七十页哦本章小结l多元线性回归模型、回归方程与估计的多元线性回归模型、回归方程与估计的回归方程回归方程l回归方程的拟合优度与显著性检验回归方程的拟合优度与显著性检验l多重共线性问题及其处理多重共线性问题及其处理l利用回归方程进行预测利用回归方程进行预测l哑变量回归哑变量回归l用用Excel和和SPSS进行回归分析进行回归分析第六十九页，讲稿共七十页哦结结 束束第七十页，讲稿共七十页哦