第十章 多元相关与回归分析精选文档.ppt
《第十章 多元相关与回归分析精选文档.ppt》由会员分享,可在线阅读,更多相关《第十章 多元相关与回归分析精选文档.ppt(82页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第十章 多元相关与回归分析本讲稿第一页,共八十二页学习目标1.回归模型、回归方程、估计的回归方程回归模型、回归方程、估计的回归方程2.回归方程的拟合优度回归方程的拟合优度3.回归方程的显著性检验回归方程的显著性检验4.利用回归方程进行估计和预测利用回归方程进行估计和预测5.非线性回归非线性回归6.用用 SPSS 进行回归分析进行回归分析本讲稿第二页,共八十二页10.1 多元线性回归模型10.1.1 多元回归模型与回归方程多元回归模型与回归方程10.1.2 估计的多元回归方程估计的多元回归方程10.1.3 参数的最小二乘估计参数的最小二乘估计本讲稿第三页,共八十二页多元回归模型与回归方程本讲稿第
2、四页,共八十二页多元回归模型(multiple regression model)1.一个因变量与两个及两个以上自变量的回归2.描述因变量 y 如何依赖于自变量 x1,x2,xk 和误差项 的方程,称为多元回归模型3.涉及 k 个自变量的多元回归模型可表示为 0 0 ,1 1,k k是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y y 是是x x1,1,,x x2 2 ,x xk k 的线性函数加上误差项的线性函数加上误差项 包包含含在在y y里里面面但但不不能能被被k k个个自自变变量量的的线线性性关关系系所所解解释的变异性释的变异性本讲稿第五页,共八十二页多元回归模型(基
3、本假定)1.误差项是一个期望值为0的随机变量,即E()=02.对于自变量x1,x2,xk的所有值,的方差 2都相同3.误差项是一个服从正态分布的随机变量,即N(0,2),且相互独立本讲稿第六页,共八十二页多元回归方程(multiple regression equation)1.描述因变量 y 的平均值或期望值如何依赖于自变量 x1,x2,xk的方程2.多元线性回归方程的形式为 E(y)=0+1 x1+2 x2+k xk 1 1,k k称为偏回归系数称为偏回归系数 i i 表表示示假假定定其其他他变变量量不不变变,当当 x xi i 每每变变动动一个单位时,一个单位时,y y 的平均变动值的平
4、均变动值本讲稿第七页,共八十二页二元回归方程的直观解释二元线性回归模型二元线性回归模型二元线性回归模型二元线性回归模型(观察到的观察到的y y)回归面回归面 0 0 i ix x1 1y yx x2 2(x x1 1,x x2 2)本讲稿第八页,共八十二页估计的多元回归方程本讲稿第九页,共八十二页估计的多元回归的方程估计的多元回归的方程(estimated multiple regression equation)(estimated multiple regression equation)1.用样本统计量 估计回归方程中的 参数 时得到的方程2.由最小二乘法求得3.一般形式为 是是 的的估
5、计值估计值 是 y y 的估计值的估计值 本讲稿第十页,共八十二页参数的最小二乘估计本讲稿第十一页,共八十二页参数的最小二乘法2.2.求求解解各回归参数的标准方程如下1.1.使使因变量的观察值与估计值之间的离差平方和达到最小来求得 。即。即本讲稿第十二页,共八十二页参数的最小二乘法(例题分析)【例例】一一家家大大型型商商业业银银行行在在多多个个地地区区设设有有分分行行,为为弄弄清清楚楚不不良良贷贷款款形形成成的的原原因因,抽抽取取了了该该银银行行所所属属的的2525家家分分行行20022002年年的的有有关关业业务务数数据据。试试建建立立不不良良贷贷款款y与贷款余额x1、累累计计应应收收贷贷款
6、款x2、贷款项目个数x3和固定资产投资额x4 4的线性回归方程,并解释各回归系数的含义 本讲稿第十三页,共八十二页10.2 10.2 回归方程的拟合优度回归方程的拟合优度10.2.1 多重判定系数多重判定系数10.2.2 估计标准误差估计标准误差本讲稿第十四页,共八十二页多重判定系数本讲稿第十五页,共八十二页多重判定系数(multiple coefficient of determination)1.1.回归平方和占总平方和的比例回归平方和占总平方和的比例2.2.计算公式为计算公式为3.3.因因变变量量取取值值的的变变差差中中,能能被被估估计计的的多多元元回回归归方方程程所解释的比例所解释的比
7、例 本讲稿第十六页,共八十二页在样本容量一定的条件下,不断向模型中在样本容量一定的条件下,不断向模型中增加自变量,即使新增的变量与增加自变量,即使新增的变量与Y Y不相关,不相关,模型的模型的R R2 2也可能上升,至少不会下降。也可能上升,至少不会下降。在实际应用中,研究人员更欢迎简单的模在实际应用中,研究人员更欢迎简单的模型,这样的模型更简单和易于解释。如果型,这样的模型更简单和易于解释。如果根据根据R R2 2来选择模型,显然会倾向于复杂的模来选择模型,显然会倾向于复杂的模型。型。更常用的指标是更常用的指标是“修正后的修正后的R Ra a2 2”。修正的判定系数修正的判定系数本讲稿第十七
8、页,共八十二页修正多重判定系数(adjusted multiple coefficient of determination)1.用样本量n和自变量的个数k去修正R2得到 2.计算公式为3.避免增加自变量而高估 R24.意义与 R2类似5.数值小于R2本讲稿第十八页,共八十二页估计标准误差 Se1.对误差项的标准差 的一个估计值2.衡量多元回归方程的拟合优度3.计算公式为本讲稿第十九页,共八十二页12.3 显著性检验12.3.1 线性关系检验线性关系检验12.3.2 回归系数检验和推断回归系数检验和推断本讲稿第二十页,共八十二页线性关系检验本讲稿第二十一页,共八十二页线性关系检验1.检验因变量
9、与所有自变量之间的线性关系是否显著2.也被称为总体的显著性总体的显著性检验3.检验方法是将回归均方(MSR)同残差均方(MSE)加以比较,应应用用 F 检检验验来分析二者之间的差别是否显著如果是显著的,因变量与自变量之间存在线性关系如果不显著,因变量与自变量之间不存在线性关系本讲稿第二十二页,共八十二页线性关系检验1.1.提出假设提出假设H H0 0:1 1 2 2 k k=0 =0 线性关系不显著线性关系不显著H H1 1:1 1,2 2,k k至少有一个不等于至少有一个不等于0 02.2.2.2.计算检验统计量计算检验统计量计算检验统计量计算检验统计量F F3.3.3.3.确定显著性水平确
10、定显著性水平确定显著性水平确定显著性水平 和分子自由度和分子自由度和分子自由度和分子自由度k k k k、分母自由度、分母自由度、分母自由度、分母自由度n-kn-kn-kn-k-1-1-1-1找出临界值找出临界值找出临界值找出临界值F F 4.4.作出决策:若作出决策:若F F F F F F F F ,拒绝,拒绝,拒绝,拒绝H H0 0 0 0本讲稿第二十三页,共八十二页回归系数检验和推断本讲稿第二十四页,共八十二页回归系数检验和推断 回归方程显著,并不意味着每个解释变量对因变量回归方程显著,并不意味着每个解释变量对因变量Y Y的影的影响都重要响都重要,因此需要进行检验:因此需要进行检验:回
11、归系数检验的必要性回归方程显著回归方程显著每个回归系数每个回归系数都显著都显著本讲稿第二十五页,共八十二页回归系数的检验回归系数的检验(步骤步骤)1.提出假设H0:i=0 (自变量 xi 与 因变量 y 没有线性关系)H1:i 0 (自变量 xi 与 因变量 y有线性关系)2.计算检验的统计量 t3.确定显著性水平确定显著性水平,并进行决策 t t t t,拒绝,拒绝H H0 0;t t t (25-2)=2.0687,所所以以均均拒拒绝绝原原假假设设,说说明明这这4个个自自变变量量两两两两之之间间都都有有显显著著的的相相关关关关系系2.由由 表表 中中 的的 结结 果果 可可 知知,回回 归
12、归 模模 型型 的的 线线 性性 关关 系系 显显 著著(Significance-F1.03539E-06=0.05)。这也暗示了模型中存在多重共线性。这也暗示了模型中存在多重共线性3.固固定定资资产产投投资资额额的的回回归归系系数数为为负负号号(-0.029193),与与预预期期的的不一致不一致本讲稿第三十五页,共八十二页多重共线性问题的处理多重共线性问题的处理本讲稿第三十六页,共八十二页多重共线性(问题的处理)1.1.将将一一个个或或多多个个相相关关的的自自变变量量从从模模型型中中剔剔除除,使保留的自变量尽可能不相关使保留的自变量尽可能不相关如果要在模型中保留所有的自变量,则应如果要在模
13、型中保留所有的自变量,则应避免根据避免根据 t t 统计量对单个参数进行检验统计量对单个参数进行检验对对因因变变量量值值的的推推断断(估估计计或或预预测测)的的限限定定在在自自变量样本值的范围内变量样本值的范围内本讲稿第三十七页,共八十二页多元回归中的变量筛选多元回归中的变量筛选在多元回归中,预先选定的自变量不一定都对在多元回归中,预先选定的自变量不一定都对Y Y有显有显著的影响。有一些统计方法可以帮助我们从众多可能著的影响。有一些统计方法可以帮助我们从众多可能的自变量中筛选出重要的自变量。的自变量中筛选出重要的自变量。SPSSSPSS软件提供了多种筛选自变量的方法:软件提供了多种筛选自变量的
14、方法:“向前引入法(向前引入法(ForwardForward)”“向后剔除法(向后剔除法(BackwardBackward)”“逐步引入逐步引入剔除法(剔除法(StepwiseStepwise)”本讲稿第三十八页,共八十二页变量选择过程1.1.在建立回归模型时,对自变量进行筛选在建立回归模型时,对自变量进行筛选2.2.选择自变量的原则是对统计量进行显著性检验选择自变量的原则是对统计量进行显著性检验将将一一个个或或一一个个以以上上的的自自变变量量引引入入到到回回归归模模型型中中时时,是是否否使使得得残残差差平平方方和和(SSESSE)有有显显著著的的减减少少。如如果果增增加加一一个个自自变变量量
15、使使SSESSE的的减减少少是是显显著著的的,则则说说明明有有必必要要将将这这个个自自变变量量引引入入回回归归模模型型,否否则则,就没有必要将这个自变量引入回归模型就没有必要将这个自变量引入回归模型确确定定引引入入自自变变量量是是否否使使SSESSE有有显显著著减减少少的的方方法法,就就是是使使用用F F统统计计量量的的值值作作为为一一个个标标准准,以以此此来来确确定定是是在在模模型型中中增增加加一一个个自自变变量,还是从模型中剔除一个自变量量,还是从模型中剔除一个自变量3.3.变量选择的方法主要有:变量选择的方法主要有:逐步回归、向前选择、向后剔除逐步回归、向前选择、向后剔除本讲稿第三十九页
16、,共八十二页向前选择(forward selection)1.1.从模型中没有自变量开始从模型中没有自变量开始2.2.对对k k个个自自变变量量分分别别拟拟合合对对因因变变量量的的一一元元线线性性回回归归模模型型,共共有有k k个个,然然后后找找出出F F统统计计量量的的值值最最高高的的模模型型及及其其自自变变量量,并将其首先引入模型并将其首先引入模型 3.3.分别拟合引入模型外的分别拟合引入模型外的k k-1-1个自变量的线性回归模型个自变量的线性回归模型 4.4.如如此此反反复复进进行行,直直至至模模型型外外的的自自变变量量均均无无统统计计显显著著性为止性为止本讲稿第四十页,共八十二页向后
17、剔除(backward elimination)1.1.先先对对因因变变量量拟拟合合包包括括所所有有k k个个自自变变量量的的回回归归模模型型。然然后后考考察察p p(p p k k)个个去去掉掉一一个个自自变变量量的的模模型型(这这些些模模型型中中每每一一个个都都有有的的k k-1-1个个自自变变量量),使使模模型型的的SSESSE值值减减小小最最少少的的自自变变量量被被挑挑选选出出来来并并从从模模型型中中剔剔除除2.2.考考察察p-1p-1个个再再去去掉掉一一个个自自变变量量的的模模型型(这这些些模模型型中中在在每每一一个个都都有有k k-2-2个个的的自自变变量量),使使模模型型的的SS
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第十章 多元相关与回归分析精选文档 第十 多元 相关 回归 分析 精选 文档
限制150内