第九章 多元相关与回归分析精选文档.ppt

第九章 多元相关与回归分析本讲稿第一页，共五十八页学习目标1.回归模型、回归方程、估计的回归方程回归模型、回归方程、估计的回归方程2.回归方程的拟合优度回归方程的拟合优度3.回归方程的显著性检验回归方程的显著性检验4.利用回归方程进行估计和预测利用回归方程进行估计和预测5.非线性回归非线性回归6.用用 SPSS 进行回归分析进行回归分析本讲稿第二页，共五十八页9.1 9.1 多元线性回归模型多元线性回归模型9.1.1 9.1.1 多元回归模型与回归方程多元回归模型与回归方程9.1.2 9.1.2 估计的多元回归方程估计的多元回归方程9.1.3 9.1.3 参数的最小二乘估计参数的最小二乘估计本讲稿第三页，共五十八页多元回归模型与回归方程多元回归模型与回归方程本讲稿第四页，共五十八页多元回归模型(multiple regression model)1.一个因变量与两个及两个以上自变量的回归2.描述因变量 y 如何依赖于自变量 x1，x2，xp 和误差项 的方程，称为多元回归模型3.涉及 p 个自变量的多元回归模型可表示为 0 0 ，1 1，p p是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y y 是是x x1,1,，x x2 2 ，x xp p 的线性函数加上误差项的线性函数加上误差项 包包含含在在y y里里面面但但不不能能被被p p个个自自变变量量的的线线性性关关系系所所解释的变异性解释的变异性本讲稿第五页，共五十八页多元回归模型多元回归模型(基本假定基本假定)1.1.误误差差项项是是一一个个期期望望值值为为0 0的的随随机机变变量量，即即E E()=0)=0对对于于自自变变量量x x1 1，x x2 2，x xp p的的所所有有值值，的方差的方差 2 2都相同都相同误误差差项项是是一一个个服服从从正正态态分分布布的的随随机机变变量，即量，即-N N(0,(0,2 2)，且相互独立且相互独立本讲稿第六页，共五十八页多元回归方程多元回归方程 (multiple regression equation)(multiple regression equation)1.描述因变量 y 的平均值或期望值如何依赖于自变量 x1，x2，xp的方程2.多元线性回归方程的形式为3.E(y)=0+1 x1+2 x2+p xp 1 1，p p称为偏回归系数称为偏回归系数 i i 表表示示假假定定其其他他变变量量不不变变，当当 x xi i 每每变变动一个单位时，动一个单位时，y y 的平均变动值的平均变动值本讲稿第七页，共五十八页估计的多元回归方程本讲稿第八页，共五十八页估计的多元回归的方程(estimated multiple regression equation)1.用样本统计量 估计回归方程中的 参数 时得到的方程2.由最小二乘法求得 是是 估计值估计值 是是 y y 的估计值的估计值本讲稿第九页，共五十八页参数的最小二乘估计本讲稿第十页，共五十八页参数的最小二乘法2.2.求求解解各回归参数的标准方程如下各回归参数的标准方程如下1.1.使使因因变变量量的的观观察察值值与与估估计计值值之之间间的的离离差差平平方方和和达达到到最最小小来求得来求得 。即。即本讲稿第十一页，共五十八页参数的最小二乘法(例题分析)【例例例例】一一家家大大型型商商业业银银行行在在多多个个地地区区设设有有分分行行，为为弄弄清清楚楚不不良良贷贷款款形形成成的的原原因因，抽抽取取了了该该银银行行所所属属的的2525家家分分行行20022002年年的的有有关关业业务务数数据据。试试建建立立不不良良贷贷款款y y与贷款余额x1 1、累计应收贷款x x2、贷款项目个数x x3和和固固定定资资产产投投资资额额x x4的线性回归方程，并解释各回归系数的含义 本讲稿第十二页，共五十八页9.2 9.2 回归方程的拟合优度回归方程的拟合优度9.2.1 9.2.1 多重判定系数多重判定系数9.2.2 9.2.2 估计标准误差估计标准误差本讲稿第十三页，共五十八页多重判定系数本讲稿第十四页，共五十八页多重判定系数多重判定系数(multiple coefficient of determination)1.回归平方和占总平方和的比例2.计算公式为3.因变量取值的变差中，能被估计的多元回归方程所解释的比例 本讲稿第十五页，共五十八页在样本容量一定的条件下，不断向模型中在样本容量一定的条件下，不断向模型中增加自变量，即使新增的变量与增加自变量，即使新增的变量与Y Y不相关，不相关，模型的模型的R R2 2也可能上升，至少不会下降。也可能上升，至少不会下降。在实际应用中，研究人员更欢迎简单的模在实际应用中，研究人员更欢迎简单的模型，这样的模型更简单和易于解释。如果型，这样的模型更简单和易于解释。如果根据根据R R2 2来选择模型，显然会倾向于复杂的模来选择模型，显然会倾向于复杂的模型。型。更常用的指标是更常用的指标是“修正后的修正后的R Ra a2 2”。修正的判定系数修正的判定系数本讲稿第十六页，共五十八页修正多重判定系数修正多重判定系数(adjusted multiple coefficient of determination)1.用样本容量用样本容量n和自变量的个数和自变量的个数p去修正去修正R2得到得到 2.计算公式为计算公式为3.避免增加自变量而高估避免增加自变量而高估 R24.意义与意义与 R2类似类似5.数值小于数值小于R2本讲稿第十七页，共五十八页估计标准误差 Sy1.对误差项的标准差 的一个估计值2.衡量多元回归方程的拟合优度3.计算公式为本讲稿第十八页，共五十八页9.3 显著性检验9.3.1 线性关系检验线性关系检验9.3.2 回归系数检验和推断回归系数检验和推断本讲稿第十九页，共五十八页线性关系检验本讲稿第二十页，共五十八页线性关系检验1.1.检检验验因因变变量量与与所所有有自自变变量量之之间间的的线线性性关关系系是是否否显显著，也被称为总体的显著性检验著，也被称为总体的显著性检验2.2.检检验验方方法法是是将将回回归归离离差差平平方方和和(SSRSSR)同同剩剩余余离离差差平平方方和和(SSESSE)加加以以比比较较，应应用用 F F 检检验验来来分分析析二二者之间的差别是否显著者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果是显著的，因变量与自变量之间存在线性关系如如果果不不显显著著，因因变变量量与与自自变变量量之之间间不不存存在在线线性性关关系系本讲稿第二十一页，共五十八页线性关系检验1.提出提出假设假设H0：12p=0 线性关系不显著H1：1，2，p至少有一个不等于02.2.计算检验统计量计算检验统计量F F3.3.3.3.确定显著性水平确定显著性水平确定显著性水平确定显著性水平 和分子自由度和分子自由度和分子自由度和分子自由度p p p p、分母自由度、分母自由度、分母自由度、分母自由度4.4.4.4.n-p n-p n-p n-p-1-1-1-1找出临界值找出临界值找出临界值找出临界值F F F F 4.4.4.4.作出决策：若作出决策：若作出决策：若作出决策：若F F F F F F F F ，拒绝，拒绝，拒绝，拒绝H H H H0 0 0 0本讲稿第二十二页，共五十八页回归系数检验和推断 回归方程显著，并不意味着每个解释变量对因变量回归方程显著，并不意味着每个解释变量对因变量Y Y的影响都重要的影响都重要,因此需要进行检验：因此需要进行检验：回归系数检验的必要性回归系数检验的必要性回归方程显著回归方程显著每个回归系数每个回归系数都显著都显著本讲稿第二十三页，共五十八页回归系数的检验(步骤)1.提出假设H0：i=0 (自变量 xi 与 因变量 y 没有线性关系)H1：i 0 (自变量 xi 与 因变量 y有线性关系)2.计算检验的统计量 t3.3.确定显著性水平确定显著性水平，并进行决策 t t t t，拒绝，拒绝H H0 0；t t t (25-2)=2.0687，所所以以均均拒拒绝绝原原假假设设，说说明明这这4个个自自变变量量两两两两之之间间都都有有显显著著的的相相关关关关系系2.由由表表Excel输输出出的的结结果果可可知知，回回归归模模型型的的线线性性关关系系显显著著(Significance-F1.03539E-06=0.05)。这也暗示了模型中存在多重共线性。这也暗示了模型中存在多重共线性3.固固定定资资产产投投资资额额的的回回归归系系数数为为负负号号(-0.029193)，与与预预期期的的不不一致一致本讲稿第三十二页，共五十八页多重共线性问题的处理本讲稿第三十三页，共五十八页多重共线性(问题的处理)1.1.将将一一个个或或多多个个相相关关的的自自变变量量从从模模型型中中剔剔除除，使保留的自变量尽可能不相关使保留的自变量尽可能不相关如果要在模型中保留所有的自变量，则应如果要在模型中保留所有的自变量，则应避免根据避免根据 t t 统计量对单个参数进行检验统计量对单个参数进行检验对对因因变变量量值值的的推推断断(估估计计或或预预测测)的的限限定定在在自自变量样本值的范围内变量样本值的范围内 Excel Excel 输出结果的分析输出结果的分析输出结果的分析输出结果的分析本讲稿第三十四页，共五十八页多元回归中的变量筛选在多元回归中，预先选定的自变量不一定都对在多元回归中，预先选定的自变量不一定都对Y Y有显著有显著的影响。有一些统计方法可以帮助我们从众多可能的自的影响。有一些统计方法可以帮助我们从众多可能的自变量中筛选出重要的自变量。变量中筛选出重要的自变量。SPSSSPSS软件提供了多种筛选自变量的方法：软件提供了多种筛选自变量的方法：“向前引入法（向前引入法（ForwardForward）”“向后剔除法（向后剔除法（BackwardBackward）”“逐步引入逐步引入剔除法（剔除法（StepwiseStepwise）”本讲稿第三十五页，共五十八页逐步回归的思想将变量逐一引入回归方程，先建立与将变量逐一引入回归方程，先建立与y y相关最密切的相关最密切的一元线性回归方程，然后再找出第二个变量，建立一元线性回归方程，然后再找出第二个变量，建立二元线性回归方程，二元线性回归方程，。在每一步中都要对引入变量的显著性作检验，仅当在每一步中都要对引入变量的显著性作检验，仅当其显著时才引入，而每引入一个新变量后，对前面其显著时才引入，而每引入一个新变量后，对前面已引进的变量又要逐一检验，一旦发现某变量变得已引进的变量又要逐一检验，一旦发现某变量变得不显著了，就要将它剔除。不显著了，就要将它剔除。这些步骤反复进行，直到引入的变量都是显著的而没这些步骤反复进行，直到引入的变量都是显著的而没有引入的变量都是不显著的时，就结束挑选变量的工有引入的变量都是不显著的时，就结束挑选变量的工作。作。可以设定引入和删除变量的条件。可以设定引入和删除变量的条件。本讲稿第三十六页，共五十八页9.5 非线性回归9.5.1 双曲线双曲线9.5.2 幂函数曲线幂函数曲线9.5.3 对数曲线对数曲线本讲稿第三十七页，共五十八页非线性回归非线性回归1.1.因变量因变量 y y 与与 x x 之间不是线性关系之间不是线性关系2.2.可通过变量代换转换成线性关系可通过变量代换转换成线性关系3.3.用最小二乘法求出参数的估计值用最小二乘法求出参数的估计值4.4.并并非非所所有有的的非非线线性性模模型型都都可可以以化化为为线线性性模型模型本讲稿第三十八页，共五十八页双曲线 0 0 01.基本形式：2.线性化方法令：y=1/y，x=1/x,则有y=+x3.图像本讲稿第三十九页，共五十八页幂函数曲线1.基本形式：2.线性化方法两端取对数得：lg y=lg+lg x令：y=lgy，x=lg x，则y=lg+x3.图像00 1 1 1 1 =1=1-1-1 0 0 -1-1 =-1=-1 本讲稿第四十页，共五十八页对数曲线1.基本形式：2.线性化方法x=lnx,则有y=+x3.图像 0 0 0 0 本讲稿第四十一页，共五十八页指数曲线1.基本形式：2.线性化方法两端取对数得：lny=ln+x令：y=lny，则有y=ln+x3.图像 本讲稿第四十二页，共五十八页S 型曲线1.基本形式：2.线性化方法令：y=1/y，x=e-x,则有y=+x3.图像本讲稿第四十三页，共五十八页非线性回归(例题分析)【例例】一种商品的需求量与其价格有一定的关系。现对一定时期内的商品价格x与需求量y进行观察，取得的样本数据如下表。试判断商品价格与需求量之间回归函数的类型，并求需求量对价格的回归方程废品率与生产率的关系废品率与生产率的关系价格价格(元元)x12345678910需求量需求量(千克千克)y58504438343029262524本讲稿第四十四页，共五十八页非线性回归(例题分析)价格与需求量的散点图价格与需求量的散点图本讲稿第四十五页，共五十八页非线性回归(例题分析)1.用双曲线模型：2.按线性回归的方法求解和，得本讲稿第四十六页，共五十八页SPSS中可以进行的曲线回归包括：本讲稿第四十七页，共五十八页曲线回归的计算机实现：SpssSpss：analyzeanalyzeregressioncurve estimation；EviewsEviews：quickquickestimate equation。本讲稿第四十八页，共五十八页例题：我国我国1978200219782002年人均年人均GDPGDP数据（数据（19781978年不变年不变价），试建立人均价），试建立人均GDPGDP与时间之间的回归方程与时间之间的回归方程。本讲稿第四十九页，共五十八页1 1、画出散点图、画出散点图本讲稿第五十页，共五十八页2 2、计算相关系数、计算相关系数本讲稿第五十一页，共五十八页3 3、进行回归、进行回归本讲稿第五十二页，共五十八页3 3、进行回归、进行回归本讲稿第五十三页，共五十八页4 4、精细比较、精细比较（1 1）二次曲线：决定系数）二次曲线：决定系数（2 2）三次曲线：决定系数）三次曲线：决定系数本讲稿第五十四页，共五十八页4 4、精细比较、精细比较（1 1）二次曲线：）二次曲线：F F检验检验（2 2）三次曲线：）三次曲线：F F检验检验本讲稿第五十五页，共五十八页4 4、精细比较、精细比较（1 1）二次曲线：回归系数）二次曲线：回归系数（2 2）三次曲线：回归系数）三次曲线：回归系数本讲稿第五十六页，共五十八页本章小结本章小结1.1.变量间关系的度量变量间关系的度量2.2.回归模型、回归方程与估计的回归方程回归模型、回归方程与估计的回归方程3.3.回归直线的拟合优度回归直线的拟合优度4.4.回归分析中的显著性检验回归分析中的显著性检验5.5.用用Excel SPSS Excel SPSS 进行回归分析进行回归分析本讲稿第五十七页，共五十八页结结 束束本讲稿第五十八页，共五十八页