多元线性回归ppt课件.ppt
《多元线性回归ppt课件.ppt》由会员分享,可在线阅读,更多相关《多元线性回归ppt课件.ppt(73页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、 经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用第第1212章章 多元线性回归多元线性回归统计学 经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用第第1212章章 多元线性回归多元线性回归12.112.1 多元线性回归模型多元线性回归模型 12.212.2 回归方程的拟合优度回归方程的拟合优度12.3 12.3 显著性检验显著性检验12.4 12.
2、4 多重共线性多重共线性12.512.5 利用回归方程进行估计和预测利用回归方程进行估计和预测(删去删去)12.612.6 变量选择与逐步回归变量选择与逐步回归(删去删去)12.7 12.7 虚拟自变量的回归虚拟自变量的回归 经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.112.1 多元线性回归模型多元线性回归模型12.1.1 12.1.1 多元回归模型与回归方程多元回归模型与回归方程12.1.2 12.1.2 估计的多元回归方程估计的多元回归方程12.1.3 1
3、2.1.3 参数的最小二乘估计参数的最小二乘估计 经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.1 12.1 多元线性回归模型多元线性回归模型一一个个因因变变量量与与两两个个及及两两个个以以上上自自变变量量的的回回归归问问题题就就是是多元回归。多元回归。12.1.1 多元回归模型与回归方程多元回归模型与回归方程设设因因变变量量y,k个个自自变变量量分分别别为为x1,x2,xk,描描述述因因变变量量y如如何何依依赖赖自自变变量量x1,x2,xk和和误误差差项项 的的
4、 方方 程程,称称 为为 多多 元元 回回 归归 模模 型型(multiple regression model)。多元回归模型一般形式为:。多元回归模型一般形式为:其中,其中,0 ,1 1,k是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量y 是是x1,,x2 ,xk 的线性函数加上误差项的线性函数加上误差项 包包含含在在y里里面面但但不不能能被被k个个自自变变量量的的线线性性关关系系所所解解释的变异性释的变异性 经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务
5、的费用12.1.1 12.1.1 多元回归模型与回归方程多元回归模型与回归方程(1).(1).误误差差项项是是一一个个期期望望值值为为0的的随随机机变变量量,即即E()=0。即:。即:(2).(2).对对于于自自变变量量x1,x2,xk的的所所有有值值,的的方方差差 2都相同都相同(3).(3).误误差差项项是是一一个个服服从从正正态态分分布布的的随随机机变变量量,即即N(0,2),且且相相互互独独立立。独独立立性性意意味味着着对对于于自自变变量量x1,x2,xk的的一一组组特特定定值值所所对对应应的的与与x1,x2,xk任任意意一一组组其其他他值值所所对对应应的的不不相相关关。正正态态性性意
6、意味味着着对对于于给给定定的的x1,x2,xk的的值值,因变量因变量y也是一个服从正态分布的随机变量。也是一个服从正态分布的随机变量。经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.1.1 12.1.1 多元回归模型与回归方程多元回归模型与回归方程根根据据回回归归模模型型的的假假定定有有E(y)=0+1x1+2x2+k xk,上上式式称称为为多多元元回回归归方方程程(multiple regression equation),它它描描述述了了因因变变量量y的的期期望
7、望值值与与自自变变量量x1,x2,.,xk之间的关系。之间的关系。经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.1.1 12.1.1 多元回归模型与回归方程多元回归模型与回归方程二元线性回归模型二元线性回归模型(观察到的y)回归面0 ix1yx2(x1,x2)经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.1.2 12.1.2 估计的多
8、元回归方程估计的多元回归方程 经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.1.3 12.1.3 参数的最小二乘估计参数的最小二乘估计2.2.求解求解各回归参数的标准方程如下各回归参数的标准方程如下1.1.使使因因变变量量的的观观察察值值与与估估计计值值之之间间的的离离差差平平方方和和达到最小来求得达到最小来求得 。即。即 经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者
9、购买商品的价款或接受服务的费用12.1.3 12.1.3 参数的最小二乘估计参数的最小二乘估计【例例12.112.1】继继续续沿沿用用第第1111章章中中例例11.611.6。一一家家大大型型商商业业银银行行在在多多个个地地区区设设有有分分行行,其其业业务务主主要要是是进进行行基基础础设设施施建建设设、国国家家重重点点项项目目建建设设、固固定定资资产产投投资资等等项项目目的的贷贷款款。近近年年来来,该该银银行行的的贷贷款款额额平平稳稳增增长长,但但不不良良贷贷款款额额也也有有较较大大比比例例的的提提高高,这这给给银银行行业业务务的的发发展展带带来来较较大大压压力力。为为弄弄清清楚楚不不良良贷贷
10、款款形形成成的的原原因因,抽抽取取了了该该银银行行所所属属的的2525家家分分行行20022002年年的的有有关关业业务务数数据据。试试建建立立不不良良贷贷款款(y)与与贷贷款款余余额额(x1)、累累计计应应收收贷贷款款(x2)、贷贷款款项项目目个个数数(x3)和和固固定定资资产产投投资资额额(x4)的的线线性性回回归归方方程程,并并解解释释各各回回归系数的含义归系数的含义 用用Excel进行回归进行回归 经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.1.3 12
11、.1.3 参数的最小二乘估计参数的最小二乘估计 经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.212.2 回归方程的拟合优度回归方程的拟合优度12.2.1 12.2.1 多重判定系数多重判定系数12.2.2 12.2.2 估计标准误差估计标准误差 经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.2 12.2 多重判定系数多重判定系数多元
12、回归中因变量离差平方和的分解:多元回归中因变量离差平方和的分解:SST=SSR+SSE多多 重重 判判 定定 系系 数数(multiple coefficient of determination)是是多多元元回回归归中中的的回回归归平平方方和和占占总总平平方方和和的的比比例例,它它是是度度量量多多元元回回归归方方程程拟拟合合程程度度的的一一个个统统计计量量,反反映映了了在在因因变变量量y的的变变差差中中被被估估计计的的回回归方程所解释的比例。归方程所解释的比例。计算公式为计算公式为 经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受
13、到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.2 12.2 多重判定系数多重判定系数注注:由由于于自自变变量量个个数数的的增增加加,将将影影响响到到因因变变量量中中被被估估计计回回归归方方程程中中所所解解释释的的变变差差数数量量。当当增增加加自自变变量量时时,会会使使预预测测误误差差变变得得比比较较小小,从从而而减减少少残残差差平平方方和和SSE,由由于于回回归归平平方方和和SSR=SST-SSE,当当SSE变变小小时时,SSR会会变变大大,从从而而R2也也会会变变大大。如如果果模模型型中中增增加加一一个个自自变变量量,即即使使这这个个自自变变量量在在统统计计上上并并不不
14、显显著著,R2也也会会变变大大,为为避避免免这这种种情情况况,提提出出调调整整的的多多重重判判定定 系系 数数(adjusted multiple coefficient of determination)计算公式为计算公式为 经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.2 12.2 多重判定系数多重判定系数调整的多重判定系数调整的多重判定系数 的解释与的解释与R2类似,不同的是:类似,不同的是:(1).(1).同同时时考考虑虑了了样样本本量量和和模模型型中中的
15、的自自变变量量的的个个数数的的影影响响,这这就就使使得得 的的值值永永远远小小于于R2,而而且且 的的值值不不会会由由于于模模型型中中自自变变量量个个数数的的增增加加而而越越来来越越接接近近1。因因此此,在在多多元元回回归归分分析析中中,通通常常用用调调整整的的多重判定系数。多重判定系数。(2).(2).R2的的平平方方根根称称为为多多重重相相关关系系数数,也也称称为为复复相相关关系数,它度量了因变量同系数,它度量了因变量同k个自变量的相关程度。个自变量的相关程度。经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的
16、金额为消费者购买商品的价款或接受服务的费用12.2.2 12.2.2 估计标准误差估计标准误差多多元元回回归归分分析析中中的的估估计计标标准准误误差差也也是是对对误误差差项项 的的标标准准差差 的的一一个个估估计计值值,它它是是衡衡量量多多元元回回归归方方程程的的拟合优度方面也起着重要作用。拟合优度方面也起着重要作用。计算公式为计算公式为多元回归中对多元回归中对se的解释:的解释:由由于于se所所估估计计的的是是预预测测误误差差的的标标准准差差,其其含含义义是是根根据据自自变变量量x1,x2,xk来来预预测测因因变变量量y时时的的平平均均预预测误差。测误差。经管类经管类 核心课程核心课程统计学
17、统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.312.3 显著性检验显著性检验12.3.1 12.3.1 线性关系检验线性关系检验12.3.2 12.3.2 回归系数检验和推断回归系数检验和推断 经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.3.1 12.3.1 线性关系检验线性关系检验1.1.检检验验因因变变量量与与所所有有自自变变量量之之间间的的关关系系是是否否显显
18、著著,也被称为总体显著性检验。也被称为总体显著性检验。2.2.检检验验方方法法是是将将回回归归平平方方和和(SSR)同同残残差差平平方方和和(SSE)加加以以比比较较,应应用用F检检验验来来分分析析二二者者之之间间的差别是否显著。的差别是否显著。如如果果是是显显著著的的,因因变变量量与与自自变变量量之之间间存存在在线线性关系性关系 如如果果不不显显著著,因因变变量量与与自自变变量量之之间间不不存存在在线线性关系性关系 经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.
19、3.1 12.3.1 线性关系检验线性关系检验第第1 1步:提出步:提出假设假设H0:1 2 k=0 线性关系不显著线性关系不显著H1:1,2,k至少有一个不等于至少有一个不等于0第第2 2步:计算检验统计量步:计算检验统计量F第第3 3步:作出统计决策。给定步:作出统计决策。给定显著性水平显著性水平 和分子和分子自由度自由度k、分母自由度、分母自由度n-k-1找出临界值找出临界值F,若,若FF,拒绝,拒绝H0;若若FF,所以拒绝,所以拒绝H0,这意味着不良贷款与贷款余,这意味着不良贷款与贷款余额、累计应收贷款、贷款项目个数和固定资产投资额、累计应收贷款、贷款项目个数和固定资产投资额之间的线性
20、关系是显著的。额之间的线性关系是显著的。经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.3.2 12.3.2 回归系数检验和推断回归系数检验和推断1.1.在在回回归归方方程程通通过过线线性性关关系系检检验验后后,就就可可以以对对各各个个回回归归系系数数有有选选择择地地进进行行一一次次或或多多次次检检验验。但但究究竟竟要要对对哪哪几几个个回回归归系系数数进进行行检检验验,通通常常需需要要在在建建立立模模型型之之前前作作出出决决定定。对对回回归归系系数数检检验验的的个个
21、数数进进行行限限制制,以以避避免免犯犯过过多多的的第第一一类错误类错误(弃真错误弃真错误)2.2.对每一个自变量都要单独进行检验对每一个自变量都要单独进行检验3.3.应用应用 t 检验统计量检验统计量 经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.3.2 12.3.2 回归系数检验和推断回归系数检验和推断4.4.回归系数回归系数检验的具体步骤:检验的具体步骤:提出假设提出假设H0:i=0 (自变量自变量 xi 与与 因变量因变量 y 没有线性关系没有线性关系)H1
22、:i 0 (自变量自变量 xi 与与 因变量因变量 y有线性关系有线性关系)计算检验的统计量计算检验的统计量 t作出统计决策作出统计决策。给定显著性水平。给定显著性水平,并进行决策,并进行决策 t t,拒绝,拒绝H0;t t(25-2)=2.07,所所以以均均拒拒绝绝原原假假设设,说说明明这这4个个自自变变量量两两两两之之间间都都有有显著的相关关系显著的相关关系 经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.4.2 12.4.2 多重共线性的判别多重共线性的判别2
23、.2.由由表表Excel输输出出的的结结果果可可知知,回回归归模模型型的的线线性性关关系系显显著著(Significance-F1.03539E-06=0.05)。这这也也暗暗示示了模型中存在多重共线性了模型中存在多重共线性3.3.固固定定资资产产投投资资额额的的回回归归系系数数为为负负号号(-0.029),与与预预期的不一致期的不一致由以上三点可以判断回归模型中存在多重共线性。由以上三点可以判断回归模型中存在多重共线性。经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用1
24、2.4.3 12.4.3 多重共线性问题的处理多重共线性问题的处理多重共线性问题的解决办法:多重共线性问题的解决办法:(1).(1).将将一一个个或或多多个个相相关关的的自自变变量量从从模模型型中中剔剔除除,使使保留的自变量尽可能不相关保留的自变量尽可能不相关(2).(2).如如果果要要在在模模型型中中保保留留所所有有的的自自变变量量,则则应应该该:避避免免根根据据t统统计计量量对对单单个个参参数数进进行行检检验验;对对因因变变量量y值值的的推推断断(估估计计或或预预测测)限限定定在在自自变变量量样样本本值值的范围内。的范围内。经管类经管类 核心课程核心课程统计学统计学经营者提供商品或者服务有
25、欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用12.4.3 12.4.3 多重共线性问题的处理多重共线性问题的处理【例例12.512.5】利利用用例例12.112.1所所建建立立的的回回归归方方程程,对对多多重重共线性问题进行处理。共线性问题进行处理。解解:首首先先,考考虑虑将将一一些些相相关关的的自自变变量量从从模模型型中中剔剔除除。从从前前表表可可以以看看出出,贷贷款款余余额额与与贷贷款款项项目目个个数数的的相相关关系系数数最最高高,而而且且从从定定性性角角度度看看,贷贷款款余余额额与与应应收收贷贷款款之之间间也也有有很很强强的的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元 线性 回归 ppt 课件
限制150内