多重线性回归与相关.ppt

《多重线性回归与相关.ppt》由会员分享，可在线阅读，更多相关《多重线性回归与相关.ppt（43页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多重线性回归与相关现在学习的是第1页，共43页content第一节第一节多重线性回归的概念与统计推断多重线性回归的概念与统计推断第二节假设检验及其评价第三节第三节复相关系数与偏相关系数复相关系数与偏相关系数第四节自变量筛选第五节第五节多元线性回归的应用与注意事项多元线性回归的应用与注意事项现在学习的是第2页，共43页目的：作出以多个自变量估计应变量的多元线性回归方程。资料：应变量为定量指标；自变量全部或大部分为定量指标，若有少量定性或等级指标需作转换。用途：解释和预报。更精确意义：由于事物间的联系常常是多方面的，一个应变量的变化可能受到其它多个自变量的影响，如糖尿病人的血糖变化可能受胰岛素、糖

2、化血红蛋白、血清总胆固醇、甘油三脂等多种生化指标的影响。现在学习的是第3页，共43页第一节第一节多重线性回归的概念与多重线性回归的概念与统计推断统计推断现在学习的是第4页，共43页变量：变量：应变量应变量1个，自变量个，自变量k 个，共个，共k+1个。个。样本含量：样本含量：n数据格式见表数据格式见表13-1回归模型一般形式：回归模型一般形式：一、数据与多元线性回归模型一、数据与多元线性回归模型现在学习的是第5页，共43页多元回归分析数据格式条件条件现在学习的是第6页，共43页车流(X1)气温(X2)气湿(X3)风速(X4)一氧化氮(Y)车流(X1)气温(X2)气湿(X3)风速(X4)一氧化氮

3、(Y)130020.0800.450.06694822.5692.000.005144423.0570.500.076144021.5792.400.01178626.5641.500.001108428.5593.000.003165223.0840.400.170184426.0731.000.140175629.5720.900.156111635.0922.800.039175430.0760.800.120165620.0831.450.059120022.5691.800.040153623.0571.500.087150021.8770.600.12096024.8671.500

4、.039120027.0581.700.100178423.3830.900.222147627.0650.650.129149627.0650.650.145182022.0830.400.135106026.0581.830.029143628.0682.000.099143628.0682.000.099现在学习的是第7页，共43页一一般般步步骤骤建立回归方程(样本)(2)检验并评价回归方程检验并评价回归方程及各自变量的作用大小及各自变量的作用大小现在学习的是第8页，共43页二、多元线性回归方程的建立样本估计而得的多重线性回归方程bj为自变量Xj 的偏回归系数（partialregres

5、sioncoefficient），是j的估计值，表示当方程中其他自变量保持常量时，自变量Xj变化一个计量单位,反应变量Y的平均值变化的单位数。现在学习的是第9页，共43页求偏导数（一阶）原理最小二乘法统计软件包统计软件包现在学习的是第10页，共43页第二节假设检验及其评价1.方差分析法：方差分析法：（一）对回归方程现在学习的是第11页，共43页多元线性回归方差分析表现在学习的是第12页，共43页变异来源自由度SSMSFP回归模型4 40.063960.063960.015990.0159917.5917.59.0001.0001残差19190.017270.017270.000909030.0

6、0090903总变异23230.081230.08123表13-2显示，P 0.0001,拒绝H0。说明从整体上而言，用这四个自变量构成的回归方程解释空气中NO浓度的变化是有统计学意义的。现在学习的是第13页，共43页偏回归系数的偏回归系数的t检验检验偏回归系数的t检验是在回归方程具有统计学意义的情况下，检验某个总体偏回归系数等于零的假设,以判断是否相应的那个自变量对回归确有贡献现在学习的是第14页，共43页利用SAS对例13-1的四个偏回归系数进行t检验与标准化偏回归系数的结果如表13-3所示。变量自由度回归系数标准误t值P值标准化偏回归系数截距1-0.141660.06916-2.050.

7、05460X110.000116190.000027484.230.00050.59249X210.004490.001902.360.02890.27274X31-0.000006550.00069083-0.010.9925-0.00110X41-0.034680.01081-3.210.0046-0.44770现在学习的是第15页，共43页第三节第三节复相关系数与偏相关系数复相关系数与偏相关系数确定系数、复相关系数与调整确定系数复相关系数的平方称为确定系数（coefficientofdetermination）,或决定系数，记为R2，用以反映线性回归模型能在多大程度上解释反应变量Y的变异

8、性。其定义为现在学习的是第16页，共43页复相关系数：复相关系数：确定系数的算术平方根确定系数的算术平方根对例13-1，由方差分析表可得：SSR=0.06396SSE=0.01727SST=0.08123表示变量Y与k个自变量（X1,X2,Xk）的线性相关的密切程度。说明，用包含气车流量、气温、气湿与风速这四个自变量的回归方程可解释交通点空气NO浓度变异性的78.74%。现在学习的是第17页，共43页表示交通点空气NO浓度与气车流量、气温、气湿与风速等四个变量的复相关系数为0.8703现在学习的是第18页，共43页调整的R2(AdjustedR-Square)当回归方程中包含有很多自变量，即使

9、其中有一些自变量（如本例中的X3）对解释反应变量变异的贡献极小，随着回归方程的自变量的增加，R2值表现为只增不减，这是复相关系数R2的缺点。调整的R2定义为现在学习的是第19页，共43页偏相关系数偏相关系数冷饮销售量（元）X1游泳人数（人）X2气温（oC）X326726772272229293973978148143030451451924924313152852810661066323261861812531253333365565513691369343469069015931593353574074017611761363678078019311931373788988922312231

10、3838996996274927493939现在学习的是第20页，共43页现在学习的是第21页，共43页偏相关系数（partialcorrelationcoefficient）:一般地，扣除其他变量的影响后，变量Y与X的相关.表13-5 空气中NO浓度与各自变量的相关系数和偏相关系数自变量相关系数偏相关系数偏相关系数P值车流X10.808000.808000.696200.696200.00050.0005气温X20.017240.017240.476700.476700.02890.0289气湿X30.278540.27854-0.00218-0.002180.99250.9925风速X4-

11、0.67957-0.67957-0.59275-0.592750.00460.0046现在学习的是第22页，共43页现在学习的是第23页，共43页（二）对各自变量指明方程中的每一个自变量对Y的影响（即方差分析和决定系数检验整体）。1.偏回归平方和现在学习的是第24页，共43页现在学习的是第25页，共43页各各自自变变量量的的偏偏回回归归平平方方和和可可以以通通过过拟拟合合包包含含不不同同自自变变量量的的回归方程计算得到回归方程计算得到现在学习的是第26页，共43页结结果果现在学习的是第27页，共43页2.t 检验法是一种与偏回归平方和检验完全等价的一种方法。计算公式为现在学习的是第28页，共4

12、3页结结论论现在学习的是第29页，共43页标准化回归系数变量标准化是将原始数据减去相应变量的均数，然后再除以该变量的标准差。计算得到的回归方程称作标准化回归方程，相应的回归系数即为标准化回归系数。现在学习的是第30页，共43页注意：注意：一般回归系数一般回归系数有单位，用来解释各自变量有单位，用来解释各自变量对应变量的影响，表示在其它自变量保持不变时，对应变量的影响，表示在其它自变量保持不变时，增加或减少一个单位时增加或减少一个单位时Y Y的平均变化量的平均变化量 。不能。不能用各用各 来比较各来比较各 对对 的影响大小。的影响大小。标准化回归系数标准化回归系数无单位，用来比较各自变无单位，用

13、来比较各自变量对应变量的影响大小，量对应变量的影响大小，越大，越大，对对 的影响越大。的影响越大。现在学习的是第31页，共43页第四节自变量筛选目的目的：使得预报和（或）解释效果好现在学习的是第32页，共43页自变量筛选的标准与原则自变量筛选的标准与原则1.残差平方和（SSE）缩小与确定系数（R2）增大2.残差均方（SSE）缩小与调整确定系数增大3.CP统计量选择既具有较小CP值，在图中又接近于CP=q直线的模型作为“最优”的准则现在学习的是第33页，共43页全局择优法目的：预报效果好意义：对自变量各种不同的组合所建立的回归方程进行比较择优。选择方法：现在学习的是第34页，共43页现在学习的是

14、第35页，共43页现在学习的是第36页，共43页逐步选择法1.1.前进法，回归方程中的自变量从无到有、从少到多逐个引入回归方程。这种选择自变量的方法基于残差均方缩小的准则，不一定能保证“最优”.此法已基本淘汰。2.后退法，先将全部自变量选入方程，然后逐步剔除无统计学意义的自变量。剔除自变量的方法是在方程中选一个偏回归平方和最小的变量，作F检验决定它是否剔除，若无统计学意义则将其剔除，然后对剩余的自变量建立新的回归方程。重复这一过程，直至方程中所有的自变量都不能剔除为止。理论上最好，建议使用采用此法。3.逐步回归法，逐步回归法是在前述两种方法的基础上，进行双向筛选的一种方法。该方法本质上是前进法

15、。现在学习的是第37页，共43页现在学习的是第38页，共43页第五节第五节多元线性回归的应用与注意事项多元线性回归的应用与注意事项多元线性回归的应用多元线性回归的应用现在学习的是第39页，共43页多元线性回归应用的注意事项多元线性回归应用的注意事项1、非同质资料的合并问题、非同质资料的合并问题斜率相同（同质）：可以利用男、女合并的资料拟合共同的回归模型；不同质：此时应按不同性别分别拟合回归模型。2、指标的数量化指标的数量化现在学习的是第40页，共43页3、样本含量:n=(510)m。4、关于逐步回归:对逐步回归得到的结果不要盲目的信任，所谓的“最优”回归方程并不一定是最好的，没有选入方程的变量

16、也未必没有统计学意义。例如，例15-3中若将选入标准和剔除标准定为和，选入的变量是，而不是，结果发生了改变。不同回归方程适应于不同用途，依专业知识定。现在学习的是第41页，共43页5、多重共线性即指一些自变量之间存在较强的线性关系。如高血压与年龄、吸烟年限、饮白酒年限等，这些自变量通常是高度相关的，有可能使通过最小二乘法建立回归方程失效，引起下列一些不良后果：（1）参数估计值的标准误变得很大，从而t值变得很小。（2）回归方程不稳定，增加或减少某几个观察值，估计值可能会发生很大的变化。（3）t检验不准确，误将应保留在模型中的重要变量舍弃。（4）估计值的正负符号与客观实际不一致。消除多重共线性：剔除某个造成共线性的自变量，重建回归方程；合并自变量，采用逐步回归方法。现在学习的是第42页，共43页现在学习的是第43页，共43页