第十五章多重线性回归分析课件.ppt

《第十五章多重线性回归分析课件.ppt》由会员分享，可在线阅读，更多相关《第十五章多重线性回归分析课件.ppt（69页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、11MultipleLinearRegressionAnalysis多重线性回归分析多重线性回归分析content第一节第一节 多重线性回归的概念与统计推断多重线性回归的概念与统计推断第二节 假设检验及其评价第三节第三节 复相关系数与偏相关系数复相关系数与偏相关系数第四节自变量筛选第五节第五节 多元线性回归的应用与注意事项多元线性回归的应用与注意事项34目的：作出以多个自变量估计应变量的多重线性回归方程。资料：应变量为定量指标；自变量全部或大部分为定量指标，若有少量定性或等级指标需作转换。用途：解释和预报。更精确意义：由于事物间的联系常常是多方面的，一个应变量的变化可能受到其它多个自变量的影响

2、，如糖尿病人的血糖变化可能受胰岛素、糖化血红蛋白、血清总胆固醇、甘油三脂等多种生化指标的影响。多重线性回归分析多重线性回归分析概念概念用线性方程表达一个因变量（用线性方程表达一个因变量（dependent dependent variablevariable）与多个自变量（）与多个自变量（independent independent variablevariable）的数量关系的方法，称多重线）的数量关系的方法，称多重线性回归分析性回归分析7多重线性回归模型多重回归模型：含两个以上解释变量的回归模型多重回归模型：含两个以上解释变量的回归模型多多重重线线性性回回归归模模型型：一一个个因因变变量

3、量与与多多个个解解释释变变量量之间设定的是线性关系之间设定的是线性关系涉及涉及 k k 个自变量的多重回归模型可表示为个自变量的多重回归模型可表示为9 b b0 ，b b1 1，b b2 2，b bm是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y 是是x1,，x2 ，xm 的线性函数加上误差项的线性函数加上误差项 包包含含在在y里里面面但但不不能能被被k个个自自变变量量的的线线性性关关系系所所解解释释的的变异性变异性多重线性回归方程方程描描述述因因变变量量 y 的的平平均均值值或或期期望望值值如如何何依依赖赖于自于自变变量量 x1，x2，xk的方程的方程形式：形式：为为 y

4、 的的估估计计值值或或预预测测值值（y hat），表表示示给给定定各各自自变变量的值时，因变量量的值时，因变量y的估计值；的估计值；b0为为截截距距，也也称称为为常常数数项项（constant），表表示示各各自自变变量量均均为为0时时y的估计值；的估计值；bi 称称偏偏回回归归系系数数（partial regression coefficient），表表示示假假定定其其他他自自变变量量不不变变时时，当当 xi 每每变变动动一一个个单单位位，y 的的估估计计值的变化量值的变化量例：根据某地29名13岁男童身高x1(cm)，体重x2(kg)和肺活量y(L)建立的方程该方程中，b1=0.005017

5、(L/cm)，表示在体重不变的前提下，身高每增加1cm，肺活量平均增加0.005017L;b2=0.05406(L/kg)，表示在身高不变的情况下，体重每增加1公斤，肺活量平均增加0.05406(L)是根据方程估算出来的值，例如，当x1=150，x2=32时，=1.9168，表示对所有身高为150cm，体重为32kg的13岁男童，估计平均肺活量为1.9168(L)11多重线性回归必须满足的假定条件多重线性回归必须满足的假定条件1、自、自变变量和因量和因变变量的关系是量的关系是线线性的（性的（linear）2、各残差、各残差间间相互独立（相互独立（independence)3、误误差差项项是是一

6、一个个服服从从正正态态分分布布的的随随机机变变量量，即即N(0,2)（normality）4、对对于于自自变变量量x1，x2，xk的的所所有有值值，的的方方差差 2都相同，即方差都相同，即方差齐齐性（性（equal variance)这这些条件些条件简简写写为为LINE，是，是线线性回性回归归方程的核心方程的核心12多重线性回归的应用1、推算：用较易获得的指标推算不易测得的指标2、预测预报：用较易获得的指标预测不易测得的指标3、辅助诊断：先根据诊断明确的病人和非病人的临床症状、体征以及化验检查资料，建立回归方程。然后把需要诊断的疑似病人的资料回代到回归方程，根据结果判断是否患病4、影响因素筛选

7、：在众多的危险因素中，筛选与Y关系密切的因素13 14多重回归分析步骤(1)(1)求回归方程求回归方程-最小二乘原则最小二乘原则(2)(2)假设检验假设检验-检验回归方程是否具有统计学意义检验回归方程是否具有统计学意义(3)(3)变量选择变量选择-以尽量少的自变量以尽量少的自变量,达到较好地解达到较好地解释释Y Y的目的的目的一一般般步步骤骤建立回归方程建立回归方程(样本样本)(2)检验并评价回归方程及各自变量的作用大小 17求偏导数（一阶）求偏导数（一阶）原原 理理最小二乘法最小二乘法统计软件包统计软件包 19 20多重线性回归方程的假设检验及评价 对回归方程及偏回归系数的假设检验1、对回归

8、方程的假设检验F检验2、对偏回归系数的假设检F检验和t检验3、标准化回归系数211.1.方差分析法：方差分析法：（一）（一）对回归方程的假设检验对回归方程的假设检验 2324（二）对偏回归系数的假设检验F检验和t检验回归方程成立只能认为总的来说自变量和因变量间存在线性关系，但是否每一个自变量都与因变量间存在线性关系，须对其偏回归系数进行假设检验 方差分析法 t检验法25 261、方差分析法：计算、方差分析法：计算xi的的偏回归平方和偏回归平方和它表示模型中含有其它它表示模型中含有其它m-1个自变量的条件个自变量的条件下该自变量对下该自变量对Y的回归贡献。的回归贡献。相当于从回归方程中剔除相当于

9、从回归方程中剔除xi后所引起的回归后所引起的回归平方和的减少量。平方和的减少量。其值愈大说明相应的自变量愈重要。其值愈大说明相应的自变量愈重要。27 280.6129+11.9627+20.0635+27.7939133.7107 29胰岛素胰岛素(X3)与糖化血红蛋白与糖化血红蛋白(X4)与血糖与血糖(Y)有有线性回归关系。线性回归关系。302 2、t t检验法检验法 31胰岛素胰岛素(X3)与糖化血红蛋白与糖化血红蛋白(X4)与血糖与血糖(Y)有线性回归关系。有线性回归关系。3.标准化回归系数多重线性回归方程中，各自变量的单位不同，其偏回归系数之间是无法直接比较的，需要对偏回归系数标准化，

10、以消除量纲的影响标准化偏回归系数绝对值的大小，可以衡量自变量对因变量贡献的大小，即说明各自变量在多元回归方程中的重要性32 33标准化回归系数标准化回归系数bj 的绝对值用来比较各个的绝对值用来比较各个自变量自变量xj 对对Y的影响程度大小；绝对值越的影响程度大小；绝对值越大影响越大。标准化回归方程的截距为大影响越大。标准化回归方程的截距为0。p标准化回归系数与一般回归方程的回归系标准化回归系数与一般回归方程的回归系 数的关系：数的关系：标准化回归方程标准化回归方程p 34对血糖影响大小的顺序依次为糖化血红蛋对血糖影响大小的顺序依次为糖化血红蛋白白(X(X4 4)、胰岛素、胰岛素(X(X3 3

11、)、甘油三酯、甘油三酯(X(X2 2)与总胆与总胆固醇固醇 (X(X1 1)。胰岛素为负向影响。胰岛素为负向影响。（三）对模型的效果进行评价评价回归方程回归效果的优劣是回归分析的重要内容之一常用评价指标有：复相关系数决定系数校正决定系数剩余标准差等35361.1.复相关系数复相关系数R衡量因变量衡量因变量Y与回归方程中所有自变量与回归方程中所有自变量线性组合间相关关系的密切程度线性组合间相关关系的密切程度Y与估计值与估计值 间的间的Pearson相关系数相关系数r。反映线性回归模型能在多大程度上解释反应变量Y的变异性。372.2.决定系数决定系数R R2 23 3、剩余标准差、剩余标准差384

12、 4、调整的、调整的R239调整的R2(Adjusted R-Square)当回归方程中包含有很多自变量，即使其中有一些自变量对解释反应变量变异的贡献极小，随着回归方程的自变量的增加，R2 值表现为只增不减，这是决定系数R2的缺点。调整的R2定义为 40血糖含量变异的血糖含量变异的60%60%可由总胆固醇、甘油可由总胆固醇、甘油三酯、胰岛素和糖化血红蛋白的变异解三酯、胰岛素和糖化血红蛋白的变异解释。释。第四节自变量筛选目的目的：使得预报和（或）解释效果好使得预报和（或）解释效果好自变量筛选的标准与原则自变量筛选的标准与原则 1.残差平方和（SSE）缩小与确定系数（R2）增大2.残差均方（SSE

13、）缩小与调整确定系数增大3.CP统计量 选择既具有较小CP值，在图中又接近于CP=q直线的模型作为“最优”的准则 全局择优法全局择优法目的目的：预报效果好：预报效果好意义意义：对自变量各种不同的组合所建立：对自变量各种不同的组合所建立 的回归方程进行比较的回归方程进行比较 择优择优。选择方法：选择方法：44uR2可用来评价回归方程优劣。可用来评价回归方程优劣。u随着自变量增加，随着自变量增加，R2不断增大，对两个不不断增大，对两个不 同个数自变量回归方程比较，须考虑方程同个数自变量回归方程比较，须考虑方程 包含自变量个数影响，应对包含自变量个数影响，应对R2进行校正。进行校正。u所谓所谓“最优

14、最优”回归方程指回归方程指 最大者。最大者。1.校正决定系数校正决定系数 选择法选择法 45uP为方程中自变量个数。为方程中自变量个数。u最优方程的最优方程的Cp期望值是期望值是p+1。应选择应选择Cp最接近最接近P+1的回归方程为最优。的回归方程为最优。2.选择法选择法 46 47二、逐步选择法二、逐步选择法n全局选择计算量很大：全局选择计算量很大：6个变量，计算个变量，计算26-1=63个方程；个方程；10个变量，计算个变量，计算210-1=1023个方程。个方程。n按选入变量顺序不同分按选入变量顺序不同分前进法、后退法前进法、后退法 与与逐步回归法逐步回归法，共同特点是每一步只引，共同特

15、点是每一步只引 入或剔除一个自变量入或剔除一个自变量Xj。48n对对Xj的取舍要进行的取舍要进行F检验：检验：计算进行到第计算进行到第l步时：步时：p:方程中自变量个数方程中自变量个数SS回：回：Xj的偏回归平方和的偏回归平方和SS残：残：残差平方和残差平方和 491.1.前进法前进法（只选不剔）（只选不剔）自变量从无到有、从少到多自变量从无到有、从少到多从方程外选取偏回归平方和最大的自变量从方程外选取偏回归平方和最大的自变量作作F F检验以决定是否选入方程，直至无自变检验以决定是否选入方程，直至无自变量可以引入方程为止。量可以引入方程为止。缺点：缺点：后续变量的引入可能使先前引入的变后续变量

16、的引入可能使先前引入的变量变的不重要。量变的不重要。Xj入选入选 502.后退法后退法（只剔不选）（只剔不选）开始方程中包含全部自变量，然后逐步剔除开始方程中包含全部自变量，然后逐步剔除从方程中选取偏回归平方和最小的自变量作从方程中选取偏回归平方和最小的自变量作F F检验以决定是否从方程中剔除，直至无自检验以决定是否从方程中剔除，直至无自变量可以从方程中剔除为止。变量可以从方程中剔除为止。缺点：缺点：当某些自变量高度相关时，可能得不当某些自变量高度相关时，可能得不 出正确结果。出正确结果。Xj剔除剔除 513.逐步回归法（先选后剔，双向筛选）逐步回归法（先选后剔，双向筛选）p开始方程中无自变量

17、，从方程外选取偏回归开始方程中无自变量，从方程外选取偏回归 平方和最大的自变量作平方和最大的自变量作F检验以决定是否选入检验以决定是否选入 方程；方程；p每引一个自变量进入方程后，从方程中选取每引一个自变量进入方程后，从方程中选取 偏回归平方和最小的自变量作偏回归平方和最小的自变量作F检验以决定是检验以决定是 否从方程中剔除；否从方程中剔除；p直至方程外无自变量可引入，方程内无自变直至方程外无自变量可引入，方程内无自变 量可剔除为止。量可剔除为止。52Xj剔除剔除内剔内剔Xj入选入选外引外引入入值定的越小选取自变量标准越严，被选值定的越小选取自变量标准越严，被选 入方程内自变量数越少。入方程内

18、自变量数越少。入入值越大则反之。值越大则反之。小样本：小样本：入入=0.05，出出=0.10。大样本：大样本：入入=0.10，出出=0.15。入入出出，以免以免Xj上一步剔除后下一步又被选入上一步剔除后下一步又被选入 53选选X4前先建立前先建立4个直线回归方程；个直线回归方程；选选X1前先建立前先建立1个含个含3个自变量、个自变量、3个含个含2个个 自变量的多元线性回归方程。自变量的多元线性回归方程。54 55 56 57 5859 第三节第三节 多重线性回归的应用及注意事项多重线性回归的应用及注意事项 60 一、多重线性回归的应用一、多重线性回归的应用 1.影响因素分析影响因素分析 年龄年

19、龄(X1)饮食习惯饮食习惯(X2)吸烟状况吸烟状况(X3)工作紧张度工作紧张度(X4)家族史家族史(X5)高高血血压压(Y)bj的意义为在的意义为在其它自变量保其它自变量保持不变时，持不变时，Xj增加或减少一增加或减少一个单位时个单位时Y的的平均变化量。平均变化量。故可排除混杂故可排除混杂因素。因素。612.估计与预测估计与预测心脏表面积心脏表面积(Y)=b0+b1心脏横径心脏横径(X1)+b2心脏纵径心脏纵径(X2)+b3心脏宽径心脏宽径(X3)新生儿体重新生儿体重(Y)=b0+b1胎儿孕龄胎儿孕龄(X1)+b2 胎儿胎儿 头径头径(X2)+b3胎儿胸径胎儿胸径(X3)+b4胎儿腹径胎儿腹径

20、(X4)623.统计控制统计控制利用回归方程进行逆估计，确定利用回归方程进行逆估计，确定Y后控制后控制X。采用射频治疗仪治疗脑肿瘤：采用射频治疗仪治疗脑肿瘤：脑皮质毁损半径脑皮质毁损半径(Y)=b0+b1射频温度射频温度(X1)+b2照射时间照射时间(X2)63 二、多重线性回归应用的注意事项二、多重线性回归应用的注意事项 1.1.指标的数量化指标的数量化 应变量应变量Y为连续变量为连续变量自变量自变量X可为连续、有序分类或无序分类变量可为连续、有序分类或无序分类变量 (1)连续变量：连续变量：X (2)有序分类变量：有序分类变量：1 轻轻 X=2 中中 3 重重 64(3)无序分类变量无序分

21、类变量哑变量哑变量(dummy variables)652.样本含量样本含量 n至少是至少是X个数个数m的的510倍倍3.多重共线性多重共线性 实际应用中非常普遍，可使最小二乘法建实际应用中非常普遍，可使最小二乘法建 立的回归方程失效；立的回归方程失效；消除方法：主成分回归；剔除某个造成共消除方法：主成分回归；剔除某个造成共 线性的自变量。线性的自变量。664.变量间的交互作用变量间的交互作用某一自变量对某一自变量对Y的作用大小与另一自变量的的作用大小与另一自变量的取值有关。取值有关。血糖血糖(Y)与总胆固醇与总胆固醇(X1)、甘油三酯、甘油三酯(X2)、胰岛、胰岛素素(X3)、糖化血红蛋白、糖化血红蛋白(X4)间逐步回归方程：间逐步回归方程：pX3与与X4间有交互作用：间有交互作用：675.残差分析残差分析标准化残差标准化残差68e0690000eeee