第12章 多重线性回归分析.ppt

《第12章 多重线性回归分析.ppt》由会员分享，可在线阅读，更多相关《第12章 多重线性回归分析.ppt（68页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第十二章第十二章 多重线性回归分析多重线性回归分析1复习简单线性回归 回归模型的建立 回归系数的假设检验和区间估计21 概述 Y 因变量 (dependent variable,response variable)X 自变量 (independent variable)简单回归的形式：简单回归是回归分析中最基本、最简单的一种，又称直线回归。3给定X时，Y是正态分布、等方差示意图xy42 回归模型的前提假设线性(linear)独立(independent)正态(normal)等方差(equal variance)恰好为“LINE”。5(1)a 为回归直线在为回归直线在 Y 轴上的截轴上的截距。距

2、。a 0，表表示示直直线线与与纵纵轴轴的的交交点点在在原点的上方；原点的上方；a 0，直线从左下方走向右上方，直线从左下方走向右上方，Y 随随 X 增大而增大；增大而增大；b0，直线从左上方走向右下方，直线从左上方走向右下方，Y 随随 X 增大而减小；增大而减小；b=0，表示直线与表示直线与 X 轴平行，轴平行，X 与与Y 无直线关系无直线关系。b 的统计学意义是：的统计学意义是：X 每增加每增加(减减)一个一个单位，单位，Y 平均改变平均改变b个单位。个单位。7回归方程的 方差分析86 因变量总变异的分解X P(X,Y)Y9Y的总变异分解的总变异分解总变异SS总回归平方和SS回剩余平方和SS

3、剩10Y的总变异分解 11方差分析表变异来源变异来源 SS v MS F 回回 归归 SS回回 1 SS回回/1 MS回回/MS剩剩 剩剩 余余 SS剩剩 n-2 SS剩剩/n-2 总变异总变异 SS总总 n-112决定系数对于两变量，对于两变量，R2=r2决定系数反映了回归贡献的相对程度,也就是在Y的总变异中回归能解释的百分比。因此，R2越接近1，说明应用相关分析的意义越大，即贡献越大；相反的意义亦成立。13回归系数的 t 检验14回归系数与相关系数的假设检验结果等价结果等价:15直线回归中三种假设检验间的关系在直线回归中，相关系数的假设检验，回归系数的假设检验，以及回归方程的方差分析结果等

4、价。16线性回归的应用估计置信区间（可信区间）总体回归线的95%置信带估计参考值范围（预测区间）个体Y 95%的预测区间17 的可信区间与Y的预测区间可信区间是针对条件均数的，而预测区间是针对个可信区间是针对条件均数的，而预测区间是针对个体体Y的取值范围的。的取值范围的。前者表示在固定的前者表示在固定的Xp处（处（X=Xp），按照（），按照（1-）的）的置信度估计的置信度估计的Y的总体均数可信区间。的总体均数可信区间。后者表示在固定的后者表示在固定的Xp处（处（X=Xp），（），（1-）的个体）的个体Y值在预测范围内。值在预测范围内。18如何建立回归模型?Y糖尿病人的血糖糖尿病人的血糖X1胰岛

5、素胰岛素X2糖化血红蛋白糖化血红蛋白X3血清总胆固醇血清总胆固醇X4甘油三脂甘油三脂19outline多重线性回归模型的建立多重线性回归的假设检验自变量筛选 多重线性回归20多重线性回归Yx1x2x3.xm211.1 多元线性回归模型简介因变量 Y自变量为X1,X2,Xkb0为截距(intercept),表示各自变量均为0时y的的估计值。bi称为偏回归系数(partial regression coefficient)，是i的估计值，表示当方程中其他自变量保持常量时，自变量Xi变化一个计量单位,反应变量Y的平均变化量。称为 X=(X1,X2,Xk)时,反应变量Y的估计值。221.2 回归模型的

6、前提假设线性(linear)独立性(independent)正态性(normal)等方差性(equal variance)恰好为“LINE”。23最小二乘法(least square estimation，LSE)基本思想：使各实测值Y与对应的估计值 之差的平方和 为最小。1.3 估计回归参数，建立回归模型24只有一个自变量25两个自变量26例例12-1 为了研究有关糖尿病患者体内脂联素水平的影响因素，某医师测定30例患者的BMI、病程、瘦素、空腹血糖，数据如表12-1所示。回归模型？271.3 估计回归参数，建立回归模型变量变量变量变量自由度自由度自由度自由度 回归系数回归系数回归系数回归系

7、数截距截距截距截距1 158.19958.199X X1 11 1-1.030-1.030X X2 21 1-0.132-0.132X X3 31 1-0.811-0.811X X4 41 1-0.579-0.579282.多重线性回归的假设检验整体回归效应的假设检验-方差分析偏回归系数的假设检验-t检验29Y的总变异分解总变异SS总：剩余平方和SS剩或残差平方和:回归的贡献，回归平方和SS回：2.1整体回归效应的假设检验-方差分析30Y的总变异分解 31回归方程的方差分析表 变变异来源异来源SS自由度自由度MSF回回归归模型模型SS回回m(自自变变量个数）量个数）SS回回/m剩余剩余(残差残

8、差)SS剩剩n-m-1SS剩剩/(n-m-1)总变总变异异SS总总n-1决定系数 复相关系数32回归方程的方差分析1 建立假设，确定检验水准 H 0：，即总体中各偏回归系数均为0；H 1：总体中各偏回归系数不为0或不全为0；=0.05。2 计算检验统计量：3 确定P值，作出推断结论。拒绝H0，说明从整体上而言，用这四个自变量构成的回归方程解释糖尿病患者体内脂联素的变化是有统计学意义的。33回归方程的方差分析表R表示脂联素水平与体重指数、病程DY、瘦素LEP与空腹血糖这四个自变量总的线性相关的密切程度。R2用包含体重指数、病程DY、瘦素LEP与空腹血糖这四个自变量的回归方程可解释脂联素水平变异性

9、的73.12%。34扣除其他变量的影响后，Y和X的相关，称为Y与X的偏相关系数。2.2 偏相关系数partial correlation coefficient35方差分析和决定系数检验所有自变量整体对应变量的相关程度。未指明方程中的每一个自变量对Y的影响。而在实际工作中往往会关心的是每个变量的解释。2.3 各自变量的假设检验与评价362.3.1.偏回归平方和 37382.3.2偏回归系数的假设检验-t检验检验假设：H0:i=0 H1:i0 =0.05。检验统计量：392.3.2偏回归系数的假设检验-t检验做出统计推断：这四个变量中，变量X1、X2和X4的偏回归系数无统计学意义，而X3对脂联素

10、水平的影响有统计学意义。402.3.2偏回归系数的假设检验-t检验对同一资料，不同变量的t值间可以相互比较，t的绝对值越大，说明该变量对回归所起作用越大。41422.3.3 标准化偏回归系数 将原始观测数据进行标准化：，然后用标准化的数据进行回归模型拟合。标准化回归方程截距为0。标准化偏回归系数反映方程中各个自变量对反应变量Y的贡献大小。通常在统计学有意义的前提下，标准化偏回归系数值越大，说明相应自变量对回归的贡献越大。432.3.3 标准化偏回归系数 44扣除其他变量的影响后，Y和X的相关，称为Y与X的偏相关系数。偏相关系数，绝对值越大，偏相关程度越大。因偏相关系数反映的是排除其他变量的影响

11、后，自变量与因变量之间的相关程度，没有单位，故偏相关系数的绝对值大小也常用于表示各变量的相对重要性，取值范围在1和1之间。正负符号始终与标准化偏回归系数相同。2.3.4 偏相关系数partial correlation coefficient4546473 自变量筛选遵循一个原则：“少而精”确保回归方程包含所有对反应变量有较大影响的自变量，而把对反应变量关系不大或可有可无的自变量排除在方程之外，这一统计过程称为自变量的选择。484.1自变量筛选的标准1）残差平方和SS残缩小、确定系数R2增大。确定系数增大与残差平方和缩小完全等价。随着自变量的增加，确定系数只会增大。随着自变量的增加，确定系数只

12、会增大。不适合自变量个数不同的子集之间的比较。不适合自变量个数不同的子集之间的比较。494.1自变量筛选的标准2）残差均方MS残缩小、调整确定系数 增大。调整确定系数 “愈大愈好”与 MS残最小化完全等价。适合于自变量个数不同的子集之间的比较。504.1自变量筛选的标准514.2自变量筛选的常用方法 所有可能自变量子集选择(all possible subsets selection)前向选择(forward selection）后向选择(backward selection)逐步选择(stepwise selection）521）所有可能自变量子集选择-全局择优法m个自变量的线性回归，所有可

13、能的回归方程有个自变量的线性回归，所有可能的回归方程有2m-1个。个。根据变量的根据变量的选择准则选择准则，从中选择出一个或几个最优，从中选择出一个或几个最优的回归，称为的回归，称为“最优子集回归最优子集回归”。这种选择自变量的方式仅这种选择自变量的方式仅适合于自变量个数不太多适合于自变量个数不太多的情况。的情况。一般来说，不同准则、不同方法筛选的自变量结果一般来说，不同准则、不同方法筛选的自变量结果不一定相同，应根据专业知识决定取舍不一定相同，应根据专业知识决定取舍 53仍以例12-1数据为例，通过统计软件获得所有可能自变量子集的运算结果。542）前向选择（forward selection

14、）或称向前选择法。回归方程中的自变量从无到有、从少到多逐个引入回归方程。从仅含常数项的模型开始，首先对每个变量计算反映其进入模型后该变量对新模型贡献量的F值，然后将最大F统计量与预先指定的临界值Fin比较，如果F=）程序停止，否则将其最大F值所对应的自变量引入模型；然后在有一个自变量的模型基础上，重复以上比较过程；如此反复，每次加一个变量到模型中，直到剩下的变量中再无一个能使其F值大于Fin值为止。这种选择自变量的方法基于残差均方缩小的准则，不一定能保证“最优”。553）后向选择（backward selection）或称向后剔除法(backward elimination)。先将全部自变量选

15、入方程，然后逐步剔除无统计学意义的自变量。首先建立包含所有p个自变量的全模型，然后逐个计算出剔除某一变量后仅包含p-1个自变量的p个模型，选一个偏回归平方和最小的变量，做F检验，与预先指定的剔除临界Fout相比较，若最小的F=），则将最小F值所对应的自变量从模型中剔除；然后在选中的含p-1个自变量的模型基础上，重复以上剔除自变量的计算、比较、剔除过程。每次循环剔除一个对模型贡献最可忽略的变量。如此反复，直到再没有任何变量的F值低于Fout为止。564）逐步选择（stepwise selection）又称逐步回归。逐步回归法是在前述两种方法的基础上，进行双向筛选的一种方法。其本质是前向选择法，为

16、了克服向前选择法在后续变量进入模型后可能使已在方程中的变量变得不重要的缺点，同时吸收了向后剔除的作法。即在逐步选择过程中，把经F检验有意义的变量引入方程后，又对已在方程中的自变量进行一次关于剔除的F检验，保留有统计学意义的变量，而剔除无统计学意义的变量。反复进行引入、剔除过程，直到既没有变量被引入，也没有变量被剔除为止。5758 多元线性回归的应用及注意事项多元线性回归的应用及注意事项59 一、多元线性回归的应用602指标的数量化指标的数量化 二、多元线性回归应用的注意事项二、多元线性回归应用的注意事项1Y一般要求是连续变量，一般要求是连续变量，X可以是连续可以是连续变量或分类变量变量或分类变

17、量61分2类，可用一个（0，1）变量。如性别 分k类，转化为k-1个（0，1）哑变量，如血型。62数据格式回归方程 建立回归方程建立回归方程 b1：相当相当A 型相对于型相对于O 型的差别型的差别b2：相当相当B 型相对于型相对于O 型的差别型的差别b3：相当相当AB 型相对于型相对于O 型的差别型的差别63 （3）等级资料1）可将等级从弱到强转换为 （或 ），按连续变量处理。按连续变量处理。如文化程度分为小学、中学、大学、大学以上四个等级。Y为经济收入。解释：b(b1)反映X（X1）增加1个单位，增加b个单位（如：500元）。表示中学文化较小学收入多500，大学较中学多500，余类推。64b

18、1,b2,b3分别反映中学、大学、大学以上相对于小学分别反映中学、大学、大学以上相对于小学文化程度者经济收入差别的大小文化程度者经济收入差别的大小2 2）也可将K个等级转换为K-1个（0，1）哑变量（dummy dummy variable)variable)65如果方程中自变量不多，样本含量较大，用哑变量较好；如果方程中自变量较多，样本含量较小，按连续变量较好。66 3样本含量样本含量:n=(510)m。4关关于于逐逐步步回回归归:逐逐步步回回归归可可较较有有效效的的遏遏制制有有较较强强相关关系的自变量同时进入方程。相关关系的自变量同时进入方程。但但对对逐逐步步回回归归得得到到的的结结果果不不要要盲盲目目的的信信任任，所所谓谓的的“最最优优”回回归归方方程程并并不不一一定定是是最最好好的的，没没有有选选入入方方程程的的变变量量也也未未必必没没有有统统计计学学意意义义如如果果将将选选入入标标准准和和剔剔除除标标准准改改变变，则则选选入入的的变变量量结结果果也也可可能能会会发发生改变。生改变。不同回归方程适应于不同用途，依专业知识定。不同回归方程适应于不同用途，依专业知识定。67小结：1、多重线性回归方程的建立与统计推断2、偏回归系数、标准化偏回归系数、偏相关系 数的意义3、自变量的筛选4、多重线性回归的注意事项68