多元线性回归分析 Multiple Regression.ppt

《多元线性回归分析 Multiple Regression.ppt》由会员分享，可在线阅读，更多相关《多元线性回归分析 Multiple Regression.ppt（45页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多元线性回归 Multiple Regression基本概念例 以8岁正常男童的 体重 X1 心脏纵径 X2 儿童心脏面积Y 胸腔横径X3 推算基本概念例:人的人的体重体重与与身高、胸围身高、胸围血压值血压值与与年龄、性别、劳动强度、饮食习年龄、性别、劳动强度、饮食习惯、吸烟状况、家族史惯、吸烟状况、家族史糖尿病人的糖尿病人的血糖血糖与与胰岛素、糖化血红蛋白、胰岛素、糖化血红蛋白、血清总胆固醇、甘油三脂血清总胆固醇、甘油三脂射频治疗仪定向治疗脑肿瘤过程中，脑皮射频治疗仪定向治疗脑肿瘤过程中，脑皮质的质的毁损半径毁损半径与辐射的与辐射的温度温度与照射的与照射的时间时间基本概念多元（重）线性回归方

2、程 描述2个或2个以上自变量Xi与1个应变量Y的统计关系的线性方程。自变量阶数为1的多元线性回归方程被称为一阶线性回归方程。Y（hat）=b0+b1x1+b2 x2+bmxm基本内容从具有n个样品的m个自变量与1个应变量的样本观测数据出发，建立Xi与Y关系的线性回归方程表达式；Y（hat）=b0+b1x1+b2 x2+bmxm对所建立的多元线性回归方程进行假设检验：各i（i=1 2.m）不全等于0 ；对每一变量进行假设检验：H0：某一J不等于0 ；应用：描述、预报与控制。多元回归分析所要求的条件多元回归分析所要求的条件LINE样本量要求：一般样本含量要求是参与分析的变样本量要求：一般样本含量要

3、求是参与分析的变量（自变量量（自变量+因变量）个数的因变量）个数的510倍倍,对多元线性对多元线性回归甚至要求回归甚至要求20倍（粗略估计）。倍（粗略估计）。数据准备数据准备-数据格式数据格式数据准备数据准备-随机缺失的处理不完全数据样品：1个样品中有一个或几个变量值缺失。“缺失”分为非随机缺失、随机缺失。随机缺失的处理样本含量大，不完全数据样品小，删除该样品；样本含量小，需利用不完全数据样品 用该变量的均数值代替；缺失值变量与其他变量相关程度大，则建立该缺失 变量与其他变量的回归方程，据此推算缺失值；其他处理办法数据准备数据准备-量化量化定量资料是否需要进行转换？定量资料是否需要进行转换？定

4、性资料数量化定性资料数量化回归模型回归模型Y|x1,x2xm=0+1x1+2 x2+mxm0：常数项，截距，指当所有自变量X1、X2、Xm均为0时，应变量的总体平均值Yj（j=1,2,m)：自变量Xj的总体偏回归系数,表示在其他自变量保持不变时，自变量Xj每增加（或减少）一个计量单位，应变量平均变化j个单位回归方程回归方程 从样本数据出发，建立的从样本数据出发，建立的样本回归方样本回归方程程 Y（hat）=b0+b1x1+b2 x2+bmxm Y（hat）:Y|x1,x2xm的估计值的估计值b0，b1，b2，.，bm：参数：参数0 0,1 1,m m的估计值，即常数项的估计值，即常数项和偏回归

5、系数和偏回归系数回归方程的建立回归方程的建立参数估计原理参数估计原理根据根据最小二乘法原理最小二乘法原理，通过对微分方程组，通过对微分方程组求偏导数，解出常数项求偏导数，解出常数项b0（或待定系数）（或待定系数）和偏回归系数和偏回归系数b1，b2.bm。最小二乘法原理最小二乘法原理 使得实际观察值使得实际观察值Yi与回归方程与回归方程的估计值的估计值Y(hat)之间的残差平方和最小。之间的残差平方和最小。正规方程矩阵形式与解的矩阵形式正规方程矩阵形式与解的矩阵形式B为方程的解为方程的解B=(X)-1 XY中 1 x11 x12 x1m y1 b0X=1 x21 x22 x2m Y=y2 B=b

6、1 1 xn1 xn2 xnm ym bm回归效果的检验回归效果的检验建立了回归方程后，需要进行假设性检验建立了回归方程后，需要进行假设性检验整个模型的假设检验整个模型的假设检验各回归参数的假设检验各回归参数的假设检验整个模型的假设检验整个模型的假设检验建立检验假设和备择假设建立检验假设和备择假设H0 :1 1=m m=0,H1:1 1,m m不全为不全为0 0整个模型的假设检验整个模型的假设检验方差分析方差分析整个模型的假设检验整个模型的假设检验判断结果判断结果 根据检验水平根据检验水平a，查，查F值表，值表，Fa，若，若FFa，P a，则拒绝，则拒绝H0，可认为回归效，可认为回归效果具有统

7、计学意义，否则，接受果具有统计学意义，否则，接受H0。回归系数的假设检验回归系数的假设检验建立检验假设和备择假设建立检验假设和备择假设H0 :j j=0,H1:j j=0 回归系数的假设检验回归系数的假设检验t检验Sbi=SY.x1,x2.xm(Cii)1/2其中，SY.12.m:剩余标准差 Cii=(X)-1 回归系数的假设检验回归系数的假设检验判断结果判断结果 根据检验水平根据检验水平a，查，查t值表，值表，ta，若，若tta，P a，则拒绝，则拒绝H0，j j=0,否则，接受否则，接受H0，j j=0,。回归系数的区间估计回归系数的区间估计bit(n-m-1)Sbi多元线性回归方程的评价

8、多元线性回归方程的评价有关评价指标有关评价指标F检验Root MSE （剩余标准差）R-Square （决定系数）Adj R-Sq （校正决定系数）Root MSE：SY.x1,x2.xm，剩余标准差R-Square：回归平方和在Y的总离均差平方和中所占比重 R-Square=SS回归/SS总=1-SS剩余/SS总0R-Square 1 当所有的回归系数均为0，即1 1=m m=0 时，时，则则R-Square=0 当所有的观测值正好落在拟和的回归平面或超平面上时，即Yi=Yi(hat)时，则则R-Square=1R-Square越接近1，说明回归模型对资料的拟合优度越佳，故R-Square作

9、为衡量模型优劣的测度。在简单线性回归中，仅一个自变量:R-Square=r-Square使用R-Square评价模型时需注意:较大的R-Square并不一定意味着拟合模型是有用的，可能是因为：只取得自变量很少几个水平的观察值，此时，尽管R-Square很大，甚至趋于1，但它不能作为衡量模型优劣的测度统计量；增加自变量，R-Square增大。R：复相关系数，多元相关系数或全相关系数。表示应变量Y与所有自变量（X1、X2Xm）间线性相关关系的密切程度，是Y（实际值）和Y(hat)（在回归平面或超平面上的估计值）的简单相关系数Adj R-Sq :校正决定系数为避免因自变量增加，R-Square增大的

10、不合理现象，提出Adj R-Sq。可见，校正决定系数是相对SS残与SS总的自由度进行的加权调整。应 用偏回归系数 j j ：表示在其他自变量保持不变时，自变量Xj每增加（或减少）一个计量单位，应变量平均变化j个单位，描述Y与Xj的数量关系；j j有量纲，如要比较Xi与Xj对Y的影响程度，不能直接根据ii与与jj的绝对值大小的绝对值大小下结论，要消除量纲的影响，将ii与与jj标准化。标准化偏回归系数 jj=jj*Sj/SySj/Sy SjSj:Xj的标准差 SySy：Y Y的标准差依据样本，计算bibi,bjbj,对对bibi,bjbj 进行统计检验，差别无统计学意义，推断ii与与jj无差别，差

11、别有统计学意义，ii与与jj有有差别，根据绝对值大小决定Xi与Xj对Y的影响程度大小。应 用标准化偏回归系数的假设检验 H0:ii=jj (i=j)(i=j)H1:ii=jj应 用根据较易测得的自变量推算不易测得的应变量如由身高、体重 推算 体表面积应 用各样本观察值XI取值处Y的总体均数的置信区间Y（hat）t(n-m-1)SY（hat）应 用各样本观察值XI取值处Y的个体值的区间（容许区间）Y（hat）t(n-m-1)SY可用于制定多元参考值范围多元回归分析中注意问题LINE条件样本含量资料量化多元共线性多元回归分析中注意问题多元（重）共线性一些自变量或全部自变量间存在高度相关，这时求得的

12、回归系数值不稳定且难以解释，甚至无法求解回归系数值。解决办法：岭回归分析逐步回归分析主成分回归分析实例P19-P28多元相关多个自变量（多个自变量（X1,X2,Xm）与一个应变量）与一个应变量Y情况下，各变量间线性关系的密切程度。情况下，各变量间线性关系的密切程度。包括：包括：全体自变量（全体自变量（X1,X2,Xm）与应变量）与应变量Y间间线性关系的密切程度线性关系的密切程度-复相关系数复相关系数R；各变量两两间线性关系的密切程度各变量两两间线性关系的密切程度-偏偏相关系数相关系数多元相关Xi与与Y间偏相关系数间偏相关系数消除其余自变量影响后消除其余自变量影响后Xi与与Y间的线性间的线性相关

13、性。相关性。Ui:偏回归平方和,在m个自变量中去掉一个自变量Xi后,回归平方和减少的值;Qi(m-1):在m个自变量中去掉一个自变量Xi后,其余m-1个自变量作线性回归时的剩余平方和多元相关Xi与与Y间偏相关系数性质间偏相关系数性质偏相关系数取值范围偏相关系数取值范围-1+1；Xi与与Y的偏相关系数为的偏相关系数为0，则偏回归平，则偏回归平方和亦为方和亦为0，Xi与与Y线性意义下呈零相线性意义下呈零相关；关；Xi与与Y的偏相关系数为的偏相关系数为-1或或+1，则剩余，则剩余平方和为平方和为0，Xi与与Y有最理想的线性关有最理想的线性关系系多元相关Xi与与 Xj间的偏相关系数间的偏相关系数公式公式:P18