多元线性回归与多元逐步回归讲稿.ppt

《多元线性回归与多元逐步回归讲稿.ppt》由会员分享，可在线阅读，更多相关《多元线性回归与多元逐步回归讲稿.ppt（34页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多元线性回归与多元逐步回归第一页，讲稿共三十四页哦例例 子子一个应变量与多个自变量间的关系儿童身高与年龄、性别的关系儿童身高与年龄、性别的关系肺活量与年龄、性别、身高、体重肺活量与年龄、性别、身高、体重以及胸围的呼吸差等因素的关系以及胸围的呼吸差等因素的关系多元线性回归如构成线性依存关系第二页，讲稿共三十四页哦第一节第一节 多元线性回归多元线性回归第二节多元逐步回归第二节多元逐步回归第三节第三节 多元线性回归的注意事项多元线性回归的注意事项第三页，讲稿共三十四页哦第一节第一节 多元线性回归多元线性回归（multiple linear regression）第四页，讲稿共三十四页哦多元线性回归的

2、数据格式多元线性回归的数据格式第五页，讲稿共三十四页哦一、多元线性回归方程(multiplelinearregressionequation)常数项，表示当所有自变量为0时应变量Y的总体平均值的估计值表示除以外的其它自变量固定不变的情况下，每改变一个测量单位时所引起的应变量Y的平均改变量bj为偏回归系数（partialregressioncoefficient)第六页，讲稿共三十四页哦两个自变量与应变量的散点图两个自变量与应变量的散点图第七页，讲稿共三十四页哦两个自变量与应变量的拟合面两个自变量与应变量的拟合面bj 为为 xj方向的斜率方向的斜率第八页，讲稿共三十四页哦1.求偏回归系数求偏回归

3、系数bj及及b0根据最小二乘法根据最小二乘法(method of least square)(method of least square)原理求出原理求出b bj j,即即得到得到bj第九页，讲稿共三十四页哦 2.2.2.2.例例 子子例例11.1 2011.1 20名糖尿病人的血糖、胰岛素及生长素的测定值列于下表中，名糖尿病人的血糖、胰岛素及生长素的测定值列于下表中，试建立血糖对于胰岛素及生长素的二元线性回归方程试建立血糖对于胰岛素及生长素的二元线性回归方程。第十页，讲稿共三十四页哦对于本例有对于本例有:采用最小二乘法即可求出常数项采用最小二乘法即可求出常数项b b0 0和偏回归系数和偏回

4、归系数b b1 1、b b2 2。其中其中第十一页，讲稿共三十四页哦对表对表11-211-2的数据资料由的数据资料由SASSAS统计软件可得到如下统计软件可得到如下表表11-311-3的主要结果。的主要结果。由此得到回归方程为由此得到回归方程为第十二页，讲稿共三十四页哦二、回归方程的假设检验二、回归方程的假设检验1.1.模型检验模型检验其中：自由度为总n1，回归k，剩余nk1第十三页，讲稿共三十四页哦X2X1YModel SSTotal SSResidual SS第十四页，讲稿共三十四页哦由表由表11-4可知，可知，F21.54，P0.05。从而，拒绝。从而，拒绝H0，可以认为，可以认为和和不

5、全为不全为0，即所求回归方程有统计学意义。，即所求回归方程有统计学意义。对于例对于例11.111.1的模型检验的模型检验H H0 0：H H1 1：和和不全为不全为0 0 0.050.05对表对表11-311-3的数据资料，由的数据资料，由SASSAS统计软件可得到如下表统计软件可得到如下表11-411-4的模型检验结果。的模型检验结果。第十五页，讲稿共三十四页哦偏回归系数的检验（1 1）F F检验检验j=1,2,k之中，之中，U U 为为XjXj 的偏回归平方和的偏回归平方和,即即U U=SS SS回归回归SSSS回归回归(-(-j j)Fj服从F(1,n-k-1)分布第十六页，讲稿共三十四

6、页哦表表11-511-5例例11.111.1数据的偏回归系数数据的偏回归系数F F检验表检验表方程内方程内自变量自变量平方和平方和F FP PSSSS回归回归SSSS回归回归-SSSS回归回归(-j)(-j)SSSS残差残差X1,X2X1,X2116.6116.646.02546.025X2X266.27566.27550.35250.35218.59818.5980.00.050.05在在 0.050.05水平上，可以认为胰岛素对血糖的线性回归关系有统计学意义，而生长素对水平上，可以认为胰岛素对血糖的线性回归关系有统计学意义，而生长素对血糖的线性回归关系无统计学意义。所以应剔除血糖的线性回归

7、关系无统计学意义。所以应剔除X X2 2，只建立，只建立X X1 1与与Y Y的线性回归方程。的线性回归方程。第十七页，讲稿共三十四页哦(2)(2)t t 检验检验j=1,2,k，P=0.0005；在在0.050.05水平下，认为血糖与胰岛素的线性回归关系水平下，认为血糖与胰岛素的线性回归关系有统计学意义，而与生长素的线性回归关系无统计学意义。有统计学意义，而与生长素的线性回归关系无统计学意义。结论与结论与 F F 检验一致检验一致。，P=0.4110。第十八页，讲稿共三十四页哦三、标准化回归系数三、标准化回归系数三、标准化回归系数三、标准化回归系数（stastan n n ndardized

8、 partial regression coefficient)dardized partial regression coefficient)式中，式中，S Sj j及及S Sy y 分别为自变量分别为自变量X Xj j 及因变量及因变量Y Y 的标准差。的标准差。可以利用标准化偏回归系数的大小可以利用标准化偏回归系数的大小 来反映各自变量的贡献大小。来反映各自变量的贡献大小。第十九页，讲稿共三十四页哦复相关系数（复相关系数（复相关系数（复相关系数（multiple correlationmultiple correlationmultiple correlationmultiple cor

9、relation coefficientcoefficientcoefficientcoefficient）又称多元相关系数或全相关系数，表示回归方程中的全部自变量又称多元相关系数或全相关系数，表示回归方程中的全部自变量 X X共共 同对应变量同对应变量Y Y的相关密切程度。复相关系数取值总为正值，在的相关密切程度。复相关系数取值总为正值，在0 0与与1 1之间，之间，简记为简记为R R。如果只有一个自变量，此时。如果只有一个自变量，此时 四、四、复相关系数与决定系数复相关系数与决定系数第二十页，讲稿共三十四页哦2 2决定系数决定系数(coefficient of determination(

10、coefficient of determination）复相关系数的平方又称决定系数，记为复相关系数的平方又称决定系数，记为 ，用以反映线，用以反映线性回归方程能在多大程度上解释应变量性回归方程能在多大程度上解释应变量Y Y的变异性的变异性。回归方程的拟合程度越好，残差平方和就越小，决定系数回归方程的拟合程度越好，残差平方和就越小，决定系数 越接近越接近1 1，决定系，决定系数数 越接近越接近1 1第二十一页，讲稿共三十四页哦 第二节多元逐步回归第二节多元逐步回归 （multiple stepwise regression）第二十二页，讲稿共三十四页哦1.多元逐步回归的基本思想多元逐步回归的

11、基本思想多元逐步回归（多元逐步回归（multiple stepwise regressionmultiple stepwise regression）有三种筛选自变量的方法有三种筛选自变量的方法 ：1 1向后法（向后法（Backward selectionBackward selection）先建立一个全因素的回归方程，然后每先建立一个全因素的回归方程，然后每次剔除一个偏回归平方和最小且无统计学意义的自变量，直到不能剔除时为止，次剔除一个偏回归平方和最小且无统计学意义的自变量，直到不能剔除时为止，此法的计算量大，有时不能实现。此法的计算量大，有时不能实现。2 2向前法（向前法（forward

12、selectionforward selection）方程由一个自变量开始，每次引入一个偏回归方程由一个自变量开始，每次引入一个偏回归平方和最大，且具有统计学意义的自变量，由少到多，直到无具有统计意义的因素可以平方和最大，且具有统计学意义的自变量，由少到多，直到无具有统计意义的因素可以引入为止。用此法建立的方程有时不够精炼。引入为止。用此法建立的方程有时不够精炼。3.3.逐步法（逐步法（stepwise selecfionstepwise selecfion）取上述两种方法的优点，在向前引入每一个新取上述两种方法的优点，在向前引入每一个新自变量之后都要重新对前已选入的自变量进行检查，以评价其有

13、无继续保留在方程中的价值。自变量之后都要重新对前已选入的自变量进行检查，以评价其有无继续保留在方程中的价值。为此引入和剔除交替进行，直到无具有统计学意义的新变量可以引入也无失去其统计学意义为此引入和剔除交替进行，直到无具有统计学意义的新变量可以引入也无失去其统计学意义的自变量可以剔除时为止。的自变量可以剔除时为止。第二十三页，讲稿共三十四页哦2.多元逐步回归的基本原理多元逐步回归的基本原理 每一步只引入或剔除一个自变量。自变量是否被引入或剔除则取决于其偏回归平方和每一步只引入或剔除一个自变量。自变量是否被引入或剔除则取决于其偏回归平方和的的F F检验或校正决定系数。检验或校正决定系数。如方程中

14、已引入了如方程中已引入了(m m-1)-1)个自变量，在此基础上考虑再引入变量个自变量，在此基础上考虑再引入变量X Xj j 。记记引入引入X Xj j 后方程（即含后方程（即含m m个自变量）的回归平方和为个自变量）的回归平方和为SSSS回归回归，残差为，残差为SSSS残差；残差；之前之前含含(m m-1)-1)个自变量（不包含个自变量（不包含X Xj j ）方程的回归平方和为）方程的回归平方和为SSSS回归回归(-(-j j)，则，则X Xj j 的偏回的偏回归平方和为归平方和为 U U=SS SS回归回归SSSS回归回归(-(-j j)，检验统计量为：，检验统计量为：Fj 服从F (1,

15、n-m-1)分布如果如果FjF(1,n-m-1)，则，则 Xj选入方程；否则，不入选。选入方程；否则，不入选。从方程中剔除无统计学作用的自变量，过程则相反，但检验一样。从方程中剔除无统计学作用的自变量，过程则相反，但检验一样。第二十四页，讲稿共三十四页哦3.多元逐步回归的检验水平多元逐步回归的检验水平 在进行逐步回归前，首先应确定检验水平，以作为引入或剔在进行逐步回归前，首先应确定检验水平，以作为引入或剔除变量的标准。检验水平可以根据具体情况而定，一般可将除变量的标准。检验水平可以根据具体情况而定，一般可将 F F 值值定在定在 为为0.050.05、0.100.10或或0.200.20水平上

16、。对于回归方程的选入和水平上。对于回归方程的选入和剔除水平往往选择剔除水平往往选择 选入选入 剔除剔除。选择不同的选择不同的F F 值值(或或 水平水平)，其回归方程的结果可能不一，其回归方程的结果可能不一致，一般可选不同的致，一般可选不同的F F 值值(或或 值值)作调试。至于何种结果作调试。至于何种结果是正确的，必须结合医学的实际意义来确定是正确的，必须结合医学的实际意义来确定。第二十五页，讲稿共三十四页哦4.多元逐步回归事例多元逐步回归事例 对例对例11.211.2采用逐步法筛选自变量，选入水准为采用逐步法筛选自变量，选入水准为 0.10,0.10,剔除水准为剔除水准为0.150.15，

17、SAS SAS 软件计算过程及相应结果见表软件计算过程及相应结果见表11-811-8至至 表表11-1111-11。第二十六页，讲稿共三十四页哦第二十七页，讲稿共三十四页哦第二十八页，讲稿共三十四页哦多元逐步回归方程为：多元逐步回归方程为：第二十九页，讲稿共三十四页哦第三节第三节多元线性回归的注意事项多元线性回归的注意事项第三十页，讲稿共三十四页哦1.1.应用条件应用条件应用条件应用条件（1 1）线性依存关系线性依存关系 应变量与自变量间具有线性依存应变量与自变量间具有线性依存关系。关系。（2 2）正态性正态性 应变量原则上是连续型可测正态变量，应变量原则上是连续型可测正态变量，其预测值与实际

18、观测值的差值（即残差）服从正态分布，其预测值与实际观测值的差值（即残差）服从正态分布，当样本量较大时可以忽略正态性的要求。当样本量较大时可以忽略正态性的要求。（3 3）独立性）独立性 观察单位之间是独立的，即应变量的观察单位之间是独立的，即应变量的观测值相互独立。观测值相互独立。第三十一页，讲稿共三十四页哦2.2.样本含量样本含量 一般应使样本量是自变量个数的一般应使样本量是自变量个数的一般应使样本量是自变量个数的一般应使样本量是自变量个数的 5 5 5 5 倍以上。倍以上。3.3.自变量的数量化自变量的数量化 注意名义变量的数量化。注意名义变量的数量化。第三十二页，讲稿共三十四页哦4.4.筛选自变量的检验水平筛选自变量的检验水平 要考虑入选变量的实际意义。要考虑入选变量的实际意义。5.5.多重共线性多重共线性 可采用主成分分析或因子分析等方法构建新的自变可采用主成分分析或因子分析等方法构建新的自变量后再进行多元线性回归来消除多重共线性。量后再进行多元线性回归来消除多重共线性。第三十三页，讲稿共三十四页哦谢谢 谢谢 ！第三十四页，讲稿共三十四页哦