逐步回归分析幻灯片.ppt

《逐步回归分析幻灯片.ppt》由会员分享，可在线阅读，更多相关《逐步回归分析幻灯片.ppt（37页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、逐步回归分析第1页，共37页，编辑于2022年，星期三（1）均方误差）均方误差s2最小最小达到最小（2）预测均方误差最小）预测均方误差最小达到最小（3）统计统计量最小准量最小准则则达到最小 第2页，共37页，编辑于2022年，星期三（4）AIC或或BIC准则准则或 达到最小（5）修正）修正准准则则达到最大 第3页，共37页，编辑于2022年，星期三4.6.2 选择最优回归子集的方法选择最优回归子集的方法（1）选择最优子集的简便方法：逐步筛选法（STEPWISE）向前引入法或 前进法（FORWARD）向后剔除法或后退法（BACKWARD）（2）计算量最大的全子集法：R2选择法（RSQUARE）C

2、p选择法（CP）修正R2选择法（ADJRSQ）。第4页，共37页，编辑于2022年，星期三最小R2增量法（MINR）最大R2增量法（MAXR）（3）计算量适中的选择法：4.6.3逐步回归的基本思想与步骤逐步回归的基本思想与步骤基本思想：逐个引入自变量，每次引入对y影响最显著的自变量，并对方程中的老变量逐个进行检验，把变得不显著的变量逐个从方程中剔除，最终的回归方程中既不漏掉对y影响显著的变量，又不包含对y影响不显著的变量。第5页，共37页，编辑于2022年，星期三4.6.3.1前进法（前进法（FORWARD）原理：原理：事先给定挑选自变量进入方程的显著性水平，按自变量对因变量y的贡献由大到小依

3、次挑选自变量进入方程，直到方程外没有显著的自变量可引入为止。该方法的特点是：自变量一旦被选入，就永远保留在模型中。第6页，共37页，编辑于2022年，星期三图图4.1 逐步回归的基本步骤逐步回归的基本步骤第7页，共37页，编辑于2022年，星期三uu步骤步骤uu（1）将全部）将全部m个自变量，分别与因变量个自变量，分别与因变量y建立建立 一元回归方程；一元回归方程；uu（2）分别计算这）分别计算这m个一元回归方程中回归系数个一元回归方程中回归系数 的检验统计量的检验统计量F，记为：，记为：，取最大值取最大值 ，若若 ，停止筛选；，停止筛选；若若 ，选入，选入 ，不，不 妨设妨设 是是 ，进入步

4、骤（，进入步骤（3）；）；第8页，共37页，编辑于2022年，星期三uu（3）分别将自变量组 ，uu 与因变量y建立二元回归方程，计算回归方程中x2，x3，xm的回归系数检验统计uu量F，记为：，取其最大值uu ，若uu则停止筛选，y与 x1之间的回归方程就是最优的回归方程；若 ，选进xk2，不妨设xk2是 x2，进入步骤（4）。第9页，共37页，编辑于2022年，星期三uu（4）对已经选入模型的变量，x1，x2，如同前 面的方法做下去，直到所有未被选入模型 的自变量的F值都小于相应的临界值为止，这时的回归方程就是最优回归方程。前进法的一般步骤：前进法的一般步骤：假设已进行了假设已进行了l步筛

5、选，并选入自变量步筛选，并选入自变量x1，x2，xl，现进行第，现进行第l+1步筛选：步筛选：分别将自变量组 ，与y建立l+1元回归方程；回归 第10页，共37页，编辑于2022年，星期三uu方程中 的回归系数检验统计量记uu为：，记uu若 ，停止筛选，上一步得到的回归方程，即为最优的回归方程；uu若 ，将 选进模型，进行下一步筛选。uu前进法的缺点：不能反映自变量选进模型后的变化情况。第11页，共37页，编辑于2022年，星期三4.6.3.2 后退法（后退法（BACKWARD）原理：原理：事先给定从方程中剔除自变量的显著性水平，开始全部自变量都在模型中，然后按自变量对y的贡献由小到大依次剔除

6、，直至方程中没有不显著的变量可剔除为止。该方法的特点是：自变量一旦被剔除，就不再进入模型，第12页，共37页，编辑于2022年，星期三uu（1）建立全部自变量x1，x2，xm对因变量y的回归方程，对方程中m个自变量的回归系数b1，b2，bm进行F检验，相应的F值记uu为：，取最小值uu若 ，没有自变量可剔除，此时的回归方程就是最优的回归方程；uu若 ，剔除xk1，不妨设xk1uu是xm，进入步骤（2）。第13页，共37页，编辑于2022年，星期三uu（2）建立x1，x2，xm-1与因变量y的回归方程，对方程中自变量的回归系数进行F检验，uu相应的F值记为：，取最小值uu ，若uu则无自变量可剔

7、除，此时的回归方程即最优的回uu归方程；若 ，将xk2 从模型中剔除，不妨设xk2就是xm-1，进入步骤（3）；第14页，共37页，编辑于2022年，星期三uu（3）重复前面的做法，直至回归方程中各变量回归系数的F值均大于临界值，即方程中没有变量可剔除为止，此时的回归方程就是最优的回归方程。uu后退法的一般步骤：后退法的一般步骤：uu假设已经进行了假设已经进行了l步剔除，模型中的自变量为步剔除，模型中的自变量为x1，x2，xm-l，现进行第，现进行第l+1步剔除：步剔除：uu建立建立x1，x2，xm-l 对对y的回归方程，对方程的回归方程，对方程中中x1，x2，xm-l的回归系数进行的回归系数

8、进行F检验，相检验，相uu应的应的F统计量记为统计量记为：，取最小值第15页，共37页，编辑于2022年，星期三uu ，若uu则停止筛选，y与x1，x2，xm-l 之间的回归uu方程即为最优的回归方程；若uu则剔除 ，不妨设 为 ，进行下一步筛选。uu后退法的缺点后退法的缺点：开始把全部自变量都引入模型，计算量大。第16页，共37页，编辑于2022年，星期三4.6.3.3 逐步筛选法逐步筛选法原理：原理：该方法在前进法的基础上，引进后退法的思想。即对每一个自变量随着其对回归方程贡献的变化，随时地引入或剔除模型，使得最终回归方程中的变量对y的影响都是显著的，而回归方程外的变量对y的影响都是不显著

9、的，该方法即通常所说的逐步回归法。第17页，共37页，编辑于2022年，星期三uu设y是因变量，x1，x2，xm是所有自变量，yi，xi1，xi2，xim（i1，2，n）是独立抽取的n组样本。设自变量被选进模型的显著性水平为 ，被剔除模型的显著性水平为 ，且 。uu逐步筛选法的步骤为：逐步筛选法的步骤为：uu（1）计算离差矩阵）计算离差矩阵S 第18页，共37页，编辑于2022年，星期三uu（2）逐步筛选自变量）逐步筛选自变量uu第一步筛选：第一步筛选：uu计算各自变量的贡献：计算各自变量的贡献：uu取最大值取最大值uu uu对 的作用是否显著进行统计检验：uu F（1，n-1-1）第19页，

10、共37页，编辑于2022年，星期三uu若 ，则结束所有自变量皆与y无关，不能建立回归方程；若 ，则 将xk1选入模型，并将S转化为 ，进行第二步筛选；第20页，共37页，编辑于2022年，星期三其中 第21页，共37页，编辑于2022年，星期三uu第二步筛选第二步筛选:uu按 计算各自变量的贡献uu模型外自变量的贡献：uu模型中自变量 的贡献：uu取模型外自变量的最大贡献值，即 第22页，共37页，编辑于2022年，星期三uu计算 F（1，n-2-1），uu 其中 ，uu若 ，则筛选结束，第一步中所建立的回归方程即最优回归方程；uu若 ，则选 进入模型，将uu 化为 ，进行第三步筛选；第23页

11、，共37页，编辑于2022年，星期三第24页，共37页，编辑于2022年，星期三uu其中第25页，共37页，编辑于2022年，星期三uu第三步：第三步：uu从第三步开始，先检验已经引入方程中的自变量是否满足显著性水平 ，若有不满足显著性水平 uu 的自变量，依次剔除最不显著的，再从方程外挑选满足著性水平的最显著的自变量进入模型（即从第三步开始，先进行变量的剔除，再进行变量的选进）。第26页，共37页，编辑于2022年，星期三uu逐步回归法筛选自变量的一般步骤为：逐步回归法筛选自变量的一般步骤为：uu假设已经进行l步筛选，并且已经选入p个自变量，相应的残差平方和为 ，离差矩阵为uu则第步的筛选过

12、程为：第27页，共37页，编辑于2022年，星期三uu（a）计算自变量的贡献：uu（b）检验已选入的自变量是否显著 uu取模型中变量的最小值：第28页，共37页，编辑于2022年，星期三uu计算 F（1，n-p-1）,其中uu uu若 ，将xk剔除，转入（d）；uu若 ，则xk不能被剔除，转入（c）；第29页，共37页，编辑于2022年，星期三uu（c）取模型外变量贡献的最大值，uu计算uu若 ，则筛选结束，转入（3）；uu若 ，则选入xk，转入（d）；第30页，共37页，编辑于2022年，星期三uu（d）将 化为 ，进行第l+2步筛选。第31页，共37页，编辑于2022年，星期三uu其中 第32页，共37页，编辑于2022年，星期三4.7 可化为线性回归的曲线回归可化为线性回归的曲线回归（1）对于双曲线型函数：）对于双曲线型函数：第33页，共37页，编辑于2022年，星期三（2）幂函数型）幂函数型：幂函数图形 第34页，共37页，编辑于2022年，星期三（3）指数曲线型：）指数曲线型：第35页，共37页，编辑于2022年，星期三（5）S型函数：型函数：S型曲线图形第36页，共37页，编辑于2022年，星期三（6）多项式回归）多项式回归：，第37页，共37页，编辑于2022年，星期三