多元回归补充优秀PPT.ppt
多元回归补充第1页，本讲稿共40页多元线性回归分析：研究因变量（被解释变量）与两个或两个以上多元线性回归分析：研究因变量（被解释变量）与两个或两个以上自变量（解释变量）之间的回归问题，称为多元回归分析。自变量（解释变量）之间的回归问题，称为多元回归分析。多元线性回归分析的定义线性回归线性回归自变量个数自变量个数大于等于大于等于2 2多元多元线性线性回归回归第2页，本讲稿共40页10.110.1多元线性回归模型多元线性回归模型 b b0 0为常数项为常数项,b,b1 1,b,bk k为偏回归系数，表示在其它自变量为偏回归系数，表示在其它自变量保持不变时，增加或减少一个单位时保持不变时，增加或减少一个单位时Y Y的平均变化量，的平均变化量，u u是去除是去除m m个自变量对个自变量对Y Y影响后的随机误差（残差）。影响后的随机误差（残差）。多元线性回归的基本理论第3页，本讲稿共40页10.110.1多元线性回归模型多元线性回归模型将将n n个观察数据代入上述模型，则问题转化为：个观察数据代入上述模型，则问题转化为：多元线性回归的基本理论(10-1)(10-1)第4页，本讲稿共40页10.110.1多元线性回归模型多元线性回归模型多元线性回归的基本理论写为矩阵形式：写为矩阵形式：(10-2)(10-2)第5页，本讲稿共40页10.110.1多元线性回归模型多元线性回归模型多元线性回归的基本理论即：即：(10-3)(10-3)其中，其中，Y,uY,u是是n n维向量，维向量，b b是是k k维向量，维向量，x x是是mkmk矩阵矩阵第6页，本讲稿共40页10.110.1多元线性回归模型多元线性回归模型多元线性回归的基本理论基本假定：基本假定：第7页，本讲稿共40页10.110.1多元线性回归模型多元线性回归模型多元线性回归的基本理论 第8页，本讲稿共40页10.2 10.2 参数的最小二乘估计参数的最小二乘估计采用最小二乘估计回归系数b令：令：取最小值取最小值 第9页，本讲稿共40页10.2 10.2 参数的最小二乘估计参数的最小二乘估计Q Q在最小值处偏导数为在最小值处偏导数为0 0，得：，得：（10-410-4）采用最小二乘估计回归系数b第10页，本讲稿共40页10.2 10.2 参数的最小二乘估计参数的最小二乘估计采用最小二乘估计回归系数b（10-510-5）整理得：整理得：求解该联立方程组即可得求解该联立方程组即可得 第11页，本讲稿共40页第12页，本讲稿共40页10.3 10.3 回归方程的显著性检验回归方程的显著性检验假设假设 求得的回归方程为：求得的回归方程为：10.3.1 10.3.1 总离差平方和分解总离差平方和分解第13页，本讲稿共40页10.3.1 10.3.1 总离差平方和分解总离差平方和分解同一元回归，可得：同一元回归，可得：并且：并且：（10-610-6）第14页，本讲稿共40页10.3.1 10.3.1 总离差平方和分解总离差平方和分解总离差平方和：总离差平方和：即是：即是：回归平方和：回归平方和：残差平方和：残差平方和：第15页，本讲稿共40页10.3.2 10.3.2 样本决定系数对回归方程样本决定系数对回归方程“拟合优度拟合优度”的检验的检验 样本决定系数样本决定系数，又称复决定系数，或多重决定系数。，又称复决定系数，或多重决定系数。定义：定义：样本决定系数第16页，本讲稿共40页10.3.2 10.3.2 样本决定系数对回归方程样本决定系数对回归方程“拟合优度拟合优度”的检验的检验样本容量增大样本容量增大(n)(n)R R2 2也随之增大也随之增大(R(R2 2)R R2 2的大小的大小很难说明问题很难说明问题存在的问题第17页，本讲稿共40页10.3.2 10.3.2 样本决定系数对回归方程样本决定系数对回归方程“拟合优度拟合优度”的检验的检验R R2 2的改进的改进当n为小样本，解释变量数很大时，上式可能为负数，这时取其值为0。R R2 2与与 均反映在给定样本下，回归方程与样本均反映在给定样本下，回归方程与样本观测值拟合优度，但不能据此进行总体模型的推断。观测值拟合优度，但不能据此进行总体模型的推断。改进第18页，本讲稿共40页10.3.3 10.3.3 回归方程的显著性检验回归方程的显著性检验第19页，本讲稿共40页10.3.3 10.3.3 回归方程的显著性检验回归方程的显著性检验 检验的目的：检验检验的目的：检验Y Y与解释变量与解释变量x x1 1，x x2 2，x xk k之间的线性之间的线性关系是否显著。关系是否显著。检验的目的第20页，本讲稿共40页10.3.3 10.3.3 回归方程的显著性检验回归方程的显著性检验检验的步骤第一步，提出假设：第一步，提出假设：原假设：原假设：H H0 0：b b1 1=b=b2 2=b bk k=0=0备择假设：备择假设：H H1 1：b bi i不全为不全为0 0 （i=1i=1，k k）第21页，本讲稿共40页10.3.3 10.3.3 回归方程的显著性检验回归方程的显著性检验检验的步骤第二步，计算统计量：第二步，计算统计量：或：或：（10-810-8）第22页，本讲稿共40页10.3.3 10.3.3 回归方程的显著性检验回归方程的显著性检验第三步，查表，得：第三步，查表，得：检验的步骤第23页，本讲稿共40页10.3.3 10.3.3 回归方程的显著性检验回归方程的显著性检验检验的步骤第四步，做检验：第四步，做检验：拒绝拒绝H H0 0，回归方程显著回归方程显著接受接受H H0 0，回归方程不显著回归方程不显著检验法则第24页，本讲稿共40页10.4 10.4 回归系数的显著性检验回归系数的显著性检验 回归方程显著，并不意味着每个解释变量对因变回归方程显著，并不意味着每个解释变量对因变量量Y Y的影响都重要的影响都重要,因此需要进行检验：因此需要进行检验：回归系数检验的必要性回归方程显著回归方程显著每个回归系数每个回归系数都显著都显著第25页，本讲稿共40页10.4 10.4 回归系数的显著性检验回归系数的显著性检验 回归系数检验的步骤第一步，提出假设：第一步，提出假设：原假设：原假设：H H0 0：b bi i=0 (i=1=0 (i=1，2 2，k)k)备择假设：备择假设：H H1 1：b bi i0 (i=10 (i=1，2 2，k)k)第26页，本讲稿共40页10.4 10.4 回归系数的显著性检验回归系数的显著性检验 回归系数检验的步骤第二步，构造并计算统计量第二步，构造并计算统计量 ：第27页，本讲稿共40页10.4 10.4 回归系数的显著性检验回归系数的显著性检验 回归系数检验的步骤第三步，查表得第三步，查表得 ：第28页，本讲稿共40页10.4 10.4 回归系数的显著性检验回归系数的显著性检验 回归系数检验的步骤第四步，做检验：第四步，做检验：接受接受H H0 0 检验法则拒绝拒绝H0H0 第29页，本讲稿共40页回归分析自变量选择的四种方法:向前选择法向后剔除法逐步回归法强迫进入法第30页，本讲稿共40页1.前进法，回归方程中的自变量从无到有、从少到多逐个引入回归方程。此法已基本淘汰。后退法，先将全部自变量选入方程，然后逐步剔除无统计学意义的自变量。剔除自变量的方法是在方程中选一个偏回归平方和最小的变量，作F检验决定它是否剔除，若无统计学意义则将其剔除，然后对剩余的自变量建立新的回归方程。重复这一过程，直至方程中所有的自变量都不能剔除为止。理论上最好，建议使用采用此法。逐步回归法，逐步回归法是在前述两种方法的基础上，进行双向筛选的一种方法。该方法本质上是前进法。第31页，本讲稿共40页强迫进入法根据事先的对变量之间关系的理论假设，将研究变量按一定顺序投入到回归方程中，而不管其显著还是不显著。这种方法常用于路径分析中。后面的内容会讲到这点。第32页，本讲稿共40页第33页，本讲稿共40页 消除多重共线性：剔除某个造成共线性的自变量，重建回归方程；合并自变量；采用逐步回归方法。多重共线性是由于一个自变量与其它所有或某些自变量间的相关太高，以致它可以由其它自变量来线性表示。多重共线性会导致估计值不准确，估计误差增大，甚至无法计算。自变量的多重共线性第34页，本讲稿共40页多重共线性的识别指标第35页，本讲稿共40页虚变量的回归方程建立方法如果自变量是离散型变量，那么就要使该自变量变成多个虚变量，虚变量的个数等于自变量水平数减1。如果自变量有两个水平，如性别，那么我们只需要建立一个虚变量，用1表示男（女），用0表示女生。如果自变量是三个水平，如家庭状况，它包括单亲家庭组、双亲家庭组和他人照顾组三个水平，我们只需要建立两个虚变量就可以。如下图。第36页，本讲稿共40页注意虚变量的取值一般只是1和0两个。第37页，本讲稿共40页第38页，本讲稿共40页多元回归分析步骤根据理论假设，建立回归方程式：在SPSS中就是分别选择因变量和自变量。考察是否存在离散型变量，如果存在，要转化为虚变量。检验自变量是否存在多重共线性：在SPSS是点击statistics对话框中的Collinearity diagnostics。检验指标有：Tolerance、VIF和CI。选择回归分析的方法：一般采用Stepwise方法和Enter法。前者还要在Option对话框中选择进入和删除的标准（一般采用默认标准）。估计回归系数和标准化回归系数：点击statistics对话框中的Estimates。第39页，本讲稿共40页检验回归方程的有效性：点击statistics对话框中的Model fit。比较不同模型有效性的高低：点击statistics对话框中的R squared change。检验模型的误差方差是否相等和是否呈正态分布：点击statistics对话框中的Dubin-Watson和Casewise diagnostics。点击plots对话框中的Histogram和Normal probability plot。第40页，本讲稿共40页
