第八章多重共线性.ppt

第八章第八章 多重共线性多重共线性多重共线性多重共线性v多重共线性及其影响多重共线性及其影响v多重共线性的发现和检验多重共线性的发现和检验v多重共线性的克服和处理多重共线性的克服和处理引子：引子：发展农业和建筑业会减少财政收入吗？发展农业和建筑业会减少财政收入吗？为了分析各主要因素对财政收入的影响，建立财政收为了分析各主要因素对财政收入的影响，建立财政收入模型入模型:其中其中:CS财政收入财政收入(亿元亿元);NZ农业增加值农业增加值(亿元亿元);GZ工业增加值工业增加值(亿元亿元);JZZ建筑业增加值建筑业增加值(亿元亿元);TPOP总人口总人口(万人万人);CUM最终消费最终消费(亿元亿元);SZM受灾面积受灾面积(万公顷万公顷)数据样本时期数据样本时期1978年年-2003年（资料来源：年（资料来源：中国统计年鉴中国统计年鉴2004，中国统计出版社，中国统计出版社2004年版）年版）VariableCoefficientStd.Errort-StatisticProb.农业增加增加值NZ-1.5350900.129778-11.828610.0000工工业增加增加值GZ0.8987880.2454663.6615580.0017建筑建筑业增加增加值JZZ-1.5270891.206242-1.2659890.2208总人口人口TPOP0.1511600.0337594.4776460.0003最最终消消费CUM0.1015140.1053290.9637830.3473受灾面受灾面积SZM-0.0368360.018460-1.9953820.0605截距截距项-11793.343191.096-3.6957040.0015R-squared0.995015 Mean dependent var5897.824Adjusted R-squared0.993441 S.D.dependent var5945.854S.E.of regression481.5380 Akaike info criterion15.41665Sum squared resid4405699.Schwarz criterion15.75537Log likelihood-193.4165 F-statistic632.0999Durbin-Watson stat1.873809 Prob(F-statistic)0.000000财政收入模型的财政收入模型的EViewsEViews估计结果估计结果 可决系数为可决系数为0.9950.995，校正的可决系数为，校正的可决系数为0.9930.993，模型，模型拟合很好。模型对财政收入的解释程度高达拟合很好。模型对财政收入的解释程度高达99.5%99.5%。F F统计量为统计量为632.10632.10，说明，说明0.050.05水平下回归方程整体水平下回归方程整体上显著。上显著。t t 检验结果表明，除了工业增加值和总人口以外，检验结果表明，除了工业增加值和总人口以外，其他因素对财政收入的影响均不显著。其他因素对财政收入的影响均不显著。农业增加值和建筑业增加值的回归系数是负数。农业增加值和建筑业增加值的回归系数是负数。农业和建筑业的发展反而会使财政收入减少吗？农业和建筑业的发展反而会使财政收入减少吗？!这样的异常结果显然与理论分析和实践经验不相符。这样的异常结果显然与理论分析和实践经验不相符。若模型设定和数据真实性没问题，问题出在哪里呢？若模型设定和数据真实性没问题，问题出在哪里呢？模型估计与检验结果分析模型估计与检验结果分析一、多重共线性及其分类一、多重共线性及其分类v多重共线性及其分类多重共线性及其分类v完全多重共线性完全多重共线性v近似多重共线性近似多重共线性 多重共线性的概念多重共线性的概念 对于模型对于模型 Yi=0+1X1i+2X2i+kXki+i i=1,2,n其基本假设之一是解释变量是互相独立的。其基本假设之一是解释变量是互相独立的。如果某两个或多个解释变量之间出现了相如果某两个或多个解释变量之间出现了相关性，则称为关性，则称为多重共线性多重共线性(Multicollinearity)。v 如果存在如果存在 c1X1i+c2X2i+ckXki=0 i=1,2,n 其其中中:ci不不全全为为0，则则称称为为解解释释变变量量间间存存在在完完全全共共线线性性（perfect multicollinearity）。如果存在如果存在 c1X1i+c2X2i+ckXki+vi=0 i=1,2,n 其其中中ci不不全全为为0，vi为为随随机机误误差差项项，则则称称为为 近近似似共共线线性性（approximate multicollinearity）或或交交互互相相关关(intercorrelated)。注意：注意：完全共线性的情况并不多见，一般出现完全共线性的情况并不多见，一般出现的是在一定程度上的共线性，即近似共线的是在一定程度上的共线性，即近似共线性。性。但无论是解释变量之间严格的线性关但无论是解释变量之间严格的线性关系还是较严重的近似线性关系，都会给多系还是较严重的近似线性关系，都会给多元线性回归分析造成严重的不利影响，甚元线性回归分析造成严重的不利影响，甚至导致回归模型完全失效。至导致回归模型完全失效。（一）多重共线性的理论后果（一）多重共线性的理论后果OLSOLS估计量仍保持估计量仍保持BLUEBLUE性质性质（高斯（高斯-马尔科马尔科夫定理仍然成立）夫定理仍然成立）完全多重共线性导致参数的完全多重共线性导致参数的OLSOLS估计量无估计量无法求出（也可以理解为方差无穷大）法求出（也可以理解为方差无穷大）。近似多重共线性导致参数的近似多重共线性导致参数的OLSOLS估计量的估计量的方差大幅提高方差大幅提高二、二、多重共线性的后果多重共线性的后果 1.1.虽虽是线性无偏且最小方差，但其方差是一个非是线性无偏且最小方差，但其方差是一个非常大的数值，故其常大的数值，故其估计的精度下降估计的精度下降；2.回归系数的置信区间加宽，导致接受零假设的回归系数的置信区间加宽，导致接受零假设的可能性增大可能性增大，从而从而t t 检验失效检验失效 3.3.R R2 2 可能很大，可能很大，F F统计值也很高；统计值也很高；4.4.最小二乘最小二乘估计量估计量及其及其标准差标准差都都对数据的微小变化非常敏对数据的微小变化非常敏感；感；5 5、模型预测、模型预测置信区间加宽，预测方差加大，以至置信区间加宽，预测方差加大，以至失去预失去预测的意义测的意义（二）多重共线性的实际后果（二）多重共线性的实际后果(理论后果的具体表现理论后果的具体表现）二、二、多重共线性的后果多重共线性的后果完全多重共线性及其危害完全多重共线性及其危害v严格多重共线性不是由于数据原因引起，通常是由于模型把严格多重共线性不是由于数据原因引起，通常是由于模型把有严格联系的变量引进同一个模型，或者由于虚拟变量设有严格联系的变量引进同一个模型，或者由于虚拟变量设置不当（如陷入虚拟变量陷阱的情况）而引起的。置不当（如陷入虚拟变量陷阱的情况）而引起的。v对模型对模型 的最小二乘估计量为的最小二乘估计量为 如果存在如果存在完全共线性完全共线性，则，则 不存在，无法得到参数的不存在，无法得到参数的估计量。估计量。v以三变量回归模型为例：以三变量回归模型为例：回归方程为：回归方程为：则求参数最小二乘估计量的正规方程组为：则求参数最小二乘估计量的正规方程组为：设设 和和 两个变量之间有严格的线性关系两个变量之间有严格的线性关系 则则 也成立，把该关系式代入上述正规方程组也成立，把该关系式代入上述正规方程组中的第二个式子，可得中的第二个式子，可得很显然，这个方程和原正规方程组中的第一个式子相同，很显然，这个方程和原正规方程组中的第一个式子相同，这时方程组不再只有一组解而有无穷组解，这就意味着，这时方程组不再只有一组解而有无穷组解，这就意味着，被解释变量究竟受哪些变量的影响无法识别。完全多重被解释变量究竟受哪些变量的影响无法识别。完全多重共线性使多元线性回归模型的参数估计失败，回归分析共线性使多元线性回归模型的参数估计失败，回归分析无法进行。无法进行。完全多重共线性是由于在模型设定时把完全多重共线性是由于在模型设定时把严严格联系的变量引进同一个模型格联系的变量引进同一个模型，或者是，或者是由于虚由于虚拟变量设置不当拟变量设置不当引起的。引起的。因此对完全共线性的处理比较简单，只需因此对完全共线性的处理比较简单，只需要针对性的修改模型，放弃和调整引起完全共要针对性的修改模型，放弃和调整引起完全共线性的部分变量即可。注意，不能放弃形成线线性的部分变量即可。注意，不能放弃形成线性关系的所有解释变量，否则造成解释变量缺性关系的所有解释变量，否则造成解释变量缺落，使模型失去研究意义。落，使模型失去研究意义。近似多重共线性的原因近似多重共线性的原因v近似多重共线性既与变量选择有关，也与数据有关。虽然由于解释变量的选择不当，把内在相关性较强的变量引进同一个模型，是导致近似多重共线性的重要原因，但近似多重共线性更经常的原因是经济数据的共同趋势。v如：时间序列样本：经济繁荣时期，各基本经济变量（收入、消费、投资、价格）都趋于增长；衰退时期，又同时趋于下降。横截面数据：生产函数中，资本投入与劳动力投入往往出现高度相关情况，大企业二者都大，小企业都小。近似多重共线性的影响近似多重共线性的影响v近似多重共线性不会导致参数估计失效，最小二乘参数估计近似多重共线性不会导致参数估计失效，最小二乘参数估计能够得到唯一解。在模型存在多重共线性的情况下，参数的能够得到唯一解。在模型存在多重共线性的情况下，参数的最小二乘估计仍然是最小方差线性无偏估计。但最小二乘估计仍然是最小方差线性无偏估计。但参数估计量参数估计量的方差的绝对水平会随着多重共线性程度的提高急剧上升的方差的绝对水平会随着多重共线性程度的提高急剧上升。因此，强的近似多重共线性会对多元回归的有效性产生严重因此，强的近似多重共线性会对多元回归的有效性产生严重的不利影响。的不利影响。v如果用如果用 记为变量记为变量 的离差平方和，的离差平方和，记为变量记为变量 对其余对其余K-1个解释变量的回归平方和，个解释变量的回归平方和，表示原模型第表示原模型第k个解个解释变量对其余释变量对其余K1个解释变量回归的决定系数，那么个解释变量回归的决定系数，那么 的方的方差可以写成差可以写成近似多重共线性的影响近似多重共线性的影响v如果第如果第k个解释变量与其余个解释变量与其余K1个解释变量完全没个解释变量完全没有相关性，那么有相关性，那么 。v当第当第k个解释变量与其他解释变量之间有相关性时，个解释变量与其他解释变量之间有相关性时，。v当第当第k个解释变量与其他解释变量之间有很强的相个解释变量与其他解释变量之间有很强的相关性时，关性时，接近于接近于1，此时，此时（一）多重共线性问题的诊断原则：（一）多重共线性问题的诊断原则：v多重共线性是一个样本问题，即使在总体中诸多重共线性是一个样本问题，即使在总体中诸X X变量没有逻辑和理论上的线性关系，但在具体变量没有逻辑和理论上的线性关系，但在具体的样本仍可能有线性关系的样本仍可能有线性关系。v多重共线性的根源是多重共线性的根源是解释变量之间的样本相关解释变量之间的样本相关性性，因此分析解释变量之间的，因此分析解释变量之间的样本相关性样本相关性，进，进行单相关或多元相关性的分析检验，是发现和行单相关或多元相关性的分析检验，是发现和判断多重共线性问题的基本方法判断多重共线性问题的基本方法v多重共线性的发现和判断是克服和处理多重共多重共线性的发现和判断是克服和处理多重共线性问题的基础线性问题的基础。三、三、多重共线性的诊断多重共线性的诊断（二）（二）多重共线性问题的多重共线性问题的诊断方法诊断方法 1 1、初步诊断：、初步诊断：R R2 2值高而显著的值高而显著的t t比率少比率少 2 2、单相关检验：检验回归元两两之间的相关系数、单相关检验：检验回归元两两之间的相关系数 3 3、多元相关检验：检查偏相关多元相关检验：检查偏相关 它只是充分条件而不是必要条件 偏相关系数不能保证对多重共线性提供一 个准确的指南。4 4、辅助回归：做每个解释变量对其他剩余变量的、辅助回归：做每个解释变量对其他剩余变量的回归并计算相应的回归并计算相应的R R2 2值。其中的每一个回归都被称值。其中的每一个回归都被称为是为是从属或者辅助回归从属或者辅助回归。（二）多重共线性问题的诊断方法（二）多重共线性问题的诊断方法5 5、容许度与方差膨胀因子、容许度与方差膨胀因子（二）多重共线性问题的诊断方法（二）多重共线性问题的诊断方法6 6、其他一些方法：、其他一些方法：比如主成分分析法等多重共线性表现形式和原因很多，并且由于数据问题导致多重共线性表现形式和原因很多，并且由于数据问题导致的多重共线性具有隐蔽性，使多重共线性的发现和判断比的多重共线性具有隐蔽性，使多重共线性的发现和判断比较困难。较困难。多重共线性的发现和判断是克服和处理多重共线性问题的多重共线性的发现和判断是克服和处理多重共线性问题的基础。基础。多重共线性的根源是解释变量之间的相关性，因此多重共线性的根源是解释变量之间的相关性，因此分析解分析解释变量之间的相关性释变量之间的相关性，进行，进行单相关单相关或或多元相关性多元相关性的的分析检分析检验验，是发现和判断多重共线性问题的，是发现和判断多重共线性问题的基本方法基本方法。由于解释变量之间的相关性程度不一样，所以要确定模型由于解释变量之间的相关性程度不一样，所以要确定模型确实存在比较严重的共线性问题就必须确实存在比较严重的共线性问题就必须结合参数符号的估结合参数符号的估计、参数大小和显著性是否异常，或者参数估计是否表现计、参数大小和显著性是否异常，或者参数估计是否表现出很大的不稳定性出很大的不稳定性等来判断。等来判断。四、多重共线性的克服和处理四、多重共线性的克服和处理（一）增加样本容量（一）增加样本容量（二）差分方程（二）差分方程（三）模型修正（三）模型修正（四）分步估计参数（四）分步估计参数（一）增加样本容量（一）增加样本容量v由于近似多重共线性意味着由于近似多重共线性意味着 对任意对任意i i都必须成立，因此若样本容量较小，近似多重都必须成立，因此若样本容量较小，近似多重共线性的可能性就较大；若共线性的可能性就较大；若样本容量大，近似多重共线性的样本容量大，近似多重共线性的可能性就小。可能性就小。但增加样本容量并不必然降低多重共线性，若增加的数但增加样本容量并不必然降低多重共线性，若增加的数据和原来的数据有基本相同的性质这时增加样本容量没有帮据和原来的数据有基本相同的性质这时增加样本容量没有帮助。助。v很多情况下无法增加新的样本，常见的替代方法是很多情况下无法增加新的样本，常见的替代方法是横截面与横截面与时间序列数据并用时间序列数据并用。（。（混合数据混合数据和和面板数据面板数据）（二）差分方程（二）差分方程v线性回归模型为线性回归模型为 且已知且已知 和和 之间存在多重共线性问题。之间存在多重共线性问题。作如下变换：作如下变换：改用差分方程改用差分方程 进行回归，受多重共线性的影响比较小。进行回归，受多重共线性的影响比较小。v注意：用差分方程解决多重共线性问题可能会导致误差项出现序列相关。运用差分模型往往会使参数估计的方差变大，样本容量减小。v如果原模型既有多重共线性问题，又有较强的一阶正自相关，那么差分方法可以同时消除多重共线性和序列相关的影响。（二）差分方程（二）差分方程（三）模型修正（三）模型修正1 1、删减解释变量、删减解释变量2 2、逐步回归法、逐步回归法3 3、先验信息参数约束、先验信息参数约束1 1、删减或合并解释变量、删减或合并解释变量v引起多重共线性的原因中其一是在模型中引入过多的、有内在联系的解释变量，在这种情况下，如果删掉一些与其它解释变量意义相近的变量，可以起到降低多重共线性的作用。v如资产和流动资产，收入和财富之间就常有很强的相关性，在他们都对被解释变量有显著影响时，可只选择其中一个。2 2、逐步回归法、逐步回归法 以以Y Y为被解释变量，逐个引入解释变量，构成为被解释变量，逐个引入解释变量，构成回归模型，进行模型估计。回归模型，进行模型估计。根据拟合优度的变化决定新引入的变量是根据拟合优度的变化决定新引入的变量是否独立。否独立。如果拟合优度变化显著如果拟合优度变化显著，则说明新引入的，则说明新引入的变量是一个独立解释变量；变量是一个独立解释变量；如果拟合优度变化很不显著如果拟合优度变化很不显著，则说明新引，则说明新引入的变量与其它变量之间存在共线性关系。入的变量与其它变量之间存在共线性关系。3 3、先验信息参数约束、先验信息参数约束 例：生产函数 ，经对数变换为：如果预先知道所研究的经济有规模报酬不变的性质，即函数中的参数满足 就可以克服多重共线性。（四）分步估计参数（四）分步估计参数例：研究需求规律的模型 可以先求出下面模型中参数 的估计值。前一个模型变为 整理这个模型可以得到 从而估计出 和 的估计值 和 ，得到克服了多重共线性的回归直线案例分析案例分析一、研究的目的要求一、研究的目的要求 提出研究的问题提出研究的问题为了规划中国未来国内旅游产业为了规划中国未来国内旅游产业的发展，需要定量地分析影响中国国内旅游市场发展的发展，需要定量地分析影响中国国内旅游市场发展的主要因素。的主要因素。二、模型设定及其估计二、模型设定及其估计 影响因素分析与确定影响因素分析与确定影响因素主要有国内旅游影响因素主要有国内旅游人数人数X2X2 ，城镇居民人均旅游支出，城镇居民人均旅游支出X3X3 ，农村居民人均，农村居民人均旅游支出旅游支出X4X4 ，并以公路里程次，并以公路里程次X5X5 和铁路里程和铁路里程X6X6 作为相关基础设施的代表作为相关基础设施的代表 理论模型的设定理论模型的设定其中其中 ：YtYt 第第 t t 年全国国内旅游收入年全国国内旅游收入数据的收集与处理年年份份国内旅游国内旅游收入收入Y Y（亿亿元）元）国内旅国内旅游人数游人数X2X2（万人次）（万人次）城城镇镇居民人居民人均旅游支出均旅游支出X3X3（元）（元）农农村居民人村居民人均旅游支出均旅游支出X4 X4（元）（元）公路里公路里程程 X5X5（万公里）（万公里）铁铁路里路里程程X6X6（万公里）（万公里）199419941023.51023.55240052400414.7414.754.954.9111.78111.785.905.90199519951375.71375.76290062900464.0464.061.561.5115.70115.705.975.97199619961638.41638.46390063900534.1534.170.570.5118.58118.586.496.49199719972112.72112.76440064400599.8599.8145.7145.7122.64122.646.606.60199819982391.22391.26945069450607.0607.0197.0197.0127.85127.856.646.64199919992831.92831.97190071900614.8614.8249.5249.5135.17135.176.746.74200020003175.53175.57440074400678.6678.6226.6226.6140.27140.276.876.87200120013522.43522.47840078400708.3708.3212.7212.7169.80169.807.017.01200220023878.43878.48780087800739.7739.7209.1209.1176.52176.527.197.19200320033442.33442.38700087000684.9684.9200.0200.0180.98180.987.307.30数据来源:中国统计年鉴2004该模型，可决系数很高，F检验值173.3525,明显显著。但是当时、不仅 、系数的t检验不显著，而且 系数的符号与预期的相反，这表明很可能存在严重的多重共线性。OLS OLS 法估计的结果法估计的结果计算各解释变量的相关系数计算各解释变量的相关系数 表明各解释变量间确实存在严重的多重共线性表明各解释变量间确实存在严重的多重共线性消除多重共线性采用逐步回归法检验和解决多重供线性问题。采用逐步回归法检验和解决多重供线性问题。分别作分别作Y Y 对对X2X2、X3X3、X4X4、X5X5、X6X6的一元回归的一元回归 变变量量X2X3X4X5X6参数估参数估计值计值0.08429.052311.667334.33242014.146t 统计统计量量8.665913.15985.19676.46758.74870.90370.95580.77150.83940.9054的大小排序为：的大小排序为：X3、X6、X2、X5、X4。以以X3为基础，顺次加入其他变量逐步回归，过程从略为基础，顺次加入其他变量逐步回归，过程从略 最后消除多重共线性的结果最后消除多重共线性的结果 这说明，在其他因素不变的情况下，当城镇居民人均旅游支出这说明，在其他因素不变的情况下，当城镇居民人均旅游支出 和农村居民人均旅游支出和农村居民人均旅游支出 分别增长分别增长1 1元时，国内旅游收入元时，国内旅游收入 将分别增长将分别增长4.214.21亿元和亿元和3.22 3.22 亿元。在其他因素不变的情况下，亿元。在其他因素不变的情况下，作为旅游设施的代表，公路里程作为旅游设施的代表，公路里程 每增加每增加1 1万公里时万公里时,国内旅游国内旅游收入收入 将增长将增长13.6313.63亿元。亿元。回归结果的解释与分析回归结果的解释与分析t=（-8.2537)(3.9502)(4.6945)（3.0633）F=231.7958 DW=1.9520