线性回归方程中多重共线性诊断方法及其实证分析.pdf

《线性回归方程中多重共线性诊断方法及其实证分析.pdf》由会员分享，可在线阅读，更多相关《线性回归方程中多重共线性诊断方法及其实证分析.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、华中农业大学学报(社会科学版),(总 74 期)2008(2)Journal of Huazhong Agricultural University(Social Sciences Edition)?收稿日期:2008-03-20作者简介:马雄威(1983-),男,硕士研究生;研究方向:农产品市场研究。线性回归方程中多重共线性诊断方法及其实证分析马雄威(华中农业大学 经济管理学院,湖北 武汉 430070)摘要?在使用回归模型进行多元回归分析时,容易忽视?自变量不存在近似线性关系?这一应用条件,造成分析结果不准确甚至严重偏离变量间本来的依存关系。论文对多重共线性的产生原因、对线性回归模型的影响

2、以及诊断方法进行了论述,并从理论和实例两个方面探讨了如何运用岭回归模型来克服和解决多重共线性问题。关键词?多重回归分析;线性回归方程;多重共线性中图分类号:O212?文献标识码:A?文章编号:1008-3456(2008)02-0078-04Diagnosis and Empirical Analysis on Multicollinearity in Linear Regression ModelMa Xiong-wei(College of Economics and Management,Huaz hong A gricultural University,Wuhan,H ubei,43

3、0070)Abstract?With the popularity of computer application,multiple regression analysis has been exten-sively applied in production,as well as scientific research in practice.But in the application of multiple re-gression analysis,the application condition that there is no linear relationship between

4、 independent varia-bles is apt to be overlooked;therefore,the obtained result may become incorrect and even be far fromthe original relationship among the variables.T herefore,it is necessary to analyze the causes and the im-pact of multicollinearity in the linear regression model,and introduces som

5、e of the diagnosis methods ofmulticollinearity.Then this paper introduces the theory of the ridge regression model,and the scope of itsapplication,as well as advantages and disadvantages.T hen with the example of pork prices factors analy-sis and the aid of SAS program,this paper objectively evaluat

6、es the characteristics of the method and itsstrength and weakness.Key words?multiple regression analysis;linear regression model;multicollinearity?一、多重共线问题的提出线性回归方法已被广泛应用于变量与变量间关系的研究。但是对变量的条件特别是变量间的线性相关性不加任何考虑,盲目地应用回归分析模型往往得不到理想的结果,甚至导致错误的结论。因此对多重共线性问题进行研究是非常有意义的。1.多重相关性的含义多重共线性是指在自变量之间存在线性相关关系的现象。对

7、一组自变量 x1,?,xm,如果存在?0,?1,?,?m,使得线性等式?1x1+?2x2+?+?mxm=?0(1.1)?对所有案例都成立,即至少存在一个 Xk,它可以由其他的变量决定:Xk=(?0-?j?k?jxj)?k(1.2)?则称 x1,?,xm之间存在完全的多重共线性,第 2 期马雄威:线性回归方程中多重共线性诊断方法及其实证分析?即其相关系数为 1;如果式(1.2)对所有数据都不成立,则它们之间没有相关性,即其相关系数为 0。如果式(1.2)近似的对所有数据成立,则称 x1,?,xm之间存在近似的多重共线性,其相关系数就介于0和 1之间。2.多重共线性产生的原因产生多重相关性的原因主

8、要包括四方面:?趋同性:经济变量随时间的变化过程存在共同变化趋势;?用截面数据建模;?模型中大量地采用滞后变量;?建模时由于认识的局限性导致变量选择不当。3.多重共线性的危害?完全共线性下参数估计量不存在:多元线性模型 Y=X B+N 的普通二乘参数估计是?(X?X)-1X?Y。如果存在多重共线性,则(X?X)-1不存在,无法得到参数估计量。?一般共线性下普通最小二乘法参数估计量非有效:在一般共线性(或称近似共线性)下,虽然可以得到 OLS 法参数估计量,但是参数估计量方差的表达式为 Cov(?)=?2(X?X)-1,由于此时|X?X|?0,引起(X?X)-1主对角线上的元素较大,从而使参数估

9、计值的方差增大,OLS 参数估计量非有效。?参数估计量经济含义不合理:如果模型中两个解释变量具有线性相关性,例如 X1和X2,那么它们中的一个变量可以由另一个变量表征,这时 X1和 X2前的参数并不反映各自与被解释变量之间的结构关系,而是反映它们对被解释变量的共同影响,所以各自的参数已经失去了应有的经济含义,于是经常表现出似乎反常的现象,例如本来应该是正的影响,结果参数估计量符号恰是负的。?变量的显著性检验失去意义。?模型的预测功能失效:变大的方差容易使区间预测的?区间?变大,使预测失去意义。?二、共线性的诊断1.经验式的诊断方法通过观察,得到一些多重相关性严重存在的迹象。?在自变量的简单相关

10、系数矩阵中,有某些自变量的相关系数值较大。?回归系数的代数符号与专业知识或一般经验相反;或者该自变量与因变量的简单相关系数符号相反。?对重要自变量的回归系数进行 t 检验,其结果不显著。特别是当 F 检验能在高精度下通过,测定系数 R2的值也很大,但自变量的 t 检验却全都不显著,这时多重相关性的可能将会很大。?如果增加或删除一个变量,或者增加或删除一个观测值,回归系数发生了明显的变化。?重要自变量的回归系数置信区别明显过大。?在自变量中,某一个自变量是另一部分自变量的完全或近似完全的线性组合。?对于一般的观测数据,如果样本点的个数过少,比如接近于变量的个数或者少于变量的个数,样本数据中的多重

11、相关性就会经常存在。2.统计检验方法共线性的诊断方法是基于对自变量的观测数据构成的矩阵 X?X 进行分析,使用各种反映自变量间相关性的指标。共线性诊断常用的统计量有方差膨胀因子 VIF 或容限 TOL、条件指数和方差比例等。方差膨胀因子 VIF 是指回归系数的估计量由于自变量的共线性使其方差增加的一个相对度量。对于第 i 个回归系数,它的方差膨胀因子定义为VIFi=第 i 个回归系数的方差自变量不相关时第i 个回归系数的方差=11-R2i=1T OLi其中 R2i是自变量Xi对模型中其余自变量线性回归模型的 R平方。VIFi的倒数 TOLi也称为容限。一般建议,若VIF 10,模型中有很强的共

12、线问题。若矩阵 X?X 的特征值为 d1?d2?dk,是刻画它的奇性一个指标,故也称d1dk(j=1,?,k)为条件指数。一般认为,若条件指数值在 10 与 30 间为弱相关,在 30 与 100 间为中等相关,大于 100 表示有强相关。对于大的条件指数可找出那些变量间存在强的线性相关关系,因为每个条件指数对应一个特征向量,而大的条件指数对应的特征值较小,故构成这一特征向量的变量间有近似的线性关系。在统计中用方差比例来说明各个自变量在构成这个特征值向量中的贡献。一般建议,在大的条件指数中由方差比例超过 0.5的自变量构成的子集就认为是相关变量集 1-2。3.岭回归模型由上述讨论可知,当设计阵

13、存在多重共线性时,最小二乘估计的性质不够理想甚至很差。在这种情况下,就需要一些新的估计方法,A.E.Hoerl(1962)针对出现多重共线时普通最小二乘法回归效果明显变差的问题,提出了一种叫岭回归的回归估计方法。岭回归 的 核 心思 想 是当 出 现 多重 共 线 性时,79?华 中 农 业 大 学 学 报(总 74期)|X?X|?0,使参数的?(k)=(X?X)-1X?Y 很不稳定,出现不合乎实际含义的估计值时,给 X?X 加上一个正常数矩阵 K I(K 0),则|X?X+K I|等于零的可能性就比|X?X|的可能性要小得多,再用?(k)=(X?X+K I)-1X?Y 来估计?,这样比用普通

14、最小二乘法估计的?要稳定得多,从而就消除了多重共线性对参数估计的危害。岭回归的思想很简单,但由于 K 是一个外生的量,与参数?及X?Y 的依赖关系和函数形式都很不清楚,所以 K 的确定存在很大的人为因素,而一个公认的确定 K 值的最优方法至今尚末出现。选择 K 值的一般原则是:?各回归系数的岭估计基本稳定。?用最小二乘估计时符号不合理的回归系数,其岭估计的符号将变得合理。?回归系数没有不合乎经济意义的绝对值。?残差平方和增大不太多。从岭回归的基本思想,可以看出岭回归得出的参数估计值也是有偏的,但它的精度却得到了极大的提高。?由于它接近于真实的参数值且方差更小,所以岭回归有很大的实用价值。?对于

15、线性回归模型y=?I+?X+e,E(e)=0,Cov(e)=?2I(2.1)?回归系数?的岭估计定义为?(k)=(X?X+K I)-1X?Y?(2.2)这里 k 0 是可选参数,称为岭参数或者偏参数。当k 取不同值的时候,得到不同的估计,因此岭估计?(k)是个估计类。当 k=0,?(k)=(X?X)-1X?Y,就是通常的最小二乘估计,于是严格来讲,最小二乘估计类似一个估计,但是一般情况下,当提起岭估计时,总是不包括最小二乘估计。因为对一切 K?0 和?0E?(k)=(X?X+kI)-1X?Ey=(X?X+kI)-1X?X?(2.3)?因此岭估计是有偏估计,这是岭估计与最小二乘估计的一个重要不同

16、之处。一个估计的均方误差是由方差和偏差的平方两部分组成,当存在多重共线性时,最小二乘估计虽然仍保持偏差部分为零,但其方差部分却很大,最终致使其均方差很大。引进岭估计是以牺牲无偏性,换取方差部分的大幅度减少,最终降低其均方误差,要达到这个目的,k 的选取至关重要。设?为p?1 未知参数向量,?为?的一个估计。定义?的均方误差为MSE(?)=E?-?2=E(?-?)?(?-?)(2.4)?表示?跟未知参量?平均偏离的大小。一个好的估计应该有较小的均方误差。在实际应用中,岭参数的选择是一个重要的问题。但是通常只知道使得?(k)优于?的 k 的存在性,并没有给出具体的算法,自然如何找到使 MSE?(k

17、)达到最小值的 k*是一个难点。从上面的分析容易看出,这个最优值 k*应该在方程 f?(k)=2?pi=1?i(k?2i-?2)(?i+k)3=0(2.5)的根中去找,这个方程可以化为关于 k 的 4 次多项式方程,由于其系数依赖于未知参数?i和?2,因而不可能从求解(2.5)获得最优值k*。因此统计学家们从别的途径提出了选择参数 k的许多方法。从计算机模拟比较的结果来看,在这些方法中没有一个方法能够一致地优于其他方法。下面介绍一种比较好的方法?岭迹法:岭估计?(k)=(X?X+kI)-1X?y 是随 k 值变化而变化。记?k(k)为?(k)的第 i 个分量,它是 k 的一元函数。当 k 在

18、0,?上变化时,?1(k),?,?p(k)的岭迹画在同一个图上,根据岭迹的变化趋势选择k 值,使得各个回归系数的岭估计大体上稳定,并且各个回归系数岭估计值的符号比较合理。最小二乘估计是使参差平方和达到最小的估计,因此,它对应的残差平方和达到最小的估计。岭估计中 K 愈大,岭估计跟最小二乘估计偏离愈大。因此,其对应的残差平方和也随着 k 的增加而增加。当用岭迹法选择 k 值时,还应考虑使得残差平方和不要上升太多。在实际处理中,上许几点原则有时可能有些互相不一致,顾此失彼的情况经常出现,这就要根据不同情况灵活处理 3。?三、线性回归中多重共线性问题实证分析?在进行多元回归模型分析时有时可以通过变量

19、筛选的一些方法来控制多重共线性,除了可以把对80第 2 期马雄威:线性回归方程中多重共线性诊断方法及其实证分析?因变量 Y 影响不显著的自变量删除,还可以从有共线关系的变量组在筛选出对因变量 Y 影响显著的少数几个变量,从而克服共线问题。但是,对于有些实际问题,即使自变量间有共线性问题,仍然希望建立 Y 与给定的自变量的回归式,如经济分析中的问题。下面以同一组数据(1991-2006 年猪肉价格及其影响因素),介绍岭回归模型的应用方法与效果。表 1?1991-2006 年猪肉价及其影响因素年份时间猪肉价格CPI人口增长率年末存栏量城镇居民人均可支配收入玉米价格猪肉生产量年(Y)元/kg(X1)

20、(X2)(X3)元/亩(X4)元(X5)元/吨(X6)万吨199019.84103.114.39362411510.2686.722811991210.32103.412.98369651700.659024521992310.65106.411.60384212026.662526351993410.49114.711.45393002577.4726.72854199459.16124.111.21414623496.21004.232051995610.18117.110.554416942831576.736481996714.96107.910.42362844838.91481.7

21、31581997811.81102.810.06400355160.31150.835961998910.7799.29.14422565425.11269.238841999108.3898.68.184302058541092.538912000118.74100.47.58446826280887.5403120011210.18100.76.95457436859.6106041842002139.8599.26.45462927702.81033.3432720031410.7101.26.01466028472.21087.5451920041513.97103.95.874818

22、99421.61288.3470220051613.39101.85.8950335104931229.2501120061714.03101.55.28494411317212805197?以各数值的对数建立 InY 对 InX1InX2?InX6一般线性回归模型:InY=InA+?InX1+?lnX2+?InX3+?InX4+?InX5+?InX6下面以这一实例来分析各变量之间存在的多重共线问题,并用岭回归模型来解决这一问题。1.数据的岭回归分析先对表 1 中的数据的对数值进行普通最小二乘回归分析,由 SAS 程序的 REG 过程得到 InY对 InX1,InX2,?,InX6的普通最小二

23、乘回归方程为InY=15.029+0.2656InX1-0.8948InX2+0.087InX3+0.4616InX4+0.4212lnX5-2.4049InX6此 P 值为 0.2817,R2为 0.4684 都较大,出现这种情况的原因是自变量间存在多重共线性。为了消除变量之间的多重共线性,下面采用岭回归分析方法。由岭迹图可以看出,当 k?0.6 后,岭迹曲线趋于稳定。取的 k=0.6 岭回归估计来建立岭回归方程,具体岭回归方程为InY=2.9806+0.0254InX1-0.0631InX2+0.1694InX3+0.034InX4+0.12lnX5+0.013InX6这时,得到的岭回归方

24、程中回归系数的符号都有意义;各个回归系数的方差膨胀因子均小于 0.4,岭回归方程的均方差根误差(RMSE=0.1889)虽然比普通最小二乘回归方程的均方差根误差(RMSE=0.156)有所增大,但增大不多,回归效果总体较好 4-5。图 1?岭迹图?四、结?论通过上述理论分析和实例比较,发现在多重共线严重存在的情况下,岭回归方法建立起来的模型和预测因变量方面优于普通最小二乘回归模型。岭回归方法在岭迹图和参数?的输出值上可以十分直观的发现回归系数的区域(当然其缺陷在于偏倚常(下转第 85页)81第 2 期高乐敏:高校科研管理体制的国际比较与思考?点。至于专科学校,则应侧重开展教学研究,有余力者可以

25、开展一些适应地方需要的或者能发挥某些专长的特色研究。在人员安排上,也不能?一刀切?地对所有教师提出同样的科研要求。目前确实存在着这种一致要求,例如,在关于职称评定的有关规定中,在某一学衔授予标准或任职要求中,几乎无一例外地提出了对科研成果的质量和数量标准。这种规定实际上暗示高校中每个教师都必须从事科学研究,而且同一级别的教师职称的科研要求在不同层次的学校中并无区别。尽管实际上存在相当大的差别,但至少在理论上是这样的。这些规定对高校科研的导向作用是非常强烈的,结果造成诸多问题,虽然这并非是制定这些政策的初衷。(2)科研与教学的结合,也应是指导我国高等学校科研工作的基本原则。在研究生教育中,这一原

26、则在师生中都比较容易贯彻,但在本科教育中如何体现呢?在这方面存在的一个偏向是重视专业研究,忽略教学研究。教学研究往往不被看作是科研,或者被视为低水平的研究,专业课教师从事教学研究,有时被斥为不务正业。在许多专业课教师中,有意识地围绕教学内容选择课题的意识相当淡漠,这也是教学与科研相脱离的重要原因。参?考?文?献 1?李晓航.论高校科研管理能力结构的优化 J.黑龙江高教研究,2006(9):81-82.2?韩立龙.以科教兴国战略思想为指导 大力加强高校科研管理队伍建设 J.教育与职业,2005(14):12-13.3?孙艳华.沟通管理:高校科研管理的有效途径 J.黑龙江高教研究,2005(1):

27、52-53.(责任编辑:刘咏平)(上接第 81 页)数 K 的选取人为因素较多),所以,想要对回归系数进行直观的控制时,可首选岭回归。另外,还要注意对一些特殊点的分析:一方面注意剔除严重影响回归效果的影响点;另一种方面,回归效果要和实际情况相对照。参?考?文?献 1?高?辉.多重共线性的诊断方法 J.统计与信息论坛,2003(1):73-76.2?刘国旗.多重共线性的产生原因及其诊断处理 J.合肥工业大学学报(自然科学版),2001(4):607-610.3?周松青.解决多重共线性问题的线性回归方法 J.山西统计,2001(1):6-7.4?田?俊.岭回归分析的 SAS 程序设计 J.数理统计与管理,1999(3):54-56.5?郭秀花,赵连伟.SAS6.11 版岭回归分析程序设计及其实例分析 J.数理统计与管理,2001(1):41-44.(责任编辑:李春成)85