应用回归分析--第七章复习资料.doc
优质文本第七章 岭回归1. 岭回归估计是在什么情况下提出的？答：当解释变量间出现严重的多重共线性时，用普通最小二乘法估计模型参数，往往参数估计方差太大，使普通最小二乘法的效果变得很不理想，为了解决这一问题，统计学家从模型和数据的角度考虑，采用回归诊断和自变量选择来克服多重共线性的影响，这时，岭回归作为一种新的回归方法被提出来了。2. 岭回归估计的定义及其统计思想是什么？答：一种改进最小二乘估计的方法叫做岭估计。当自变量间存在多重共线性，X'X0时，我们设想给X'X加上一个正常数矩阵(k>0),那么X' 接近奇异的程度小得多，考虑到变量的量纲问题，先对数据作标准化，为了计算方便，标准化后的设计阵仍然用X表示，定义为 ，称为的岭回归估计，其中k称为岭参数。3. 选择岭参数k有哪几种主要方法？答：选择岭参数的几种常用方法有1.岭迹法，2.方差扩大因子法，3.由残差平方和来确定k值。4. 用岭回归方法选择自变量应遵从哪些根本原那么？答：用岭回归方法来选择变量应遵从的原那么有：1在岭回归的计算中，我们假定设计矩阵X已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小，我们可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量。（2） 当k值较小时标准化岭回归系数的绝对值并不是很小，但是不稳定，随着k的增加迅速趋于零。像这样的岭回归系数不稳定,震动趋于零的自变量，我们也可以予以删除。（3） 去掉标准化岭回归系数很不稳定的自变量，如果有假设干个岭回归系数不稳定，究竟去掉几个，去掉哪几个，这并无一般原那么可循，这需根据去掉某个变量后重新进行岭回归分析的效果来确定。5. 对第5章习题9的数据，逐步回归的结果只保存了3个自变量x1，x2，x5，用y对这3个自变量做岭回归分析。答： 依题意，对逐步回归法所保存的三个自变量做岭回归分析。程序为：'C: '. x1 x2 x50.010.01.岭迹图如下：计算结果为：可以看到，变量x1、x2迅速由负变正，x5迅速减小，在0.01-0.1之间各回归系数的岭估计根本稳定，重新做岭回归。岭迹图如下：先取0.08：语法命令如下：'C: '. x1 x2 x50.08.运行结果如下：得到回归方程为：再取0.01：语法命令如下：'C: '. x1 x2 x50.01.运行结果：* k = 0.01 * R .9931857 .9864179 .9840210 329.6916494 3.1 44733947 17.000 1847841.9 108696.58 F F 411.5487845 .0000000 B (B) (B)x1 .0556780 .0615651 .0981355 .9043751x2 .0796395 .0218437 .3291293 3.6458814x5 .1014400 .0108941 .5621088 9.3114792 753.3058478 121.7381256 .0000000 6.1879205回归方程为： 753.3058-0.05568x10.0796x20.1014x5从上表可看出，方程通过F检验，R检验，经查表，所有自变量均通过t检验，说明回归方程通过检验。从经济意义上讲，x1农业增加值、x2工业增加值x5社会消费总额的增加应该对y财政收入有正方向的影响，岭回归方程中三个自变量的系数均为正值，与实际的经济意义相符。比逐步回归法得到的方程有合理解释。6.对习题3.12的 问题，分别用普通最小二乘和岭回归建立对第二产业增加值x2，和第三产业增加值x3的二元线性回归，解释所得到的回归系数？答：1普通最小二乘法：根据上表得到y与x2，x3的线性回归方程为：=4352.859+1.438x2+0.679x3上式中的回归系数得不到合理的解释. 的数值应该大于1，实际上，x3的年增长幅度大于x1和x2的年增长幅度，因此合理的的数值应大于1。这个问题产生的原因仍然是存在共线性， 所以采用岭回归来改进这个问题。2岭回归法：程序为：'C: '. x2 x30.00.50.01.根据岭迹图如以下图可知，和很不稳定，但其和大体上稳定，说明x2和x3存在多重共线性。取0.1，输出结果为： R .998145， .996294 .995677， 2364.837767 2.000 1.80010 9.02016 12.000 67109492 5592457.7 F F 1613.140715 .000000 B (B) (B)x2 .907990 .021842 .489067 41.571133x3 1.393800 .035366 .463649 39.410560 6552.305986 1278.903452 .000000 5.123378得岭参数0.1时，岭回归方程为 = 6552.306+0.908 x2+1.3938 x3，得岭参数0.01时，岭回归方程为 = 3980.2+1.091 x2+1.227 x3，与普通最小二乘回归方程相差很大。岭回归系数=1.227与前面的分析是吻合的，其解释是当第二产业增加值x2保持不变时，第三产业增加值 x3每增加1亿元增加1.227亿元，这个解释是合理的。7.一家大型商业银行有多家分行，近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的提高，为弄清楚不良贷款形成的原因，希望利用银行业务的有关数据做些定量分析，以便找出控制不良贷款的方法，表7.5是该银行所属25家分行2002年的有关业务数据。（1） 计算y与其余四个变量的简单相关系数。（2） 建立不良贷款y对4个自变量的线性回归方程，所得的回归系数是否合理？（3） 分析回归模型的共线性。（4） 采用后退法和逐步回归法选择变量，所得回归方程的回归系数是否合理，是否还存在共线性？（5） 建立不良贷款y对4个自变量的岭回归。（6） 对第4步剔除变量后的回归方程再做岭回归。（7） 某研究人员希望做y对各项贷款余额，本年累计应收贷款.贷款工程个数这三个变量的回归，你认为这种做是否可行，如果可行应该如何做？相关性不良贷款y各项贷款余额x1本年累计应收到款x2贷款工程个数x3本年固定资产投资额x4 相关性不良贷款y1.000.844.732.700.519各项贷款余额x1.8441.000.679.848.780本年累计应收到款x2.732.6791.000.586.472贷款工程个数x3.700.848.5861.000.747本年固定资产投资额x4.519.780.472.7471.000. 单侧不良贷款y.000.000.000.004各项贷款余额x1.000.000.000.000本年累计应收到款x2.000.000.001.009贷款工程个数x3.000.000.001.000本年固定资产投资额x4.004.000.009.000.N不良贷款y2525252525各项贷款余额x12525252525本年累计应收到款x22525252525贷款工程个数x32525252525本年固定资产投资额x42525252525系数a模型非标准化系数标准系数t.共线性统计量B标准 误差试用版容差1(常量)-1.022.782-1.306.206各项贷款余额x1.040.010.8913.837.001.1885.331本年累计应收到款x2.148.079.2601.879.075.5291.890贷款工程个数x3.015.083.034.175.863.2613.835本年固定资产投资额x4-.029.015-.325-1.937.067.3602.781a. 因变量: 不良贷款y共线性诊断a模型维数特征值条件索引方差比例(常量)各项贷款余额x1本年累计应收到款x2贷款工程个数x3本年固定资产投资额x4114.5381.000.01.00.01.00.002.2034.733.68.03.02.01.093.1575.378.16.00.66.01.134.0668.287.00.09.20.36.725.03611.215.15.87.12.63.05a. 因变量: 不良贷款y后退法得系数a模型非标准化系数标准系数t.B标准 误差试用版1(常量)-1.022.782-1.306.206各项贷款余额x1.040.010.8913.837.001本年累计应收到款x2.148.079.2601.879.075贷款工程个数x3.015.083.034.175.863本年固定资产投资额x4-.029.015-.325-1.937.0672(常量)-.972.711-1.366.186各项贷款余额x1.041.009.9144.814.000本年累计应收到款x2.149.077.2611.938.066本年固定资产投资额x4-.029.014-.317-2.006.0583(常量)-.443.697-.636.531各项贷款余额x1.050.0071.1206.732.000本年固定资产投资额x4-.032.015-.355-2.133.044a. 因变量: 不良贷款y逐步回归得系数a模型非标准化系数标准系数t.B标准 误差试用版1(常量)-.830.723-1.147.263各项贷款余额x1.038.005.8447.534.0002(常量)-.443.697-.636.531各项贷款余额x1.050.0071.1206.732.000本年固定资产投资额x4-.032.015-.355-2.133.044a. 因变量: 不良贷款y K K x1 x2 x3 x4 .00000 .79760 .891313 .259817 .034471 -.324924.05000 .79088 .713636 .286611 .096624 -.233765.10000 .78005 .609886 .295901 .126776 -.174056.15000 .76940 .541193 .297596 .143378 -.131389.20000 .75958 .491935 .295607 .153193 -.099233.25000 .75062 .454603 .291740 .159210 -.074110.30000 .74237 .425131 .286912 .162925 -.053962.35000 .73472 .401123 .281619 .165160 -.037482.40000 .72755 .381077 .276141 .166401 -.023792.45000 .72077 .364000 .270641 .166949 -.012279.50000 .71433 .349209 .265211 .167001 -.002497.55000 .70816 .336222 .259906 .166692 .005882.60000 .70223 .324683 .254757 .166113 .013112.65000 .69649 .314330 .249777 .165331 .019387.70000 .69093 .304959 .244973 .164397 .024860.75000 .68552 .296414 .240345 .163346 .029654.80000 .68024 .288571 .235891 .162207 .033870.85000 .67508 .281331 .231605 .161000 .037587.90000 .67003 .274614 .227480 .159743 .040874.95000 .66508 .268353 .223510 .158448 .0437871.0000 .66022 .262494 .219687 .157127 .046373 :* k = 0.4 * R .802353780 .643771588 .611387187 2.249999551 2.000 201.275 100.638 22.000 111.375 5.062 F F 19.87906417 .00001172 B (B) (B)x1 .025805860 .003933689 .574462395 6.560218798x4 .004531316 .007867533 .050434658 .575951348 .357087614 .741566536 .000000000 .481531456 Y对x1 x2 x3 做岭回归 :* k = 0.4 * R .850373821 .723135635 .683583583 2.030268037 3.000 226.089 75.363 21.000 86.562 4.122 F F 18.28313822 .00000456 B (B) (B)x1 .016739073 .003359156 .372627316 4.983118685x2 .156806656 .047550034 .275213878 3.297719120x3 .067110931 .032703990 .159221005 2.052071673 -.819486727 .754456246 .000000000 -1.086195166 由图及表可知，1y 与x1 x2 x3 x4 的相关系数分别为0.844,0.732,0.700,0.519.（2） y对其余四个变量的线性回归方程为 由于的系数为负，说明存在共线性，固所得的回归系数是不合理的。（3） 由于条件数=11.25>10，说明存在较强的共线性。（4） 由上表可知由后退法和逐步回归法所得到的线性回归方程为 由于的系数为负，说明仍然存在共线性。（5） Y对其余四个自变量的岭回归如上表所示。（6） 选取岭参数0.4,得岭回归方程，回归系数都能有合理的解释。（7） 用y对x1 x2 x3 做岭回归，选取岭参数0.4，岭回归方程为回归系数都能有合理的解释，由 B / (B) 得近似的t值可知，x1 x2 x3 都是显著的，所以y对x1 x2 x3的岭回归是可行的。
