【精品】回归分析精品ppt课件.ppt

《【精品】回归分析精品ppt课件.ppt》由会员分享，可在线阅读，更多相关《【精品】回归分析精品ppt课件.ppt（145页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、回归分析主要内容主要内容u20042004年年B B题题u回归模型与预测回归模型与预测u残差分析残差分析u回归方程的选取回归方程的选取u软件求解软件求解u应用案例应用案例-2006B-2006Bu参考书目参考书目一、一、2004年年B题题“电力市场的输电阻塞管理电力市场的输电阻塞管理”任务：任务：（1）某电网有）某电网有8台发电机组，台发电机组，6条主要线路，表条主要线路，表1和表和表2中的方案中的方案0给出了各机组的当前出力和各线路上对给出了各机组的当前出力和各线路上对应的有功潮流值，方案应的有功潮流值，方案132给出了围绕方案给出了围绕方案0的一的一些实验数据，试用这些数据些实验数据，试用

2、这些数据确定各线路上有功潮流确定各线路上有功潮流关于各发电机组出力的近似表达式关于各发电机组出力的近似表达式。（2）设计一种）设计一种简明、合理的阻塞费用计算规则简明、合理的阻塞费用计算规则，除考，除考虑上述电力市场规则外，还需注意：在输电阻塞发虑上述电力市场规则外，还需注意：在输电阻塞发生时公平地对待序内容量不能出力的部分和报价高生时公平地对待序内容量不能出力的部分和报价高于清算价的序外容量出力的部分。于清算价的序外容量出力的部分。（3 3）假设下一个时段预报的负荷需求是）假设下一个时段预报的负荷需求是982.4982.4MWMW，表表3 3、表、表4 4和表和表5 5分别给出了各机组的段容

3、量、段分别给出了各机组的段容量、段价和爬坡速率的数据，试按照电力市场规则给出价和爬坡速率的数据，试按照电力市场规则给出下一个时段各机组的出力分配预案。下一个时段各机组的出力分配预案。（4 4）按照表）按照表6 6给出的潮流限值，检查得到的出力分给出的潮流限值，检查得到的出力分配预案是否会引起输电阻塞，并在发生输电阻塞配预案是否会引起输电阻塞，并在发生输电阻塞时，根据安全且经济的原则，调整各机组出力分时，根据安全且经济的原则，调整各机组出力分配方案，并给出与该方案相应的阻塞费用。配方案，并给出与该方案相应的阻塞费用。（5 5）假设下一个时段预报的负荷需求是）假设下一个时段预报的负荷需求是1052

4、.81052.8MWMW，重复重复3434的工作。的工作。表表1 各机各机组组出力方案出力方案（单单位：兆瓦，位：兆瓦，记记作作MW）方案方案机组机组123 4 5 6780120731808012512581.1901133.02731808012512581.1902129.63731808012512581.1903158.77731808012512581.1904145.32731808012512581.190512078.5961808012512581.190612075.451808012512581.190712090.4871808012512581.190812083.

5、8481808012512581.190912073231.398012512581.1901012073198.488012512581.1901112073212.648012512581.1901212073190.558012512581.190131207318075.85712512581.190141207318065.95812512581.190151207318087.25812512581.190161207318097.82412512581.190171207318080150.7112581.19024167.69138.07-144.14119.19137.111

6、57.6525162.21141.21-144.13116.03135.5154.2626163.54141-144.16117.56135.44155.9327162.7141.14-144.21116.74135.4154.8828164.06140.94-144.18118.24135.4156.6829164.66142.27-147.2120.21135.28157.6530164.7142.94-148.45120.68135.16157.6331164.67141.56-145.88119.68135.29157.6132164.69143.84-150.34121.34135.

7、12157.6416166.88141.4-144.34118.67134.67159.2817164.07143.03-140.97118.75133.75158.8318164.27142.29-142.15118.85134.27158.3719164.57141.44-143.3119134.88158.0120163.89143.61-140.25118.64133.28159.1221166.35139.29-144.2119.1136.33157.5922165.54140.14-144.19119.09135.81157.6723166.75138.95-144.17119.1

8、5136.55157.59表表2 2 各线路的潮流值（各方案与表各线路的潮流值（各方案与表1 1相对应，单位：相对应，单位：MWMW）（续）（续）表表3 各机各机组组的段容量的段容量 （单单位：位：MW）机组机组段段1234567891017005000300004023002081562008311004003002040040455510101010150015755150151501010106950102001510200107501551510105103287002002002010155表表4 各机各机组组的段价（的段价（单单位：元位：元/兆瓦小兆瓦小时时，记记作元作元/MWh）

9、机组机组段段123456789101-50501241682102523123303634892-56001822032453003203604104953-61001521892332583083564155004-5001501702002553023253804358005-59001161461882152503103965106-60701591732052523053804055207-5001201802512603063153353485488-800153183233253283303318400800机组机组12345678速率速率2.213.21.31.821.41.8表

10、表6 各各线线路的潮流限路的潮流限值值（单单位：位：MW）和相和相对对安全裕度安全裕度 线路线路123456限值限值165150160155132162安全裕度安全裕度13%18%9%11%15%14%表表5 5 各机组的爬坡速率各机组的爬坡速率 （单位：（单位：MW/MW/分钟）分钟）（1 1）某电网有若干台发电机组和若干条主要线路，）某电网有若干台发电机组和若干条主要线路，每条线路上的有功潮流（输电功率和方向）取决每条线路上的有功潮流（输电功率和方向）取决于电网结构和各发电机组的出力。于电网结构和各发电机组的出力。（2 2）由于电网的拓扑结构是确定的，线路上的有功）由于电网的拓扑结构是确定

11、的，线路上的有功潮流由各发电机组出力决定。潮流由各发电机组出力决定。（3 3）根据功率的叠加原理，各线路上有功潮流应为）根据功率的叠加原理，各线路上有功潮流应为各发电机组出力的组合。各发电机组出力的组合。（4 4）数学上，该问题就是要找出数学上，该问题就是要找出各线路上有功潮流各线路上有功潮流与与8 8台发电机出力的函数关系台发电机出力的函数关系，这是一个函数拟合，这是一个函数拟合问题。问题。1 1、任务（、任务（1 1）分析）分析（5 5）对函数拟合，可以采用线性函数，也可以）对函数拟合，可以采用线性函数，也可以采用非线性函数，比如多项式函数，三角函数，采用非线性函数，比如多项式函数，三角函

12、数，指数函数等等。在给出具体问题的具体数据时，指数函数等等。在给出具体问题的具体数据时，首先想到的还是最简单的方法下手，采用最简单首先想到的还是最简单的方法下手，采用最简单的函数去拟合，也就是的函数去拟合，也就是线性函数线性函数来表达。来表达。（6 6）对所有实验数据采用）对所有实验数据采用最小二乘法进行线性最小二乘法进行线性拟合拟合，从而得到各线路有功潮流关于各发电机组，从而得到各线路有功潮流关于各发电机组出力的近似表达式。出力的近似表达式。1 1、任务（、任务（1 1）分析）分析2 2、任务（、任务（1 1）求解）求解设设6 6条主要线路的当前有功潮流为条主要线路的当前有功潮流为设设6 6

13、条主要线路的当前有功潮流为条主要线路的当前有功潮流为2 2、任务（、任务（1 1）求解）求解评注：评注：（1 1）潮流）潮流-机组出力函数一般是非线性的，上式机组出力函数一般是非线性的，上式是标准的局部线性化公式，即在工作点附近用微是标准的局部线性化公式，即在工作点附近用微分近似代替函数的该变量。分近似代替函数的该变量。（2 2）多数参赛队采用了与上式等价的表达方式：）多数参赛队采用了与上式等价的表达方式：其数值结果与（其数值结果与（1）的灵敏度拟合结果略有差别，）的灵敏度拟合结果略有差别，但不影响后续的定性结论。但不影响后续的定性结论。2 2、任务（、任务（1 1）求解）求解（3 3）很多参

14、赛队对（）很多参赛队对（2 2）式中是否应该有）式中是否应该有常数项常数项感到感到迷惑，认为实际中没有机组出力就没有潮流。实际上迷惑，认为实际中没有机组出力就没有潮流。实际上这是局部线性化的思想。这是局部线性化的思想。根据表根据表1 1和表和表2 2围绕方案围绕方案0 0的的1-321-32组实验数组实验数据，可以列出关于未知数的据，可以列出关于未知数的3232个方程的方程个方程的方程组，利用组，利用SASSAS或或MatlabMatlab编程求解方程组，得编程求解方程组，得3 3、任务（、任务（1 1）结果）结果还需要根据样本值运用假设检验来判断，还需要根据样本值运用假设检验来判断，以确定求

15、得的回归方程是否有价值。以确定求得的回归方程是否有价值。在许多国际国内数学建模竞赛中，都有在许多国际国内数学建模竞赛中，都有可能用到回归分析。因此，我们介绍线性回可能用到回归分析。因此，我们介绍线性回归分析的基本原理，对模型好坏的评价指标，归分析的基本原理，对模型好坏的评价指标，可线性化的回归分析，利用统计软件的实现可线性化的回归分析，利用统计软件的实现等具体问题。等具体问题。二、回归模型与预测二、回归模型与预测在许多实际问题中，某个变量在许多实际问题中，某个变量 Y Y 与其他一些变量与其他一些变量有某种关系，但这种关系不明确或者太复杂不能有某种关系，但这种关系不明确或者太复杂不能确切表示，

16、因此说变量确切表示，因此说变量的取值部分地决定的取值部分地决定Y Y的取值的取值，还存在着其它不可还存在着其它不可控制的因素。控制的因素。1 1、一些概念、一些概念称这种关系为回归关系，其中称这种关系为回归关系，其中Y Y称为称为因变量，因变量，称为称为自变量或回归变量，自变量或回归变量，如果回归函数如果回归函数 g g 的形式已知，只是含有某的形式已知，只是含有某些未知参数，就称为些未知参数，就称为参数回归模型。参数回归模型。1 1、一些概念、一些概念如果不假定回归函数的具体形式，只作一些连如果不假定回归函数的具体形式，只作一些连续性或光滑性的要求，则称为续性或光滑性的要求，则称为非参数回归

17、非参数回归模型。模型。称作回归函数，称作回归函数，称作随机误差。称作随机误差。特别地，如果回归函数是自变量的线性函数，则特别地，如果回归函数是自变量的线性函数，则称该模型为称该模型为线性回归模型线性回归模型，否则称为，否则称为非线性回归模型非线性回归模型。线性回归模型的一般形式为线性回归模型的一般形式为（1）1 1、一些概念、一些概念其中其中为未知参数，称为为未知参数，称为回归参数或回归系数，回归参数或回归系数，为可精确观测的非随机变量。为可精确观测的非随机变量。为不可观测的随机误差项，满足为不可观测的随机误差项，满足 当自变量只有一个，即当自变量只有一个，即p=1p=1，称为，称为一元线性回

18、归一元线性回归，如果自变量有多个，称为如果自变量有多个，称为多元线性回归多元线性回归。后面可以发现，我们介绍的线性回归模型的估后面可以发现，我们介绍的线性回归模型的估计与推断方法本质上只要求计与推断方法本质上只要求回归函数是未知参数的回归函数是未知参数的线性函数。线性函数。在此意义下，一个最一般的线形回归模在此意义下，一个最一般的线形回归模型可表示为型可表示为是是p+1p+1个线性无关的已知函数。个线性无关的已知函数。（2）1 1、一些概念、一些概念 则模型（则模型（2 2）和（）和（1 1）便具有完全相同的形式。因此，）便具有完全相同的形式。因此，线性回归模型的回归函数关于原始自变量可以呈现

19、线性回归模型的回归函数关于原始自变量可以呈现复杂的非线性形式。复杂的非线性形式。只要令新的自变量只要令新的自变量1 1、一些概念、一些概念指数函数类：指数函数类：甚至是这些或其他已知函数的组合等。甚至是这些或其他已知函数的组合等。可以取为可以取为幂函数类：幂函数类：多项式回归多项式回归三角函数类：三角函数类：1 1、一些概念、一些概念 值得注意的是，随着自变量个数的增加值得注意的是，随着自变量个数的增加,多元多元多项式回归分析的计算量急剧增加。因此，在多多项式回归分析的计算量急剧增加。因此，在多项式回归中较为常用的是项式回归中较为常用的是一元二次多项式回归和一元二次多项式回归和一元三次多项式回

20、归一元三次多项式回归。1 1、一些概念、一些概念2 2、一元线性回归、一元线性回归一元线性回归模型为一元线性回归模型为满足满足2 2、一元线性回归、一元线性回归则则令令正规方程组正规方程组2 2、一元线性回归、一元线性回归整理得整理得2 2、一元线性回归、一元线性回归其中，其中，参数的最小二乘估计参数的最小二乘估计2 2、一元线性回归、一元线性回归称作称作y y关于关于x x的的一元经验回归方程一元经验回归方程。2 2、一元线性回归、一元线性回归2 2、一元线性回归、一元线性回归2 2、一元线性回归、一元线性回归多元线性回归模型为：多元线性回归模型为：3 3、多元线性回归、多元线性回归3 3、

21、多元线性回归、多元线性回归令令注意：矩阵注意：矩阵X X的的第一列全是第一列全是1.1.并并设设X X是列满秩。是列满秩。3 3、多元线性回归、多元线性回归则（则（8 8）可用矩阵表达为）可用矩阵表达为3 3、多元线性回归、多元线性回归对应对应正规方程组正规方程组为为 在在X X不是列满秩时，其解虽然不唯一，但对任意一不是列满秩时，其解虽然不唯一，但对任意一组解都使得残差平方和最小。组解都使得残差平方和最小。3 3、多元线性回归、多元线性回归 关于多重共线性的知识请参阅韩中庚关于多重共线性的知识请参阅韩中庚数学建模方法及其应用数学建模方法及其应用。3 3、多元线性回归、多元线性回归 当当 p=

22、1 p=1 时，多元线性回归就变成一元线性回时，多元线性回归就变成一元线性回归分析了，这时参数的求解和误差的方差的无偏归分析了，这时参数的求解和误差的方差的无偏估计与一元得到的结论是一样的，类似地也有估计与一元得到的结论是一样的，类似地也有经经验回归平面方程验回归平面方程3 3、多元线性回归、多元线性回归4 4、回归模型的假设检验、回归模型的假设检验 在许多实际问题中，我们事先并不能断定因在许多实际问题中，我们事先并不能断定因变量与自变量之间是否确有线性关系，而前面建变量与自变量之间是否确有线性关系，而前面建立的立的因变量与多个自变量间的线性关系只是一种因变量与多个自变量间的线性关系只是一种假

23、设假设，带有很大的主观性，尽管这种假设常常不，带有很大的主观性，尽管这种假设常常不是没有根据的。这就意味，所求得的经验回归方是没有根据的。这就意味，所求得的经验回归方程是否有实用价值，需要经过假设检验才能确定。程是否有实用价值，需要经过假设检验才能确定。主要从以下几个方面进行检验：主要从以下几个方面进行检验：a a、回归方程的检验；回归方程的检验；b b、回归系数的检验；回归系数的检验；c c、回归好坏程度的度量。回归好坏程度的度量。4 4、回归模型的假设检验、回归模型的假设检验a a、回归方程的检验、回归方程的检验是否全为零。若全为零，则认为线性回归不是否全为零。若全为零，则认为线性回归不显

24、著，否则认为线性回归显著。为此，在上显著，否则认为线性回归显著。为此，在上述模型中作假设述模型中作假设 要检验（要检验（7 7）的变量间有没有这种线性关系，）的变量间有没有这种线性关系，只要检验只要检验p p个系数个系数 考虑考虑总偏差平方和总偏差平方和（total sum of squarestotal sum of squares），），利用正规方程组，有利用正规方程组，有为了构造检验统计量，记为了构造检验统计量，记a a、回归方程的检验、回归方程的检验a a、回归方程的检验、回归方程的检验 它反映了自变量的线性回归函数的估计值对其平它反映了自变量的线性回归函数的估计值对其平均值的偏差平方

25、和。均值的偏差平方和。它反映了除去它反映了除去x与与y的线性关系以外的因素所引的线性关系以外的因素所引起的起的y的变化，是由随机误差和其他未加控制的变化，是由随机误差和其他未加控制的因素所引起的误差平方和。的因素所引起的误差平方和。a a、回归方程的检验、回归方程的检验a a、回归方程的检验、回归方程的检验构造检验统计量为构造检验统计量为a a、回归方程的检验、回归方程的检验相应的检验法则为相应的检验法则为：a a、回归方程的检验、回归方程的检验不全为零，但这并不意味着每个自变量不全为零，但这并不意味着每个自变量可能会起重要作用，而有的可能起的作用不大可能会起重要作用，而有的可能起的作用不大或

26、者不起作用。或者不起作用。因此，在通过前面的线性回归模型的检验，因此，在通过前面的线性回归模型的检验，a a、回归方程的检验、回归方程的检验从线性回归模型中剔除那些次要的、从线性回归模型中剔除那些次要的、可有可无可有可无的自变量，只保留那些起重要作用的自变量，的自变量，只保留那些起重要作用的自变量，重新建立更为简练的线性回归模型，重新建立更为简练的线性回归模型，使之有利于实际应用。使之有利于实际应用。a a、回归方程的检验、回归方程的检验还需要对每个自变量逐一作显著性检验，即还需要对每个自变量逐一作显著性检验，即b b、回归系数的检验、回归系数的检验检验假设检验假设下面的任务是选取检验统计量。

27、下面的任务是选取检验统计量。由（由（9 9）所以，所以，b b、回归系数的检验、回归系数的检验则可以证明则可以证明注意：矩阵注意：矩阵C的的下标都是从下标都是从0开开始的！始的！b b、回归系数的检验、回归系数的检验b b、回归系数的检验、回归系数的检验 如果回归方程的检验结果是显著的，而且各个回归如果回归方程的检验结果是显著的，而且各个回归系数的检验结果都为显著时，说明各个自变量对因变系数的检验结果都为显著时，说明各个自变量对因变量的单纯影响都是显著的。量的单纯影响都是显著的。若有回归系数经显著性检验为不显著时，说明其对若有回归系数经显著性检验为不显著时，说明其对应的自变量在回归方程中是不重

28、要的，此时应该剔除。应的自变量在回归方程中是不重要的，此时应该剔除。b b、回归系数的检验、回归系数的检验在对变量进行剔除时，需要注意：在对变量进行剔除时，需要注意：1 1）一次只能剔除一个不显著的回归系数对应）一次只能剔除一个不显著的回归系数对应的自变量，而且被剔除的自变量，应该是所的自变量，而且被剔除的自变量，应该是所有不显著的回归系数中的有不显著的回归系数中的t t值最小者。值最小者。2 2）重新进行少一个自变量的多元线性回归分析。重新进行少一个自变量的多元线性回归分析。b b、回归系数的检验、回归系数的检验 前面说的是剔除变量，也会有变量因素考虑前面说的是剔除变量，也会有变量因素考虑不

29、周的情况，这时应该考虑引入新的变量，那么不周的情况，这时应该考虑引入新的变量，那么如何引入新的变量？如何引入新的变量？普遍采用的是普遍采用的是逐步回归法逐步回归法。也即，依次拟合一系也即，依次拟合一系列回归方程，后一个方程在前一个方程的基础上列回归方程，后一个方程在前一个方程的基础上添加或删除一个变量。添加或删除一个变量。梅长林梅长林数据分析方法数据分析方法第二章第二章 SAS的的proc regb b、回归系数的检验、回归系数的检验回归模型中自变量的选择，常用的有两种方法：回归模型中自变量的选择，常用的有两种方法：一是穷举法；一是穷举法；二是逐步回归法二是逐步回归法。方程太多，计算量太大方程

30、太多，计算量太大c c、复相关系数、复相关系数 对一个回归方程来说，即使回归显著，但还对一个回归方程来说，即使回归显著，但还涉及到回归好坏程度的度量。对于一个因变量涉及到回归好坏程度的度量。对于一个因变量和一组自变量之间相关程度，则要采用的复相关和一组自变量之间相关程度，则要采用的复相关系数来度量。系数来度量。研究一个变量与多个变量的线性相关称为复研究一个变量与多个变量的线性相关称为复相关分析。相关分析。c c、复相关系数、复相关系数 复相关系数用来衡量线性回归关系对给定数据复相关系数用来衡量线性回归关系对给定数据集的拟合程度。集的拟合程度。定义为定义为但是复相关系数也有一些缺点。当采用的自变

31、量但是复相关系数也有一些缺点。当采用的自变量自变量的引入可能是多余的。自变量的引入可能是多余的。为了更准确地反映参数个数的影响，采用调整的为了更准确地反映参数个数的影响，采用调整的调整的复相关系数调整的复相关系数5 5、预测、预测 如果经检验，认为线性回归方程是可信的，而如果经检验，认为线性回归方程是可信的，而且拟合的又好，那么接下来就要用它进行预测。且拟合的又好，那么接下来就要用它进行预测。5 5、预测、预测分为点估计和区间估计。分为点估计和区间估计。点估计点估计5 5、预测、预测实际中，更感兴趣的是实际中，更感兴趣的是区间估计区间估计。因而因而其中其中此时此时5 5、预测、预测5 5、预测

32、、预测5 5、预测、预测6 6、回归分析的注意事项、回归分析的注意事项（1 1）做回归分析时，一定要做）做回归分析时，一定要做回归方程和回归系数回归方程和回归系数 的检验的检验，好的检验结果可以体现所建模型的优劣，是，好的检验结果可以体现所建模型的优劣，是论文完整的体现。论文完整的体现。（2 2）基于主成分的回归分析。基于主成分的回归分析。为了尽可能获取完整的为了尽可能获取完整的信息，建模中往往要考虑众多的变量，增加了分析的信息，建模中往往要考虑众多的变量，增加了分析的复杂度。一般来说，这些变量之间会存在一定的相关复杂度。一般来说，这些变量之间会存在一定的相关性，人们希望性，人们希望“改造改造

33、”这些相关的变量，构造原变量这些相关的变量，构造原变量的适当的线性组合提取信息，用较少的信息互不重叠的适当的线性组合提取信息，用较少的信息互不重叠的新变量来代替原变量。的新变量来代替原变量。主成分分析主成分分析和和典型相关分析典型相关分析就是处理高维数据的两种降维方法。就是处理高维数据的两种降维方法。主成分分析着眼于考虑变量的主成分分析着眼于考虑变量的“分散性分散性”信息；信息；典型相关分析立足于识别和量化二组变量的统计相关典型相关分析立足于识别和量化二组变量的统计相关性。性。三、残差分析三、残差分析在实际问题中，由于观察人员的粗心或偶然因素在实际问题中，由于观察人员的粗心或偶然因素的干扰。常

34、会使我们所得到的数据不完全可靠的干扰。常会使我们所得到的数据不完全可靠,即出现异常数据。有时即使通过相关系数或即出现异常数据。有时即使通过相关系数或F F 检检验证实回归方程可靠，也不能排除数据存在上述验证实回归方程可靠，也不能排除数据存在上述问题。问题。给定一组实际数据，如何考察这些数据满足一些给定一组实际数据，如何考察这些数据满足一些假设如线性关系或者误差项的独立同正态分布等假设如线性关系或者误差项的独立同正态分布等是回归分析的一个重要而不可缺少的环节。是回归分析的一个重要而不可缺少的环节。由于这些假设都涉及到误差项，而误差是不可观由于这些假设都涉及到误差项，而误差是不可观测的，因此其估计

35、量的残差（测的，因此其估计量的残差（指实际观察值与回指实际观察值与回归估计值的差归估计值的差）对分析误差的性质有非常重要的）对分析误差的性质有非常重要的作用。作用。三、残差分析三、残差分析残差是误差的估计，在一定程度上反映了误差的残差是误差的估计，在一定程度上反映了误差的特点。通过对残差的分析与检验可以了解误差项特点。通过对残差的分析与检验可以了解误差项的假设的合理性。的假设的合理性。从残差出发分析误差项假定的合理性以及线性回从残差出发分析误差项假定的合理性以及线性回归关系假定的可行性就称为归关系假定的可行性就称为残差分析。残差分析。主要讨论：主要讨论：1 1 误差项的正态性检验；误差项的正态

36、性检验；2 2 基于残差图的分析方法；基于残差图的分析方法；3 3 数据变换方法数据变换方法-Box-Cox-Box-Cox变换。变换。1 1、误差项的正态性检验、误差项的正态性检验二种常用的检验方法：二种常用的检验方法：（1 1）残差正态性的频率检验；）残差正态性的频率检验；（2 2）正态）正态QQQQ图检验。图检验。（1 1）学生化残差：）学生化残差：即残差除以它的标准差的估计值即残差除以它的标准差的估计值则残差向量则残差向量其中其中则则为为H H的主对角线上的第的主对角线上的第i i个元素，个元素，所以所以即一般情况下即一般情况下 的方差不等，这不利于残差的应用。的方差不等，这不利于残差

37、的应用。对于前面的线性回归模型，假设误差向量对于前面的线性回归模型，假设误差向量则得到则得到学生化残差学生化残差将残差将残差 标准化，再以标准化，再以 代替代替 ，（2 2）残差正态性的频率检验）残差正态性的频率检验 其基本思想是将其基本思想是将学生化残差落在一些范围内的学生化残差落在一些范围内的频率频率与与标准正态分布在相应范围内的概率标准正态分布在相应范围内的概率作比较，作比较，若二者差异若二者差异较大较大，则认为残差，则认为残差不服从不服从正态分布，否正态分布，否则既则既无理由拒绝无理由拒绝误差项独立同正态分布的假设。误差项独立同正态分布的假设。实际应用中，一般取几个具有实际应用中，一般

38、取几个具有代表性的区间代表性的区间比比较即可，比如取较即可，比如取(-1,1),(-1.5,1.5),(-2,2)等，服从等，服从N(0,1)分布的分布的r.v.落在相应区间的概率分别为落在相应区间的概率分别为0.68,0.87,0.95，学生化残差中大约有相应百分比落在相，学生化残差中大约有相应百分比落在相应区间，否则，就有理由怀疑误差独立同正态分布应区间，否则，就有理由怀疑误差独立同正态分布假定的合理性。假定的合理性。（3 3）残差的）残差的QQQQ图检验图检验(a)残差的残差的QQ图的做法：图的做法：（i）将样本观察值）将样本观察值 按照从大到小的顺序排列按照从大到小的顺序排列为为 .（

39、3 3）残差的）残差的QQQQ图检验图检验(b)直观检验法：直观检验法：若若 为来自正态总体的数据，则点为来自正态总体的数据，则点应大致在一条直线上。应大致在一条直线上。因此，若学生化残差的正态因此，若学生化残差的正态QQ图中的散点明图中的散点明显不在一条直线上，则有理由怀疑误差正态性假显不在一条直线上，则有理由怀疑误差正态性假设的合理性。设的合理性。(c)相关系数检验法：相关系数检验法：上述的直观检验法更多地依赖于数据分析者上述的直观检验法更多地依赖于数据分析者的经验。的经验。也可以用也可以用 和和 之间的相关之间的相关系数的估计来度量二者之间线性关系的强弱，其系数的估计来度量二者之间线性关

40、系的强弱，其相关系数估计值为相关系数估计值为若若 的值接近于的值接近于1，则说明点，则说明点大致在一条直线上。大致在一条直线上。2 2、残差图分析、残差图分析 残差图是指以残差为纵坐标，以其他有关量残差图是指以残差为纵坐标，以其他有关量的值为横坐标的散点图。的值为横坐标的散点图。主要包括：主要包括：（1 1）横坐标为因变量）横坐标为因变量Y Y的拟合值；的拟合值；（2 2）横坐标为某个自变量的观测值；）横坐标为某个自变量的观测值；（3 3）横坐标为取得观测值的时间或观测值的序号。）横坐标为取得观测值的时间或观测值的序号。（1 1）横坐标为因变量）横坐标为因变量Y Y的拟合值的拟合值 若线性回归

41、关系正确且误差是正态分布，则因变若线性回归关系正确且误差是正态分布，则因变量量Y Y的拟合值的拟合值 应与残差向量应与残差向量 相互独立。相互独立。这时残差图中的点这时残差图中的点 应大致在一个水平的带状区域内，且不呈现任应大致在一个水平的带状区域内，且不呈现任何明显的趋势。何明显的趋势。（2 2）横坐标为某个自变量的观测值）横坐标为某个自变量的观测值 这种情形类似于（这种情形类似于（1 1）。）。这时残差图中的点这时残差图中的点 应大致在一个水平的带状区域内，不呈现任何应大致在一个水平的带状区域内，不呈现任何明显的趋势。明显的趋势。（3 3）时序残差图）时序残差图 在许多实际问题中，样本数据

42、是按照时间顺序在许多实际问题中，样本数据是按照时间顺序观测得到的，这时，以观测得到的，这时，以观测时间或观测值序号观测时间或观测值序号为横为横坐标的残差图称为坐标的残差图称为时序残差图时序残差图。满意的时序残差图中的点大致在一个水平的带满意的时序残差图中的点大致在一个水平的带状区域内，且不呈现任何明显的趋势。状区域内，且不呈现任何明显的趋势。3 3、Box-CoxBox-Cox变换变换 通过残差分析，发现所给数据集的某些特点通过残差分析，发现所给数据集的某些特点以及模型假定的一些不足之处，接下来的问题就以及模型假定的一些不足之处，接下来的问题就是要采取相应措施改进其不足，以建立更恰当的是要采取

43、相应措施改进其不足，以建立更恰当的回归模型。回归模型。一个常用的且有较好效果的改进措施是一个常用的且有较好效果的改进措施是“Box-CoxBox-Cox变换变换”，它是对因变量作适当变换，达，它是对因变量作适当变换，达到对原数据的到对原数据的“综合治理综合治理”，使其尽可能满足线，使其尽可能满足线性回归模型的假设条件。性回归模型的假设条件。3 3、Box-CoxBox-Cox变换变换 因变量的取值一般都为正值，因变量的取值一般都为正值，Box-CoxBox-Cox变变换是对取正值的因变量换是对取正值的因变量Y Y作如下变换：作如下变换：是一个待确定变换参数。是一个待确定变换参数。一族变换一族变

44、换3 3、Box-CoxBox-Cox变换变换记变换后的观测值向量为记变换后的观测值向量为 也即，使得通过变换后的观测值向量与自变量也即，使得通过变换后的观测值向量与自变量具有线性相关关系，而且误差各分量相互独立且服从具有线性相关关系，而且误差各分量相互独立且服从相同的正态分布。相同的正态分布。数据分析方法数据分析方法 利用利用SAS软件的软件的proc reg过程过程3 3、Box-CoxBox-Cox变换变换（1 1）Box-CoxBox-Cox变换只是数据变换的一种形式，实变换只是数据变换的一种形式，实际应用中对际应用中对 的选取并不那么严格，可以选择的选取并不那么严格，可以选择更易于解

45、释和处理的对数变换；更易于解释和处理的对数变换；注意：注意：（2 2）实际应用中要紧密结合问题的实际背景，实际应用中要紧密结合问题的实际背景，对具体问题具体分析，具体处理，与数据变换方对具体问题具体分析，具体处理，与数据变换方法相结合，提出更有效的改进措施。法相结合，提出更有效的改进措施。（1 1）Box-CoxBox-Cox变换只是数据变换的一种形式，实变换只是数据变换的一种形式，实际应用中对际应用中对 的选取并不那么严格，可以选择的选取并不那么严格，可以选择更易于解释和处理的对数变换；更易于解释和处理的对数变换；1、选择回归方程的形式、选择回归方程的形式（1 1）画图观察）画图观察（2 2

46、）理论分析）理论分析四、回归方程的选取四、回归方程的选取2、选择回归方程形式的原则：、选择回归方程形式的原则：（1）方程形式应与有关实质性科学的基本理论相一）方程形式应与有关实质性科学的基本理论相一致。例如，致。例如，幂函数幂函数能很好地表现生产函数，能很好地表现生产函数，多项式多项式能较好地反映总成本与总产量之间的关系。能较好地反映总成本与总产量之间的关系。（3）方程的形式应尽可能简单。如果几种形式都能基）方程的形式应尽可能简单。如果几种形式都能基本符合上面两个原则，则应选择数学形式较简单的本符合上面两个原则，则应选择数学形式较简单的一种。因为，数学形式越简单，可操作性就越强。一种。因为，数

47、学形式越简单，可操作性就越强。（2）方程有较好的拟合度。只有这样，回归方程才）方程有较好的拟合度。只有这样，回归方程才能较好地反映现实经济的运行情况。能较好地反映现实经济的运行情况。3 3、可线性化的一元非线性回归模型、可线性化的一元非线性回归模型 对于一元回归，非线性回归的情形也是很常见对于一元回归，非线性回归的情形也是很常见的，对这些问题做回归就是的，对这些问题做回归就是曲线回归曲线回归。配置曲线回归的一个基本方法是通过适当的变配置曲线回归的一个基本方法是通过适当的变量代换把量代换把非线性回归化为线性回归非线性回归化为线性回归。具体如下：。具体如下：先画出观察值的散点图，通过与常见的函数曲

48、先画出观察值的散点图，通过与常见的函数曲线对比，经验的选择曲线类型。线对比，经验的选择曲线类型。常见的是下面六类曲线：常见的是下面六类曲线：（1 1）双曲线）双曲线 3 3、可线性化的一元非线性回归模型、可线性化的一元非线性回归模型（2 2）幂函数曲线）幂函数曲线3 3、可线性化的一元非线性回归模型、可线性化的一元非线性回归模型（3 3）指数曲线）指数曲线3 3、可线性化的一元非线性回归模型、可线性化的一元非线性回归模型（4 4）倒指数曲线）倒指数曲线3 3、可线性化的一元非线性回归模型、可线性化的一元非线性回归模型（5 5）对数曲线）对数曲线3 3、可线性化的一元非线性回归模型、可线性化的一

49、元非线性回归模型（6 6）S S型曲线型曲线3 3、可线性化的一元非线性回归模型、可线性化的一元非线性回归模型设有模型设有模型线性回归模型：线性回归模型：实验数据按上面的变量代换算出实验数据按上面的变量代换算出3 3、可线性化的一元非线性回归模型、可线性化的一元非线性回归模型再按前面的线性回归公式计算参数估计，得再按前面的线性回归公式计算参数估计，得当当y y与与x x适合模型适合模型3 3、可线性化的一元非线性回归模型、可线性化的一元非线性回归模型 其他几种曲线都可通过适当的变量代换转化为其他几种曲线都可通过适当的变量代换转化为线性回归模型。这类回归模型就称为线性回归模型。这类回归模型就称为

50、可线性化的可线性化的一元非线性回归模型。一元非线性回归模型。表面上看，该模型比上面的模型简单，表面上看，该模型比上面的模型简单，然而它然而它却无法化成线性回归，因为它是所谓本质上非线却无法化成线性回归，因为它是所谓本质上非线性的模型。性的模型。值得注意的是，并非所有的曲线回归问题都可值得注意的是，并非所有的曲线回归问题都可线性化，例如线性化，例如 3 3、可线性化的一元非线性回归模型、可线性化的一元非线性回归模型五、软件应用五、软件应用 解决线性回归问题的常用软件有：解决线性回归问题的常用软件有：MatlabMatlab SPSS SPSS SASSAS SPSS SPSS的求解与的求解与SA