第十二章回归分析.pptx

《第十二章回归分析.pptx》由会员分享，可在线阅读，更多相关《第十二章回归分析.pptx（80页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1一.回归分析将将存存在在相相关关的的两两个个变变量量，一一个个作作为为自自变变量量，另另一一个个作作为为因因变变量量，并并把把二二者者之之间间不不十十分分准准确确、稳稳定定的的关关系系，用用数数学学方方程程式式来来表表达达，则则可可利利用用该该方方程程由由自自变变量量的的值值来来估估计计、预预测测因因变量的估计值，这一过程称为变量的估计值，这一过程称为回归分析回归分析 。回回归归表表示示一一个个变变量量随随另另一一个个变变量量作作不不同同程程度度变化的单向关系。变化的单向关系。第1页/共80页2回归与相关的比较回归与相关的比较相关与回归是从不同角度对变量间关相关与回归是从不同角度对变量间关系

2、的分析：系的分析：相关关系相关关系是两个变量之间的是两个变量之间的双双向关系向关系，没有主从之分；而，没有主从之分；而回归关系回归关系是两是两个变量之间的个变量之间的单向关系单向关系，是自变量对因变，是自变量对因变量的影响关系。相关关系用量的影响关系。相关关系用相关系数相关系数来表来表示，而回归关系用示，而回归关系用数学模型数学模型来表示，这种来表示，这种数学模型称为回归方程（数学模型称为回归方程（regression regression equationequation）。第2页/共80页3回归与相关的选择回归与相关的选择当旨在分析变量之间关系的密切程度当旨在分析变量之间关系的密切程度时，

3、一般使用相关系数，时，一般使用相关系数，选择相关分析。选择相关分析。当研究的目的是确定变量之间数量关当研究的目的是确定变量之间数量关系的可能形式，找出表达它们之间依存关系的可能形式，找出表达它们之间依存关系的合适的数学模型，并用这个数学模型系的合适的数学模型，并用这个数学模型表示这种关系形式，则表示这种关系形式，则选择回归分析。选择回归分析。这这个用来表达变量之间规律的数学模型就称个用来表达变量之间规律的数学模型就称为为回归模型。回归模型。第3页/共80页4二一元线性回归方程的建立1 1回归分析的类别回归分析的类别 线性回归分析、非线性回归分析。根据自变量个数的多少，可分为：一元回归分析、多元

4、回归分析。一元回归分析、多元回归分析。第4页/共80页5二一元线性回归方程的建立2 2一元线性回归概念一元线性回归概念 线性回归（linear regression）：自变量与因变量之间呈线性关系（linear relationship）的回归关系。一元线性回归一元线性回归是指只有一个自变量一个自变量的线性回归。又称为简单线性回归（simple linear regression）。第5页/共80页63 3一元线性回归方程的通一元线性回归方程的通式式式中：a 为直线在Y轴上的截距；b 为回归系数（也是回归直线的斜率）称为对应于X的Y变量的估计值。（公式12-1）第6页/共80页74 4一元线性

5、回归方程的建一元线性回归方程的建立立建立回归方程的步骤一般包括建立回归方程的步骤一般包括：根据数据资料作散点图，判断直线关系；选定计算回归系数的方法（平均数法和最小二乘法）并计算回归系数b和直线的截距a。将b和a代入直线方程的通式，得到回归方程。第7页/共80页8拟合直线拟合直线第8页/共80页9最小二乘法求回归系数最小二乘法求回归系数（method of least squaresmethod of least squares）常用的拟合这条回归线的原则，就是使各点与该线纵向距离的平方和平方和最小小，也就是使误差的平方和最小。这种求回归系数的方法称为最小二乘法最小二乘法。最小二乘法得到的是可

6、能的各条直线中拟合最好的一条。第9页/共80页10（xi,yi）第10页/共80页11图12-2-1 回归直线示意图（X，Y）YXO（X，）ah第11页/共80页12图12-2-2 回归直线示意图（X，Y）YXO（X，）h第12页/共80页13图中，Y与 的离差（残差）有大，有小，有正，有负，其总和为零。因此，在考虑最小总距离时需将残差值平方，取其平方和为最小值时的方程为回归方程。（12-2）第13页/共80页14分别对上式中a与b求偏导，经整理可得到回归系数的计算公式为（12-8）第14页/共80页15求直线的截距求直线的截距由回归系数公式的计算中可得（12-7）另一组计算公式为：第15页/

7、共80页16表表12-1 1012-1 10个学生初一与初二数学成绩回归系数计算表个学生初一与初二数学成绩回归系数计算表序号序号X XY Y1 174747676 3 3 3.7 3.711.111.1 9 9 13.69 13.692 271717575 0 0 2.7 2.70 0 0 0 7.29 7.293 372727171 1 1-1.3-1.3-1.3-1.3 1 1 1.69 1.694 468687070-3-3-2.3-2.3 6.9 6.9 9 9 5.29 5.295 576767676 5 5 3.7 3.718.518.52525 13.69 13.696 6737

8、37979 2 2 6.7 6.713.413.4 4 4 44.89 44.897 767676565-4-4-7.3-7.329.229.21616 53.29 53.298 870707777-1-1 4.7 4.7-4.7-4.7 1 1 22.09 22.099 954546262-6-6-10.3-10.361.861.83636106.09106.09101074747272 3 3-0.3-0.3-0.9-0.9 9 9 0.09 0.09合计合计710710723723134134110110268.10268.10第16页/共80页17回归方程为第17页/共80页18回归方

9、程为第18页/共80页19原始数据计算回归系数公式原始数据计算回归系数公式第19页/共80页20（12-9）5、回归系数与相关系数的关系Y Y对对X X的回归系数为：的回归系数为：X X对对Y Y的回归系数为：的回归系数为：（12-10）Y Y对对X X的回归方程为：的回归方程为：（12-11）综合综合12-912-9、12-1012-10有：有：（12-12）第20页/共80页215、回归系数与相关系数的关系 从从12-1212-12中看出，相关系数是两个回归系数的几何平均。中看出，相关系数是两个回归系数的几何平均。在进行回归分析时，由于目的在于用某一变量去预测另一变量的变化情形，往在进行回

10、归分析时，由于目的在于用某一变量去预测另一变量的变化情形，往往是单向地分析两变量的变化关系，即找出一个变量随另一个变量的变化而变化的往是单向地分析两变量的变化关系，即找出一个变量随另一个变量的变化而变化的关系，关系，X X与与Y Y两个变量各有其作用。两个变量各有其作用。第21页/共80页225、回归系数与相关系数的关系 在回归系数的计算中，反映当X X变化时Y Y的变化率，反映当Y Y变化时X X的变化率，因此它们分别用X XYY和 Y YXX表示，是一种不对称设计。在计算相关系数时，考虑的是两个变量的变化情况，相关表示两方面的平均关系，属于对称性设计，因此相关分析是双向的，不强调哪个是自变

11、量哪个是因变量，以Y Y X X表示。第22页/共80页23表表12-2 1012-2 10个学生初一与初二数学成绩回归系数计算表个学生初一与初二数学成绩回归系数计算表序号序号X XY YXYXY1 1747476765476547657765776562456242 2717175758041804156265626532553253 3727271715184518450415041511251124 4686870704624462449004900476047605 5767676765776577657765776577657766 6737379795329532962416241

12、576757677 7676765654489448942254225435543558 8707077774900490059295929539053909 954546262422542253844384440304030101074747272547654765184518453285328合计合计710710723723505205052052541525415146751467第23页/共80页24由估计的方程为：由估计的方程为：第24页/共80页25图12-2-3 学生初一与初二数学成绩的两条回归线第25页/共80页26三线性回归的基本假设 1 1两变量呈线性关系两变量呈线性关系

13、2 2因变量的分布为正因变量的分布为正态态 3 3独立性假设独立性假设 4 4方差齐性假设（即误方差齐性假设（即误差差 的等分散性）的等分散性）图12-3 回归样本示意图第26页/共80页27四.一元线性回归方程的检验1一元线性回归方程的检验的意义根据样本数据计算出的回归方程可能有一定的抽样误差。为了考查这两个变量在总体内是否存在线性关系，以及回归方程对估计预测因变量的有效性如何，在回归方程应用之前，首先应进行显著性检验。第27页/共80页282 2一元线性回归方程显著性检验的方一元线性回归方程显著性检验的方法法 有三种等效的方法 对回归方程回归方程进行方差分析 对两个变量的相相关关系系数数进

14、行总体零相关的显著性检验 对回归系数回归系数进行显著性检验 第28页/共80页293 3一元线性回归方程的方差分析一元线性回归方程的方差分析 变异的分解变异的分解 任意一点Y到其平均值 的距离都可分为两部分：如果各点都很接近回归线，则各点的如果各点都很接近回归线，则各点的Y值到其平值到其平均值的离差中大部分是由回归部分的差异造成的，均值的离差中大部分是由回归部分的差异造成的，这种情况说明回归误差小，回归的效率较高。这种情况说明回归误差小，回归的效率较高。12-13第29页/共80页30图12-2-2 回归直线示意图（X，）（X，Y）YXO第30页/共80页31分解平方和分解平方和 即：SST=

15、SSR+SSE 总平方和=回归平方和+残差平方和将12-13等式两边平方，并对所有的点求和：（12-14）第31页/共80页32分解自由度分解自由度 dfn1对于所有Y值而言，自由度为 n1。dfn2在误差平方和的计算中，由于用到平均值和回归系数，因此失去两个自由度。dfRdfTdfE1 第32页/共80页33计算方差计算方差回归方差残差方差残差方差计算计算F F值值第33页/共80页34（5 5）说明）说明如果 显著大于 ，则说明总变异中回归的贡献显著，即X与Y的线性关系显著（或称回归方程显著）。表明回归方程在整体上成立，进一步检验了变量X与Y之间是否存在线性关系。第34页/共80页35列回

16、归方程的方差分析表列回归方程的方差分析表变异变异来源来源平方和平方和自由度自由度方差方差F F 值值概率概率回归回归SSR1MSRP.05或或P.05残差残差SSEN-2MSE总变异总变异SSTN-1表123 回归方程方差分析表第35页/共80页36上述平方和可以用原始数据直接计算：SSE=SST-SSR 第36页/共80页37例：例：经计算经计算1010名学生初一和初二数学名学生初一和初二数学成绩的回归方程为成绩的回归方程为 ，现对，现对回归方程进行方差分析。回归方程进行方差分析。已经计算得到710，7232 50520，252541第37页/共80页38由原始数据直接计算平方和：SSE=S

17、ST-SSR=268.1-163.724=104.376第38页/共80页39计算自由度计算自由度dfn1=101=9dfn2=102=8dfR RdfT TdfE E1 第39页/共80页40计算方差计算方差回归方差残差方差残差方差计算F值第40页/共80页41列回归方程的方差分析表列回归方程的方差分析表变异来源平方和自由度方差F 值概率回归163.7241163.72412.549*P0.01残差104.376813.047总变异268.19表204 学生数学成绩回归方程方差分析表第41页/共80页42第十二章回归分析-2第42页/共80页43一.回归系数的显著性检验对回归方程有三种等效的

18、方法对回归方程有三种等效的方法 对回归方程进行方差分析方差分析 对两个变量的相相关关系系数数进行总体零相关的显著性检验 对回归系数回归系数进行显著性检验 第43页/共80页441 1估计误差的标准差估计误差的标准差与某值对应的回归值回归值回归值回归值，是与该值对应的所有值的平均数的估计值是与该值对应的所有值的平均数的估计值是与该值对应的所有值的平均数的估计值是与该值对应的所有值的平均数的估计值。这种估计会有一定的误差，可用估计误差的标准差作为描述这一估计误差大小的指标。估计误差的标准差也只能从样本加以估计，其无偏估计量为 （12-19）第44页/共80页451 1估计误差的标准差估计误差的标准

19、差公式的意义在于，误差小则估计值的准确程度高，与实际越接近，估计值的代表性强，反之，误差大则估计值的准确程度低，估计值的代表性弱。（12-19）第45页/共80页46将公式（将公式（12-1912-19）两边平方得到的）两边平方得到的结果，实际上就是回归方程方差分析结果，实际上就是回归方程方差分析中的中的误差方差误差方差或称或称残差方差残差方差。第46页/共80页47例例1 1：10名学生初一对初二年级数学成绩的回归方程，经计算，SST=268.1，SSR=163.724，可算得：这就是回归方程的估计误差的标准差。这就是回归方程的估计误差的标准差。第47页/共80页482 2对回归系数对回归系

20、数b b的显著性检验的显著性检验设总体回归系数为，则 H0：=，检验统计量为 t （12-17）公式中SEb为回归系数的标准误，其计算公式为（12-18）第48页/共80页49上述公式中上述公式中因此检验统计量的计算公式可写为：第49页/共80页50 例例例例2 2 2 2：对：对1010名学生初一对初二年级数学成绩的回归系数进行显著性检验，检验名学生初一对初二年级数学成绩的回归系数进行显著性检验，检验过程为过程为H0 0：=H1 1：统计量计算：统计量计算：查t分布表：说明回归系数1.22是显著的。第50页/共80页51总结总结：回归系数的显著性检验与回归方程的方差分析是一致的。因此，对回归

21、方程的显著性检验，只用其中一种方法即可。因此，对回归方程的显著性检验，只用其中一种方法即可。第51页/共80页52二一元线性回归方程的评价测定系数 回归方程的方差分析或回归系数的显著性检验，解决了X和Y有否显著线性关系的问题，但程度如何还需进一步测定。第52页/共80页53二一元线性回归方程的评价测定系数 在一元线性回归方程的方差分析中，总平方和等于回归平方和与误差平方和之和：两边同除以总平方和，得到：第53页/共80页54由回归造成的平方和在总平方和中所占的比例越大，该回归方程的回归效率就越高。回归平方和在总平方和中所占的比例，称为测定系数（coefficient of determinat

22、ion），用r 2表示。（12-20）第54页/共80页55对r2的理解：它是回归平方和在总平方和中所占的比例，至多等于总平方和，一般都小于总平方和，即 。它表示两变量的共变部分,说明Y的变异由X解释的比例。如果r2=0.64，表明变量Y的变异中有64%是由变量X的变异引起的。（12-2012-20）第55页/共80页56例例3 3：10名学生初一对初二年级数学成绩回归方程方差分析计算中得到：SST=268.1 SSR=163.724则回归方程的测定系数为第56页/共80页57三一元线性回归方程的应用回归方程的应用主要是由自变量的值估计和预测因变量的值。这里的估计预测包含两个方面：一方面是用样

23、本的回归方程推算因变量的回归值 ；另一方面是根据样本的回归值 估计预测因变量的真值。第57页/共80页581 1 由样本回归方程由样本回归方程推算因变量的回归值推算因变量的回归值根据样本数据建立的回归方程经检验显著，表明两个变量之间存在线性关系，这时可将已知自变量的值代入回归方程式，推算出因变量的估计值（回归值）。第58页/共80页59需要注意的是，只能根据回归方程由自变量估计因变量，而不能由因变量估计自变量。这两种估计需要根据两条不同的回归线。还应注意，应用回归方程由自变量的值估计因变量的值时，数据范围数据范围不应超过原来样本数据的范围。第59页/共80页60无论由估计还是由估计都有误差产生

24、。这一误差用误差的标准差来表示。当样本容量较大时，由估计的误差的标准差可改写为:（12-21）或或 第60页/共80页61而由估计的误差的标准差则为 估计误差的标准差反映了实际值在其回归值上下波动的范围。由这一标准差的值，可判断由回归值 对实际值估计的误差大小。第61页/共80页62例4：根据10名学生初一和初二年级的数学成绩。如果另有一名学生的初一数学成绩为76，试估计他初二时的数学成绩会是多少？解：首先根据解：首先根据1010名学生的成绩建立由初一的数名学生的成绩建立由初一的数学成绩估计初二数学成绩的回归方程；将另一学生学成绩估计初二数学成绩的回归方程；将另一学生的初一数学成绩代入方程，估

25、计其初二成绩的初一数学成绩代入方程，估计其初二成绩第62页/共80页63表表21-1 1021-1 10个学生初一与初二数学成绩回归系数计算表个学生初一与初二数学成绩回归系数计算表序号序号X XY YXYXY1 1747476765476547657765776562456242 2717175758041804156265626532553253 3727271715184518450415041511251124 4686870704624462449004900476047605 576767676767676765776577657765776577657766 67373797953

26、29532962416241576757677 7676765654489448942254225435543558 8707077774900490059295929539053909 954546262422542253844384440304030101074747272547654765184518453285328合计合计710710723723505205052052541525415146751467第63页/共80页64问题思考：从表中可看到，76时，=76而由回归方程计算得到的回归值为怎样解释回归值与实际Y Y值不同？怎样理解估计误差的标准差？第64页/共80页652 2对因

27、变量真值的预测对因变量真值的预测利用回归方程由自变量的值在一定概率意义上估计出因因变变量量的的所所在在区区间间，只反映了与某自变量的值相对应的那些因变量的值在回归值上下的变异。用回归方程计算出的回归值，并不是因变量的真真值值。要预测其真值还需要考虑到各样本回归方程之间的变异（样样本本不不同同，则则回回归归方方程程就会不同就会不同）。第65页/共80页66由自变量估计因变量真值的由自变量估计因变量真值的误差标准误误差标准误 衡量由某一p值估计预测相应p值的真值0 时所产生的误差指标，称为误差标准误。它由两部分组成：一部分是对应于p点的那些p值与回归值 的差异即；另一部分是各样本回归方程之间的差异

28、，即 。第66页/共80页67各回归值之间（样本不同而导致的回归方程变异）的标准差又可计算为：因此误差 的标准误可表示为：（公式12-22）（公式12-23）第67页/共80页68将（12-23）式代入（12-22）式，则估计误差标准误估计误差标准误为：（公式12-24）第68页/共80页69由自变量估计预测因变量真值由自变量估计预测因变量真值的置信区间的置信区间根据总体参数区间估计的原理，其真值的置信区间应由公式（12-24）计算，计算公式为：（公式12-25）第69页/共80页70例例5 5：根据10名学生初一和初二年级的数学成绩。若另有一名学生的初一数学成绩为76，试估计他初二时的数学成

29、绩的真值是多少？解：首先根据解：首先根据1010名学生的成绩建立由初一的数名学生的成绩建立由初一的数学成绩估计初二数学成绩的回归方程；然后根据学成绩估计初二数学成绩的回归方程；然后根据公式（公式（12-2512-25）估计其初二成绩的置信区间。）估计其初二成绩的置信区间。第70页/共80页71计算置信区间：代入公式代入公式12-2512-2512-2512-25：第71页/共80页72从公式（12-24）可以看出：当P P值不同时，值不同，与每一个P P相对应的OO的置信区间也不同。将这些置信区间的上下端点分别连接起来，所形成的带形区间，称为真值OO的预测区间预测区间。第72页/共80页73第

30、73页/共80页74 当样本容量较大时，公式（当样本容量较大时，公式（12-2412-24）根号内的数值一般接近于）根号内的数值一般接近于1 1，则，则 这时，表示真值这时，表示真值O O O O的预测区间的两条线接近于直线。的预测区间的两条线接近于直线。第74页/共80页75注意问题 一种模型只有在当初抽取样本的同一范围内应用才有效。如果范围变了，应一种模型只有在当初抽取样本的同一范围内应用才有效。如果范围变了，应当另建新的模型。因为情境变化后再用原来条件下建立的模型进行预测估计会失真。当另建新的模型。因为情境变化后再用原来条件下建立的模型进行预测估计会失真。进行回归与相关分析时，不要认为某

31、一变量发生的变化一定是由另一变量进行回归与相关分析时，不要认为某一变量发生的变化一定是由另一变量（或另几个变量）的变化所引起的，回归分析并不能准确地确定因果关系，例如居（或另几个变量）的变化所引起的，回归分析并不能准确地确定因果关系，例如居民收人高低与银行存款高低的关系，并不是收人高存款就高。民收人高低与银行存款高低的关系，并不是收人高存款就高。第75页/共80页76注意问题 若变量之间不存在相关关系，不要刻意去寻求两变量间的某种关系，并且用回归与相关来分析，这样做毫无意义。第76页/共80页77复习与思考复习一元线性回归方程的建立法,掌握计算回归系数的三种计算公式。了解回程方程显著性检验的方法，掌握对回归方程进行方差分析的原理。第77页/共80页78练习与思考认真复习一元线性回归方程的检验与评价的原理和方法，掌握回归方程的应用。一元线性回归分析的完整过程应包括哪些内容及哪些主要步骤？教材381页第2、3、4、5题。第78页/共80页792012年5月再见！再见！第79页/共80页80感谢您的观看！第80页/共80页