[数学]《统计学：思想方法与应用》08第8章相关与回归分析课件.ppt

《[数学]《统计学：思想方法与应用》08第8章相关与回归分析课件.ppt》由会员分享，可在线阅读，更多相关《[数学]《统计学：思想方法与应用》08第8章相关与回归分析课件.ppt（96页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、9-1统计学统计学STATISTICS 不要过于教条地对待研究的结果，尤其当数据的质量受到怀疑时。Damodar N.Gujarati统计名言统计名言2011年9-2统计学统计学STATISTICS第第8章章 相关和回归分析相关和回归分析8.1 两个变量间是什么关系两个变量间是什么关系8.2 两个变量间的关系强度两个变量间的关系强度8.3 回归分析回归分析8.4 总体中的关系总体中的关系8.5 多元回归分析多元回归分析8.6 虚拟变量虚拟变量2011年9-3统计学统计学STATISTICS学习目标学习目标 了解相关分析，能计算和解释相关系数与判定系数；了解相关分析，能计算和解释相关系数与判定系

2、数；了解相关分析，能计算和解释相关系数与判定系数；了解相关分析，能计算和解释相关系数与判定系数；了解回归分析方法的统计思想；了解回归分析方法的统计思想；了解回归分析方法的统计思想；了解回归分析方法的统计思想；能对回归模型进行参数估计和有关假设检验；能对回归模型进行参数估计和有关假设检验；能对回归模型进行参数估计和有关假设检验；能对回归模型进行参数估计和有关假设检验；相关理论在统计学软件中的应用；相关理论在统计学软件中的应用；相关理论在统计学软件中的应用；相关理论在统计学软件中的应用；相应统计分析结果的解读。相应统计分析结果的解读。相应统计分析结果的解读。相应统计分析结果的解读。2011年9-4

3、统计学统计学STATISTICS子代与父代一样吗？子代与父代一样吗？GaltonGalton被被誉誉为为现现代代回回归归和和相相关关技技术术的的创创始始人人。18751875年年，GaltonGalton利利用用豌豌豆豆实实验验来来确确定定尺尺寸寸的的遗遗传传规规律律。他他挑挑选选了了7 7组组不不同同尺尺寸寸的的豌豌豆豆，并并说说服服他他在在英英国国不不同同地地区区的的朋朋友友每每一一组组种种植植1010粒粒种种子子，最最后后把把原原始始的的豌豌豆豆种种子子(父父代代)与与新新长长的的豌豌豆种子豆种子(子代子代)进行尺寸比较进行尺寸比较当当结结果果被被绘绘制制出出来来之之后后，他他发发现现并

4、并非非每每一一个个子子代代都都与与父父代代一一样样，不不同同的的是是，尺尺寸寸小小的的豌豌豆豆会会得得到到更更大大的的子子代代，而而尺尺寸寸大大的的豌豌豆豆却却得得到到较较小小的的子子代代。GaltonGalton把把这这一一现现象象叫叫做做“返返祖祖”(趋趋向向于于祖祖先先的的某某种种平平均均类类型型)，后后来来又又称称之之为为“向向平平均均回回归归”。一一个个总总体体中中在在某某一一时时期期具具有有某某一一极极端端特特征征(低低于于或或高高于于总总体体均均值值)的的个个体体在在未未来来的的某某一一时时期期将将减减弱弱它它的的极极端端性性(或或者者是是单单个个个个体体或或者者是是整整个个子子

5、代代)，这这一一趋趋势势现现在在被被称称作作“回回归归效效应应”。人人们们发发现现它它的的应应用用很很广广，而而不不仅仅限限于于从一代到下一代豌豆大小问题从一代到下一代豌豆大小问题2011年9-5统计学统计学STATISTICS子代与父代一样吗？子代与父代一样吗？正正如如GaltonGalton进进一一步步发发现现的的那那样样，平平均均来来说说，非非常常矮矮小小的的父父辈辈倾倾向向于于有有偏偏高高的的子子代代；而而非非常常高高大大的的父父辈辈则则倾倾向向于于有有偏偏矮矮的的子子代代。在在第第一一次次考考试试中中成成绩绩最最差差的的那那些些学学生生在在第第二二次次考考试试中中倾倾向向于于有有更更

6、好好的的成成绩绩(比比较较接接近近所所有有学学生生的的平平均均成成绩绩)，而而第第一一次次考考试试中中成成绩绩最最好好的的那那些些学学生生在在第第二二次次考考试试中中则则倾倾向向于于有有较较差差的的成成绩绩(同同样样比比较较接接近近所所有有学学生生的的平平均均成成绩绩)。同同样样，平平均均来来说说，第第一一年年利利润润最最低低的的公公司司第第二二年年不不会会最最差差，而第一年利润最高的公司第二年则不会是最好的而第一年利润最高的公司第二年则不会是最好的如如果果把把父父代代和和子子代代看看作作两两个个变变量量，找找出出这这两两个个变变量量的的关关系系，并并根根据据这这种种关关系系建建立立适适当当的

7、的数数学学模模型型，就就可可以以根根据据父父代代的的数数值值预预测测子子代代的的取取值值，这这就就是是经经典典的的回回归归方方法法要要解解决决的的问问题。学完本章的内容你会对回归问题有更深入的理解题。学完本章的内容你会对回归问题有更深入的理解 2011年9-6统计学统计学STATISTICS统计应用统计应用看手相看手相资料来源：资料来源：Mario F.Triiola Mario F.Triiola 著著初级统计学初级统计学一些人相信他们的手掌的生命线的的长长度度可可以以 用用 来来 预预 测测 他他 们们 的的 生生 命命。M.E.WilsonM.E.Wilson和和L.E.MatherL.

8、E.Mather在在美美国国医医学学协协会会学学报报发发表表的的一一封封信信中中，他他们们对对死死者者尸尸体体的的研研究究对对此此予予以以了了驳驳斥斥。死死亡亡时时的的年年龄龄与与手手掌掌生生命命线线的的长长度度被被一一起起记记录录下下来来。作作者者得得出出死死亡亡时时的的年年龄龄与与生生命命线线的的长度不存在显著相关的结论长度不存在显著相关的结论手相术失传了，手掌也就放下来了手相术失传了，手掌也就放下来了2011年9-7统计学统计学STATISTICS回归分析研究什么？回归分析研究什么？l l研研究究某某些些实实际际问问题题时时往往往往涉涉及及到到多多个个变变量量。在在这这些些变变量量中中，

9、有有一一个个变变量量是是研研究究中中特特别别关关注注的的，称称为为因因变变量量，而而其他变量则看成是影响这一变量的因素，称为自变量其他变量则看成是影响这一变量的因素，称为自变量l l假假定定因因变变量量与与自自变变量量之之间间有有某某种种关关系系，并并把把这这种种关关系系用用适适当当的的数数学学模模型型表表达达出出来来，那那么么，就就可可以以利利用用这这一一模模型型根根据据给给定定的的自自变变量量来来预预测测因因变变量量，这这就就是是回回归归要要解解决决的的问题问题l l在在回回归归分分析析中中，只只涉涉及及一一个个自自变变量量时时称称为为一一元元回回归归，涉涉及及多多个个自自变变量量时时则则

10、称称为为多多元元回回归归。如如果果因因变变量量与与自自变变量量之之间间是是线线性性关关系系，则则称称为为线线线线性性性性回回回回归归归归(linear(linear regression)regression)；如如果果因因变变量量与与自自变变量量之之间间是是非非线线性性关关系系则则称称为为非非非非线线线线性性性性回归回归回归回归(nonlinear regression)(nonlinear regression)2011年 8.1 变量间的关系变量间的关系 8.1.1 变量间是什么样的关系？变量间是什么样的关系？8.1.2 用散点图描述相关关系用散点图描述相关关系 8.1.3 用相关系数度

11、量关系强度用相关系数度量关系强度第第 8章章 相关与回归分析相关与回归分析2011年9-9统计学统计学STATISTICS怎样分析变量间的关系？怎样分析变量间的关系？l建立回归模型时，首先需要弄清楚变量之间的关系。分析变量之间的关系需要解决下面的问题l l变量之间是否存在关系？变量之间是否存在关系？l l如果存在，它们之间是什么样的关系？如果存在，它们之间是什么样的关系？l l变量之间的关系强度如何？变量之间的关系强度如何？l l样样本本所所反反映映的的变变量量之之间间的的关关系系能能否否代代表表总总体体变量之间的关系？变量之间的关系？2011年8.1.1 变量间是什么样的关系？变量间是什么样

12、的关系？8.1 变量量间的关系的关系2011年9-11统计学统计学STATISTICS x xy y函数关系函数关系1.设设有有两两个个变变量量 x x 和和 y y，变变量量 y y 随随变变量量 x x 一一起起变变化化，并并完完全全依依赖赖于于 x x ，当当变变量量 x x 取取某某个个数数值值时时，y y 依依确确定定的的关关系系取取相相应应的的值值，则则称称 y y 是是 x x 的的函函数数，记记为为 y y =f f(x x)，其其中中 x x 称称为为自自变变量量，y y 称称为为因因变变量量2.是一一是一一对应的确定关系对应的确定关系3.各各观测点落在一条线上观测点落在一条

13、线上 2011年9-12统计学统计学STATISTICS相关关系相关关系(几个例子几个例子)l l子女的身高与其父母身高的关系子女的身高与其父母身高的关系子女的身高与其父母身高的关系子女的身高与其父母身高的关系uu从从遗遗传传学学角角度度看看，父父母母身身高高较较高高时时，其其子子女女的的身身高高一一般般也也比比较较高高。但但实实际际情情况况并并不不完完全全是是这这样样，因因为为子子女女的的身身高高并并不不完完全全是是由由父父母母身身高高一一个个因因素素所所决决定定的的，还还有有其其他他许许多多因因素素的的影影响响l l一个人的收入水平同他受教育程度的关系一个人的收入水平同他受教育程度的关系一

14、个人的收入水平同他受教育程度的关系一个人的收入水平同他受教育程度的关系uu收收入入水水平平相相同同的的人人，他他们们受受教教育育的的程程度度也也不不可可能能不不同同，而而受受教教育育程程度度相相同同的的人人，他他们们的的收收入入水水平平也也往往往往不不同同。因因为为收收入入水水平平虽虽然然与与受受教教育育程程度度有有关关系系，但但它它并并不不是是决决定定收收入入的的惟惟一一因素，还有职业、工作年限等诸多因素的影响因素，还有职业、工作年限等诸多因素的影响l l农作物的单位面积产量与降雨量之间的关系农作物的单位面积产量与降雨量之间的关系农作物的单位面积产量与降雨量之间的关系农作物的单位面积产量与降

15、雨量之间的关系uu在在一一定定条条件件下下，降降雨雨量量越越多多，单单位位面面积积产产量量就就越越高高。但但产产量量并并不不是是由由降降雨雨量量一一个个因因素素决决定定的的，还还有有施施肥肥量量、温温度度、管管理理水平等其他许多因素的影响水平等其他许多因素的影响2011年9-13统计学统计学STATISTICS相关关系相关关系(correlation)1.一个变量的取值不能由另一个变量唯一确定2.当变量 x 取某个值时，变量 y 的取值对应着一个分布分布3.各观测点分布在直线周围 y y x x 2011年8.1.2 用散点图描述相关关系用散点图描述相关关系8.1 变量量间的关系的关系2011

16、年9-15统计学统计学STATISTICS 完全负线性相关完全负线性相关完全负线性相关完全负线性相关完全负线性相关完全负线性相关完全正线性相关完全正线性相关完全正线性相关完全正线性相关完全正线性相关完全正线性相关 散点图散点图(scatter diagram)不相关不相关不相关不相关不相关不相关 负线性相关负线性相关负线性相关负线性相关负线性相关负线性相关 正线性相关正线性相关正线性相关正线性相关正线性相关正线性相关 非线性相关非线性相关非线性相关非线性相关非线性相关非线性相关2011年9-16统计学统计学STATISTICS用散点图描述变量间的关系用散点图描述变量间的关系(例题分析例题分析)

17、【例例例例8-18-1】为为研研究究企企业业是是否否隐隐满满销销售售收收入入偷偷税税，研研究究工工资资总总额额与与销销售售收收入入的的关关系系。将将1010家家企企业业的的工工资资总总额额与与销销售售收收入入数数据据列列表表如如下下。绘绘制制散散点点图图描描述述销销售售收收入入与与广广告告费费用之间的关系用之间的关系 企企业业销销售收入售收入（万元）（万元）工人工工人工资资总额总额（万（万元）元）1 1271.5271.576.176.12 2155.1155.145.645.63 3318.2318.287.587.54 4923.3923.3253.9253.95 5202.6202.66

18、0.560.56 6443.3443.3129.2129.27 71325.51325.53713718 8648.2648.2194.5194.59 9553.6553.61551551010337.9337.998.498.42011年9-17统计学统计学STATISTICS散点图散点图(销售收入与工资总额销售收入与工资总额)2011年8.2.1 用相关系数度量关系强用相关系数度量关系强8.2.2 相关系数的检验相关系数的检验8.2 变量量间的关系的关系强度度2011年9-19统计学统计学STATISTICS相关系数相关系数(correlation coefficient)1.度量变量之间

19、线性关系强度的一个统计量度量变量之间线性关系强度的一个统计量n n若若相相关关系系数数是是根根据据总总体体全全部部数数据据计计算算的的，称称为为总总体体相关系数，记为相关系数，记为 n n若若是是根根据据样样本本数数据据计计算算的的，则则称称为为样样本本相相关关系系数数，简称为相关系数，记为简称为相关系数，记为 r rl l也也 称称 为为 PearsonPearson相相 关关 系系 数数 (Pearsons(Pearsons correlation correlation coefficient)coefficient)2.样本相关系数的计算公式样本相关系数的计算公式3.计算相关系数计算相

20、关系数计算相关系数计算相关系数2011年9-20统计学统计学STATISTICS相关系数的性质相关系数的性质性质性质1：r 的取值范围是-1,1n n|r r|=|=1 1，为完全相关为完全相关l lr r=1 1，为，为完全正相关完全正相关l lr r=-1-1，为完全负正相关为完全负正相关n nr r=0=0，不存在不存在线性线性线性线性相关相关关系关系n n-1-1 r r 0 0，为负相关为负相关n n0 0 r r 1 1，为正相关为正相关n n|r r|越越趋趋于于1 1表表示示关关系系越越强强；|r r|越越趋趋于于0 0表表示示关关系越弱系越弱2011年9-21统计学统计学ST

21、ATISTICS相关系数的性质相关系数的性质性质性质性质性质2 2：r r具有对称性。即具有对称性。即x x与与y y之间的相关系数和之间的相关系数和y y与与x x之间之间 的相关系数相等，即的相关系数相等，即r rxyxy=r ryxyx性质性质性质性质3 3：r r数值大小与数值大小与x x和和y y原点及尺度无关，即改变原点及尺度无关，即改变x x和和y y的的 数据原点及计量尺度，并不改变数据原点及计量尺度，并不改变r r数值大小数值大小性质性质性质性质4 4：仅仅是仅仅是x x与与y y之间线性关系的一个度量，它不能用之间线性关系的一个度量，它不能用 于描述非线性关系。这意为着，于

22、描述非线性关系。这意为着，r r=0=0只表示两个只表示两个 变量之间不存在线性相关关系，并不说明变量之变量之间不存在线性相关关系，并不说明变量之 间没有任何关系间没有任何关系性质性质性质性质5 5：r r虽然是两个变量之间线性关系的一个度量，却不虽然是两个变量之间线性关系的一个度量，却不 一定意味着一定意味着x x与与y y一定有因果关系一定有因果关系2011年9-22统计学统计学STATISTICS相关系数的经验解释相关系数的经验解释1.|r|0.8时，可视为两个变量之间高度相关2.0.5|r|0.8时，可视为中度相关3.0.3|r|0.5时，视为低度相关4.|r|0.3时，说明两个变量之

23、间的相关程度极弱，可视为不相关5.上述解释必须建立在对相关系数的显著性进行检验的基础之上2011年9-23统计学统计学STATISTICS相关系数的显著性检验相关系数的显著性检验(检验的步骤检验的步骤)1.1.检验两个变量之间是否存在线性相关关系检验两个变量之间是否存在线性相关关系2.采用采用R.A.FisherR.A.Fisher提出的提出的 t t 检验检验3.检验的步骤为检验的步骤为n n提出假设：提出假设：H H0 0：；H H1 1：0 0n n计算检验的统计量计算检验的统计量n n用用ExcelExcel中的中的【TDISTTDIST】函数得双尾函数得双尾计算计算P P值，并于值，

24、并于显著性水平显著性水平 比较，并作出决策比较，并作出决策 若若PP，拒绝，拒绝H H0 02011年9-24统计学统计学STATISTICS相关系数的显著性检验相关系数的显著性检验(例题分析例题分析)【例例例例8-38-3】检验销售收入与工资总额之间的相关系数是检验销售收入与工资总额之间的相关系数是否显著否显著 (0.050.05)1.1.提提出假设：出假设：H H0 0：；H H1 1：0 02.2.计算计算检验的统计量检验的统计量3.3.用用 ExcelExcel中中 的的【TDISTTDIST】函函 数数 得得 双双 尾尾 P=2.743E-P=2.743E-0909 0.050.05

25、，拒拒绝绝H0H0，销销售售收收入入与与工工资资总总额额之之间间的相关系数显著的相关系数显著 2011年9-25统计学统计学STATISTICS相关系数的显著性检验相关系数的显著性检验(SPSS输出结果输出结果)第第1 1步：选择步：选择【AnalyzeAnalyze】【Correlate-BivariateCorrelate-Bivariate】第第2 2步：将两个变量（本例为销售收入和步：将两个变量（本例为销售收入和 工资总额）分工资总额）分 别选入别选入【VariablesVariables】。点击。点击【OKOK】2011年 8.3 回归分析回归分析 8.3.1 一元线性回归模型一元线

26、性回归模型 8.3.2 参数的最小二乘估计参数的最小二乘估计 8.3.3 回归直线的拟合优度回归直线的拟合优度 8.3.4 显著性检验显著性检验第第 8 章章 相关与回归分析相关与回归分析2011年8.3.1 一元线性回归模型一元线性回归模型8.3 回回归分析分析2011年9-28统计学统计学STATISTICS什么是回归分析？什么是回归分析？(regression analysis)1.重点考察考察一个特定的变量(因变量)，而把其他变量(自变量)看作是影响这一变量的因素，并通过适当的数学模型将变量间的关系表达出来2.利用样本数据建立模型的估计方程3.对模型进行显著性检验4.进而通过一个或几个

27、自变量的取值来估计或预测因变量的取值2011年9-29统计学统计学STATISTICS回归模型的类型回归模型的类型2011年9-30统计学统计学STATISTICS一元线性回归一元线性回归1.涉及一个自变量的回归2.因变量y与自变量x之间为线性关系n被被 预预 测测 或或 被被 解解 释释 的的 变变 量量 称称 为为 因因 变变 量量(dependent variable)(dependent variable)，用，用y y表示表示n用用来来预预测测或或用用来来解解释释因因变变量量的的一一个个或或多多个个变变量量称称为为自自变变量量(independent(independent vari

28、able)variable)，用用x x表示表示 3.因变量与自变量之间的关系用一个线性方程来表示2011年9-31统计学统计学STATISTICS一元线性回归模型一元线性回归模型(linear regression model)1.描描述述因因变变量量 y y 如如何何依依赖赖于于自自变变量量 x x 和和误误差差项项 的的方程称为方程称为回归模型回归模型回归模型回归模型2.一元线性一元线性回归模型可表示为回归模型可表示为 y y=0 0 0 0+1 1 1 1 x x +n ny y 是是 x x 的线性函数的线性函数(部分部分)加上误差项加上误差项n n线性部分反映了由于线性部分反映了由

29、于 x x 的变化而引起的的变化而引起的 y y 的变化的变化n n误差项误差项 是随机变量是随机变量l l反反映映了了除除 x x 和和 y y 之之间间的的线线性性关关系系之之外外的的随随机机因因素素对对 y y 的影响的影响l l是不能由是不能由 x x 和和 y y 之间的线性关系所解释的变异性之间的线性关系所解释的变异性n n 0 0 和和 1 1 称为模型的参数称为模型的参数2011年9-32统计学统计学STATISTICS一元线性回归模型一元线性回归模型(基本假定基本假定)1.1.因变量因变量x x与自变量与自变量y y之间具有线性关系之间具有线性关系2.2.在重复抽样中，自变量

30、在重复抽样中，自变量x x的取值是固定的，即假定的取值是固定的，即假定x x是是非随机的非随机的3.3.误差项误差项 满足满足l l正态性正态性正态性正态性。是是一个服从正态分布的随机变量，且期望值为一个服从正态分布的随机变量，且期望值为0 0，即，即 N N(0,(0,2 2)。对于一个给定的。对于一个给定的 x x 值，值，y y 的期望值为的期望值为E(y)=E(y)=0 0+1 1x xl l方差齐性方差齐性方差齐性方差齐性。对于所有的。对于所有的 x x 值，值，的方差一个特定的值，的方差也的方差一个特定的值，的方差也都等于都等于 2 2 都相同。同样，一个特定的都相同。同样，一个特

31、定的x x 值，值，y y 的方差也都等于的方差也都等于 2 2l l独立性独立性独立性独立性。独立性意味着对于一个特定的独立性意味着对于一个特定的 x x 值，它所对应的值，它所对应的 与其与其他他 x x 值所对应的值所对应的 不相关；对于一个特定的不相关；对于一个特定的 x x 值，它所对应的值，它所对应的 y y 值与其他值与其他 x x 所对应的所对应的 y y 值也不相关值也不相关2011年9-33统计学统计学STATISTICS一元线性回归模型一元线性回归模型(基本假定基本假定)x=x3时的E(y)x=x2时y的分布x=x1时y的分布x=x2时的E(y)x x3 3x x2 2x

32、 x1 1x=x1时的E(y)0 0 xyx=x3时y的分布 0 0+1 1x x2011年9-34统计学统计学STATISTICS估计的回归方程估计的回归方程(estimated regression equation)1.总总体体回回归归参参数数 和和 是是未未知知的的，必必须须利利用用样样本本数数据去估计据去估计2.用用样样本本统统计计量量 和和 代代替替回回归归方方程程中中的的未未知知参参数数 和和 ，就得到了，就得到了估计的回归方程估计的回归方程估计的回归方程估计的回归方程3.一元线性回归中估计的回归方程为一元线性回归中估计的回归方程为其其其中中中：是是是估估估计计计的的的回回回归归

33、归直直直线线线在在在 y y y 轴轴轴上上上的的的截截截距距距，是是是直直直线线线的的的斜斜斜率率率，它它它表表表示示示对对对于于于一一一个个个给给给定定定的的的 x x x 的的的值值值，是是是 y y y 的的的估估估计计计值，也表示值，也表示值，也表示 x x x 每变动一个单位时，每变动一个单位时，每变动一个单位时，y y y 的平均变动值的平均变动值的平均变动值 2011年8.3.2 参数的最小二乘估计参数的最小二乘估计8.3 回回归分析分析2011年9-36统计学统计学STATISTICS参数的最小二乘估计参数的最小二乘估计(method of least squares)1.德

34、国科学家Karl Gauss(17771855)提出用最小化图中垂直方向的误差平方和来估计参数 2.使因变量的观察值与估计值之间的误差平方和达到最小来求得 和 的方法。即3.用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小2011年9-37统计学统计学STATISTICSKarl Gauss的最小化图的最小化图x xy y(x xn n,y yn n)(x x1 1,y y1 1)(x x2 2,y y2 2)(x x xi i i,y y yi ii)e ei i=y yi i-y yi i2011年9-38统计学统计学STATISTICS参数的最小二乘估计参数

35、的最小二乘估计(和和 的计算公式的计算公式)根据最小二乘法，可得求解 和 的公式如下2011年9-39统计学统计学STATISTICS参数的最小二乘估计参数的最小二乘估计(例题分析例题分析)【例例例例8-48-4】根根据据例例8-18-1的的数数据据，求求销销售售收收入入与与工工资资总总额额的的估估计计的回归方程的回归方程 第第1步：步：选择【工具工具】下拉菜单，并选择【数据分析数据分析】选项第第2步：步：在分析工具中选择【回归回归】，选择【确定确定】第第2步：步：当对话框出现时 在【Y值输入区域值输入区域】设置框内键入Y的数据区域 在【X值输入区域值输入区域】设置框内键入X的数据区域 在【置

36、信度置信度】选项中给出所需的数值 在【输出选项输出选项】中选择输出区域 在【残差残差】分析选项中选择所需的选项回归分析回归分析回归分析回归分析2011年9-40统计学统计学STATISTICS参数的最小二乘估计参数的最小二乘估计(例题分析例题分析)【例例例例】求求销销售售收收入入与与工工资资总总额额的的估估计计回回归归方方程程 ，并并解释回归系数的含义解释回归系数的含义2011年9-41统计学统计学STATISTICS截距截距=3.457;=3.457;斜率斜率=0.277=0.2772011年8.3.3 回归直线的拟合优度回归直线的拟合优度-效果的度量效果的度量r28.3 一元一元线性回性回

37、归的估的估计和和检验2011年9-43统计学统计学STATISTICS变差变差1.因变量 y 的取值是不同的，y 取值的这种波动称为变差。变差来源于两个方面n n由于自变量由于自变量 x x 的取值不同造成的的取值不同造成的n n除除 x x 以以外外的的其其他他因因素素(如如x x对对y y的的非非线线性性影影响响、测量误差等测量误差等)的影响的影响2.对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差 来表示2011年9-44统计学统计学STATISTICS误差分解图误差分解图x xy yy y2011年9-45统计学统计学STATISTICS误差平方和的分解误差平方和的分

38、解(误差平方和的关系误差平方和的关系)SST=SSR+SSE总平方和总平方和总平方和总平方和(SSTSST)回归平方和回归平方和回归平方和回归平方和(SSRSSR)残差平方和残差平方和残差平方和残差平方和(SSESSE)2011年9-46统计学统计学STATISTICS误差平方和的分解误差平方和的分解(三个平方和的意义三个平方和的意义)1.总平方和总平方和(SSTSSTtotal sum of squares)total sum of squares)n n反映因变量的反映因变量的 n n 个观察值与其均值的总误差个观察值与其均值的总误差2.回回 归归 平平 方方 和和(SSRSSRsum s

39、um of of squares squares of of regression)regression)n n反反映映自自变变量量 x x 的的变变化化对对因因变变量量 y y 取取值值变变化化的的影影响响，或或者者说说，是是由由于于 x x 与与 y y 之之间间的的线线性性关关系系引引起起的的 y y 的的取值变化，也称为可解释的平方和取值变化，也称为可解释的平方和3.残差平方和残差平方和(SSESSEsum of squares of error)sum of squares of error)n n反反映映除除 x x 以以外外的的其其他他因因素素对对 y y 取取值值的的影影响响，

40、也也称称为为不可解释的平方和或剩余平方和不可解释的平方和或剩余平方和2011年9-47统计学统计学STATISTICS判定系数判定系数R2 (coefficient of determination)1.回归平方和回归平方和占总误差平方和的比例占总误差平方和的比例2.反映回归直线的拟合程度反映回归直线的拟合程度3.取值范围在取值范围在 0,1 0,1 之间之间4.R R2 2 1 1，说明回归方程拟合的越好；说明回归方程拟合的越好；R R2 20 0，说说明回归方程拟合的越差明回归方程拟合的越差5.决定系数决定系数平方根等于相关系数平方根等于相关系数输出结果输出结果输出结果输出结果2011年9

41、-48统计学统计学STATISTICS估计标准误差估计标准误差(standard error of estimate)1.实际观察值与回归估计值误差平方和的均方根实际观察值与回归估计值误差平方和的均方根2.反映实际观察值在回归直线周围的分散状况反映实际观察值在回归直线周围的分散状况3.对对误误差差项项 的的标标准准差差 的的估估计计，是是在在排排除除了了x x对对y y的的线性影响后，线性影响后，y y随机波动大小的一个估计量随机波动大小的一个估计量4.反反映用估计的回归方程预测映用估计的回归方程预测y y时预测误差的大小时预测误差的大小 5.计算公式为计算公式为输出结果输出结果输出结果输出结

42、果2011年8.3.4 显著性检验显著性检验8.3 一元一元线性回性回归的估的估计和和检验2011年9-50统计学统计学STATISTICS线性关系的检验线性关系的检验1.检验自变量与因变量之间的线性关系是否显著2.将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著回回归归均均方方：回回归归平平方方和和SSRSSR除除以以相相应应的的自自由由度度(自自变变量的个数量的个数k k)残残差差均均方方：残残差差平平方方和和SSESSE除除以以相相应应的的自自由由度度(n n-k k-1)-1)2011年9-51统计学统计学STATISTICS线性关系的检验线性关

43、系的检验(检验的步骤检验的步骤)1.提出提出假设假设n nH H0 0：1 1=0 =0 线性关系不显著线性关系不显著2.2.计算计算检验统计量检验统计量F F3.确定确定显著性水平显著性水平，并根据分子自由度，并根据分子自由度1 1和分母自和分母自由度由度n n-2-2求统计量的求统计量的P P值值4.作作出决策：若出决策：若PP，拒绝拒绝H H0 0。表明两个变量之间表明两个变量之间的线性关系显著的线性关系显著输出结果输出结果输出结果输出结果2011年9-52统计学统计学STATISTICS回归系数的检验和推断回归系数的检验和推断3.在一元线性回归中，等价于线性关系的显著性检验4.采用t检

44、验1.检验 x 与 y 之间是否具有线性关系，或者说，检验自变量 x 对因变量 y 的影响是否显著2.理论基础是回归系数 的抽样分布2011年9-53统计学统计学STATISTICS回归系数的检验和推断回归系数的检验和推断(样本统计量样本统计量 的分布的分布)1.1.1.是是是根根根据据据最最最小小小二二二乘乘乘法法法求求求出出出的的的样样样本本本统统统计计计量量量，它它它有有有自自自己己己的分布的分布的分布2.2.2.的的的分布具有如下性质分布具有如下性质分布具有如下性质 分布形式：正态分布分布形式：正态分布分布形式：正态分布 数学期望：数学期望：数学期望：标准差：标准差：标准差：由由由于于

45、于 未未未知知知，需需需用用用其其其估估估计计计量量量s s se ee来来来代代代替替替得得得到到到 的的的估估估计计计的的的标准差标准差标准差2011年9-54统计学统计学STATISTICS回归系数的检验和推断回归系数的检验和推断(检验步骤检验步骤)1.提出假设提出假设n nH H0 0:1 1=0(=0(没有线性关系没有线性关系)n nH H1 1:1 1 0(0(有线性关系有线性关系)2.计算检验的统计量计算检验的统计量3.确确定定显显著著性性水水平平，计计算算出出统统计计量量的的P P值值，并并做出决策做出决策PP，拒拒绝绝H H0 0，表表明明自自变变量量是是影影响响因因变变量量

46、的的一一个个显著因素显著因素2011年9-55统计学统计学STATISTICS回归系数的检验和推断回归系数的检验和推断(1和和 0的置信区间的置信区间)1.1在1-置信水平下的置信区间为2.0在1-置信水平下的置信区间为输出结果输出结果输出结果输出结果2011年 8.4 利用回归方程进行预测利用回归方程进行预测8.4.1 平均值的置信区间平均值的置信区间8.4.2 个别值的预测区间个别值的预测区间第第 8 章章 回归分析回归分析2011年9-57统计学统计学STATISTICS区间估计区间估计1.对于自变量 x 的一个给定值 x0，根据回归方程得到因变量 y 的一个估计区间2.区间估计有两种类

47、型n n置信区间估计置信区间估计(confidence interval estimateconfidence interval estimate)n n预测区间估计预测区间估计(prediction(prediction interval estimate interval estimate)2011年8.4.1 平均值的置信区间平均值的置信区间8.4 利用回利用回归方程方程进行行预测2011年9-59统计学统计学STATISTICS平均值的置信区间平均值的置信区间1.利用利用估计的回归方程，对于自变量估计的回归方程，对于自变量 x x 的一个给定的一个给定值值 x x0 0 ，求出因变量求

48、出因变量 y y 的的平均值的估计区间平均值的估计区间 ，这，这一估计区间称为一估计区间称为置信区间置信区间置信区间置信区间(confidence intervalconfidence interval)2.E E(y y0 0)在在1-1-置信置信水平下的置信区间为水平下的置信区间为式中：式中：s se e为估计标准误差为估计标准误差2011年9-60统计学统计学STATISTICS个别值的预测区间个别值的预测区间1.利用估计利用估计的回归方程，对于自变量的回归方程，对于自变量 x x 的一个给的一个给定值定值 x x0 0 ，求出因变量求出因变量 y y 的的一个个别值的估计区一个个别值的

49、估计区间，这一区间称为间，这一区间称为预测区间预测区间预测区间预测区间(prediction(prediction intervalinterval)2.y y0 0在在1-1-置信水平下的预测区间为置信水平下的预测区间为注意！注意！2011年9-61统计学统计学STATISTICS置信区间和预测区间置信区间和预测区间x xp ppy yx x x x预测上限预测上限置信上限置信上限预测下限预测下限置信下限置信下限2011年9-62统计学统计学STATISTICS用用Excel中的中的FORECAST函数进行函数进行线性回归的点预测线性回归的点预测第第1步：步：选择【fx】插入函数，并选择【统

50、计统计】函数中的 FORECAST(x,known_ys,known_xs)函数第第2步：步：当对话框出现时 在【X】为需要进行预测的数据点(或数据区域)在【known_ys】中输入y的数据区域 在【known_xs】中输入x的数据区域【注】若要同时返回一组预测值，则需要首先选择输出区域，然后同时按下【Ctrl+Shift+Enter】键用用用用FORECASTFORECAST函数进行点预测函数进行点预测函数进行点预测函数进行点预测2011年9-63统计学统计学STATISTICS用用SPSS进行回归进行回归 第第1步：步：选择【Analyze】下拉菜单，并选择【Regression-line