统计学 第6章 回归与相关分析.ppt

《统计学 第6章 回归与相关分析.ppt》由会员分享，可在线阅读，更多相关《统计学 第6章 回归与相关分析.ppt（72页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、8-1 不要过于教条地对待研究的结果，尤其当数据的质量受到怀疑时。Damodar N.Gujarati统计名言统计名言2010年11月第第 8 章章 一元线性回归一元线性回归8.1 变量间关系的度量变量间关系的度量 8.2 一元线性回归的估计和检验一元线性回归的估计和检验8.3 利用回归方程进行预测利用回归方程进行预测8.4 用残差检验模型的假定用残差检验模型的假定 2010年11月8-3学习目标学习目标l相关关系的分析相关关系的分析l参数的最小二乘估计参数的最小二乘估计l回归直线的拟合优度回归直线的拟合优度l回归方程的显著性检验回归方程的显著性检验l利用回归方程进行预测利用回归方程进行预测l

2、用残差证实模型的假定用残差证实模型的假定l用用 Excel 和和SPSS进行回归进行回归2010年11月8-4子代与父代一样吗？子代与父代一样吗？GaltonGalton被被誉誉为为现现代代回回归归和和相相关关技技术术的的创创始始人人。18751875年年，GaltonGalton利利用用豌豌豆豆实实验验来来确确定定尺尺寸寸的的遗遗传传规规律律。他他挑挑选选了了7 7组组不不同同尺尺寸寸的的豌豌豆豆，并并说说服服他他在在英英国国不不同同地地区区的的朋朋友友每每一一组组种种植植1010粒粒种种子子，最最后后把把原原始始的的豌豌豆豆种种子子(父父代代)与与新新长长的的豌豌豆种子豆种子(子代子代)进

3、行尺寸比较进行尺寸比较当当结结果果被被绘绘制制出出来来之之后后，他他发发现现并并非非每每一一个个子子代代都都与与父父代代一一样样，不不同同的的是是，尺尺寸寸小小的的豌豌豆豆会会得得到到更更大大的的子子代代，而而尺尺寸寸大大的的豌豌豆豆却却得得到到较较小小的的子子代代。GaltonGalton把把这这一一现现象象叫叫做做“返返祖祖”(趋趋向向于于祖祖先先的的某某种种平平均均类类型型)，后后来来又又称称之之为为“向向平平均均回回归归”。一一个个总总体体中中在在某某一一时时期期具具有有某某一一极极端端特特征征(低低于于或或高高于于总总体体均均值值)的的个个体体在在未未来来的的某某一一时时期期将将减减

4、弱弱它它的的极极端端性性(或或者者是是单单个个个个体体或或者者是是整整个个子子代代)，这这一一趋趋势势现现在在被被称称作作“回回归归效效应应”。人人们们发发现现它它的的应应用用很很广广，而而不不仅仅限限于于从一代到下一代豌豆大小问题从一代到下一代豌豆大小问题2010年11月8-5子代与父代一样吗？子代与父代一样吗？正正如如GaltonGalton进进一一步步发发现现的的那那样样，平平均均来来说说，非非常常矮矮小小的的父父辈辈倾倾向向于于有有偏偏高高的的子子代代；而而非非常常高高大大的的父父辈辈则则倾倾向向于于有有偏偏矮矮的的子子代代。在在第第一一次次考考试试中中成成绩绩最最差差的的那那些些学学

5、生生在在第第二二次次考考试试中中倾倾向向于于有有更更好好的的成成绩绩(比比较较接接近近所所有有学学生生的的平平均均成成绩绩)，而而第第一一次次考考试试中中成成绩绩最最好好的的那那些些学学生生在在第第二二次次考考试试中中则则倾倾向向于于有有较较差差的的成成绩绩(同同样样比比较较接接近近所所有有学学生生的的平平均均成成绩绩)。同同样样，平平均均来来说说，第第一一年年利利润润最最低低的的公公司司第第二二年年不不会会最最差差，而第一年利润最高的公司第二年则不会是最好的而第一年利润最高的公司第二年则不会是最好的如如果果把把父父代代和和子子代代看看作作两两个个变变量量，找找出出这这两两个个变变量量的的关关

6、系系，并并根根据据这这种种关关系系建建立立适适当当的的数数学学模模型型，就就可可以以根根据据父父代代的的数数值值预预测测子子代代的的取取值值，这这就就是是经经典典的的回回归归方方法法要要解解决决的的问问题。学完本章的内容你会对回归问题有更深入的理解题。学完本章的内容你会对回归问题有更深入的理解 2010年11月 8.1 变量间的关系变量间的关系 8.1.1 变量间是什么样的关系？变量间是什么样的关系？8.1.2 用散点图描述相关关系用散点图描述相关关系 8.1.3 用相关系数度量关系强度用相关系数度量关系强度第第 8 章章 一元线性回归一元线性回归2010年11月8-7怎样分析变量间的关系？怎

7、样分析变量间的关系？l建立回归模型时，首先需要弄清楚变量之间的关系。分析变量之间的关系需要解决下面的问题1.1.变量之间是否存在关系？变量之间是否存在关系？2.2.如果存在，它们之间是什么样的关系？如果存在，它们之间是什么样的关系？3.3.变量之间的关系强度如何？变量之间的关系强度如何？4.4.样样本本所所反反映映的的变变量量之之间间的的关关系系能能否否代代表表总总体体变量之间的关系？变量之间的关系？2010年11月8.1.1 变量间是什么样的关系？变量间是什么样的关系？8.1 变量量间的关系的关系2010年11月8-9 x xy y函数关系函数关系1.是一一是一一对应的确定关系对应的确定关系

8、2.设设有有两两个个变变量量 x x 和和 y y，变变量量 y y 随随变变量量 x x 一一起起变变化化，并并完完全全依依赖赖于于 x x ，当当变变量量 x x 取取某某个个数数值值时时，y y 依依确确定定的的关关系系取取相相应应的的值值，则则称称 y y 是是 x x 的的函函数数，记记为为 y y =f f(x x)，其其中中 x x 称称为为自自变变量量，y y 称称为为因因变变量量3.各各观测点落在一条线上观测点落在一条线上 2010年11月8-10相关关系相关关系(几个例子几个例子)l l子女的身高与其父母身高的关系子女的身高与其父母身高的关系子女的身高与其父母身高的关系子女

9、的身高与其父母身高的关系uu从从遗遗传传学学角角度度看看，父父母母身身高高较较高高时时，其其子子女女的的身身高高一一般般也也比比较较高高。但但实实际际情情况况并并不不完完全全是是这这样样，因因为为子子女女的的身身高高并并不不完完全全是是由由父父母母身身高高一一个个因因素素所所决决定定的的，还还有有其其他他许许多多因因素素的的影影响响l l一个人的收入水平同他受教育程度的关系一个人的收入水平同他受教育程度的关系一个人的收入水平同他受教育程度的关系一个人的收入水平同他受教育程度的关系uu收收入入水水平平相相同同的的人人，他他们们受受教教育育的的程程度度也也可可能能不不同同，而而受受教教育育程程度度

10、相相同同的的人人，他他们们的的收收入入水水平平也也往往往往不不同同。因因为为收收入入水水平平虽虽然然与与受受教教育育程程度度有有关关系系，但但它它并并不不是是决决定定收收入入的的惟惟一一因因素，还有职业、工作年限等诸多因素的影响素，还有职业、工作年限等诸多因素的影响l l农作物的单位面积产量与降雨量之间的关系农作物的单位面积产量与降雨量之间的关系农作物的单位面积产量与降雨量之间的关系农作物的单位面积产量与降雨量之间的关系uu在在一一定定条条件件下下，降降雨雨量量越越多多，单单位位面面积积产产量量就就越越高高。但但产产量量并并不不是是由由降降雨雨量量一一个个因因素素决决定定的的，还还有有施施肥肥

11、量量、温温度度、管管理理水平等其他许多因素的影响水平等其他许多因素的影响2010年11月8-11相关关系相关关系(correlation)1.一个变量的取值不能由另一个变量唯一确定2.当变量 x 取某个值时，变量 y 的取值对应着一个分布分布3.各观测点分布在直线周围 y y x x 2010年11月8.1.2 用散点图描述相关关系用散点图描述相关关系8.1 变量量间的关系的关系2010年11月8-13 完全负线性相关完全负线性相关完全负线性相关完全负线性相关完全负线性相关完全负线性相关完全正线性相关完全正线性相关完全正线性相关完全正线性相关完全正线性相关完全正线性相关 散点图散点图(scat

12、ter diagram)不相关不相关不相关不相关不相关不相关 负线性相关负线性相关负线性相关负线性相关负线性相关负线性相关 正线性相关正线性相关正线性相关正线性相关正线性相关正线性相关 非线性相关非线性相关非线性相关非线性相关非线性相关非线性相关2010年11月8-14用散点图描述变量间的关系用散点图描述变量间的关系(例题分析例题分析)【例例例例】为为研研究究销销售售收收入入与与广广告告费费用用支支出出之之间间的的关关系系，某某医医药药管管理理部部门门随随机机抽抽取取2020家家药药品品生生产产企企业业，得得到到它它们们的的年年销销售售收收入入和和广广告告费费用用支支出出(万万元元)的的数数据

13、据如如下下。绘绘制制散点图描述销售收入与广告费用之间的关系散点图描述销售收入与广告费用之间的关系 2010年11月8-15散点图散点图(销售收入和广告费用的散点图销售收入和广告费用的散点图)2010年11月8.1.3 用相关系数度量关系强度用相关系数度量关系强度8.1 变量量间的关系的关系2010年11月8-17相关系数相关系数(correlation coefficient)1.度量变量之间线性关系强度的一个统计量度量变量之间线性关系强度的一个统计量n n若若相相关关系系数数是是根根据据总总体体全全部部数数据据计计算算的的，称称为为总总体体相关系数，记为相关系数，记为 n n若若是是根根据据

14、样样本本数数据据计计算算的的，则则称称为为样样本本相相关关系系数数，简称为相关系数，记为简称为相关系数，记为 r rl l也也 称称 为为 PearsonPearson相相 关关 系系 数数 (Pearsons(Pearsons correlation correlation coefficient)coefficient)2.样本相关系数的计算公式样本相关系数的计算公式3.2010年11月8-18相关系数的性质相关系数的性质性质性质1：r 的取值范围是-1,1n n|r r|=|=1 1，为完全相关为完全相关l lr r=1 1，为，为完全正相关完全正相关l lr r=-1-1，为完全负正相

15、关为完全负正相关n nr r=0=0，不存在不存在线性线性线性线性相关相关关系关系n n-1-1 r r 0 0，为负相关为负相关n n0 0 r r 1 1，为正相关为正相关n n|r r|越越趋趋于于1 1表表示示关关系系越越强强；|r r|越越趋趋于于0 0表表示示关关系越弱系越弱2010年11月8-19相关系数的性质相关系数的性质性质性质性质性质2 2：r r具有对称性。即具有对称性。即x x与与y y之间的相关系数和之间的相关系数和y y与与x x之间之间 的相关系数相等，即的相关系数相等，即r rxyxy=r ryxyx性质性质性质性质3 3：r r数值大小与数值大小与x x和和y

16、 y原点及尺度无关，即改变原点及尺度无关，即改变x x和和y y的的 数据原点及计量尺度，并不改变数据原点及计量尺度，并不改变r r数值大小数值大小性质性质性质性质4 4：仅仅是仅仅是x x与与y y之间线性关系的一个度量，它不能用之间线性关系的一个度量，它不能用 于描述非线性关系。这意为着，于描述非线性关系。这意为着，r r=0=0只表示两个只表示两个 变量之间不存在线性相关关系，并不说明变量之变量之间不存在线性相关关系，并不说明变量之 间没有任何关系间没有任何关系性质性质性质性质5 5：r r虽然是两个变量之间线性关系的一个度量，却不虽然是两个变量之间线性关系的一个度量，却不 一定意味着一

17、定意味着x x与与y y一定有因果关系一定有因果关系2010年11月8-20相关系数的经验解释相关系数的经验解释1.|r|0.8时，可视为两个变量之间高度相关2.0.5|r|0.8时，可视为中度相关3.0.3|r|0.5时，视为低度相关4.|r|0.3时，说明两个变量之间的相关程度极弱，可视为不相关5.上述解释必须建立在对相关系数的显著性进行检验的基础之上2010年11月8-21相关系数的显著性检验相关系数的显著性检验(检验的步骤检验的步骤)1.1.检验两个变量之间是否存在线性相关关系检验两个变量之间是否存在线性相关关系2.采用采用R.A.FisherR.A.Fisher提出的提出的 t t

18、检验检验3.检验的步骤为检验的步骤为n n提出假设：提出假设：H H0 0：；H H1 1：0 0n n计算检验的统计量计算检验的统计量n n用用ExcelExcel中的中的【TDISTTDIST】函数得双尾函数得双尾计算计算P P值，并于值，并于显著性水平显著性水平 比较，并作出决策比较，并作出决策 若若PP，拒绝，拒绝H H0 02010年11月8-22相关系数的显著性检验相关系数的显著性检验(例题分析例题分析)【例例例例】检验销售收入与广告费用之间的相关系数是否显检验销售收入与广告费用之间的相关系数是否显著著 (0.050.05)1.1.提提出假设：出假设：H H0 0：；H H1 1：

19、0 02.2.计算计算检验的统计量检验的统计量3.3.用用 ExcelExcel中中 的的【TDISTTDIST】函函 数数 得得 双双 尾尾 P=2.743E-P=2.743E-0909 0.050.05，拒拒绝绝H0H0，销销售售收收入入与与广广告告费费用用之之间间的相关系数显著的相关系数显著 2010年11月 8.2 一元线性回归的估计和检验一元线性回归的估计和检验 8.2.1 一元线性回归模型一元线性回归模型 8.2.2 参数的最小二乘估计参数的最小二乘估计 8.2.3 回归直线的拟合优度回归直线的拟合优度 8.2.4 显著性检验显著性检验第第 8 章章 一元线性回归一元线性回归201

20、0年11月8.2.1 一元线性回归模型一元线性回归模型8.2 一元一元线性回性回归的估的估计和和检验2010年11月8-25什么是回归分析？什么是回归分析？(regression analysis)1.重点考察考察一个特定的变量(因变量)，而把其他变量(自变量)看作是影响这一变量的因素，并通过适当的数学模型将变量间的关系表达出来2.利用样本数据建立模型的估计方程3.对模型进行显著性检验4.进而通过一个或几个自变量的取值来估计或预测因变量的取值2010年11月8-26一元线性回归一元线性回归1.涉及一个自变量的回归2.因变量y与自变量x之间为线性关系n被被 预预 测测 或或 被被 解解 释释 的

21、的 变变 量量 称称 为为 因因 变变 量量(dependent variable)(dependent variable)，用，用y y表示表示n用用来来预预测测或或用用来来解解释释因因变变量量的的一一个个或或多多个个变变量量称称为为自自变变量量(independent(independent variable)variable)，用用x x表示表示 3.因变量与自变量之间的关系用一个线性方程来表示2010年11月8-27一元线性回归模型一元线性回归模型(linear regression model)1.描描述述因因变变量量 y y 如如何何依依赖赖于于自自变变量量 x x 和和误误差差项

22、项 的的方程称为方程称为回归模型回归模型回归模型回归模型2.一元线性一元线性回归模型可表示为回归模型可表示为 y y=b b b b0 0 0 0+b b b b1 1 1 1 x x +e e e en ny y 是是 x x 的线性函数的线性函数(部分部分)加上误差项加上误差项n n线性部分反映了由于线性部分反映了由于 x x 的变化而引起的的变化而引起的 y y 的变化的变化n n误差项误差项 是随机变量是随机变量l l反反映映了了除除 x x 和和 y y 之之间间的的线线性性关关系系之之外外的的随随机机因因素素对对 y y 的影响的影响l l是不能由是不能由 x x 和和 y y 之

23、间的线性关系所解释的变异性之间的线性关系所解释的变异性n n 0 0 和和 1 1 称为模型的参数称为模型的参数2010年11月8-28一元线性回归模型一元线性回归模型(基本假定基本假定)1.1.因变量因变量y y与自变量与自变量x x之间具有线性关系之间具有线性关系2.2.在重复抽样中，自变量在重复抽样中，自变量x x的取值是固定的，即假定的取值是固定的，即假定x x是是非随机的非随机的3.3.误差项误差项 满足满足l l正态性正态性正态性正态性。是是一个服从正态分布的随机变量，且期望值为一个服从正态分布的随机变量，且期望值为0 0，即，即 N N(0,(0,2 2)。对于一个给定的。对于一

24、个给定的 x x 值，值，y y 的期望值为的期望值为E(yE(y)=)=0 0+1 1x xl l方差齐性方差齐性方差齐性方差齐性。对于所有的。对于所有的 x x 值，值，的方差等于一个特定的值，同样，的方差等于一个特定的值，同样，一个特定的一个特定的x x 值，值，y y 的方差也都等于的方差也都等于 2 2l l独立性独立性独立性独立性。独立性意味着对于一个特定的独立性意味着对于一个特定的 x x 值，它所对应的值，它所对应的 与其与其他他 x x 值所对应的值所对应的 不相关；对于一个特定的不相关；对于一个特定的 x x 值，它所对应的值，它所对应的 y y 值与其他值与其他 x x

25、所对应的所对应的 y y 值也不相关值也不相关2010年11月8-29估计的回归方程估计的回归方程(estimated regression equation)1.总总体体回回归归参参数数 和和 是是未未知知的的，必必须须利利用用样样本本数数据去估计据去估计2.用用样样本本统统计计量量 和和 代代替替回回归归方方程程中中的的未未知知参参数数 和和 ，就得到了，就得到了估计的回归方程估计的回归方程估计的回归方程估计的回归方程3.一元线性回归中估计的回归方程为一元线性回归中估计的回归方程为其其其中中中：是是是估估估计计计的的的回回回归归归直直直线线线在在在 y y y 轴轴轴上上上的的的截截截距距

26、距，是是是直直直线线线的的的斜斜斜率率率，它它它表表表示示示对对对于于于一一一个个个给给给定定定的的的 x x x 的的的值值值，是是是 y y y 的的的估估估计计计值，也表示值，也表示值，也表示 x x x 每变动一个单位时，每变动一个单位时，每变动一个单位时，y y y 的平均变动值的平均变动值的平均变动值 2010年11月8.2.2 参数的最小二乘估计参数的最小二乘估计8.2 一元一元线性回性回归的估的估计和和检验2010年11月8-31参数的最小二乘估计参数的最小二乘估计(method of least squares)1.德国科学家Karl Gauss(17771855)提出用最小

27、化图中垂直方向的误差平方和来估计参数 2.使因变量的观察值与估计值之间的误差平方和达到最小来求得 和 的方法。即3.用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小2010年11月8-32Karl Gauss的最小化图的最小化图x xy y(x xn n ,y yn n)(x x1 1,y y1 1)(x x2 2,y y2 2)(x x xi i i,y y yi ii)e ei i =y yi i-y yi i2010年11月8-33参数的最小二乘估计参数的最小二乘估计(和和 的计算公式的计算公式)根据最小二乘法，可得求解 和 的公式如下2010年11月8-3

28、4参数的最小二乘估计参数的最小二乘估计(例题分析例题分析)【例例例例】求求销销售售收收入入与与广广告告费费用用的的估估计计回回归归方方程程 ，并并解解释释回回归归系数的含义系数的含义第第1步：步：选择【工具工具】下拉菜单，并选择【数据分析数据分析】选项第第2步：步：在分析工具中选择【回归回归】，选择【确定确定】第第2步：步：当对话框出现时 在【Y值输入区域值输入区域】设置框内键入Y的数据区域 在【X值输入区域值输入区域】设置框内键入X的数据区域 在【置信度置信度】选项中给出所需的数值 在【输出选项输出选项】中选择输出区域 在【残差残差】分析选项中选择所需的选项2010年11月8-35参数的最小

29、二乘估计参数的最小二乘估计(例题分析例题分析)【例例例例】求求销销售售收收入入与与广广告告费费用用的的估估计计回回归归方方程程 ，并并解解释释回归系数的含义回归系数的含义2010年11月8-36参数的最小二乘估计参数的最小二乘估计(例题分析例题分析)2010年11月8.2.3 回归直线的拟合优度回归直线的拟合优度8.2 一元一元线性回性回归的估的估计和和检验2010年11月8-38变差变差1.因变量 y 的取值是不同的，y 取值的这种波动称为变差。变差来源于两个方面n n由于自变量由于自变量 x x 的取值不同造成的的取值不同造成的n n除除 x x 以以外外的的其其他他因因素素(如如x x对

30、对y y的的非非线线性性影影响响、测量误差等测量误差等)的影响的影响2.对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差 来表示2010年11月8-39误差分解图误差分解图x xy yy y2010年11月8-40误差平方和的分解误差平方和的分解(误差平方和的关系误差平方和的关系)SST=SSR+SSE总平方和总平方和总平方和总平方和(SSTSST)回归平方和回归平方和回归平方和回归平方和(SSRSSR)残差平方和残差平方和残差平方和残差平方和(SSESSE)2010年11月8-41误差平方和的分解误差平方和的分解(三个平方和的意义三个平方和的意义)1.总平方和总平方和(SS

31、TSSTtotal sum of squares)total sum of squares)n n反映因变量的反映因变量的 n n 个观察值与其均值的总误差个观察值与其均值的总误差2.回回 归归 平平 方方 和和(SSRSSRsum sum of of squares squares of of regression)regression)n n反反映映自自变变量量 x x 的的变变化化对对因因变变量量 y y 取取值值变变化化的的影影响响，或或者者说说，是是由由于于 x x 与与 y y 之之间间的的线线性性关关系系引引起起的的 y y 的的取值变化，也称为可解释的平方和取值变化，也称为可解

32、释的平方和3.残差平方和残差平方和(SSESSEsum of squares of error)sum of squares of error)n n反反映映除除 x x 以以外外的的其其他他因因素素对对 y y 取取值值的的影影响响，也也称称为为不可解释的平方和或剩余平方和不可解释的平方和或剩余平方和2010年11月8-42判定系数判定系数R2 (coefficient of determination)1.回归平方和回归平方和占总误差平方和的比例占总误差平方和的比例2.反映回归直线的拟合程度反映回归直线的拟合程度3.取值范围在取值范围在 0,1 0,1 之间之间4.R R2 2 1 1，说

33、明回归方程拟合的越好；说明回归方程拟合的越好；R R2 20 0，说说明回归方程拟合的越差明回归方程拟合的越差5.决定系数决定系数平方根等于相关系数平方根等于相关系数2010年11月8-43估计标准误差估计标准误差(standard error of estimate)1.实际观察值与回归估计值误差平方和的均方根实际观察值与回归估计值误差平方和的均方根2.反映实际观察值在回归直线周围的分散状况反映实际观察值在回归直线周围的分散状况3.对对误误差差项项 的的标标准准差差 的的估估计计，是是在在排排除除了了x x对对y y的的线性影响后，线性影响后，y y随机波动大小的一个估计量随机波动大小的一个

34、估计量4.反反映用估计的回归方程预测映用估计的回归方程预测y y时预测误差的大小时预测误差的大小 5.计算公式为计算公式为2010年11月8.2.4 显著性检验显著性检验8.2 一元一元线性回性回归的估的估计和和检验2010年11月8-45线性关系的检验线性关系的检验1.检验自变量与因变量之间的线性关系是否显著2.将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著回回归归均均方方：回回归归平平方方和和SSRSSR除除以以相相应应的的自自由由度度(自自变变量的个数量的个数k k)残残差差均均方方：残残差差平平方方和和SSESSE除除以以相相应应的的自自由由度

35、度(n n-k k-1)-1)2010年11月8-46线性关系的检验线性关系的检验(检验的步骤检验的步骤)1.提出提出假设假设n nH H0 0：1 1=0 =0 线性关系不显著线性关系不显著2.2.计算计算检验统计量检验统计量F F3.确定确定显著性水平显著性水平，并根据分子自由度，并根据分子自由度1 1和分母自和分母自由度由度n n-2-2求统计量的求统计量的P P值值4.作作出决策：若出决策：若PP，拒绝拒绝H H0 0。表明两个变量之间表明两个变量之间的线性关系显著的线性关系显著2010年11月8-47回归系数的检验和推断回归系数的检验和推断3.在一元线性回归中，等价于线性关系的显著性

36、检验4.采用t检验1.检验 x 与 y 之间是否具有线性关系，或者说，检验自变量 x 对因变量 y 的影响是否显著2.理论基础是回归系数 的抽样分布2010年11月8-48回归系数的检验和推断回归系数的检验和推断(检验步骤检验步骤)1.提出假设提出假设n nH H0 0:1 1=0(=0(没有线性关系没有线性关系)n nH H1 1:1 1 0(0(有线性关系有线性关系)2.计算检验的统计量计算检验的统计量3.确确定定显显著著性性水水平平，计计算算出出统统计计量量的的P P值值，并并做出决策做出决策PP，拒拒绝绝H H0 0，表表明明自自变变量量是是影影响响因因变变量量的的一一个个显著因素显著

37、因素2010年11月8-49回归系数的检验和推断回归系数的检验和推断(b b1和和b b0的置信区间的置信区间)1.1在1-置信水平下的置信区间为2.0在1-置信水平下的置信区间为2010年11月 8.3 利用回归方程进行预测利用回归方程进行预测 8.3.1 平均值的置信区间平均值的置信区间 8.3.2 个别值的预测区间个别值的预测区间第第 8 章章 一元线性回归一元线性回归2010年11月8-51区间估计区间估计1.对于自变量 x 的一个给定值 x0，根据回归方程得到因变量 y 的一个估计区间2.区间估计有两种类型n n置信区间估计置信区间估计(confidence interval est

38、imateconfidence interval estimate)n n预测区间估计预测区间估计(prediction(prediction interval estimate interval estimate)2010年11月8.3.1 平均值的置信区间平均值的置信区间8.3 利用回利用回归方程方程进行行预测2010年11月8-53平均值的置信区间平均值的置信区间1.利用利用估计的回归方程，对于自变量估计的回归方程，对于自变量 x x 的一个给定的一个给定值值 x x0 0 ，求出因变量求出因变量 y y 的的平均值的估计区间平均值的估计区间 ，这，这一估计区间称为一估计区间称为置信区间

39、置信区间置信区间置信区间(confidence intervalconfidence interval)2.E E(y y0 0)在在1-1-置信置信水平下的置信区间为水平下的置信区间为式中：式中：s se e为估计标准误差为估计标准误差2010年11月8-54个别值的预测区间个别值的预测区间1.利用估计利用估计的回归方程，对于自变量的回归方程，对于自变量 x x 的一个给的一个给定值定值 x x0 0 ，求出因变量求出因变量 y y 的的一个个别值的估计区一个个别值的估计区间，这一区间称为间，这一区间称为预测区间预测区间预测区间预测区间(prediction(prediction inter

40、valinterval)2.y y0 0在在1-1-置信水平下的预测区间为置信水平下的预测区间为注意！注意！2010年11月8-55置信区间和预测区间置信区间和预测区间x xp ppy yx x x x预测上限预测上限置信上限置信上限预测下限预测下限置信下限置信下限2010年11月8-56用用SPSS进行回归进行回归 第第1步：步：选择【Analyze】下拉菜单，并选择【Regression-linear】选项，进入主对话框第第2步：步：在主对话框中将因变量(本例为销售收入)选入【Dependent】，将自变量(本例为广告费用)选入【Independent(s)】第第3步：步：点击【Save】

41、在【Predicted Values】下选中【Unstandardized】(输出点预测值)在【Prediction interval】下选中【Mean】和【Individual】(输出置信区间和预测区间)在【Confidence Interval】中选择所要求的置信水平(隐含值95%，一般不用改变)在【Residuals】下选中【Unstandardized】和【standardized】(输出残差和标准化残差)点击【Continue】回到主对话框。点击【OK】2010年11月8-57置信区间和预测区间置信区间和预测区间(例题分析例题分析)点点预预测测值值置置信信线线预预测测线线2010年1

42、1月8-58置信区间和预测区间置信区间和预测区间(例题分析例题分析)2010年11月8-59预测时需要注意的问题预测时需要注意的问题1.在在利利用用回回归归方方程程进进行行估估计计或或预预测测时时，不不要要用用样样本本数据之外的数据之外的x x值去预测相对应的值去预测相对应的y y值值2.因因为为在在一一元元线线性性回回归归分分析析中中，总总是是假假定定因因变变量量y y与与自自变变量量x x之之间间的的关关系系用用线线性性模模型型表表达达是是正正确确的的。但但实际应用中，它们之间的关系可能是某种曲线实际应用中，它们之间的关系可能是某种曲线3.此此时时我我们们总总是是要要假假定定这这条条曲曲线

43、线只只有有一一小小段段位位于于x x测测量量值值的的范范围围之之内内。如如果果x x的的取取值值范范围围是是在在x xL L和和x xU U之之间间，那那么么可可以以用用所所求求出出的的利利用用回回归归方方程程对对处处于于x xL L和和x xU U之之间间的的值值来来估估计计E E(y y)和和预预测测y y。如如果果用用x xL L和和x xU U之间以外的值得出的估计值和预测值就会很差之间以外的值得出的估计值和预测值就会很差 2010年11月 8.4 用残差证实模型的假定用残差证实模型的假定 8.4.1 检验方差齐性检验方差齐性 8.4.2 检验正态性检验正态性第第 8 章章 一元线性回

44、归一元线性回归2010年11月8.4.1 检验方差齐性检验方差齐性8.4 用残差用残差证实模型的假定模型的假定2010年11月8-62残残差差(residual)1.因变量的观测值与根据估计的回归方程求出的预测值之差，用e表示2.反映了用估计的回归方程去预测而引起的误差 3.可用于确定有关误差项的假定是否成立 4.用于检测有影响的观测值2010年11月8-63残差图残差图(residual plot)1.表示残差的图形n n关于关于x x的残差图的残差图n n关于关于y y的残差图的残差图n n标准化残差图标准化残差图2.用于判断误差的假定是否成立 3.检测有影响的观测值2010年11月8-6

45、4残差图残差图(形态及判别形态及判别)(a)(a)(a)满意模式满意模式满意模式残残残残残残差差差差差差x x x0 00(b)(b)(b)非常数方非常数方非常数方差差差残残残残差差差差x x x0 00(c)(c)(c)模型不合模型不合模型不合适适适残残残残差差差差x x x0 002010年11月8-65残差与标准化残差图残差与标准化残差图(例题分析例题分析)点点预预测测值值残残差差标标准准残残差差2010年11月8-66残差图残差图(例题分析例题分析)销售收入与广告费用回归的残差图销售收入与广告费用回归的残差图销售收入与广告费用回归的残差图销售收入与广告费用回归的残差图2010年11月8

46、.4.2 检验正态性检验正态性8.4 用残差用残差证实模型的假定模型的假定2010年11月8-68标准化残差标准化残差(standardized residual)1.残差除以它的标准差残差除以它的标准差2.也也 称称 为为 PearsonPearson残残 差差 或或 半半 学学 生生 化化 残残 差差(semi-(semi-studentizedstudentized residuals)residuals)3.计算公式为计算公式为注意：注意：注意：注意：ExcelExcel给出的标准残差的计算公式为给出的标准残差的计算公式为 这实际上是学生化删除残差这实际上是学生化删除残差(studen

47、tizedstudentized deleted residuals)deleted residuals)2010年11月8-69标准化残差图标准化残差图 用以直观地判断误差项服从正态分布这一假定是否成立 n n若若假假定定成成立立，标标准准化化残残差差的的分分布布也也应应服服从从正态分布正态分布n n在在标标准准化化残残差差图图中中，大大约约有有95%95%的的标标准准化化残差在残差在-2-2到到+2+2之间之间 2010年11月8-70标准化残差图标准化残差图(例题分析例题分析)销售收入与广告费用回归的标准化残差图销售收入与广告费用回归的标准化残差图销售收入与广告费用回归的标准化残差图销售收入与广告费用回归的标准化残差图2010年11月8-71本章小结本章小结l相关关系的分析相关关系的分析l参数的最小二乘估计参数的最小二乘估计l回归直线的拟合优度回归直线的拟合优度l回归方程的显著性检验回归方程的显著性检验l利用回归方程进行预测利用回归方程进行预测l用残差证实模型的假定用残差证实模型的假定l用用 Excel 和和SPSS进行回归进行回归2010年11月结结 束束2010年11月