数理统计-回归分析课件.ppt

《数理统计-回归分析课件.ppt》由会员分享，可在线阅读，更多相关《数理统计-回归分析课件.ppt（36页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、“回归回归”来源来源统计史上归功于英国生物学家统计史上归功于英国生物学家F.Galton(18221911)如人的身高具有一定的遗传性如人的身高具有一定的遗传性,当父代指标当父代指标(X)增增加加(减少减少)时时,子代指标子代指标(Y)的平均值会增加的平均值会增加(减少减少),但未看到指标两极分化但未看到指标两极分化存在一种力量把指标值存在一种力量把指标值“拉向中心拉向中心”,子代指标子代指标有有“向中心回归向中心回归”的现象的现象Galton引进引进“回归回归”这个名词来描述这个名词来描述X与与Y的关的关系系.统计中也沿用回归来描述变量之间的关系统计中也沿用回归来描述变量之间的关系1第七章第

2、七章回归分析回归分析(analysis of regression)7.1 7.1 一元线性回归一元线性回归有有一一类类变变量量间间有有关关系系,但但不不能能用用函函数数形形式式来来表表示示。例例如如人人的的体体重重y与与身身高高x有有关关，又又如如居居民民的的储储蓄蓄存存款款额额y与与的的收收入入x有有关关，但但同同样样的的收收入入的的人人储储蓄蓄存存款款额额也也不不会会相相同同。这这样样的的变变量量间间的的关关系系在统计上称为在统计上称为相关关系相关关系。X自变量（一般变量，非随机变量）自变量（一般变量，非随机变量）Y随机变量随机变量一、模型一、模型收集数据收集数据2例例71我我们们知知道

3、道营营业业税税收收总总额额与与社社会会零零售售总总额额有有关关。为为了了能能从从社社会会商商品品零零售售总总额额去去预预测测税税收收总总额额，需需要要了了解两者的关系，现收集了如下几组数据（表解两者的关系，现收集了如下几组数据（表7.1.1）表表7.1.1社会商品零售总额与税收总额社会商品零售总额与税收总额单位：亿元单位：亿元序号序号社会商品零售总额社会商品零售总额x营业税税收总额营业税税收总额y114208393217730596320468785424288982531624125063419915557332691579838929163994534018453画散点图画散点图4观测散点

4、图观测散点图如如果果n个个点点在在某某直直线线附附近近波波动动,但但不不完完全全在在一一直直线线上上,认为认为y由两部分构成由两部分构成,各各之间独立，可得一元线性回归的数学模型：之间独立，可得一元线性回归的数学模型：5回归函数：回归函数：反映反映 y y 与与 x x 的相关关系的相关关系的估计为的估计为 ，回归方程为，回归方程为考虑考虑如何根据如何根据去估计去估计；对回归方程的可信度作检验；对回归方程的可信度作检验；回归方程的作用：预测，控制。回归方程的作用：预测，控制。6二、参数的最小二乘法估计二、参数的最小二乘法估计(leastsquareestimate)（LSE）（一）（一）LSE

5、的求法的求法1.1.准则：准则：其中，其中，72.2.求法：求法：，又又是是的可微函数，有极值的可微函数，有极值正规方程组：正规方程组：8从而从而代入得代入得得到的得到的LSE为为9回归方程有两种形式：回归方程有两种形式：回归直线过回归直线过两点。两点。10（二二)估估计计量量的的分分布布及及有有关关性质性质3，当，当时，时，与与独立独立定理定理7.1.1在一元线性回归模型中，在一元线性回归模型中，与与是最小二乘估计量是最小二乘估计量114仍服从正态分布，仍服从正态分布，12定理定理7.1.2在一元线性回归模型中在一元线性回归模型中（1）（2）与与和和相互独立相互独立（3）是是无偏估计无偏估计

6、残差平方和残差平方和13141516177.2回归方程的显著性检验回归方程的显著性检验721F检验检验主要检测什么叫在直线主要检测什么叫在直线“附近附近”，用眼睛看会因人，用眼睛看会因人而异，为此需要有个检验准则。为作检验，首先要建而异，为此需要有个检验准则。为作检验，首先要建立假设。立假设。我们要反映我们要反映y随随x变化的统计规律，变化的统计规律，如果如果，不管不管x如何变化，如何变化，Ey不会随之改变，不会随之改变，从而求出的回归方程是无意义的，所以检验回归方程从而求出的回归方程是无意义的，所以检验回归方程是否有意义的问题转化为检验下列假设是否为真：是否有意义的问题转化为检验下列假设是否

7、为真：此此方法类似于方差分析的思想，从观察方法类似于方差分析的思想，从观察值的偏差平方和分解入手。值的偏差平方和分解入手。有下列三种常用的方法，使用时可选择其中之一。有下列三种常用的方法，使用时可选择其中之一。18总的偏差平方和总的偏差平方和造成造成 差异的原因有两个：差异的原因有两个：（1）平方和分解平方和分解一是一是不真，不真，Ey会随会随x改变，用回归平方和来表示改变，用回归平方和来表示19,其自由度为其自由度为从而有从而有利用正规方程组可得利用正规方程组可得还有还有二二、是是其其它它一一切切随随机机因因素素引引起起的的差差异异，它它可可用用残残差平方和（剩余平方和）表示差平方和（剩余平

8、方和）表示20在在为为真真时时,与与都都是是的的无无偏估计偏估计,而在而在时时,采用检验统计量采用检验统计量,取拒绝域为取拒绝域为对给定的显著性水平对给定的显著性水平,当当为真时为真时,应满足应满足(2)检验统计量与拒绝域检验统计量与拒绝域21(3)临界值的确定临界值的确定在一元线性模型中，当在一元线性模型中，当时，有时，有拒绝域为拒绝域为22表表7.2.1方差分析表方差分析表来来源源平方和平方和自由度自由度均方和均方和F比比回回归归残残差差总总计计23722t检验检验我们知我们知在在时时,有有但其中但其中未知，用未知，用去代替，由独立性知在去代替，由独立性知在时，时，24对给定的显著性水平对

9、给定的显著性水平，拒绝域为，拒绝域为实质上实质上检验与检验与检验是等价的，这里。检验是等价的，这里。25723相相关关系系数数检检验验(correlation coefficient)二维样本二维样本的相关系数定义为的相关系数定义为这是一个统计量，可用这是一个统计量，可用来检验假设来检验假设有有26检验的拒绝域为检验的拒绝域为从从上上面面可可以以看看出出,检检验验 的的三三种种方方法法,彼彼此此是是等价的等价的,使用时看哪一种方法计算量最少使用时看哪一种方法计算量最少,就用哪一个。就用哪一个。从直观上看从直观上看,当当 为真时为真时,应较小，应较小，从而从而 应较小，当应较小，当 较大时，应拒

10、绝较大时，应拒绝 ，因而可得下面的拒绝域：因而可得下面的拒绝域：在给定的显著性水平下在给定的显著性水平下 ，应满足，应满足277.3预测与控制预测与控制(predictandcontrol)一、含义一、含义所所谓谓预预测测是是指指当当时时对对相相应应的的y的的取取值值所所作作的的推断。推断。由由于于是是一一个个随随机机变变量量，要要预预测测随随机机变量的取值是不可能的，只能预测其期望值变量的取值是不可能的，只能预测其期望值。这种推断有两类：这种推断有两类：一是给出一是给出的估计值，也称预测值；的估计值，也称预测值；另一类是给出另一类是给出的一个预测区间。的一个预测区间。28二、预测值与预测区间

11、二、预测值与预测区间1在在处的回归值是处的回归值是，就是预测值。，就是预测值。2的概率为的概率为的预测区间为：的预测区间为：(3)构造一个变量构造一个变量由由29查表可得查表可得从而从而显然预测区间的长度显然预测区间的长度与样本量与样本量有关。有关。当当较较大大，较较大大（各各较较为为分分散散），较小，较小，也较小也较小307.4多元线性回归多元线性回归(multivariate linear regression)在在实实际际问问题题中中，和和某某一一变变量量y有有关关系系的的变变量量不不只只一一个个，而而是是多多个个。比比如如研研究究y与与之之间间的定量关系的问题称为多元回归问题。的定量关

12、系的问题称为多元回归问题。多多元元回回归归问问题题中中我我们们讨讨论论最最简简单单而而又又一一般般的的多多元元线线性性回回归归问问题题，因因为为许许多多多多元元非非线线性性回回归归问问题题可可化化为为多元线性回归问题。多元线性回归问题。31一、数学模型一、数学模型(model)假设假设y与与之间的内在联系是线性的，之间的内在联系是线性的，它的第它的第次试验数据是次试验数据是则这一组数据有如下的结构：则这一组数据有如下的结构：32：随机变量的观测向量，：随机变量的观测向量，：未知参数向量，：未知参数向量，：结构矩阵，：结构矩阵，：不可观测的随机误差向量。：不可观测的随机误差向量。用矩阵表示为：用矩阵表示为：其其中中是是n维维随随机机向向量量，它它的的分分量量是是相相互互独独立立的。的。33二、二、的的LSE1.LSE的求法的求法的的LSE为为其中其中通过通过，解出，解出令令34得到正规方程组为：得到正规方程组为：其解其解为所求。正规方程组的系数矩阵为：为所求。正规方程组的系数矩阵为：当当存在时，有存在时，有，即为所求参数即为所求参数的最小二乘估计。的最小二乘估计。352.LSE的性质的性质(characterofLSE)（1）是是的线性无偏估计；的线性无偏估计；（2）为残差向量，有为残差向量，有（3）36