《概率论与数理统计》（第3版） 习题详解ppt-（第10章） 回归分析.ppt

《《概率论与数理统计》（第3版） 习题详解ppt-（第10章） 回归分析.ppt》由会员分享，可在线阅读，更多相关《《概率论与数理统计》（第3版） 习题详解ppt-（第10章） 回归分析.ppt（41页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第十章第十章 回归分析回归分析第一节第一节 回归分析的概述回归分析的概述第二节第二节 参数估计参数估计第三节第三节 假设检验假设检验第四节第四节 预测与控制预测与控制第五节第五节 非线性回归的线性化处理非线性回归的线性化处理第一节第一节 回归分析的概述回归分析的概述一个过程中多个变量之间的关系分为两类：一个过程中多个变量之间的关系分为两类：确定性关系，也就是通常所说的函数关系；确定性关系，也就是通常所说的函数关系；非确定性关系，即所谓的相关关系。非确定性关系，即所谓的相关关系。确定性关系是指当一些变量的值确定以后另一些变确定性关系是指当一些变量的值确定以后另一些变量的值也随之完全确定的关系。量

2、的值也随之完全确定的关系。相关关系是指变量之间有一定的依赖关系，但当一相关关系是指变量之间有一定的依赖关系，但当一些变量的值确定以后，另一些变量的值虽随之变化些变量的值确定以后，另一些变量的值虽随之变化却并不能完全确定，这时变量间的关系不能精确地却并不能完全确定，这时变量间的关系不能精确地用函数来表示。用函数来表示。上一页上一页下一页下一页返回返回(1) 给出建立具有相关关系的变量之间的数学关系式给出建立具有相关关系的变量之间的数学关系式（通常称为经验公式）的一般方法；（通常称为经验公式）的一般方法；(2) 判别所建立的经验公式是否有效；判别哪些预报判别所建立的经验公式是否有效；判别哪些预报变

3、量对响应变量的影响是显著的，哪些是不显著的；变量对响应变量的影响是显著的，哪些是不显著的；(3)利用所得到的经验公式进行预测和控制。利用所得到的经验公式进行预测和控制。回归分析（回归分析（regression analysis）是数理统计中研究一个是数理统计中研究一个响应变量与若干个预报变量之间相关关系的一种有效方响应变量与若干个预报变量之间相关关系的一种有效方法；其中只有一个预报变量的回归分析称为一元回归分法；其中只有一个预报变量的回归分析称为一元回归分析，多于一个预报变量的回归分析称为析，多于一个预报变量的回归分析称为多元回归分析。多元回归分析。回归分析的任务主要有三个：回归分析的任务主要

4、有三个：上一页上一页下一页下一页返回返回一元回归分析与最小二乘法一元回归分析与最小二乘法取定取定x时随机变量时随机变量y的数学期望的数学期望E(y|x)作为作为x时随机变量时随机变量y的估计值，即的估计值，即)(xyEy 显然，当显然，当x变化时变化时E(Y|X=x)是是x的函数，记作的函数，记作)()(xyEx 可以用一个确定的函数关系式可以用一个确定的函数关系式)(xy 大致地描述大致地描述y与与x之间的相关关系。之间的相关关系。函数函数 称为称为y关于关于x的回归函数，简称的回归函数，简称回归回归； 称为称为y关于关于x的回归方程。的回归方程。)(x )(xy 上一页上一页下一页下一页返

5、回返回回归方程反映了回归方程反映了y的数学期望的数学期望E(y)随随x的变化而变化的的变化而变化的规律性。规律性。y与与x的相关关系表示为的相关关系表示为 )(xy 是随机误差，它是均值为零的随机变量，是随机误差，它是均值为零的随机变量，通常假定通常假定 是不依赖于是不依赖于X的未知参数。的未知参数。 22), 0( N 的大小在一定程度上反映了在的大小在一定程度上反映了在x处随机变量处随机变量y的观测值的大小的观测值的大小,如能找到如能找到 ,就能在一定条件下就能在一定条件下解决如下两个问题：解决如下两个问题：1.在给定的置信度下，估计当在给定的置信度下，估计当x取某一定值时取某一定值时y的

6、取值情况的取值情况,这就是所谓的这就是所谓的预测问预测问题题；2.在给定的置信度下在给定的置信度下,控制控制X的取值范围以使的取值范围以使y在给定的范围内取值在给定的范围内取值,这就是所谓的这就是所谓的控制问题控制问题。)(x )(x 上一页上一页下一页下一页返回返回通常先限制通常先限制 为某一类型的函数。函数为某一类型的函数。函数 的类型的类型可以由与被研究问题的本质有关的物理假设来确定；可以由与被研究问题的本质有关的物理假设来确定；若没有任何理由可以确定函数若没有任何理由可以确定函数 的类型，则只能根的类型，则只能根据在试验结果中得到的散点图来确定。据在试验结果中得到的散点图来确定。)(x

7、 )(x )(x 在确定了函数在确定了函数 的类型后，就可以设的类型后，就可以设)(x ),;()(21kaaaxx 其中其中a1, a2 ak为未知参数。为未知参数。寻找合适的回归函数寻找合适的回归函数 的问题就归结为：如何根的问题就归结为：如何根据试验数据合理地选择参数据试验数据合理地选择参数a1, a2 ak的估计值的估计值)(x kaaa,21上一页上一页下一页下一页返回返回这些估计值使得方程这些估计值使得方程 在一定的在一定的),;(21kaaaxy 意义下意义下“最佳地最佳地”表现变量表现变量Y与与X之间的相关关系。之间的相关关系。选取选取 中参数，使得观测值中参数，使得观测值yi

8、与相应与相应的函数值的函数值 (i=1,2n)的偏差平方的偏差平方和为最小，这就是所谓的和为最小，这就是所谓的最小二乘法最小二乘法。),;(21kaaax ),;(21kiaaax 最小二乘法的概率意义最小二乘法的概率意义：设当可控变量：设当可控变量X取任意实数取任意实数x时，随机变量时，随机变量Y服从正态分布服从正态分布 ，即，即Y的概的概率密度为率密度为),(2 xN22)(2121)(xyeyf 其中其中 ，而，而 是不依赖于是不依赖于x的常的常数。数。 ),;(21kaaaxx 2 上一页上一页下一页下一页返回返回在在n次独立试验中得到观测值（次独立试验中得到观测值（x1,y1）,（x

9、2,y2）,（xn,yn），利用极大似然估计法估计未知参数），利用极大似然估计法估计未知参数a1, a2， ak,时，有似然函数时，有似然函数 niiixynniikeyfaaaL122)(2112121)(),( 似然函数似然函数L取得极大值，上式指数中的平方和取得极大值，上式指数中的平方和 nikiiaaaxyS1221),;( 取最小值。取最小值。即为了使观测值（即为了使观测值（xi , yi）(i=1,2,n)出现的可能性最大，出现的可能性最大，应当选择参数应当选择参数a1,a2,ak，使得观测值，使得观测值yi与相应的函数值与相应的函数值 的偏差平方和最小。这就是最小二乘的偏差平方和

10、最小。这就是最小二乘法法 的概率意义。的概率意义。),;(21kiaaax 上一页上一页下一页下一页返回返回解方程组求出参数解方程组求出参数a1,a2,ak的估计值（这样求出的的估计值（这样求出的参数参数a1,a2,ak的估计，称为的估计，称为最小二乘估计最小二乘估计（least squares estimation ,简称简称LSE）,再求回归方程的估计再求回归方程的估计式（称为式（称为经验回归方程经验回归方程）。）。分别求分别求S对对a1,a2,ak的偏导数，并令它们等于零，的偏导数，并令它们等于零，就得到就得到 0),;(),;( 0),;(),;(0),;(),;(2121121221

11、1211211kikkniiikikniiikikniiiaaaxaaaaxyaaaxaaaaxyaaaxaaaaxy 上一页上一页下一页下一页返回返回1、一元线性回归、一元线性回归回归方程为回归方程为bxay 方程的图形称为回归直线。方程的图形称为回归直线。x,y的相关关系可表示为的相关关系可表示为), 0(,2 Nbxay ),(2 bxaNy 或或其中其中a, b, 2为不依赖于为不依赖于x的未知参数，上式称为一元的未知参数，上式称为一元线性回归模型，简称一元线性模型。当线性回归模型，简称一元线性模型。当y与与x间满足这间满足这种关系时，种关系时，y与与x间有线性相关关系。间有线性相关关

12、系。考虑回归函数考虑回归函数 是线性函数，即是线性函数，即 ，这就是，这就是所谓的一元线性回归分析。所谓的一元线性回归分析。)(x bxa 回归方程为回归方程为bxay 第二节第二节 参数估计参数估计上一页上一页下一页下一页返回返回用最小二乘法确定未知参数用最小二乘法确定未知参数a及及b。考虑试验点关于回考虑试验点关于回归直线的偏差平方和归直线的偏差平方和 niiinibxaybaQi1212),( 分别求分别求Q对对a及及b的偏导数，的偏导数，令它们等于零，得方程组令它们等于零，得方程组 niiiiniiixbxaybxay110)(0)( nininiiiiniiniiyxbxaxybxn

13、ai111211)()()(整理得整理得称为正规方程组称为正规方程组上一页上一页下一页下一页返回返回 ,)()(:121xbyaxxyyxxbniiniii方程有唯一解方程有唯一解线性回归方程为线性回归方程为xbay 称为经验回归系数（也称回归系数），对应的直线称为经验回归系数（也称回归系数），对应的直线称为经验回归直线（简称回归直线）。称为经验回归直线（简称回归直线）。b亦可表示为亦可表示为)(xxbyy 上一页上一页下一页下一页返回返回 niiixyniiyyniixxyyxxSyySxxS11212)()()( 引入记号：引入记号： bxnynaSSbbaniiniixxxy)1(1 :

14、,11的估计可写成的估计可写成上一页上一页下一页下一页返回返回例例1 Pearson测量了测量了10对父子的身高，所得数据如下对父子的身高，所得数据如下（单位：英寸）（单位：英寸）父亲父亲身高身高606264666768707274儿子儿子身高身高63.665.26666.967.1 67.468.3 70.170求儿子身高求儿子身高y关于父亲身高关于父亲身高x的回归方程。的回归方程。 72.79;529.38,01.67; 6 .171, 8 .66: xyyyxxSSySx由所给数据算得由所给数据算得解解上一页上一页下一页下一页返回返回977.354646. 0 xbyaSSbxxxy于是

15、于是977.354646. 0 xy高高的的经经验验回回归归方方程程为为故故儿儿子子身身高高关关于于父父亲亲身身可知，当父亲身高高于或低于父代身高的平均值时，可知，当父亲身高高于或低于父代身高的平均值时，儿子的身高有向子代的平均身高靠近的趋势，这就是儿子的身高有向子代的平均身高靠近的趋势，这就是“回归回归”。上一页上一页下一页下一页返回返回2、多元线性回归、多元线性回归满满足足数数多多元元线线性性回回归归中中未未知知参参根根据据最最小小二二乘乘法法原原理理为为一一样样本本若若pnnpnnpbbbyxxxyxxx,),( ,),(1021111211.)( 21110达到最小达到最小ippnii

16、ixbxbbyQ 0)(20)(2,11101110010 niijippiijippniiipxxbxbbybQxbxbbybQbbbQ并并让让它它们们等等于于零零的的偏偏导导数数对对分分别别求求上一页上一页下一页下一页返回返回 niiippniniiipniipniiipniipininiiniipniiniipyxbxbxxbxyxbxxbxbxybxbxnbbbbipi112111011111112011111111010)()()( )()()()()(,1的线性方程组的线性方程组整理得关于整理得关于正规方程正规方程上一页上一页下一页下一页返回返回 pnnpnnppbbbByyyYx

17、xxxxxxxxX , ,1 111021212222111211引引入入矩矩阵阵. 110元元线线性性回回归归方方程程为为方方程程pxbxbbypp YXXBX YXXXbbbBXXp 1101)( ,)(存存在在若若上一页上一页下一页下一页返回返回当且仅当当且仅当b0时，变量时，变量Y与与X之间存在线性相关关系，之间存在线性相关关系，为了检验为了检验Y与与X之间的线性相关的显著性，应当检验之间的线性相关的显著性，应当检验原假设原假设 H0：b=0是否成立。是否成立。若拒绝若拒绝H0，则认为，则认为Y与与X之间存在线性关系，所求得之间存在线性关系，所求得得线性回归方程有意义；若接受得线性回归

18、方程有意义；若接受H0，则认为，则认为Y与与X得得关系不能用一元线性回归模型来表示，所求得的线性关系不能用一元线性回归模型来表示，所求得的线性回归方程无意义。回归方程无意义。第三节第三节 假设检验假设检验上一页上一页下一页下一页返回返回1、方差分析法（、方差分析法（F检验法）检验法） niiyyyySQ12)(总总回回剩剩总总QQyyyyyyyyQniiniiiniiii 121212)()( )()(总的分散程度。总的分散程度。它反映了观测值它反映了观测值nyyy,21考察样本考察样本y1,y2,yn的偏差平方和，或称总平方和的偏差平方和，或称总平方和 niiiyyQ12)(剩剩剩余平方和，

19、反映了观测值偏离剩余平方和，反映了观测值偏离回归直线的程度，这种偏离是由回归直线的程度，这种偏离是由于观测误差等随机因素引起的。于观测误差等随机因素引起的。上一页上一页下一页下一页返回返回 niiniiniixxbxbaxbayyQ1221212)()()()(回回回归平方和它反映回归值的分散度，这种分散是回归平方和它反映回归值的分散度，这种分散是由于由于Y与与X之间得线性相关关系引起的；之间得线性相关关系引起的；.,;线线性性相相关关性性越越强强比比值值越越大大的的影影响响的的大大小小因因素素对对相相关关关关系系与与随随机机的的比比值值反反映映了了这这种种线线性性与与回回剩剩yQQ)2, 1

20、()2/( nFnQQF剩剩回回统计量统计量 .,.,0回回归归方方程程无无实实际际意意义义所所求求线线性性没没有有线线性性相相关关关关系系对对反反之之认认为为关关系系显显著著即即线线性性则则拒拒绝绝假假设设若若给给定定显显著著性性水水平平xyHFF 上一页上一页下一页下一页返回返回例例1 在上例中，利用方差分析检验儿子的身高在上例中，利用方差分析检验儿子的身高Y与父与父亲身高亲身高X之间的线性相关关系是否显著。之间的线性相关关系是否显著。72.79,529.38, 6 .171: xyyyxxSSS已知已知解解494. 1035.37529.38 035.3722 xxxyyyxxxySSS

21、QSSQ剩剩回回计计算算得得313.198)2/( nQQF剩剩回回上一页上一页下一页下一页返回返回方差方差来源来源平方平方和和自由度自由度 F值值临界值临界值显著显著性性回归回归剩余剩余37.0351.49418198.313F0.01(1,8)=11.26 *总计总计38.529 9因为因为FF0.01(1,8)，所以儿子的身高，所以儿子的身高Y与父亲的身高与父亲的身高X之间的线性相关关系特别显著。之间的线性相关关系特别显著。上一页上一页下一页下一页返回返回2. 相关系数检验法（相关系数检验法（r检验法）检验法）考察相关系数考察相关系数r的大小的大小:若相关系数若相关系数r的绝对值很小的绝

22、对值很小,则表明则表明y与与x之间的线性之间的线性相关关系不显著相关关系不显著,或者根据不存在线性相关关系或者根据不存在线性相关关系若相关系数若相关系数r的绝对值较大的绝对值较大(接近于接近于1)时时,才表明才表明y与与x之间的线性相关关系显著之间的线性相关关系显著yyxxxySSSr 上一页上一页下一页下一页返回返回)2, 1(1)2( 220 nFrrnFH 成成立立时时检检验验统统计计量量当当假假设设xxxyyyxxxySSbrrSSSQQ ),1(22总总回回yyxxxxSSSbr 则则)2, 1( 0 nFFH 的的拒拒绝绝域域为为故故假假设设上一页上一页下一页下一页返回返回r检验法

23、的步骤和法则为检验法的步骤和法则为:由试验数据计算出相关系数由试验数据计算出相关系数r的值并与临界值比较的值并与临界值比较.;,),2()1(05. 0系系或者不存在线性相关关或者不存在线性相关关不显著不显著之间的线性相关关系之间的线性相关关系与与则认为则认为若若xynrr ;),2()2()2(01. 005. 0线性相关关系显著线性相关关系显著之间的之间的与与则认为则认为若若xynrrnr .),2()3(01. 0特别显著特别显著之间的线性相关关系之间的线性相关关系与与则认为则认为若若xynrr 上一页上一页下一页下一页返回返回3、 相关系数法（相关系数法（t 检验法）检验法）)2( ,

24、0 ntSbtHxx 检检验验统统计计量量为为真真时时当当假假设设)2( ,20 nttH 的的拒拒绝绝域域为为给给定定显显著著性性水水平平上一页上一页下一页下一页返回返回1、预测、预测第四节第四节 预测与控制预测与控制 x与与y之间的关系不是确定的，所以对于任意之间的关系不是确定的，所以对于任意给定给定x0, 不可能精确地知道相应值不可能精确地知道相应值y0。将。将x=x0 代入代入线性回归方程只能得到线性回归方程只能得到y0的估计值（回归值）的估计值（回归值）00 xbay 对对y0进行区间估计，即给定的置信度进行区间估计，即给定的置信度1- ，求出，求出y0的置信区间（称为预测区间）的置

25、信区间（称为预测区间）,这就是所谓的预测这就是所谓的预测问题。问题。上一页上一页下一页下一页返回返回 xxxxSxxnntxyxySxxnntxyxy20222021)(11)2()( )()(11)2()( )(, 作作出出曲曲线线给给定定样样本本观观察察值值y0的置信水平为的置信水平为1- 的预测区间为的预测区间为 xxSxxnnty2020)(11)2( .,精精度度逐逐渐渐下下降降置置信信区区域域逐逐渐渐加加宽宽时时远远离离预预测测就就越越精精确确越越靠靠近近的的的的带带形形域域归归直直线线这这两两条条曲曲线线形形成成包包含含回回xxxbay 上一页上一页下一页下一页返回返回可得到较短

26、的预测区间可得到较短的预测区间附近的附近的在在很大很大若样本容量若样本容量xxn,y0的置信水平为的置信水平为1- 的预测区间近似为的预测区间近似为 2020, yy1)(1120 xxSxxn22)2( nt上一页上一页下一页下一页返回返回例如，置信度为例如，置信度为95%预测区间是预测区间是 96. 1,96. 100 yy置信度为置信度为99%预测区间是预测区间是 SySy58. 2,58. 200 若在回归直线若在回归直线xbayL: 的上下两侧分别作与回归直线平行的直线的上下两侧分别作与回归直线平行的直线 96. 1:1 xbayL及及 96. 1:2 xbayL则可以预料，在所有可

27、能出现则可以预料，在所有可能出现的试验点（的试验点（xi,yi）(i=1,2,n)中，中，大约有大约有95的点在这两条直线的点在这两条直线之间的带型区域内。之间的带型区域内。 yOx2LL1L上一页上一页下一页下一页返回返回例例1: 在上例中，若父亲身高为在上例中，若父亲身高为70英寸，求其儿子的英寸，求其儿子的身高的置信度为身高的置信度为95%的预测区间。的预测区间。977.354646. 0 xy当当x070时，有时，有 499.68977.35704646. 00 y已经计算得已经计算得Q剩剩1.494，432. 08494. 12 nQQ剩剩解解 ：已经求得线性回归方程为：已经求得线性

28、回归方程为所求得置信度为所求得置信度为95的预测区间是的预测区间是 （68.4991.960.432，68.4991.960.432）即（即（67.656，69.346）英寸）英寸上一页上一页下一页下一页返回返回2、控制、控制.,21控控制制在在什什么么范范围围应应考考虑虑把把自自变变量量内内取取值值在在一一定定范范围围内内即即要要求求观观察察值值控控制制是是预预测测的的反反问问题题xyyyy .1),(,1212121 的的概概率率不不小小于于之之内内所所对对应应的的观观察察值值落落在在时时使使，求求出出相相应应的的对对于于给给定定的的置置信信度度yyxxxxxx 2221 yyyyn很很大

29、大时时，解解方方程程上一页上一页下一页下一页返回返回 bayxbayxx222211 的的上上、下下限限方方程程的的解解作作为为控控制制),(,0),(,01221xxbxxb 控控制制区区间间为为时时当当控控制制区区间间为为时时当当 2212),(,的的长长度度不不小小于于必必须须使使区区间间为为实实现现控控制制yy 上一页上一页下一页下一页返回返回第五节第五节 非线性回归的线性化处理非线性回归的线性化处理对于复杂的非线性回归问题对于复杂的非线性回归问题,一般采用变量代换法将一般采用变量代换法将非线性模型线性化非线性模型线性化,在按照线性回归方法进行处理在按照线性回归方法进行处理.), 0(

30、sin)1(2 Ntbay .,sin即即可可化化为为线线性性问问题题令令tx ), 0()2(22 Nctbtay .,21221即即可可化化为为多多元元线线性性回回归归则则令令 cxbxaytxtx上一页上一页下一页下一页返回返回), 0(1)3(2 Nxbay .,1,1即即可可化化为为线线性性问问题题令令xxyy ), 0(ln)4(2 Nxbay .,ln即即可可化化为为线线性性回回归归问问题题则则令令 xbayxx上一页上一页下一页下一页返回返回例例1: 在彩色显象中在彩色显象中,根据以往的经验知道根据以往的经验知道,形成染料光学形成染料光学密度密度y与析出银的光学密度与析出银的光

31、学密度x之间有下面类型的关系式之间有下面类型的关系式:)0( bAeyxb现对现对y 及及x同时作同时作11次观察，测得试验数据如下次观察，测得试验数据如下 xiyixiyixiyi0.050.100.140.590.381.190.060.140.200.790.431.250.070.230.251.000.471.290.100.370.311.12求求y关于关于x的回归方程的回归方程.上一页上一页下一页下一页返回返回解：解： 这是非线性回归问题。由已知的经验公式这是非线性回归问题。由已知的经验公式 xbAey 两边取对数，得两边取对数，得 xbAy lnln作变量替换作变量替换 yvx

32、uln,1 并设并设a=lnA, 则有则有（ui,vi）(i=1,2,11)的数据如下表的数据如下表 buav 上一页上一页下一页下一页返回返回由此计算由此计算343.59)612. 0(946. 711385.112;690. 8,612. 0;614.406,946. 7_ uvvvuuSSvSu计算样本相关系数计算样本相关系数 998. 069. 8614.406343.59 r查附录表查附录表10得，当得，当n-2=11-2=9时，时，735. 0)9(,602. 0)9(01. 005. 0 rr显显著著之之间间线线性性相相关关关关系系特特别别与与所所以以因因为为uvrr),9(01. 0 上一页上一页下一页下一页返回返回548. 0946. 7)146. 0(612. 0146. 0614.406343.59, abba得得的估计值的估计值及及求求xxeey146. 0146. 072. 1,548. 0 为为所求经验曲线回归方程所求经验曲线回归方程于是于是xyuvuv146. 0548. 0ln,146. 0548. 0, 得得再换回变量再换回变量的经验线性回归方程是的经验线性回归方程是关于关于于是于是上一页上一页下一页下一页返回返回 1 . 0 yOx2 . 03 . 04 . 05 . 04 . 08 . 02 . 1上一页上一页下一页下一页返回返回