回归分析jiaoan_ch2b 2电子版本.doc

Good is good, but better carries it.精益求精，善益求善。回归分析jiaoan_ch2b 2-第二章回归分析（补充教材）回归分析是研究变量之间相关关系的一种统计推断法。例如，人的血压y与年龄x有关，这里x是一个普通变量，y是随机变量。Y与x之间的相依关系f(x)受随机误差的干扰使之不能完全确定，故可设有：式中f(x)称作回归函数，为随机误差或随机干扰，它是一个分布与x无关的随机变量，我们常假定它是均值为0的正态变量。为估计未知的回归函数f(x)，我们通过n次独立观测，得x与y的n对实测数据(xi,yi)i=1,n，对f(x)作估计。实际中常遇到的是多个自变量的情形。例如在考察某化学反应时，发现反应速度y与催化剂用量x1,反应温度x2,所加压力x3等等多种因素有关。这里x1,x2,都是可控制的普通变量，y是随机变量，y与诸xi间的依存关系受随机干扰和随机误差的影响，使之不能完全确定，故可假设有：这里是不可观察的随机误差，它是分布与x1,xk无关的随机变量，一般设其均值为0，这里的多元函数f(x1,xk)称为回归函数，为了估计未知的回归函数，同样可作n次独立观察，基于观测值去估计f(x1,xk)。以下的讨论中我们总称自变量x1,x2,xk为控制变量，y为响应变量，不难想象，如对回归函数f(x1,xk)的形式不作任何假设，问题过于一般，将难以处理，所以本章将主要讨论y和控制变量x1,x2,xk呈现线性相关关系的情形，即假定f(x1,xk)=b0+b1x1+bkxk。并称由它确定的模型(k=1)及为线性回归模型，对于线性回归模型，估计回归函数f(x1,xk)就转化为估计系数b0、bi(i=1,k)。当线性回归模型只有一个控制变量时，称为一元线性回归模型，有多个控制变量时称为多元线性回归模型，本着由浅入深原则，我们重点讨论一元的，在此基础上简单介绍多元的。§2.1一元线性回归一、一元线性回归的数学模型(参见教材P23-P24三)前面我们曾提到，在一元线性回归中，有两个变量，其中x是可观测、可控制的普通变量，常称它为自变量或控制变量，y为随机变量，常称其为因变量或响应变量。通过散点图或计算相关系数判定y与x之间存在着显著的线性相关关系，即y与x之间存在如下关系：y=a+bx+(2.1-6)通常认为N(0,2)且假设2与x无关。将观测数据(xi,yi)(i=1，n)代入(2.1-6)再注意样本为简单随机样本得：(2.1-7)称(2.1-6)或(2.1-7)(又称为数据结构式)所确定的模型为一元(正态)线性回归模型。对其进行统计分析称为一元线性回归分析。不难理解模型(2.1-6)中EY=a+bx，若记y=E(Y),则y=a+bx,就是所谓的一元线性回归方程，其图象就是回归直线，b为回归系数，a称为回归常数，有时也通称a、b为回归系数。我们对一元线性回归模型主要讨论如下的三项问题：(1)对参数a，b和2进行点估计，估计量称为样本回归系数或经验回归系数，而称为经验回归直线方程，其图形相应地称为经验回归直线。(2)在模型(2.1-6)下检验y与x之间是否线性相关。(3)利用求得的经验回归直线，通过x对y进行预测或控制。二、a、b的最小二乘估计、经验公式(参见教材P20-P23)现讨论如何根据观测值(xi,yi)，i=1,2,n估计模型(2.1-6)中回归函数f(x)=a+bx中的回归系数。采用最小二乘法，记平方和找使Q(a.b)达到最小的a、b作为其估计，即a.b为此，令化简得如教材P21(2.1-4)所示的方程组(称为模型的正规方程)解得（2.1-5）(2.1-5)所示的分别称为a、b的最小二乘估计，式中称为经验回归(直线方程)，或经验公式。例1某种合成纤维的强度与其拉伸倍数有关。下表是24个纤维样品的强度与相应的拉伸倍数的实测记录。试求这两个变量间的经验公式。编号123456789101112拉伸倍数x1.92.02.12.52.72.73.53.54.04.04.54.6强度y(Mpa)1.41.31.82.52.82.53.02.74.03.54.23.5编号131415161718192021222324拉伸倍数x5.05.26.06.36.57.18.08.08.99.09.510.0强度y(Mpa)5.55.05.56.46.05.36.57.08.58.08.18.1将观察值(xi，yi)，i=1,24在平面直角坐标系下用点标出，所得的图称为散点图。(参见教材P21图2-1)，从本例的散点图看出，强度y与拉伸倍数x之间大致呈现线性相关关系，一元线性回归模型是适用y与x的。现用公式(2.1-5)求，这里n=24由此得强度y与拉伸倍数x之间的经验公式为三、最小二乘估计的基本性质定理2.1-1一元线性回归模型(2.1-7)中，a、b的最小二乘估计满足：(1)(2)(3)证：(1)注意到对任意i=1,2,n有(2)利用，将表示为：由于y1,y2,yn相互独立，有定理2.1-1表明，a、b的最小二乘估计是无偏的，从，还知道它们又是线性的，因此(2.1-5)所示的最小二乘估计分别是a、b的线性无偏估计。§2.2建立回归方程后进一步的统计分析一、2的无偏估计由于2是误差i(i=1,n)的方差，如果i能观测，自然想到用来估计,然而i是观测不到的，能观测的是yi.。由(即Eyi的估计)，就应用残差来估计，因此，想到用来估计2，我们希望得到无偏估计，为此需求残差平方和的数学期望，由定理2.1-1可推出(学员自验)于是得为2的无偏估计，例如§2.1例1中即有Th2.2-1。令,则。我们称为标准误差，它反映回归直线拟合的程度。具体计算时可用。二、预测与控制1、预测问题对于一元线性回归模型（2.1-6）我们根据观测数据(xi,yi),i=1,n，得到经验回归方程,当控制变量x取值x0（x0xi,i=1,n）,如何估计或预测相应的y0呢？这就是所谓的预测问题，自然我们想到用经验公式，取来估计实际的，并称为点估计或点预测。在实际应用中，若响应变量y比较难观测，而控制变量x却比较容易观察或测量，那么根据观测资料得到经验公式后，只要观测x就能求得y的估计和预测值，这是回归分析最重要的应用之一，例如在§2.1例1中，拉伸倍数x0=7.5，则可预测强度但是，上面这样的估计用来预测y究竟好不好呢？它的精度如何？我们希望知道误差，于是就有考虑给出一个类似于置信区间的预测区间的想法。定理2.2-2对于一元(正态)线性模型（2.1-7）有（1）服从二元正态分布。(2)(3)是相互独立的随机变量。证明：又，我们知道y0是r.v,且与y1,y2,yn相互独立，由Th2.2-2及Th2.1-1知，且由于y0与相互独立(只与y1,yn有关)，且y0N(a+bx0,2)由定理2.2-2知，与独立，故T=（2.2-3）对于给定的置信水平1-,查自由度为n-2的T分布表可得满足的临界值ta根据不等式的恒等变形可得的置信度为1-的置信区间为：这就是的置信度为1-的预测区间，它是以为中心，长度为的区间，(记)，区间的中点随x0而线性变化，它的长度在处最短，x0越远离，预测区间的长度就越长。预则区间的上限与下限落在关于经验回归直线对称的两条曲线上，并是喇叭形。(见教材P26图2-2)。当n较大，Lxx充分大时，可得y0的近似预测区间：（2.2-5）上式说明预测区间的长度，即预测的精度主要由确定，因此在预测中，是一个基本而重要的量。2、控制问题在实际应用中往往还需要考虑预测的反问题，即要以不小于1-的概率将y0控制在(y1,y2)内，也就是使相应的x0应控制在什么范围内。这类问题称为控制问题。根据前一段的讨论，若x0满足（2.2-6）则可有因此控制问题一般是找满足(2.2-6)的x0的范围。但求解很麻烦。一种近似的处理法是：由将a，b，2分别用其无偏估计代,有从而根据查N(0.1)分布表确定，于是y0的置信度1-的预测区间可近似认为是要解决前述问题可以从满足：的x0去寻找x0的控制范围。显然，当时，问题无解，否则方程组有解由此得x0的控制范围是(min(),max()三、线性相关的检验前面的讨论都是在假定y与x呈现线性相关关系的前提下进行的，若这个假定不成立，则我们建立的经验回归直线方程也失去意义，为此必须对y与x之间的线性相关关系作检验，为解决这个问题，先作手：1、偏差平方和分解记，称它为总偏差平方和，它反映数据yi的总波动，易得L有如下分解式：其中就是前面提到的残差平方和,称为回归平方和，上式右边的交叉项：由上可知，U越大，Qe就越小，x与y间线性关系就越显著；反之，x与y之间的线性关系越不显著。于是，自然地考虑到检验回归方程是否有显著意义是考察U/Q的大小，其比值大，则L中U占的比重大，回归方程有显著意义，反之，无显著意义。2、线性相关的F检验根据上段的思想来构造检验统计量，先看下面的定理。定理2.2-3，当H0:b=0成立时U/2(1),且Q与U相互独立。证：当H0成立时，由Th2.1-1及Th2.2-2知，于是由Th2.2-2，我们还知，且Q与相互独立，从而Q与U=独立，由上面的定理及F分布的构造性定理知：（2.2-7）因此可选它作检验H0:b=0的检验统计量，当H0为真时F的值不应太大，故对选定的水平0，由P()=查F(1,n-2)分布表确定临界值F1-分位数，当观测数据代入(2.2-7)式算出的F值合FF1-时，不能接受H0，认为建立的回归方程有显著意义。例1(§2.1例1续)检验H0：经验公式无显著意义(=0.05)选用由查表得F=4.30现计算F值由L=Lyy=117.95Q=L-U=5.6得因FF，所以拒绝H0，认为所得的经验回归方程有显著意义。四、相关与回归的区别与联系1、联系由前面的讨论，有：得回归平方和U=r2L残差平方和可见r2反映了回归平方和在总偏差平方和中占的比重，该比重越大，误差平方和在总偏差平方和中占的份量就越小。通常称r2为拟合优度系数。r就是变量x与y的积差相关系数，另方面由看出，在检验y与x是否显著线性相关时，F检验法与相关系数T检验法等效。2、区别相关关系不表明因果关系，是双向对称的，在相关分析中，对所讨论的两个变量或多个变量是平等对待的，相关系数r反映数据(xi,yi)所描述的散点对直线的靠拢程度。回归分析中，变量在研究中地位不同，要求因变量(响应变量)y是随机变量，自变量一般是可控制的普通变量(当然也可以是随机的)。在回归方程中，回归系数只反映回归直线的陡度，且它不是双向对称的。§2.3一元非线性回归前面讨论的线性回归问题，是在回归模型为线性这一基本假定下给出的，然而在实用中还经常碰到非线性回归的情形，这里我们只讨论可以化为线性回归的非线性回归问题，仅通过对某些常见的可化为线性回归问题的讨论来阐明解决这类问题的基本思想和方法。一、曲线改直例1炼纲过程中用来盛钢水的钢包，由于受钢水的浸蚀作用，容积会不断扩大。下表给出了使用次数和容积增大量的15对试验数据：使用次数(xi)增大容积(yi)使用次数(xi)增大容积(yi)23456786.428.209.589.509.7010.009.939101112131415169.9910.4910.5910.6010.8010.6010.9010.76试求Y关于x的经验公式。解：首先要知道Y关于x的回归函数是什么类型，我们先作散点图。(见教材P30图2-3)从图上看，开始浸蚀速度较快，然后逐渐减缓，变化趋势呈双曲线状。因此可选取双曲线：(设y与x之间具有如下双曲线关系)(2.3-1)作为回归函数的类型，即假设y与x满足：(2.3-2)令，则(2.3-2)变成.这是一种非线性回归,先由x、y的数据取倒数，可得，的数据(0.5000,0.1558),(0.0625,0.0929)，对得到的15对新数据，用最小二乘法可得：线性回归方程后，代回原变量得为y关于x的经验公式(回归方程)在例1中，假设了y与x之间满足双曲线回归模型，显然这是一种主观判断，因此所求得的回归曲线不一定是最佳的拟合曲线。在实用中，往往是选用不同的几种曲线进行拟合，然后分别计算相应的残差平方和(标准误差)进行比较Qe(或)最小者为最优拟合。二、常见可改直的曲线下面简介一些可通过变量替换化为线性回归的曲线回归模型。1、双曲线(图见教材P31,下同)作变换则回归函数化为：y=a+bx2、幂函数y=axb(或y=ax-b)(b0)对幂函数两边取对数,作变换则有3、指数函数y=aebx或y=ae-bx(b0)两边取对数令4、倒指数函数或(b0，a0)两边取对数后作变换y,则有5、对数函数，y=a+bx作变换x,则有y=a+b.另外还有一些可化为线性回归的曲线回归，将在用“spss”作实习操作时一并介绍。例1(续)由例1的散点图看出，除双曲线拟合外，本例还可选择倒指数拟合：y=aeb/x两边取对数得：令，变为如下的回归问题：利用最小二乘法求得：=-1.1107,=2.4578因此回归直线为：代回原变量得：经计算双曲线拟合时Q=1.4396=0.3328，倒指数拟合时=0.2168，故倒指数拟合效果更好些。§2.4多元线性回归实际应用中，很多情况要用到多元回归的方法才能更好地描述变量间的关系，因此有必要在本节对多元线性回归做一简单介绍，就方法的实质来说，处理多元的方法与处理一元的方法基本相同，只是多元线性回归的方法复杂些，计算量也大得多，一般都用计算机进行处理。一、数学模型和回归方程的求法。1、多元线性回归的模型。设因变量y与自变量x1,x2,xk之间有关系式：（2.4-1）抽样得n组观测数据：(y1；x11,x21,xk1)(y2；x12,x22,xk2)(yn；x1n,x2n,xkn)其中xij是自变量xi的第j个观测值，yj是因变量y的第j个值，代入(2.4-1)得模型的数据结构式：（2.4-2）我们称(2.4-1)或(2.4-2)为k元正态线性回归模型，其中b0,b1,bk及2都是未知待估的参数，对k元线性模型，需讨论的问题与一元时相同。需要说明的几点见教材P332、未知参数的估计与一元时一样，采用最小二乘法估计回归系数b0,b1,bk.称使达到最小的为参数（b0,b1,bk）的最小二乘估计，利用微积分知识，最小二乘估计就是如下方程组的解：(2.4-3)其中通常称方程组(2.4-3)为正规方程组，其中前k个方程的系数矩阵记为当L*可逆时，正规方程组(2.4-3)有解，便可得b0,b1,bk的最小二乘估计即代入模型(2.4-1)，略去随机项得经验回归方程为：(2.4-4)类似一元可以证明都是相应的bi(i=0，1，k)的无偏估计，且2的无偏估计为：·例1(见教材P34-P36)二、回归方程的显著性检验与一元的情形一样，上面的讨论是在y与x1，xk之间呈现线性相关的前提下进行的，所求的经验方程是否有显著意义，还需对y与诸xi间是否存在线性相关关系作显著性假设检验，与一元类似，对是否有显著意义，可通过检验H0:b1=b2=bk=0为了找检验H0的检验统计量，也需将总偏差平方和Lyy作分解：（2.4-5）即L=U+Qe其中L=Lyy，这里.分别称Qe，U为残差平方和、回归平方和，可以证明：利用柯赫伦定理可以证明：在H0成立下，且U与Qe相互独立，所以有（2.4-6）(这里记Qe为Q,下同)取F作H0的检验计量，对给定的水平，查F(k,n-k-1)分布表可得满足的临介值，由样本观测值代入(2.4-6)算出统计量F的观测值，若F,则不能接受H0，认为所建的回归方程有显著意义。例2(本节例1续)见教材P36-P37通过F检验得到回归方程有显著意义，只能说明y与x1，x2，xk之间存在显著的线性相关关系，衡量经验回归方程与观测值之间拟合好坏的常用统计量有复相关系数R及拟合优度系数R2。仿一元线性回归的情况，定义：（2.4-7）(2.4-8)可以证明R就是观测值y1,yn与回归值的的相关系数。实用中，为消除自由度的影响，又定义：(2.4-9)为修正的似合优度系数。三、偏回归平方和与因素主次的判别本段内容是多元回归与一元回归有本质差异的部分。前一节所作的检验H0：b1=b2=bk=0被拒绝，并不能说明所有的自变量都对因变量y有显著影响，我们希望从回归方程中剔除那些可有可无的自变量，重新建立更为简单的线性回归方程，这就需要对每个自变量xj做显著性检验。于是考虑H0j:bj=0的检验方法。从原有的k个自变量中剔除xj，余下的k-1个自变量对y的线性影响也可由相应的偏差平方和分解式中的回归平方和U(j)反映出来，即记则U(j)反映了变量xj在回归方程中对y的线性影响，常称它为xj的偏回归平方和，可以证明(2.4-14)其中Cjj是矩阵L*=(Lij)p×p的逆矩阵对角线上的第j个元素，对于H0j：bj=0选用统计量（2.4-13）对给定的水平，由,查F(1,n-k-1)分布表确定临介值，将观测值代入(2.4-13)算出的Fj值与比较，若Fj则拒绝H0，认为xj对y的线性影响显著，否则不显著，应剔除。例3(例1再续)教材P38，但在实用中，多元回归中剔除变量的问题比上例我们做的讨论要复杂得多，因为有些变量单个讨论时，对因变量的作用很小，但它与某些自变量联合起来，共同对因变量的作用却很大，因此在剔除变量时，还应考虑变量交互作用对y的影响，对这一问题的深入讨论太花时间，有兴趣的同志可参见有关“多元统计分析”教材。此外，关于多元性回归的预测和控制问题，类似一元不再赘述。§2.5多项式回归在一元回归问题中，如果因变量y与x的回归函数可以假定为k次多项式：(2.5-1)则令x1=x，x2=x2，xk=xk,(2.5-1)可变为如下k元线性回归来处理（2.5-2）举一例说明：例(见教材P39)-