应用回归分析_总复习.pdf

《应用回归分析_总复习.pdf》由会员分享，可在线阅读，更多相关《应用回归分析_总复习.pdf（74页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、一元线性回归线性回归多元线性回归讨论如何从数据推断回归模型基本假设的合理性回归诊断当基本假设不成立时如何对数据进行修正自变量选择的准则回归变量的选择回归分析逐步回归分析方法岭回归参数估计方法的改进主成分回归非线性回归 可化为线性回归的曲线回归自变量含定性变量的情况含有定性变量的回归因变量是定性变量的情况一元线性回归1 一元线性回归模型2 参数0、1的估计3 最小二乘估计的性质4 回归方程的显著性检验5 残差分析6 回归系数的区间估计7 预测1 一元线性回归模型一元线性回归模型y=0+1x+2)var(0)(E回归方程E（y|x）=0+1x01 yx经验回归方程2 参数0、1的估计一、普通最小二

2、乘估计(Ordinary Least Square Estimation,简记为OLSE)niiiniiixyxyQ1210,121010)(min )(),(10最小二乘法就是寻找参数0、1的估计值使离差平方和达极小2 参数0、1的估计得OLSE 为niniiixxxnxxxL11222)()(niiiniiixyyxnyxyyxxL11)(xxxyLLxy/110记2 参数0、1的估计二、最大似然估计二、最大似然估计在假设iN(0,2)时,知yi服从正态分布:),(210iixNyxxxyLLxy/110220111()niiiyxn3 最小二乘估计的性质一、线性一、线性是y1,y2,yn

3、的线性函数：niiniiiniiniiiyxxxxxxyxx1121211)()()(10、其中用到3 最小二乘估计的性质二、无偏性二、无偏性1110121121)()()()()(niinjjiniinjjixxxxxyExxxxE 0)(xxi)()(2xxxxxiii3 最小二乘估计的性质三、三、的方差的方差njjniinjjixxyxxxx12212121)()var()()var(10、2220)()(1)var(xxxni210),cov(xxLx3 最小二乘估计的性质三、三、的方差的方差10、)(1(,(2200 xxLxnN),(211xxLN在正态假设下,n),(i,j j

4、,ij,i),(,n,i)E(jii210cov2102GaussMarkov条件4 回归方程的显著性检验一、一、t 检验检验原假设：H0：1=0对立假设：H1：10),(211xxLN由当原假设H0：1=0成立时有：),0(21xxLN4 回归方程的显著性检验一、一、t 检验检验构造t 统计量121LxxLtxxniiiniiyynen121222121其中4 回归方程的显著性检验二、二、F检验检验平方和分解式niiiniiniiyyyyyy121212)()()(SST=SSR+SSE构造F检验统计量)2/(1/nSSESSRF4 回归方程的显著性检验三、相关系数的显著性检验三、相关系数的

5、显著性检验 )()()(12121niiniiniiiyyxxyyxxryyyyxxxyLLLLLxx14 回归方程的显著性检验五、三种检验的关系五、三种检验的关系212rrnt121LxxLtxx)2/(1/nSSESSRFH0:=0H0:r=0H0:回归无效4 回归方程的显著性检验六、样本决定系数六、样本决定系数niiniiyyyySSTSSRr12122)()(222)(rLLLSSTSSRryyxxxy可以证明6 回归系数的区间估计回归系数的区间估计等价于),(211xxLN)2()(/11211ntLLtxxxx1)2()(2/11ntLPxx1)(2/112/1xxxxLtLtP)

6、,(2/12/1xxxxLtLt1的的1-置信区间置信区间因变量新值的区间预测因变量新值的区间预测1)2(12/0000nthyyPy0的置信概率为1-的置信区间为1)2(002/0hntyy0的置信度为95%的置信区间近似为20y因变量平均值的区间估计因变量平均值的区间估计得E(y0)的1-的置信区间为E(y0)=0+1x0是常数)(1(,0()(22000 xxLxxnNyEy)2(002/0hnty多元线性回归多元线性回归1 多元线性回归模型2 回归参数的估计3 参数估计量的性质4 回归方程的显著性检验5 中心化和标准化6 相关阵与偏相关系数1 多元线性回归模型一、多元线性回归模型的一般

7、形式一、多元线性回归模型的一般形式y=0+1x1+2x2+pxp+2)var(0)(E1 多元线性回归模型一、多元线性回归模型的一般形式一、多元线性回归模型的一般形式写成矩阵形式为:y y=XX+,其中,nyyy21y)1(11 1pnnpn2n12p22211p1211 x x x x x x x x xXp10 0n211 多元线性回归模型二、多元线性回归模型的基本假定二、多元线性回归模型的基本假定在正态假定下:yN(X,2In)E(y y)=XXvar(y)=2In2 回归参数的估计回归参数的估计一、回归参数的普通最小二乘估计一、回归参数的普通最小二乘估计最小二乘估计要寻找使得，,210

8、pniippiiiniippiiipxxxyxxxyQp1222110,1222110210)(min )(),(210y yX XX XX X-1)(2 回归参数的估计回归参数的估计二、回归值与残差二、回归值与残差cov(e,e)=cov(cov(e,e)=cov(（I I-H H）Y,Y,（I I-H H）Y)Y)=（I I-H H）cov(Y,Y)cov(Y,Y)（I I-H H）=2 2（I I-H H）I In n（I I-H H）=2 2（I I-H H）得 D(ei)=(1-hii)2，i=1,2,nH)yH)y-(I(IHyHyy yy yy ye e2 回归参数的估计回归参数

9、的估计二、回归值与残差二、回归值与残差niiepnpnSSEpn12211(1111)e ee e是2的无偏估计2112)1()()(pneDeEniinii得2 回归参数的估计回归参数的估计三三、回归参数的最大似然估计、回归参数的最大似然估计y yN(X,X,2I In)y yX XX XX X-1)(3 参数估计量的性质参数估计量的性质性质性质1是随机向量y的一个线性变换。y yX XX XX X-1)(性质性质2是是的无偏估计。的无偏估计。XXX XX XX XXXX XX XX Xy yX XX XX Xy yX XX XX X)1-1-1-1)()E()()E()()(E(E3 参数

10、估计量的性质参数估计量的性质性质性质3 D（)=2(XX)-1 y yX XX XX Xy yX XX XX XE EE E1 11 1E)(E()(E(),cov()(D)11-X XX XX X-X XX XX XXXX XX XX XXXX XX XX X1 11 1()(EE1 11 11 11 11 11 11 1X XX XX XX XX XI IX XX XX XX XX X)X)XX XX XX XX XX XX XX XX XX X2n2)E(E(E3 参数估计量的性质参数估计量的性质性质性质4 Gauss-Markov定理预测函数020210100ppxxxy是的线性函数G

11、auss-Markov定理定理在假定E(y)=X,D(y)=2In时,的任一线性函数的最小方差线性无偏估计(Best Lnear Unbiased Estimator简记为BLUE)为c,其中c是任一p+1维向量,是的最小二乘估计。C4 回归方程的显著性检验回归方程的显著性检验一、一、F检验检验H0:1=2=p=0niiiniiniiyyyyyy121212)()()(SST=SSR+SSE)1/(/pnSSEpSSRF当H0成立时服从)1,(pnpF4 回归方程的显著性检验回归方程的显著性检验二、回归系数的显著性检验二、回归系数的显著性检验H0j:j=0,j=1,2,p（,（X）-1）记(X

12、)-1=（cij)i,j=0,1,2,p构造t统计量jjjjct 其中niiiniiyypnepn121211114 回归方程的显著性检验回归方程的显著性检验四四、复相关系数、复相关系数SSTSSESSTSSRR12决定系数为：y关于x1,x2,xp的样本复相关系数SSTSSRRR2)1(11122RpnnRa2/(1)1/(1)aSSEnpRSSTn Adjusted R-square5 中心化和标准化中心化和标准化一、中心化一、中心化经验回归方程ppxxxy22110经过样本中心);,(21yxxxp将坐标原点移至样本中心，即做坐标变换：,jijijxxx yyyii回归方程转变为：ppx

13、xxy2211ppxxxy22110回归常数项为5 中心化和标准化中心化和标准化二、标准化回归系数二、标准化回归系数样本数据的标准化公式为：,*jjjijijLxxx*yyiiLyyy得标准化的回归方程*2*2*1*1*ppxxxyp,1,j ,*jyyjjjLL违背基本假设的情况违背基本假设的情况),2,1,()(,2,1,)(ni,j j0 ,ij,i,cov n0,iE2jiiGauss-Markov条件违背基本假设的情况违背基本假设的情况2016/12/4JSNU Zhou Qin37 The error ,i =1,2,n,has a normal distribution.The

14、errors,i =1,2,n,have mean zero.The errors,i =1,2,n,have the same variance 2Hetero geneity(方差齐性)or the heteroscedasticity(异方差)problem.(Chapter 7).The errors,i =1,2,n,are independent of each other.Independent-errors assumption.The auto correlation problem is considered in Chapter 8.212,i.i.d(0,)nN5 残差

15、分析残差分析iiiiixyyye10残差误差项iiixy10残差ei是误差项i的估计值。011221122The hat or projection matrixThe l the residual of(1,2,)=.,1,2,()-ev erage value(-)-iiipipiiiiinnijn niiyxxxeyyy inyp yp yp y inpp-1yX=X(XX)XyPyP 杠杆值iiiiii-is the ith diagonal element of are elements of iiijppPP2016/12/4JSNU Zhou Qin4022var()var()v

16、ar(var()(1)iiiepy-y(I-P)Y)=(I-P)var(y)(I-P)=(I-P)eStandardized residual1iiiiezp is unknown2016/12/4JSNU Zhou Qin41Both of them are the UEs of 2.n2i2i=1(i)(i)2(i)eSSE=n-p-1n-p-1n-p-1SSESSE=(n-1)-p-1n-p-2e e()is the sum of squared residuals when we fit the model to the n-1 observations obtained by omi

17、tting the ith observation.2016/12/4JSNU Zhou Qin42*221iiinprrnpr Internally studentized residual (内学生残差)Externally studentized residual(外学生残差)*()(2)1iiiiiert npp1iiiierpThe standardized residuals do not sum to zero,but they all have the same variance.4.8 Leverage,Influence,and Outliers杠杆杠杆点，强影响点，点，强

18、影响点，异常值异常值分别如何判定？分别如何判定？判定强影响点的三种度量是？判定强影响点的三种度量是？2016/12/4JSNU Zhou Qin444.9.1 Cooks Distance2()122(),1,2,(1),1,2,1 1njj ijiiiiiiiyyCinprpCinpp1iiiippPotential function位势函数Influential points1iC 2016/12/4JSNU Zhou Qin454.9.2 Welsch and Kuh Measure（DFITS）()()*,1,2,1,2,1121jj iiiiiiiiiiiiyyDFITSinppDF

19、ITSrinppDFITSnpInfluential points2016/12/4JSNU Zhou Qin464.9.3 Hadis Influence Measure221,1,2,111iiiiiiiiiiipdpHinppdedSSENormalized residual正规化残差2 一元加权最小二乘估计一元加权最小二乘估计二、一元加权最小二乘估计二、一元加权最小二乘估计 )()(),(11210210niniiiiixyyyQ一元线性回归普通最小二乘法的残差平方和为：一元线性回归的加权最小二乘的离差平方和为：niiiiniiiiwxywyywQ12101210)()(),(2 一元

20、加权最小二乘估计一元加权最小二乘估计加权最小二乘估计为：211110)()(niwiiwiniwiiwwwwwxxwyyxxwxy其中，iiiwxwwx1iiiwywwy1是自变量的加权平均；是因变量的加权平均。3 多元加权最小二乘多元加权最小二乘当误差项i存在异方差时，加权离差平方和为niippiiiiwxxxywQ1222110)(nwww 21W W记WyWyX XWXWXX X-1w)(加权最小二乘估计WLS的矩阵表达4 自相关性问题及其处理自相关性问题及其处理如果一个回归模型的随机误差项cov(i ,j)0则称随机误差项之间存在着自相关现象。这里的自相关现象不是指两个或两个以上的变量

21、之间的相关,而指的是一个变量前后期数值之间存在的相关关系。4 自相关性问题及其处理自相关性问题及其处理1,1tttrr自相关系数法误差序列1,2,n的自相关系数定义为nttnttnttt2212221r自相关系数的估计值为nttnttnttteeee2212221r4 自相关性问题及其处理自相关性问题及其处理（三）D.W检验随机扰动项的一阶自回归形式为:t=t-1+ut其中ut是不相关序列。为了检验序列的相关性,构造的假设是H0:=04 自相关性问题及其处理自相关性问题及其处理（三）D.W检验ntitntteeeWD22212)(.定义D.W统计量为:ntttnttnttntteeeeeWD2

22、212221222.ntitntteee2212124 自相关性问题及其处理自相关性问题及其处理（三）D.W检验nttnttteee2221nttnttnttteeee2212221r)1(2.rWD得D.W的取值范围为:0D.W44 自相关性问题及其处理自相关性问题及其处理四四、自相关问题的处理方法自相关问题的处理方法（一）迭代法以一元线性回归模型为例,设一元线性回归模型的误yt=0+1xt+tt=t-1+utn),2,1,st,(s t,0 t,),cov(n ,2,1,t,0)E(2suuustt4 自相关性问题及其处理自相关性问题及其处理（一）迭代法根据回归模型yt=0+1xt+t有y

23、t-1=0+1xt-1+t-1则有（yt-yt-1)=(0-0)+1(xt-xt-1)+(t-t-1)令11ttttttxxxyyyrr1100)1(rtttuxy10得其中自相关系数用公式估计。WD.211r自变量的选择与逐步回归自变量的选择与逐步回归1 自变量选择对估计和预测的影响2 所有子集回归3 逐步回归2 所有子集回归所有子集回归准则准则1 自由度调整复相关系数达到最大自由度调整复相关系数达到最大)1(11122RpnnRa显然有2aRR2，2aR随着自变量的增加并不一定增大。从拟合优度的角度追求“最优”，则所有回归子集中2aR最大者 对应的回归方程就是“最优”方程。2 所有子集回归

24、所有子集回归准则准则1 自由度调整复相关系数达到最大自由度调整复相关系数达到最大从另外一个角度考虑回归的拟合效果，回归误差项方差2的无偏估计为：SSEpn112此无偏估计式中也加入了惩罚因子n-p-12 所有子集回归所有子集回归准则准则2 赤池信息量赤池信息量AIC达到最小达到最小AIC=nln(SSE/n)+2p对每一个回归子集计算AIC，其中AIC最小者所对应的模型是“最优”回归模型2 所有子集回归所有子集回归准则准则3 Cp统计量达到最小统计量达到最小考虑在n个样本点上，用选模型（5.2）式作回报预测时，预测值与期望值的相对偏差平方和为：niimmiipppippniiippxxxxyE

25、yJ121101102122)(1 )(1pnSSESSEmnpnSSECmppp2)1(22一、前进法一、前进法前进法的思想是变量由少到多，每次增加一个，直至没有可引入的变量为止。首先分别对因变量y建立m个一元线性回归方程，并分别计算这m个一元回归方程的m个回归系数的F检验值，记为F,F,F1m1211，选其最大者记为：F,F,FmaxF1m12111j 给定显著性水平，若1jFF（1,n-2），则首先将xj引入回归方程，为方便，设xj就是x1。二、后退法二、后退法后退法与前进法相反，首先用全部m个变量建立一个回归方程，然后在 这m个变量中选择一个最不重要的变量，将它从方程中剔除。设对m个回

26、归 系数进行F检验，记求得的F值为F,F,Fmmm2m1 F,F,FminFmmm2m1mj 给定显著性水平，若mjFF（1,n-m-1），则首先将xj从回归方程中剔除，为方便，设xj就是xm。三、逐步回归法三、逐步回归法逐步回归的基本思想是“有进有出”。具体做法是将变量一个一个引入，当每引入一个自变量后，对已选入的变量要进行逐个检验，当原引入的变量由于后面变量的引入而变得不再显著时，要将其剔除。这个过程反复进行，直到既无显著的自变量选入回归方程，也无不显著自变量从回归方程中剔除为止。这样就避免了前进法和后退法各自的缺陷，保证了最后所得的回归子集是“最优”回归子集。多重共线性的情形及其处理多重

27、共线性的情形及其处理1 多重共线性产生的背景和原因2 多重共线性对回归模型的影响3 多重共线性的诊断4 消除多重共线性的方法3 多重共线性的诊断多重共线性的诊断21,1,.,11jjjVIFjpRVIF111 conllinearitypjjVIFVIFpVIFj 10 collinearity3 多重共线性的诊断多重共线性的诊断（二）条件数特征根分析表明，当矩阵XX有一个特征根近似为零时，设计矩阵设计矩阵X 的列向量间必存在复共线性。那么特征根近似的列向量间必存在复共线性。那么特征根近似为零的标准如何确定哪？这可以用下面介绍的条件数确定。为零的标准如何确定哪？这可以用下面介绍的条件数确定。记

28、XX的最大特征根为1，1,i0,1,2,piik为特征根i的条件数（Condition Index）。1The largest ondition Indexnot ,115 collinearcollinear 30 strong collinear pppppkkkk1岭回归估计的定义岭回归估计的定义我们称y yX XI IX XX X-1)k(k)为的岭回归估计，其中k称为岭参数。2 岭回归估计的性质岭回归估计的性质在本节岭回归估计的性质的讨论中，假定（7.2）式中因变量观测向量y未经标准化。性质性质1 1 (k)是回归参数 证明：E(k)=E(X XX X+kI I)-1X Xy y =

29、(X XX X+kI I)-1X XE(y y)=(X XX X+kI I)-1X XX X 显然只有当k=0时，E(0)=;当k0时，(k)是的有偏估计。要特别强调的是(k)不再是的无偏估计了，有偏性是岭回归估计的一个重要特性。3 因变量是定性变量的回归模型二、定性因变量回归的特殊问题二、定性因变量回归的特殊问题1.离散非正态误差项。对一个取值为0和1的因变量，误差项i=yi-(0+1xi)当yi=1时，i=1-0-1xi=i当yi=0时，i=-0-1xi=1-i显然，误差项i是两点型离散分布，当然正态误差回归模型的假定就不适用了。3 因变量是定性变量的回归模型2.零均值异方差性。当因变量是

30、定性变量时，误差项i仍然保持零均值，这时出现的另一个问题是误差项i的方差不相等。0-1型随机变量i的方差为D(i)=D(yi)=i(1-i)=(0+1xi)(1-0-1xi)（9.14）i的方差依赖于xi，是异方差，不满足线性回归方程的基本假定。3 因变量是定性变量的回归模型3.回归方程的限制当因变量为0、1虚拟变量时，回归方程代表概率分E(yi)=i1对一般的回归方程本身并不具有这种限制，线性回归方程yi=0+1xi4Logistic回归模型回归模型Logistic回归方程为cixxpiii,2,1,)exp(1)exp(1010其中c为分组数据的组数。做线性化变换，令)1ln(iiippp上式的变换称为逻辑（Logit）变换，得pi=0+1xi+i应用回归分析应用回归分析The endThe end