现代回归分析方法.ppt

《现代回归分析方法.ppt》由会员分享，可在线阅读，更多相关《现代回归分析方法.ppt（178页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、现代回归分析方法 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望目的目的:回归分析研究的是一个变量(应变量)和其他变量(自变量)之间的关系.其目的可能是:1.确定哪些变量有关及其程度;2.预测;3.找出最优的组合;4.控制;5.寻求合适的数学模型;6.评估两个或两个以上因素的交互影响等等.1.回归分析回归分析(RegressionAnalysis)数 据 资 料（data）应 变 量（response）自 变 量（independent variables,pre

2、dictor variables)这里n是记录数目，k是自变量数目（包括常数项).基本模型基本模型:2.线性回归线性回归(LinearRegression)模模型：型：Y=X+这这里里X是是Z的函数的函数(已知已知),是是未未知知参参数数向向量量，是是误误差差项项也就是说有线线性性模模型型的的假假设设：1.正态分布；2.互相独立；3.同方差；4.一个随机误差项;5.系统影响的相加性（additivityofsystematiceffects);6.资料完整.参参数数估估计计（）：最小二乘估计有(注意:这里没有用到正态分布的假定)极大似然估计这里在正态分布的假定下这个估计是所谓BLUE的.估计量

3、的分布残残差差平平方方和和的的分分布布方差的估计：（矩估计）显显著著性性1。模型的显著性，即检验假设使用统计量当为真时2。某个因素的显著性，即检验假设定义对称方阵设为其对角元素，则有检验统计量当成立时模型选择（变量数目）模型选择（变量数目）当两个模型有嵌套的(nested)关系时，可以用下述F检验来决定取舍模型1:模型2:当为真时这里是回归平方和,是残差平方和.方差分析表方差分析表拟合优度拟合优度确定系数:R2statistic:R2c(adjustR2):UnderH0：1=2=p-1=0(testR2exactlyequivalenttoFtest)应变量的变换应变量的变换(transfo

4、rmationofresponse)目的：1。正态分布（对称）；2。同方差；3。相加性。异方差或者不独立异方差或者不独立加权最小二乘估计加权最小二乘估计:假如Y=X+N(0,2V)而且V已知，则存在满秩对称矩阵PPPPPPV且有P1 N(0,2In)即P1Y|XN(P1X,2In)对P1YP1X P1 取最小二乘估计，得(XTV1X)-1XTV1Y称之为加权最小二乘估计(weightedleastsquareestimator)有 N(,2(XTV1X)-1)3.共线性共线性(Multicollinearity,collinearity)这里主要讨论“几乎”共线性，顺便也讨论一下精确的共线性定

5、义：定义：自变量之间存在强烈的线性关系。精确地说，存在使或对至少一个k成立.迹象：迹象：nXTX至少有一个很小的特征值(0)注意:j0forj=1,2,p(这里j是XTX的特征值).影响影响:典型的影响是使参数估计的方差增大从而使整个估计不精确.总的说来:Var()=2(XTX)-1具体地说:Var(j)=forj=0,1,p-1这里R2j是即其它自变量对自变量j回归的确定系数.线性回归的理想要求是:Y对X有很强的线性关系,而X之间有较弱的线性关系.共线性的测度共线性的测度(1)VIF(varianceinflationfactor)VIFj=1/(1-R2j)forj=0,1,2,p-1.当

6、max(VIFj)10时,有共线性问题(这是经验公式,无精确理论基础)注意:VIF01/(1-R20)其对应模型是此模型右边无常数项.(2)ConditionNumber这里(j)是按大小排列的矩阵XTX的特征值.当1000时,可能有严重的共线性问题.(3)ConditionIndexforj=2,3,pConditionIndex能发现多于一个的共线性关系.经验公式:列出所有的j100.解决方法解决方法(1)从模型中除去一些变量(例如对应于比较大的VIFj的Xj).这个问题与变量选择和模型确定的方法有关;如果j0,则剔除j会导致,即最小二乘估计成为有偏估计.(2)主成分回归(Principa

7、lComponentRegression)Y=X+=X(UUT)+=(XU)(UT)+G+这里U是XTX的特征向量矩阵(XTX=UUT);G=XU(G称为主成分principalcomponent)=UT 这时的LS估计是=(GTG)-1GTY=-1GTY=U如果把G去掉(p-r)列(比如说对应于较小的i),记为G(r),G(r)=XU(r),取=(GT(r)G(r)-1GT(r)Y=U(r)=U(GT(r)G(r)-1GT(r)Y称之为主成分估计(principalcomponentestimator).这时有SV()=2SMSE()=2即这个估计是有偏的(除非2i=0i=r+1,p).(注

8、意:主成分回归只减少”成分”个数,没有减少变量个数).(3)岭回归(Ridgeregression)*(XTX+kI)-1XTY这里k0通常是个小正数.前面有SV()=2现在有SV(*)=2SV()当k时,SV(*)0事实上Var(*)=2U*UT这里(*)ii=i(i+k)-2然而SMSE(*)=2*是的有偏估计.当k有Var(*)同时bias(*).注意到上述SMSE(*)的第二项是单调增函数,且有当k=0时为0,则存在k*使SMSE(k*)SMSE(0).但事实上koptimal不可求(因为式中的未知).经验方法是:1)k=p*2/T 这里2=(Y-X)T(Y-X)/(np);2)找出使

9、*”稳定”下来的k(1VIFmax30时ri,r(-i)都渐进服从N(0,1).常用残差图常用残差图(1)分布图或直方图(histogram);(2)盒子图(box-plotorschematicplot);(3)正态图或半正态图;(4)二维图(如Y,r(-i).重大杠杆点重大杠杆点(highleveragepoint)一个事实:fori=1,2,n.(single-roweffects)帽子矩阵H的一些性质(1)对称(symmetric);(2)幂等(idempotent):H2=H;(3)1/nhii1;(4)特征值:theeigenvaluesarealleither0or1,(#of1

10、s=Rank(H);(5)Rank(H)=Rank(X)=p,(tr(H)=hii=p).Onaverage:hii=p/n;经验公式:Aruleofthumb:hii2p/nhighleveragepointi.Leverage的度量:Cooksdistance当Di1时,没有highleverage的问题.(注意:highleveragepoint不一定会很大地改变参数估计值.)图异类点及其处理异类点及其处理异类点(Outliers)通常指的是这样一种情况:资料不纯(contamination),即资料中的一个记录(点)或某项记录(点)显然与其他大部分记录(点)”不一样”.异类点的统计模型

11、原假设:备用假设1:确定性备用假设(deterministicalternative)有记录或测量误差;备用假设2:内在性备用假设(inherentalternative)备用假设3:混合型备用假设(mixturealternative)备用假设4:滑动型备用假设(slippagealternative)除了事先确定的k个点之外(确定指的是数目k而不是点)所有其他点都属于F.F由位置参数(location)和等级参数(scale)2确定.而k个点则来自和2有变动的版本F;备用假设5:可变换型备用假设(exchangeablealternative)只有一个异类点j等可能地来自1,2,n.异类点

12、的处理方法(1)找出并剔除(discardancytest):例如基于残差的检验.注意:当用maxr(-i)n的P值进行检验时,需要考虑所谓的Bonferronicorrection.(2)去除或减少其影响(accommodation):稳健性(robust)统计.注意:异类点常常是重大杠杆点,但重大杠杆点不一定是异类点.BonferroniInequalityntestseachofsize,theprobabilityoffalselylabellingatleastonepoint,anoutlierisnograterthann.如果选=/n,则可得保守的值稳健性回归稳健性回归(Rob

13、ustregression)稳健性统计的一些方法(以位置location估计为例):(1)修剪法(trimming)略去r个最小的和s个最大的样本值:或者取n=r+f(0f1)(2)温莎法(Winsorizing)或者类似于定义(3)L估计量,M估计量和R估计量L-estimators(LinearOrderStatisticsestimators)注意:修剪法和温莎法都是L估计量.M-estimators找出方程关于的解.注意:当密度函数为f(x-)时,取,就是似然方程的解.R-estimators由一定的秩检验(ranktest,如Wilcoxontest)的程度所取得.为什么要稳健性回归

14、为什么要稳健性回归替代方法是分两步走:(1)去除异类点;(2)用经典方法进行回归.但是n去除异类点首先需要可靠的参数估计;n原先的分布假设可能不对;n经验表明稳健性方法往往比剔除异类点的方法更可取.因为它不决断地接受或拒绝一个观察点.稳健性回归的要求稳健性回归的要求(1)在假定模型下是好的估计;(2)假如资料对模型假定有一点偏离,其参数估计还是”稳健的”;(3)如果资料对模型假定有较大的偏离,参数估计也不是”灾难性”的.稳健性回归的几个例子稳健性回归的几个例子(1)考虑M估计量当时,它就是LS估计.取这里0f0是一个常数.(2)考虑下列步骤:(i)对Yi回归,得Yi,s和ri(或r(-i);(

15、ii)WinsorizeYi:这里c是稳健控制值,一般取1到2之间.(iii)对Y*i回归,得新的Yi,s和ri(或r(-i);重复(i)和(ii)直到收敛.注意:当用:e*i=Y*i-Yi代替:ei=Yi-Yi时,将会低估2修正方法:这里m是未修改的Y的数目.(3)LTSregression这里hn,称之为LeastTrimmedSquaresRegression(4)LMSregression称之为LeastMedianofSquaresRegression注意:稳健性回归的思想具有一般的意义.5.广义线性模型广义线性模型(GeneralizedLinearModels)线性模型的推广一大

16、类回归模型有完整的理论结构逻辑回归逻辑回归(LogisticRegression)如果应变量Yi只能取两个值0和1,则Yi服从二点分布(Bernoullidistribution).设则逻辑函数:逻辑回归模型设这里g定义为连系函数(linkfunction),连系函数将线性组合Xi与数学期望pi连在一起.则即p是关于的逻辑函数,且有0pi1.参数参数的极大似然估计的极大似然估计由得似然函数于是forr=1,2,k.费雪信息矩阵(Fisherinformationmatrix)这里当是逻辑连系函数时注意:需用叠代算法求出,即解方程组.参数估计的性质事实上是渐进正态分布的.拟合优度拟合优度差异函数

17、(deviancefunction):(注意:0log(0)=0)如果模型假定正确,D渐进服从;如有两个嵌套模型H0和HA,则D0DA渐进服从.注意:嵌套模型的检验比显著性检验D更强,即D服从的要求比较高,D0DA服从的要求比较低,甚至当D0和DA都不服从和时亦成立.二项分布二项分布(Binomialdistribution)的的情形情形等价于mj个贝努里实验,且有:设连系函数为似然函数去掉常数项为有这里当 是逻辑连系函数时差异函数正态连系函数正态连系函数(probitlinkfunction)如果连系函数取所谓的probitlink的话,即则有:和将此式代入,既可得对应的和W.普阿松回归普阿

18、松回归(PoissonRegression)应变量Yi只能取非负的离散值(事实上只需要一边有界),其离散程度大致与其水平成正比例.设即则设(对数连系函数)则对任何X和有参数参数的极大似然估计的极大似然估计去掉常数项后这里当时(对数连系函数)注意:需用叠代算法求出,即解方程组参数估计的性质渐进服从N,(XTWX)-1)拟合优度拟合优度差异函数:如果模型假定正确,D渐进服从;如有两个嵌套模型H0和HA,则D0DA渐进服从.过度离散过度离散(over-dispersion)实际案例中常有如对应于负二项分布的情形.解决方法:设估计广义线性模型广义线性模型四个组成部分1。数学期望（均值）E(Yi)=i2

19、。线性预测量(linearpredictor)i=Xi3。连系函数(linkfunction)g(i)=i4。方差函数(variancefunction)Var(Yi)=V(i)线性指数分布族线性指数分布族(linearexponentialfamily)形式如：L(,;y)=expy-c()/+h(y,)（这里假定是已知的。如果是未知的，它可能是二参数的指数分布族，也可能不是。）对线性指数分布族有：E(y)=c()Var(y)=c()V()这里称之为离散参数(dispersionparameter)常用分布的离散参数和方差函数分布V()正态分布（normal)21普阿松分布(Poisson)

20、1伽玛分布(Gamma)1/2两点分布(Bernoulli)1(1-)二项分布(binomial)1/m(1-)当连系函数取c的反函数（记之为c-1)形式时，我们称为标准连系函数(canonicallink)常用分布的标准连系函数分布c c连系函数正态分布（normal)2/2 恒等g()=普阿松分布(Poisson)e e对数g()=log()伽玛分布(Gamma)-log(-)(1/)倒数g()=-1/两点分布(Bernoulli)log(1+e)e/(1+e)逻辑(logit)g()=log/(1-)二项分布(binomial)log(1+e)e/(1+e)逻辑(logit)g()=lo

21、g/(1-)其他常用连系函数：正态(probit):g()=-1();幂族(powerfamily):g()=(0)g()=log()(=0)余双对数(complementarylog-log)g()=log-log(1-)参参数数估估计（计（）线性指数分布族的似然估计方程组是(Yi-i)/iV(i)i/r=0r=1,2,k对广义线性模型,它成为(Yi-i)/iV(i)xir/g(i)=0r=1,2,k当离散参数iaii=1,2,n时，该方程组成为(Yi-i)/aiV(i)xir/g(i)=0(*)r=1,2,k而当连系函数是标准连系函数时，有Yixir/ai=ixir/air=1,2,k一般

22、来说方程组(*)没有直接的解法。当V()=1,g()=时（线性模型），解是(XTW-1X)-1XTW-1Y这里W=diag(1/ai)迭代加权最小二乘法(iterativeweightedleastsquares,简写为IWLS)考虑变量zi=i+(Yi-i)g(i)有E(zi)=i=xirVar(zi)=g(i)2aiV(i)迭代算法：（1）从某一个i(0)开始（通常取i(0)=Yi)得i(0)=g(i(0)；（2）给定i(t)和i(t)，算出zi(t)=i(t)+(Yi-i(t)g(i(t)wi(t)=1/g(i(t)2aiV(i(t)i=1,2,n;（3）给出估计(t+1)=(XTW(t

23、)X)-1XTW(t)z(t)（这里W(t)diag(wi(t)）定义(t+1)=X(t+1)(t+1)=g-1(t+1)重复步骤（2）和（3）直到收敛。迭代加权最小二乘估计的性质*N(,i-1()这里i-1()-1XTWXW=diag(wi)wi=1/g(i)2aiV(i)i=1,2,n估计量方差的估计Cov()=(XTWX)-1的估计：=1/(n-p)(Yi-i)/aiV(i)拟合优度拟合优度定义差异函数(deviance)为D(y;)=2l(y;y,)l(y;,)如果模型假定正确,D渐进服从;如有两个嵌套模型H0和HA,则D0DA渐进服从.常用分布的差异函数正态分布(y-)2普阿松分布2

24、y(log(y/)-(y-)二项分布2y(log(y/)+(m-y)log(m-y)/(m-)伽玛分布2-log(y/)+(y-)/在原假定下,D渐进服从;如有两个嵌套模型H0和HA,则D0DA渐进服从.非参数回归非参数回归(non-parametricregression)离散图平滑法离散图平滑法(scatterplotsmoother):假定X只含有一个变量x.在x上定义一个函数:s(x)=S(Y|x)一般s(x)定义在x的所有定义域上,但也可能只定义在观察值上.这时对一般的s(x0)就需要用某种插值法计算.类型:(1)格子平滑法(binsmoother,regressogram):选点:

25、定义:取:(2)移动平均法(running-meansmoother,movingaveragesmoother):定义:取:(3)跑动直线平滑法(running-linesmoother):取:这里是对回归的LS估计量.倘若这个回归是加权的,则是所谓的loess(locally-weightedrunning-linesmoother).具体地说可采取下列步骤:(i)找出与最接近的k个样本点,记为;(ii)定义:(iii)取权数这里(iv)(4)核平滑法(kernelsmoother):取:对点的权数为这里是窗宽参数(window-widthparameter);c0是个常数,通常使权数的和

26、为一;d(t)是关于|t|的减函数,如:(Gaussiankernel)(Epanechnikovkernel)(minimumvariancekernel)等等.注意:窗宽参数的选择比核函数的选择重要的多.(Gaussiankernel)(Epanechnikovkernel)(minimumvariancekernel)(5)回归样条(regressionspline):找出k个节点(knots):取:(+表示正的部分)S(x)有三个特性(i)在任何区间内是三次函数;(ii)有一阶和二阶连续导数;(iii)三阶导数是个阶梯函数.当加上节点以外函数为线性的附加限制时,(三次)样条称之为自然样

27、条(naturalspline).给定节点的数目和位置,未知参数可用回归法求得.但如何确定节点的数目和位置是个较复杂的问题.(6)三次平滑样条(cubicsmoothingspline):找出一个有一阶和二阶连续导数的任意函数f,使这里是个固定常数,.可以证明这个函数是节点取在所有上的naturalcubicspline.平滑参数平滑参数设离散图平滑的模型是:定义:(averagemean-squarederror)(averagepredictivesquarederror)(这里Yi*是在点xi上的一个新观察值).有:定义:(cross-validationsumofsquares)有:(

28、注意:(averagesquaredresidual)不是PSE的好的估计量).可以用下列标准确定:定义:线性平滑法:对任意常数a和b,有上述平滑法都是线性平滑法.对于观察点来说,一个线性平滑法可表示为这里S是一个矩阵,称为平滑矩阵(smoothermatrix).对于一个线性平滑法来说,定义偏有:定义:MallowsCp这里*是个很小的数(尽量减小偏).因为所以Cp是PSE的一个估计.可以用下列标准确定:注意:(1)Cp只适用于线性平滑法,CV则适用于一般的平滑法.(2)在实际应用时上述两法时常特性不佳.这时用直观的图像法选择可能更可靠一些.(3)用自由度来确定也是常用的方法.平滑法的自由度

29、平滑法的自由度有三个表示:(1)自由度:对于一个线性平滑法(2)误差自由度:对非线性平滑法的一般定义是:(3)方差自由度:对非线性平滑法的一般定义是:注意:I如果S是个对称投影矩阵(symmetricprojectionmatrix)(例如线性回归,多项式回归,回归样条),则有II对于三次平滑样条有并且三者都是关于的减函数.置信区间置信区间对于线性平滑 有这里偏向量是依赖于未知函数f的.在一定假定下偏的一个估计是于是可取的对角线元素构造置信区间.这里取自由度近似的近似的F检验检验对于两个线性平滑法(假定f1比f2更平滑),有一个更好的检验是取有相加模型相加模型(additivemodel)一般

30、的相加模型可表示为这里惩罚性的最小二乘条件(penalizedleast-squares):可以用使penalizedleast-squares最优化的方法来求得合适的相加模型.注意:(1)所谓半参数模型(semi-parametricmodel)是相加模型的一个重要特例,如:(2)相加模型可以包括某一个或某几个自变量是离散变量的情况.(3)相加模型可以包括某一个或某几个函数是多元函数的情况,如:当然这时需用scatterplotsmoother的多维推广.广义相加模型广义相加模型(generalizedadditivemodels)类似于从线性模型推广到广义线性模型的思路,相加模型可以推广成

31、广义相加模型.即定义四个组成部分1。数学期望（均值）2。相加预测量(additivepredictor)3。连系函数(linkfunction)4。方差函数(variancefunction)Algorithm其求解的思路也类似广义线性模型(1)Initialize:(2)Update:withConstructweightsFitaweightedadditivemodeltozi,toobtainestimatedComputetheconvergencecriterion(3)Repeatstep(2)replacingbyuntilisbelowsomesmallthreshold.注

32、意:所谓半参数广义线性模型(semi-parametricgeneralizedlinearmodel)是广义相加模型的一个重要特例,如:7.模型选择模型选择模型选择的目的常常是寻找一个最简单的合理的模型来恰当地描述所观察到的资料.可以粗略地分为两大类问题:(1)同一类模型中参数和变量个数的选择;(2)不同类模型之间的比较.一个事实:如果真正的模型是而我们所用的回归模型是最小二乘估计是则即一般这个估计是有偏的.且有注意:项数太少会造成参数估计有偏;项数太多不会造成参数估计有偏,但因为减少了自由度从而造成效率(精确度)的丧失.选择回归变量的基本步骤选择回归变量的基本步骤(1)确定最大的模型:保证

33、”正确”的模型在它之内;(2)确定选择模型的条件;(3)确定选择变量的策略;(4)用最后的模型分析资料;(5)评估模型的可靠性.确定最大的模型确定最大的模型可以包括:(1)所有基本的回归变量;(2)基本回归变量的高阶幂(等等);(3)基本回归变量的其它转换如对数,倒数等等;(4)基本回归变量之间二阶或更高阶的交互影响(interaction);(5)(在某些问题中)所有的控制变量和它们的(2),(3),(4).注意:不要选太大的最大模型(会损失可靠性),宜中心突出,针对问题.还应注意共线性问题.经验公式:(样本大小和变量个数的比例)确定选择模型的条件确定选择模型的条件(1)确定系数此法只适用于

34、参数个数相同的情形.因为对嵌套模型而言,是关于p的增函数,而无理论基础.(2)对于嵌套的线性回归模型,可用统计量当F检验不显著时,可以用较简单的p个变量模型.(3)定义选择较小的(4)MallowsCp这里k是最大的模型.选择较小的或最小的Cp注意:当时,ACI(Akaikeinformationcriterion)选择较小的或最小的ACI注意:MallowsCp是ACI的一个特例.确定选择变量的策略确定选择变量的策略(1)列出所有的回归模型;共有个,通常不实际.(2)向后剔除法(Backwardelimination):步骤:(i)给出最大的回归模型;(ii)一次去掉一个变量,其对应的t值(

35、或等价地,其PartialF值)在所有变量只中是最小的,且低于给定的显著性水平.直到没有这样的变量.注意:两次去掉一个变量不等价于一次去掉两个变量(即使是相同的两个变量!).(3)向前选进法(Forwardselection):步骤:(i)选进相关系数最大的第一个变量;(ii)一次一个,选进一个变量,其PartialF最大(在已定模型,既现有变量下),且其p值大于给定的显著性水平.直到没有这样的变量.注意:A两次进一个变量不等价于一次进两个变量.B(ii)等价于计算部分相关系数,即Residualofcurrentmodel对Xj.(4)逐步回归(Stepwiseregression):步骤:

36、(i)同向前选进法(i);(ii)选进一个变量,同向前选进法(ii);(iii)去掉一个变量(如有必要),同向后剔除法(ii);直到没有变量进,也没有变量出.(5)脊岭回归:如前所述.(6)PRESS法:定义:这里是除去第i项后由模型对Yi的预测值.找出一个模型,其PSS较小且不含有太多的回归变量.阶段回归(Stagewiseregression):步骤:(i)找出最大相关自变量,得到回归模型(ii)以此模型的残差作为应变量,找出下一个最大相关自变量,得到回归模型如果模型显著,则新的模型为(iii)再定义为应变量,重复(ii)直到没有新的变量能进入.注意:最后的模型不等价于最小二乘估计.测度误

37、差问题测度误差问题(MeasurementErrors)有些自变量有较大的测度误差或不可能直接观测到.将自变量分成两部分:X_有测度误差的自变量,设W是它们的观察值;Z_没有测度误差的自变量.定义:函数型模型(classicalfunctionalmodels):X是固定常数(未观察到);构造型模型(classicalstructuralmodels):X是随机变量.测度误差的模型测度误差的模型有两种一般的模型:(1)误差模型(errormodels)给出条件分布W|Z,X的模型如:(a)(b)(2)回归校正模型(regressioncalibrationmodels)给出条件分布X|Z,W的

38、模型如:定义:非特异的(non-differential)测度误差:给出X和Z,W不再含有关于应变量Y的信息.测度误差对回归分析的影响测度误差对回归分析的影响参数估计偏离(1)考虑简单线性回归设x*是对w的最小二乘估计,即用模型则有:这里:称为可靠率(reliabilityratio)有这种现象称为”缩水”(attenuation).(2)假如回归和测度误差模型是这里设*x是LSE估计量则有(3)现在考虑多个自变量,但只有一个自变量有测度误差的情形设*x是LSE估计量则有:这里和分别是w对Z回归和x对Z回归的残差方差.的充要条件是x和Z条件不相关.这时也是有偏的这里z是x对Z回归的回归系数,即

39、(4)更一般的情形是则有这里ab是随机向量A和B的协方差矩阵纠正测度误差造成参数估计偏差纠正测度误差造成参数估计偏差的方法的方法(1)矩法(Method-of-Momentsestimation):n(i)简单线性回归情形n(ii)一般情形也有对应的形式.(2)正交回归(orthogonalregression):假定而且已知则找出使最小.注意:此法的关键在于是否已知.不正确的会产生严重的估计误差.(3)回归校准法(regressioncalibration):基本步骤:(i)用可能的资料将X对(Z,W)进行回归分析;(ii)用X代替未观察到的X,然后进行标准的参数估计;(iii)修正参数估计

40、的误差(因为用的不是X而是X).例如:假如我们的模型是则 例子:修正”缩水”效应(最简单的RC)假定:(i)X只有一个变量;(ii)W=X+U 可以估计;(iii)X,Z,W是多维正态分布的;(iv)这里f可以是任何广义线性模型的连系函数,如linear,logistic,probit,loglinear等等.步骤:(i)(忽略测度误差);(ii)算出W对Z回归的误差项;(iii)(4)模型外推法(simulationextrapolation):步骤:(i)随机模拟产生一个测度误差不断增大的样本;即:这里是独立同分布的.(ii)定义估计量;取并画出对的二维图形.(iii)外推外推函数模型至=-1;即常用的函数模型有:(a)(b)性质:抽样误差测度误差引起的误差