半参数回归模型中参数随机加权估计的大样本性质_吴耀华.pdf

《半参数回归模型中参数随机加权估计的大样本性质_吴耀华.pdf》由会员分享，可在线阅读，更多相关《半参数回归模型中参数随机加权估计的大样本性质_吴耀华.pdf（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第38卷第5期Vol.38,No.52 00 8 年 5 月JOURNAL OF UNIVERSITY OF SCIENCE AND TECHNOLOGY OF CHINAMay 2 0 0 8文章编号:0253-2778(2008)05-0496-09收稿日期:2006-11-21;修回日期:2007-04-03基金项目:国家自然科学基金(10471136)和中国科学院知识创新重要方向项目(KJCX3-SYW-S02)资助.作者简介:吴耀华(通讯作者),男,1963 年生,博士/教授.研究方向:大样本理论,线性模型,非参数统计.E-mail:半参数回归模型中参数随机加权估计的大样本性质吴耀华

2、,刘常胜,王占锋(中国科学技术大学统计与金融系,安徽合肥 230026)摘要:主要考虑了同方差型的半参数线性回归模型中参数的随机加权最小二乘估计(RWLSE).讨论了用随机加权 Bootstrap 方法来逼近 LSE 的分布,证明这种逼近是以概率 1 渐近有效的.关键词:半参数回归模型;渐近正态性;随机加权最小二乘估计中图分类号:O212.7 文献标识码:AAMS Subject Classification(2000):Primary 62J12;Secondary 62F40Large sample properties of random weighted estimators for

3、parametriccomponent in semi-parametric regression modelsWU Yao-hua,LIU Chang-sheng,WANG Zhan-feng(Department of Statistics and Finance,University of Science and Technology of China,He fei 230026,China)Abstract:The randomly weighted least square estimator(RWLSE)for the parametric component in semi-pa

4、rametric regression models was mainly discussed.The randomly weighted bootstrap method was used toapproximate the distribution of the least square estimators(LSE),and it was demonstrated that theapproximation is asymptoticly valid with probability one.Key words:semi-parametric regression models;asym

5、ptotic normality properties;randomly weighted leastsquare estimator0 引言考虑如下半参数回归模型:Yi=XTi+g(Ti)+i,i=1,n.(1)式中,Xi=(Xi1,Xip)T;(Xi,Ti)是 i.i.d.的随机设计点;=(1,p)T是未知的 p 维参数向量;1,n是 i.i.d.随机误差;E1=0,E12=2,且(Xi,Ti)与 i独立.关于上述模型的研究,自文献 1 在研究气候条件对电力需求影响的关系这一实际问题时提出上述模型以来,半参数回归模型的研究越来越受到很大的重视.单就参数部分的估计与渐近性质就有大量的研究成果

6、,文献 8 对此进行了一个总结.例如在随机设计点下有n(n-)LN(0,2-1).式中,2=E21,=Cov(X1-E(X1 T1),当 2和 未知时,虽然可以用样本来估计 2和 ,但当样本量较小时估计值不是很精确,若用此估计值来做 的假设检验或构造 的置信区间,效率比较低.从应用的角度看,研究 n(n-)的分布逼近问题尤为重要.文献 2 详细论述了在固定设计点下对于异方差半参数回归模型广义最小二乘估计(GLSE)的分布逼近问题,并证明了上述逼近是依概率渐近有效的.本文将对同方差随机设计点模型,构造未知参数的随机加权最小二乘估计(RWLSE)n,并证明了用 n(n-n)的分布逼近 n(n-)的

7、分布是以概率 1 渐近有效的,该结果可以用于构造 的大样本置信区间和进行假设检验.下面我们考虑由式(1)所定义的回归模型,且不失一般性,可以假设 g()是定义在 0,1 上的未知函数,设计点 Ti 0,1,i=1,n.令 Wni(t)=Wni(t;T1,Tn)是依赖于 t 和T1,Tn的非负权函数,对每一给定的,我们定义 g()的估计为gn(t,)=ni=1Wni(t)(Yi-XTi).(2)下面我们考察基于模型(1)的 的随机加权最小二乘估计 n满足 n=arg min Rpni=1i(Yi-XTi-gn(Ti,)2.(3)式中,gn(t,)由式(2)所定义,i,i=1,n 是i.i.d.的

8、随机变量序列,P(10)=1,E1=1,E12=2,且与(Xi,Ti,Yi)和 i相互独立.记 XT=(X1,Xn),Xj=Xj-ni=1Wni(Tj)Xi,Y=(Y1,Yn),Yj=Yj-ni=1Wni(Tj)Yi,gj=g(Tj)=g(Tj)-ni=1Wni(Tj)g(Ti),j=j-ni=1Wni(Tj)i,则式(3)可以变形为 n=arg minRpni=1i(Yi-XTi)2=ni=1i Xi XTi-1ni=1i Xi Yi.(4)我们记 的最小二乘估计为 n=ni=1 Xi XTi-1ni=1 Xi Yi.(5)1 主要结果为叙述方便,本文以 L,P,E,Var表示在给定(Xi,

9、Ti,Yi),i=1,n 的条件下的依分布收敛、条件概率、条件期望和条件方差.表示通常的欧氏范数,表示通常的绝对值.记 hj(Ti)=E(Xij Ti)和 uij=Xij-E(Xij Ti),j=1,p,本文需要如下假定:假定()sup0t 1E(X14 T=t)cn)=O(cn).这里 bn和cn是两个实数序列,且满足lim supnnb2nlog4n 0,lim supnnc4nlog n ,lim supnnb2nc2n0,K()是满足 M1I(u )K(u)M2I(u )的-,上的 有 界 变 差 函 数,hn是 一 窗 宽 参 数 满 足lim infnnh2n 0,lim supn

10、nh4nlog n,ti 在 0,1上具有连续密度 r(t),且 0 inftr(t)suptr(t),文献 8详细说明了 W(1)ni(t)和 W(2)ni(t)都满足假定条件,这里就不再解释了.定理 1.1设假定(),()和()成立,且还有 E41 成立,则对几乎所有的样本序列,当给定样本(Xi,Ti,Yi),i=1,n且 n 的情况下有n(n-)=nni=1 Xi XTi-1ni=1i Xii+op(1).(6)特别的,对几乎所有的样本序列,当 n 时,有497第 5期半参数回归模型中参数随机加权估计的大样本性质n(n-)=nni=1 Xi XTi-1ni=1 Xii+o(1).(7)定

11、理 1.2 在定理 1.1 的条件下,则对几乎所有的样本序列,当 n 时有n(n-n)=nni=1 Xi XTi-1ni=1(i-1)Xii+op(1),(8)n(n-n)LN(0,2-1),a.s.(9)注意到,由式(7),当 n 时,有n(n-)LN(0,2-1).(10)由式(9)和式(10),沿着几乎所有的样本序列,当n时,有supu|P(n(n-n)u)-P(n(n-)u)|0,a.s.(11)式中,u 跑遍所有的 p 维向量,而向量不等式表示各分量的不等式.式(11)的左边正是 n(n-n)与n(n-)的多维 Kolmogorov-Smirnov 距离.2 主要结果的模拟研究在这个

12、部分,我们将对 n的相合性以及它的渐近正态性进行模拟研究.为此,考虑部分线性模型Yi=Xi+g(Ti)+i,i=1,n.这里,为 一维参数,g(t)=exp(t),i N(0,1),Xi N(1,1),Ti U 0,1.我们分别取样本容量为 n=50,100,200,参数 取值为 2,1,0,-1,-2.随机权取为 exp(1)(参数为 1 的指数分布),对非参数部分,我们取核函数为 K(u)=(15/16)(1-u2)2I(u 1),Nadaraya-Watson 权函数为Wni(t)=Kt-Tihnnj=1Kt-Tjhn,窗宽 hn的选择一般用交叉验证方法选取,对 1i n,定义 Wni(

13、t)=Kt-Tihnj=1,j iKt-Tjh,gni(t,)=nj=1,j i Wnj(t)(Yj-XTj).我们定义修改的 的 LS 估计和交叉验证(CV)函数分别为(h)=arg minni=1 Yi-XTi-gni(Ti,)2,CV(h)=1nni=1 Yi-XTi(h)-gni(Ti,(h)2.我们 就 用 hn=arg minhhCV(h),这 里,h=1n-1/5-1,2n-1/5+1,012,0 1 0,有Pni=1i 2exp-22ni=1Var i+M.引理 3.4若假定 中的()()()成立,那么当 n 充分大时有max1i nnk=1Wnk(Ti)k=O(n-1/4(l

14、og n)-1/2),a.s.,(14)max1i nnk=1Wnk(Ti)ukj=O(n-1/4(log n)-1/2),a.s.(j=1,p).(15)证明 我们只证式(15),同理可得式(14).固定 L 0 且可以任意大,记BnL=max1i nnk=1Wnk(Ti)L,max1i,k nWnk(Ti)Lbn.那么对 j=1,p,有Pnm max1i n|nk=1Wnk(Ti)ukj|n-1/4(log n)-1/2 Pnm I(BnL)=0+Pnm max1in|nk=1Wnk(Ti)ukj|n-1/4(log n)-1/2,I(BnL)=1.(16)根据假定(),可以选 L 足够大

15、,使得Pnm I(BnL)=00,m .499第 5期半参数回归模型中参数随机加权估计的大样本性质下面对式(16)进行考察,对于充分大的 C,我们记ukj=ukjI(ukj k1/4),ukj=ukjI(ukj k1/4),k=1,n,j=1,p,并应用 Bernstein 不等式,取=Cn-1/4(log n)-1/2,M=2Lbnn1/4,且在给定 n=Wnk(Ti),i,k=1,n 情况下,Wnk(Ti)ukj,k=1,n 条件独立.则Pnm max1i n|nk=1Wnk(Ti)(ukj-Eukj)|Cn-1/4(log n)-1/2,I(BnL)=1 nmPmax1in|nk=1Wn

16、k(Ti)(ukj-Eukj)|Cn-1/4(log n)-1/2,I(BnL)=1=nmEI(BnL)I(max1i n|nk=1Wnk(Ti)(ukj-Eukj)|Cn-1/4(log n)-1/2)nmEI(BnL)P max1in|nk=1Wnk(Ti)(ukj-Eukj)|Cn-1/4(log n)-1/2|n 2nmni=1E I(BnL)exp-C2n-1/2(log n)-14LCbn(log n)-1/2+2nk=1W2nk(Ti)E(ukj|n).(17)我们注意到 bn=O(n-1/2(log n)-2)和 E(u2kj n)mnexp-(C/L)log nnmn-3/2

17、0,m ,因此有Pn m max1i n|nk=1Wnk(Ti)ukj|n-1/4(log n)-1/2 0,m .根据 a.s.收敛的一些等价条件,有max1i nnk=1Wnk(Ti)(ukj-Eukj)=O(n-1/4(log n)-1/2),a.s.(19)现在考虑Vn=max1in|nk=1Wnk(Ti)(ukj-Eukj)|,根据假定(),max1 i,k nWnk(Ti)=O(bn),则有Vnmax1i,k nWnk(Ti)nk=1|ukj-Eukj|=O(bn)nk=1|ukj-Eukj|.(20)考虑到下面的事实:若 n,n 1 是独立随机变量序列,En=0,正数序列 an,

18、且对某 1 r 2,有n=1E|n|rarnn1/4)=Eu4njP(|unj|n1/4)=C1n-1/2.因此有下面的结论:n=2E(|unj-Eunj|-E|unj-Eunj|)2n1/2(log n)2n=2E|ukj-Eukj|2n1/2(log n)2n=2C1n-1/2n1/2(log n)2.因为n=2n-1/2n1/2(log n)2=n=21n(log n)2k1/4)(E|ukj|4)1/4 P(|ukj|k1/4)3/4 k-3/4E|ukj|4=C2k-3/4,k=1,n.考虑到下面的事实:nk=1E|ukj|nk=1C2k-3/4=O(n1/4).因此有500中国科学

19、技术大学学报第 38 卷nk=1E|u kj-Eukj|=O(n1/4).(22)将式(22)代入式(21),有nk=1|ukj-Eukj|=o(n1/4log n),a.s.(23)然后由式(20)和式(23),可以得出Vn=O(bn)o(n1/4log n)=O(n-1/4(log n)-1/2),a.s.(24)综合式(19)和式(24),就可以证得本引理的式(15).引理 3.5 若假定(),()和()成立,并且E X14 0 和 j,l=1,p,有P1nni=1(i-1)Xij Xil 1n22ni=1 X2ij X2il.因为,对 1j p 有 Xi=Xi-nk=1Wnk(Ti)X

20、k,hj(Ti)=E(Xij|Ti),uij=Xij-hj(Ti),sup0t1E(X14|T=t)i1/4),i=1,n,j=1,p,并考虑到 Euij=0,则有ni=1uij gi=ni=1 gi(uij-Euij)+ni=1 gi(u ij-Euij).由引理 3.4中的式(23),知|ni=1 gi(uij-Euij)|max1i n|gi|ni=1|uij-Euij|=o(log n),a.s.(27)与引理 3.4同样的证明方法,可知|ni=1 gi(uij-Euij)|=O(n1/4),a.s.(28)由式(27)和式(28),即可得出ni=1uij gi=o(n1/2).其次,

21、根据引理 3.1,|ni=1hnij gi|n maxi n|gi|maxi n|hnij|=O(n(nlog n)-1/2)=o(n1/2),a.s.(29)另外再根据引理 3.1 和引理 3.4,有|ni=1nq=1Wnq(Ti)uqj gi|501第 5期半参数回归模型中参数随机加权估计的大样本性质n maxin|gi|maxin|nq=1Wnq(Ti)uqj|=O(n1/2(log n)-3/4)=o(n1/2),a.s.(30)有以上的分步讨论,引理自然成立.引理 3.7 对 1 j p,则对几乎所有的 样本序列,在给定样本(Xi,Ti,Yi),i=1,n 且 n 的情况下有nI1j

22、n=ni=1(i-1)Xij gi=op(n1/2).(31)证明由引理 3.2,对 j=1,p,limnn-1 XT X=(a.s.)1nni=1 X2ij=O(1)(a.s.).(32)则对任意给定的 0 和 1j p,有P1nni=1(i-1)Xij gi 1n2ni=1 X2ij g2(Ti)=1n2ni=1 X2ijO(nlog n)-1/2)=o(1),a.s.本引理成立.引理 3.8 对于 1 j p,则对几乎所有的样本序列,在给定样本(Xi,Ti,Yi),i=1,n 且 n 的情况下有nH2jn=ni=1 Xijnk=1Wnk(Ti)k=o(n1/2),a.s.(33)证明注意

23、到nH2jn=ni=1nk=1 XkjWni(Tk)i=ni=1nk=1ukjWni(Tk)i+ni=1nk=1hnkjWni(Tk)i-ni=1nk=1nq=1uqjWnq(Tk)Wni(Tk)i.我们现在分别处理这三个部分.应用引理 3.4,并且与引理3.6中ni=1uij gi=o(n1/2)的证明方法完全类似,有ni=1nk=1ukjWni(Tk)i=O(n1/4)=o(n1/2),a.s.同样,再根据引理 3.1 和引理 3.4,有ni=1nk=1hnkjWni(Tk)i n maxkn|ni=1Wni(Tk)i|maxj,k n|hnkj|=O(n1/2(log n)-3/4)=o

24、(n1/2),a.s.类似的对第三部分,也有nk=1ni=1Wni(Tk)inq=1uqjWnq(Tk)n maxk n|ni=1Wni(Tk)i|maxk n|nq=1uqjWnq(Tk)|=O(n1/2(log n)-1)=o(n1/2),a.s.因此,我们就可以证明了本引理.引理3.9对于 1j p,则对几乎所有的样本序列,在给定样本(Xi,Ti,Yi),i=1,n 且n 的情况下有nI2jn=ni=1(i-1)Xijnk=1Wnk(Ti)k=op(n1/2).(34)证明 根据引理 3.2 和引理 3.4,对任意给定的 0 和 1 j p,有P1nni=1(i-1)Xijnk=1Wnk

25、(Ti)k 1n2ni=1 X2ijnk=1Wnk(Ti)k2=1n2ni=1 X2ijmaxi n|nk=1Wnk(Ti)k|2.根据引理 3.2 和引理 3.4,知1nni=1 X2ijmaxi n|nk=1Wnk(Ti)k|20(a.s.),则引理结论成立.定理 1.1 的证明注意到n(n-)=nni=1i Xi XTi-1ni=1i Xi gi+ni=1i Xi i=G-1n1/nni=1i Xi gi+1/nni=1i Xi i=G-1n(H1n+I1n+H2n+I2n+Jn).其中,对 1 j p,H1n,I1n,H2n和 I2n的第 j 个分量分别为 H1jn,I1jn,H2jn

26、和 I2jn,从而由引理 3.5,3.6,3.7,3.8 和 3.9 知,Gn=1nni=1i Xi XTiP;(35)502中国科学技术大学学报第 38 卷H1n=o(1),I1n=op(1);H2n=o(1),I1n=op(1).(36)再根据1nni=1 Xi XTi=1nni=1 XT X ,(a.s.)和1nni=1(i-1)Xi XTi=op(1),定理自然得证.定理 1.2 的证明 注意到 n-n=ni=1i Xi XTi-1ni=1i Xi gi-ni=1 Xi XTi-1ni=1 Xi gi+ni=1i Xi XTi-1ni=1i Xi i-ni=1 Xi XTi-1ni=1

27、 Xi i=ni=1i Xi XTi-1ni=1i Xi gi-ni=1i Xi XTini=1 Xi XTi-1ni=1 Xi gi+ni=1i Xi XTi-1ni=1 Xi XTi-ni=1i Xi XTini=1 Xi XTi-1ni=1 Xi i+ni=1i Xi XTi-1ni=1i Xi i-ni=1 Xi i=L1+L2+L3.根据引理 3.1、引理 3.2、引理 3.5 和引理 3.6,有nL1=op(1).通过简单计算,我们有n-3/4(ni=1i Xi XTi-ni=1 Xi XTi)=op(1),又由文献 1 中的式(2.19),|ni=1 Xii|=O(nlog lo

28、g n)1/2)(a.s.),及引理 3.2 和引理 3.5,得出 nL2=op(1).注意到nL3=nni=1i Xi XTi-1ni=1i Xi i-ni=1 Xi i=nni=1i Xi XTi-1ni=1(i-1)Xii-nni=1i Xi XTi-1ni=1(i-1)Xink=1Wnk(Ti)k.由 引 理 3.5,引 理 3.9,1nni=1 Xi XTi=1nni=1 XT X ,(a.s.)和1nni=1(i-1)Xi XTi=op(1),易证nL3=nni=1 Xi XTi-1ni=1(i-1)Xii+op(1).这样就证得了定理 1.2 的式(8).欲证定理 1.2 的式(

29、9),只需证1nni=1(i-1)XiiLN(0,2).(37)欲证此式只需证 Fn=1nni=1(i-1)-12 XiiLN(0,2Ip).(38)事实上,对任给 U=Rp:=1 和 z R1,我们需证明P TFnz (z/),a.s.(39)对任给 U,记in=1n(i-1)T-12 Xii,i=1,n.(40)则有 TFn=ni=1in,Ein=0,i=1,n.而Var(TFn)=1nni=1(T-12 Xi)22i=1nni=1(T-12 Xi)2(2i-2)+2nni=1(T-12 Xi)2.显然,根据引理 3.2 有2nni=1(T-12 Xi)22,a.s.(41)通过引理 3.

30、1 和引理 3.4,对 j,l=1,p,有1nni=1 Xij Xil(2i-2)=1nni=1uij+hni j-nk=1Wnk(Ti)ukj uil+hnil-nk=1Wnk(Ti)ukl(2i-2)=1nni=1 uij+O(nlog n)-1/4)uil+O(nlog n)-1/4)(2i-2)=1nni=1uijuil(2i-2)+o(1)a.s.(42)由于 uijuil(2i-2),i=1,n 是 i.i.d.的随机变503第 5期半参数回归模型中参数随机加权估计的大样本性质量,从而根据强大数律,1nni=1uijuil(2i-2)0,a.s.(43)结合式(42)和式(43),

31、有,1nni=1(T-12 Xi)2(2i-2)=T-121nni=1 Xi XTi(2i-2)-120,a.s.(44)这样就有Var(TFn)2,a.s.(45)为此,欲 证 式(39),我 们 只 需 证 明(即 验 证Lindeberg 条件)对任意给定的 0,当 n 时,Ln=ni=1E 2inI(|in|)0,a.s.(46)记Un=1nmax1i n(T-12 Xi)i,由于 E41,i=1,n,并注意到这个事实:若 n:n 1 是i.i.d.r.v.序列,那么 n-1max1i n i 0(a.s.)当且仅当 E 1.不难验证 n-1max1in2i 0(a.s.),再应用引理

32、 3.1 和引理 3.3,对 j,l=1,p,不难得出,Un=1nmax1i n|(T-12 Xi)i|0,a.s.1nmax1i n T-12(Xi XTi)-12 2i0,a.s.1nmax1i n|Xij Xil|2i0,a.s.1nmax1i n|uijuil|2i0,a.s.E|u1ju1l21|.(47)根据定理的条件,E u1ju1l21 0 和 M 0,有Ln=ni=1E 2inI(|in|)=1nni=1(T-12 Xi)22iE(i-1)2I1n(T-12 Xi)i(i-1)1nni=1(T-12 Xi)22i I UnM+1nni=1(T-12 Xi)22iE(1-1)2

33、I(|1-1|M).(48)注意到E(1-1)2=1 E(1-1)2I(|1-1|M)0(当 M 时),由此式,然后利用式(47)和式(48)即证得式(46),定理 1.2证毕.参考文献(References)1 EngleRF,GrangerCWJ,RiceJ,etal.Semiparametricestimatesoftherelationbetweenweather and electricitysales J.Journal oftheAmerican Statistical Association,1986,81:310-320.2 付歆,吴耀华.部分线性模型中半参数广义最小二乘估计

34、分布的基于随机加权方法的逼近 J.数学物理学报,已接收.3 高集体.半参数回归模型中的大样本理论 D.合肥:中国科学技术大学,1992.4 Gao J T,Chen X R,Zhao L C.Asymptotic normalityof a class estimates in partly linear models J.ActaMathematica Sinica,1994,37:256-268.5 Gao J T,Hong S Y,Liang H.Convergence rates of aclass estimates in partlylinearmodels J.ActaMathe

35、matica Sinica,1995,38:658-669.6 Gao J T,Hong S Y,LiangH.The Berry-Essenbounds of parametric component estimation in partlylinear models J.Chinese Annals of Mathematics,1996,17:477-490.7 Gao J T,Zhao LC.Adaptive estimation in partly linearmodels J.Sciences in China A,1993,14:14-27.8 Hardle W,Liang H,

36、Gao J T.Partially Linear Models M.Berlin:Physica-Verlag,2000.9 HongSY.Estimationtheoryofaclassofsemiparametric regression models J.Sciences inChina A,1991,12:1 258-1 272.10 Hong SY,ChengP.Bootstrap approximation ofestimationforparametricinasemiparametricregression model J.Sciences in China A,1993,14

37、:239-251.11 Liang H,Hardle W,Carroll R J.Estimation in asemiparametric partiality linear error in-variables model J.Annals of Statistics,1999,27:1 519-1 535.12 Liang H,Hardle W.Large sample theory of theestimation of the error distribution for semiparametricmodels J.Communications in Statistics,Theory andMethods,1999,28:2 025-2 036.13 Xue L G,Zhu L X.L1-norm estimation and randomweighting semiparametric model J.Acta Math ApplSinica,English Series,2005,21(2):295-302.504中国科学技术大学学报第 38 卷