半参数回归模型小波估计的强逼近_钱伟民.pdf

半参数回归模型小波估计的强逼近钱伟民 柴根象(同济大学应用数学系,上海 200092)摘要 考虑半参数回归模型 yi=xTi+g(ti)+ei,i=1,2,n,其中 Rd为未知回归参数,g()为0,1 上的未知 Borel 函数,xTi 为Rd上的随机设计,ti 为常数序列,ei 为 i.i.d.随机误差,Eei=0.在适当的条件下,证明了 和g()的小波估计 和 g()的强相合性,并且得到了 和 g()的强相合速度.关键词半参数回归模型小波估计强相合收敛速度设有半参数回归模型yi=xTi+g(ti)+ei,i=1,2,n,(0.1)其中 Rd为未知回归参数,g()为 0,1 上的未知 Borel 函数,xTi,ti 为Rd 0,1上的随机设计或常数序列,ei 为 i.i.d.随机误差,满足Eei=0,Ee2i=2.(0.2)对于模型(0.1),其基本问题是基于 yi,xi,tini=1估计 及g(),至今文献中已积累了多种成功的估计方法,如样条估计 1,核估计 2,三角级数估计 3.一个值得关注的新方法,即小波光滑已经成功地应用于密度估计和非参数回归估计 4,5.同其他方法相比,小波方法有许多优点,相对于正交级数估计,它对待估函数的要求较低,而得到的大样本性质较为理想.文献 6 建立了模型(0.1)的小波估计的某些重要大样本性质.本文研究小波估计的强收敛性质.对(0.1)式的核估计或最近邻估计,已由文献7,8 得到强相合性及收敛速度.本文在假定误差满足(0.2)式的情形,建立了 的小波估计有强收敛速度O(n-1/3logn),在 E e1 31/2,1r d;(A2)g(),fr()满足 阶 Lipschitz 条件,0,1r d;(A3)Sl,l ;满足 1 阶 Lipschitz 条件且具有紧支撑,当 0 时,()-1=O(),其中 为 的 Fourier 变换;(A4)max1i n(si-si-1)=O(n-1),且 2m=O(n1/3).定理 1 设对某个 0,E ei 32+,且条件(A1)(A4)成立,E21j,j=1,2,d,那么 -=o(1),a.s.,(1.5)supt|g(t)-g(t)|=o(1),a.s.(1.6)定理 2 设 Ee21 3/2,E 1j 2,j=1,2,d,那么 -=O(n-1/3logn),a.s.(1.7)定理 3 设 E e1 33/2,E 1j 3 3/2时,定理 1 中条件(A2)可去掉.2 结果的证明本节中 C 表示一个同n 无关的正常数,且各处之值可以不同.为证定理,先给出几个引理.引理 1 在条件(A3)下,有()E0(s,t)Ck/(1+s-t)k,Em(s,t)2mCk/(1+2m s-t)k,这里 k 为正整数,Ck为只与k 有关的正整数;()sup0y 1 Em(x,y)=O(2m);()supx10|Em(x,y)|dy C.引理 1()和()的证明见文献 10,而()容易由()得到.由引理 1 并注意到E0(s,t)对 s 一致满足一阶 Lipschitz条件,容易得到引理 2 设条件(A3)和(A4)成立,xnx,x,n=n2/3,那么1n4/3nk=1(E2m(sj,sk)k-E2m(sj,sk-1)k-1)xk=O(1).(2.1)引理 3 设 n=n2/3,n=1xn收敛,条件(A3)和(A4)成立,那么1Mnn4/3nk=1E2m(sj,sk)kxk=o(1).(2.2)其中 Mn以任意慢速度趋于.证利用引理 2,类似于 Kronecker 引理的证明可得(2.2)式.引理 4 设条件(A1)(A4)成立,()当 E e1 32+0)时,有suptni=1eiAiEm(t,s)ds=o(1),a.s.,(2.3)当 E 1j 32+0,j=1,2,d)时,有suptni=1ijAiEm(t,s)ds=o(1),a.s.;(2.4)()当 Ee21时,有suptni=1eiAiEm(t,s)ds=O(n-1/6(logn)1/2),a.s.,(2.5)当 E21j(j=1,2,d)时,有suptni=1ijAiEm(t,s)ds=O(n-1/6(logn)1/2),a.s.;(2.6)第 3 期钱伟民等:半参数回归模型小波估计的强逼近235()当 E e1 3时,有suptni=1eiAiEm(t,s)ds=o(n-1/3(logn)1/2Mn),a.s.,(2.7)当 E 1j 3(j=1,2,d)时,有suptni=1ijAiEm(t,s)ds=o(n-1/3(logn)1/2Mn),a.s.,(2.8)其中 Mn以任意慢速度趋于.证只证(2.7)式,其他各式的证明是类似的.suptni=1eiAiEm(t,s)ds=suptni=1eiAiEm(t,s)nj=1I(sj-1t sj)dssuptni=1eiAinj=1(Em(t,s)-Em(sj,s)I(sj-1t sj)ds+suptni=1eiAinj=1Em(sj,s)I(sj-1t sj)ds=I1+I2,(2.9)由于 E0(s,t)对 s 一致满足一阶 Lipschitz 条件,因而I1 suptni=1|ei|Ainj=1|Em(t,s)-Em(sj,s)|I(sj-1t sj)dssuptni=1|ei|Ainj=1C22mndsI(sj-1t sj)Cni=1|ei|n4/3.易知I1=o(n-1/3(logn)1/2),a.s.(2.10)为证(2.7)式,只需证明I2=o(n-1/3(logn)1/2Mn),a.s.(2.11)I2=suptnj=1I(sj-1 t sj)ni=1eiAiEm(sj,s)dssuptnj=1I(sj-1 0,n 足够大,有Pni=1eiAiEm(sj,s)ds12n ni=1AiEm(sj,s)ds2Ee21(/2)22nCsupt10|Em(t,s)|ds(logn)M2n12.设 ej,j=1,2,n 是 ej,j=1,2,n 的独立复制,且 1,2,n与 ej,ej,j=1,2,n 独立,1,2,ni.i.d.且 P(1=1)=P(1=-1)=1/2,由对称化引理得P max1j nni=1eiAiEm(sj,s)dsn 2P max1jnni=1(ei-ei)AiEm(sj,s)dsn2=236中国科学(A辑)第 29卷2P max1j nni=1(ei-ei)iAiEm(sj,s)dsn2 2P max1j nni=1eiiAiEm(sj,s)dsn4+2P max1j nni=1 eiiAiEm(sj,s)dsn4=4P max1j nni=1eiiAiEm(sj,s)dsn44n max1j nPni=1eiiAiEm(sj,s)dsn4=4n max1jnP(A).(2.13)记 e(n)=(e1,en)T,由Hoeffding 不等式得P(A|e(n)2exp-2(n/4)2ni=12eiAiEm(sj,s)ds2 1=2exp-C(logn)Mnni=1e2in2/3MnAiEm(sj,s)ds2 1.(2.14)以下证明:对于 1j n,都有ni=1e2in2/3MnAiEm(sj,s)ds2=o(1),a.s.(2.15)ni=1e2in2/3MnAiEm(sj,s)ds2=ni=1e2in2/3MnAiEm(sj,s)ds2-1nEm(sj,si)2+ni=1e2in2/3Mnn2(Em(sj,si)2=T1+T2.(2.16)|T1|1Mnni=1e2in2/3Ai|Em(sj,s)-Em(sj,si)|dsAi|Em(sj,s)|ds+Ai|Em(sj,si)|dsCMnni=1e2in2/322mn2(Cn-12m+Cn-12m)=CMnni=1e2in4/30,a.s.,(2.17)T2=ni=1(e2i-Ee2i)E2m(sj,si)n4/3Mn+ni=1Ee2iE2m(sj,si)n4/3Mn=T(1)2+T(2)2,(2.18)由文献 11 知:ne2n-Ee2nn2/3a.s.收敛,因此在引理 3 中取 xn=e2n-Ee2nn2/3,则有T(1)2=o(1),a.s.,(2.19)T(2)2Cni=1Ee21|Em(sj,si)|2mn4/3MnCni=1Ee21|Em(sj,si)|nMn,1nni=1|Em(sj,si)|ni=1Ai|Em(sj,s)|ds+ni=1Ai|Em(sj,s)-Em(sj,si)|ds supt10|Em(t,s)|ds+Cni=122mn2=O(1),因此第 3 期钱伟民等:半参数回归模型小波估计的强逼近237T(2)2=o(1).(2.20)综合(2.16)(2.20)式即得(2.15)式.所以,对 1j n(n 足够大),有P(A|e(n)2exp(-C(logn)Mn)1.因此max1j nP(A)2exp(-C(logn)Mn)1.(2.21)由(2.13)、(2.21)式及 Borel-Cantelli 引理得max1jnni=1eiAiEm(sj,s)ds=o(n),a.s.再由(2.12)式即知(2.11)式成立.引理 5 设条件(A1)(A4)成立,E e1 32+,E 1j 2,j=1,d,则limn n-1 XT X=V,a.s.(2.22)证由于 fj()满足 阶 Lipschitz 条件,因此,suptnk=1AkEm(t,s)dsfj(tk)-10Em(t,s)fj(s)ds=suptnk=1AkEm(t,s)(fj(tk)-fj(s)ds=O(n-),(2.23)再由文献 9 定理 3.2 的证明知suptfj(t)-10Em(t,s)fj(s)ds=O(m),(2.24)其中 m=(2m)-+12当 1/2 3/2.因此,suptfj(t)-nk=1AkEm(t,s)dsfj(tk)=O(n-)+O(m).(2.25)利用(2.25)式和引理 4()不难得到:n-1 XT X 的(i,j)元1nnh=1 Xhi XhjVij,a.s.定理 1 的证 记 e=(I-S)e,g=(I-S)g,由 -=(n-1 XT X)-1(n-1 XT g)+(n-1 XT X)-1(n-1 XT e)(2.26)和引理 5 可知:要证(1.5)式,只需证 n-1 XT g 和 n-1 XT e a.s.收敛于 0.注意到 Xhi=fi(th)+hi,n-1 XT g 的第i 个元为1nnh=1 Xhi gh=1nnh=1Xhi-nk=1ShkXkig(th)-nr=1Shrg(tr)=1nnh=1fi(th)-nk=1Shkfi(tk)g(th)-nr=1Shrg(tr)+1nnh=1hi-nk=1Shkkig(th)-nr=1Shrg(tr)=J1+J2,(2.27)利用(2.25)式容易得到J1=O(n-2)+O(2m).(2.28)238中国科学(A辑)第 29卷由(2.25)式、引理4()和强大数律得到|J2|max1h ng(th)-nr=1Shrg(tr)1nnh=1|hi|+max1hnnk=1Shkki=O(n-)+O(m),a.s.综合(2.27)、(2.28)式和上式得到1nnh=1 Xhi gh=O(n-)+O(m),a.s.(2.29)类似地,n-1 XT e 的第i 个元1nnh=1 Xhi eh=1nnh=1fi(th)-nk=1Shkfi(tk)eh-nr=1Shrer+1nnh=1hi-nk=1Shkkieh-nr=1Shrer=o(1),a.s.(2.30)这就完成了(1.5)式的证明.supt|g(t)-g(t)|supt|g0(t,)-g(t)|+suptni=1xTi(-)AiEm(t,s)ds=K1+K2,(2.31)由(2.25)式和引理 4()得K1suptnj=1g(tj)AjEm(t,s)ds-g(t)+suptnj=1ejAjEm(t,s)ds=o(1),a.s.(2.32)记 =(1,d)T,=(1,d)T,有K2=suptdj=1ni=1Xij(j-j)AiEm(t,s)dsdj=1|j-j|suptni=1XijAiEm(t,s)ds.(2.33)由(2.33)和(1.5)式可得:为证 K2=o(1),a.s.,只需证明suptni=1XijAiEm(t,s)ds=O(1),a.s.(2.34)记 M=max1j nsupt fj(t),由 Xij=fj(ti)+ij可得suptni=1XijAiEm(t,s)ds suptni=1fj(ti)AiEm(t,s)ds+suptni=1ijAiEm(t,s)dsM supt10|Em(t,s)|ds+suptni=1ijAiEm(t,s)ds,由引理1 和引理 4()即知K2=o(1),a.s.(2.35)综合(2.31)、(2.32)和(2.35)式即得(2.6)式.定理 2 和 3的证由文献 9可知:当 3/2 时,由条件(A1)得到 g(),fr()连续可微,因此,对 t 0,1,g(t),fr(t)均满足一阶 Lipschitz 条件.类似于定理 1 的证明,利用引理 4第 3 期钱伟民等:半参数回归模型小波估计的强逼近239中的()、()和强大数律立得定理2 和 3 的结论.参 考 文 献1Engel R,Granger C,Rice J,et al.Nonparametric estimation of the relation between weather and electricity sales.J AmerStatist As-soc,1986,81:310 3202Speckman P.Kernel smoothing in partial linear models.J R Statist Soc B,1988,50:413 4363Eubank R L,Hart J D,Speckman P.Trigonometric series regression estimatorwith an application to partially linearmodel.J Multivari-ate Anal,1990,32:70 834Donoho D L,Johnston I M.Adapting to unknown smoothness via wavelet shrinkage.J Amer Statist Assoc,1995,90:1 200 1 2245Hall P,Patial P.Formulae for mean integrated squared error of nonlinear wavelet-based density estimators.Ann Statist,1995,23:905 9286柴根象,徐克军.半参数回归的线性小波光滑.见:中国概率统计学会,日本统计学会编.第六届中日统计讨论会论文集.西安:西安统计学院,19977高集体,赵林城.部分线性模型中的自适应估计.中国科学,A 辑,1992,8:791 8038高集体.一类混合回归模型中估计的收敛速度.数学年刊,1993,14A:81 929Antoniads A,Gregoire G,Mckeague I W.Wavelet methods for curve estimation.J Amer Statist Assoc,1994,89:1 340 1 35310 WalterG G.Wavelets and Other Orthogonal Systems with Applications.Florida:CRC Press,199411 Chow Y S,Techner H.Probability Theory.2nd ed.New York:Springer-Verlag,1978.118240中国科学(A辑)第 29卷