线性模型参数的最小二乘估计综述.pdf

线性模型参数的最小二乘估计综述线性模型参数的最小二乘估计综述研 1104 班检测自动化李 宇201104212摘摘要要：本文简要介绍了线性模型参数的最小二乘估计的特点及相应的发展过程。总结了最小二乘估计的基本理论，探讨了最小二乘估计存在的问题和相应的解决方法。关键词关键词：线性模型；最小二乘估计；综述Survey on the least squares estimationSurvey on the least squares estimationon linear modelon linear modelAbstractAbstract: The characteristics and development process of the least squares estimationon linear model are briefly introduced. The basic theories of the least squaresestimation are presented in detail. Open issues and development intends are alsodiscussedKey wordsKey words: linear model ; least squares ; survey1 1前言前言最小二乘法是一种数学优化技术， 它通过最小化误差的平方来寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。随着信息产业的飞速发展，在现代科学和技术的许多领域广泛存在着信息的处理问题，根据不同的需要，人们在各种优化准则下研究这些信息的优化处理。 由于信息的产生和收集常常受到各种噪声的干扰，数据一般是不确定的，而是具有一定统计特性的随机数据。在随机问题的参数估计方面， 人们提出了均方误差、 线性最小方差、 最小二乘估计等优化准则，并在一定假设下得到了这些优化准则下最优估计的解析表达式。 而在均方误差和线性最小方差意义下求最优解时，需要待估参数的误差方差阵已知，但在实际问题中是很难知道的；最小二乘法则不需要待估参数和误差的任何先验统计信息，非常便于实际应用。线性模型是数理统计学中很重要的分支， 也是最小二乘法在统计中应用最成功的领域。 本文简要介绍了线性模型参数的最小二乘估计的特点及相应的发展过程，总结了最小二乘估计的基本理论，探讨了最小二乘估计存在的问题和解决方法。2 2最小二乘法的发展过程最小二乘法的发展过程通常的线性模型表示为：Y X,Y R , X Rnnr, Rr其中E () 0, C ov () V2，Y 称为随机观测矩阵，X 为设计矩陈，为随机观测噪声，V 为误差协方差矩阵：和为待估计参数。从表达式可以看到变量 X与 Y 之间的这种线性关系与通常的函数关系不同，因为变量 Y 的值不能够完全精确地由 X 的值所确定。最小二乘法起源于求解线性矛盾方程组即线性模型参数的估值问题。 两个世纪前，著名数学家 A.M.Legendre 和 C.F.Gauss 把最小二乘应用于观测数据的分析。后来，A.A.Markov 于 1900 年证明了最小二乘估计的最小方差性质，即著名的 gauss-Markov 定理， 奠定了最小二乘估计在参数估计理论中的地位。 R C Bose于 1944 年引入的可估函数的概念以及广义矩阵的应用，使得设计矩阵为列降秩的线性模型的估计理论表达的更加严格而简洁。 误差方差阵为奇异阵的线性模型的研究始于本世纪 60 年代中期。Goldman 和 Zelen1率先提出了用满秩线性变换把模型化为协方差阵为2I且带约束的情形。后来 C.R.Rao 2采用推广最小二乘的途径，提出了“最小二乘统一理论”ULS(The Unified Theory of LeastSquares)，它既实用于设计矩阵为列满秩或列降秩，又实用于误差方差阵为奇异的情形。而几乎在同一时期，C.R.Rao 还提出了另一种计算模型 BLUE 的方法分块逆矩阵法。3 3最小二乘估计的基本原理最小二乘估计的基本原理3.13.1最小二乘一次完成法最小二乘一次完成法假定观测模型是线性的，待估计量为 1,2,MT，观测为zi hi11 hi22 hiMM，i 1,2, , N用矢量和可表示为z H vh12h22hN 2h1Mh2 MhNM h11h21TT其中z z1, z2, zN，v v1,v2, vN，H hN 1观测与估计偏差的平方和可表示为)=z-HTz HJ (ls。求J (的导数，并令导数)最小的估计，记为)对最小二乘估计就是使J (等于零，得)J(T 0 2H z H由此可得最小二乘估计为ls (HTH )Hz1T3.23.2最小二乘递推算法最小二乘递推算法上述的算法是在取得整批数据后，一次求取参数的估计值。在采样次数 k 值大的时候，计算量比较大，因此提出了最小二乘递推算法。递推算法的一般形式是k 1k Kk 1y(k 1) hk 1kT(k 1)k Kk 1y(k 1) yk Kk 1(k 1)k 1是得到第 k+1 次采样数k是第 k 次采样数据后求出的参数估计值，上式中：k是预报据后求出的参数值，hk 1是 H 矩阵的 k+1 行，hkT1（2n+1）yk 1值，Kk 1是维的修正列向量矩阵。在最小二乘递推算法中，Kk 1的表达式为：Kk 1 (HH )hK 11 hK 1(HH )kK 1T1TT11对推算法的关键问题是确定Kk 1， 如果Kk 1的修正过于强烈， 估计值将波动较大，甚至不能收敛；但如果过于微弱，则需要经过很多次采样后，才能接近可靠的估计值。4.4. 最小二乘估计存在的问题以及相应算法简介最小二乘估计存在的问题以及相应算法简介最小二乘法是一种最基本和常用的参数估计方法，但研究和应用表明，这一算法仍存在明显的不足：（1）当模型噪声为有色噪声时，LS估计不再是无偏估计、一致估计。（2）随着采样次数的增多，数据量不断增加，LS估计有可能出现所谓的“数据饱和”现象，导致递推算法不能接近参数真值。为了解决最小二乘算法存在的问题，分别提出了遗忘因子法、限定记忆法、增广最小二乘法等估计算法。4.14.1 遗忘因子法遗忘因子法对越老的数据加上越强（数值越小）的遗忘因子，从而减少老数据提供的信息量，强调新数据的信息。遗忘因子法的基本算法有一次完成和递推两种，现状仅对一次完成法进行介绍。设系统有最小二乘格式z(k)h hT(k) e(k)，则Z ZNH HN E EN，其中 h hT(1) z(1) H HNe(1) , Z ZN, E ENTh h (N )z(N )e(N )数据长度为 N。对 K 时刻，进行模型变形（加衰减因子，0 1）Nkz(k) Nkh hT(k) Nke(k)则Z Z*N H HN E ENN 1z(1) N 1h hT(1) N 1e(1) *Z ZN, H H*N, E E*NN Nz(N )N Nh hT(N )N Ne(N )由 LS 算法： (N ) (H H* TH H*)1H H* TZ Z*N (H HTNWWNH HN)1H HTNNNNWWNZ ZN其中N 1N 10 2 ( N 1)0 *N 2H H*2 ( N 2 )Z ZNZ ZNNH HNWWN01，01，04.24.2限定记忆法限定记忆法限定记忆法的参数估值始终只依赖于有限个最新数据所提供的信息， 每增加一个新数据的信息，就要去掉一个老数据的信息，数据长度始终不变。限定记忆法递推公式如下：0 1(k 1, k L) (k , k L) K K (k 1, k L)z(k ) h hT(k ) (k , k L) 1TK K (k 1, k L) P P (k , k L)h h(k ) 1 h h(k )P P (k , k L)h h(k )TP P (k 1, k L) I I K K (k 1, k L)h h(k )P P (k , k L)(k , k L) (k , k L 1) K K (k , k L)z(k L) h hT(k L) (k , k L 1) 1K K (k , k L) P P (k , k L 1)h h(k L) 1 h hT(k L)P P(k , k L 1)h h(k L)P P (k , k L) I I K K (k , k L)h hT(k L) P P (k , k L 1) (k, k L)表示从 K 到 K+L 时刻共 L+1 组数据获得的参数估计值。其中限定记忆法的特点是将离现在时刻 L 步以前的老数据从算法中删除， 影响参数估计值的数据始终是最新的 L 个数据，不像基本最小二乘法或渐消记忆法那样，每一时刻的旧数据都在起作用。从这个意义上说，限定记忆法更适合于用来克服“数据饱和”现象。4.34.3增广最小二乘法增广最小二乘法e(k)为白噪声，w(k) C (z)e(k)，当系统噪声为有色白噪声时，如1系统为：C (z) 1 C1z111 . Csz sA(z)z(k) B(z)u(k) w(k)或 z(k) h h (k) w(k)T1若仍用 LS 法估计，则T(N ) (H HTH H)1H HTZ Z (H HTH H)1H HTH H WW LSNNNNNNNN0N 0 (H HNH HN)H HNWWN(N ) E(H HTH H)1H HTWWE LS0NNNNT1TE(H HNH HN)H HNWWN不为零，所以估计为有偏估计，可以利用增广最因为1T小二乘法解决此问题考虑模型其中化为最小二乘格式A(z)z(k) B(z)u(k) C (z)e(k)111 A(z1) 1 a1z1 . anz n11 mB(z) b1z . bmz11 sC (z) 1 c1z . cszz(k) h h (k) e(k) (a1 an,b1 bm,c1 cs)*TT*h h (k) z(k 1) z(k n), u(k 1) u(k m), e(k 1) e(k s)*回归向量(i)代e(k 1) e(k s)，用误差eh h (k)中含有不可测量的随即噪声替e(i)得：h h(k) z(k 1) z(k n)u(k 1)u(k m)(k 1)e(k s)eT其中(i 1)(i) z(i) h hT(i) e(i)(i) z(i) h hT(i) 或 e e(i) z(i) h h*T(i) 0且当i 0时，e(i) 0则当(0)已知时，有 RELS 估计算法为 T (k) (k 1) K K (k)z(k) h h (k) (k 1)P P(k 1)h h(k)K K (k) T1 h h (k)P P(k 1)h h(k)P P(k) I I K K (k)h hT(k) P P(k 1)5 5结论结论最小二乘法在线性模型领域中应用最为成功，但当噪声为有色噪声、数据量较大时，最小二乘估计就存在明显的不足。由此引出遗忘因子法、限定记忆法、增广最小二乘法等改进算法，在具体应用时还要对其进行具体的分析。当噪声为白噪声，数据量较小，此时最小二乘法 LS 性能明显优于其他算法，而且有较可靠的收敛性。 增广最小二乘法的参数估计是无偏的， 但对噪声模型估计不太精确。限定记忆法由于参数估值始终只依赖有限个最新数据提供的信息， 数据长度始终保持不变，特别适用于克服“数据饱和”问题。参考文献参考文献1Goldman，AJand Zelen，M，Weak general jzed inverses and minimumvariance1inear unbiased estimation， J Res Nat Bur Stan ， B， MathamatiasandMathPhysi，68(1964)151722Rao，CR，Linear Statistical Inferences and its Appl ications，JohnWiley，19713罗鹏飞，张文明.随即信号分析与处理，北京：清华大学出版社，2006.64吕王勇，线性模型参数的最小二乘估计理论及其应用 ,D,成都：四川大学，2005.