第四章参数的最小二乘法估计.doc

Four short words sum up what has lifted most successful individuals above the crowd: a little bit more.-author-date第四章参数的最小二乘法估计第四章 最小二乘法与组合测量第四章 最小二乘法与组合测量§1概述最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。§2最小二乘法原理最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量测量一组数据，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：记最可信赖值为，相应的残差。测值落入的概率。根据概率乘法定理，测量同时出现的概率为显然，最可信赖值应使出现的概率P为最大，即使上式中页指数中的因子达最小，即权因子：即权因子，则再用微分法，得最可信赖值 即加权算术平均值这里为了与概率符号区别，以表示权因子。特别是等权测量条件下，有：以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。为从一组测量数据中求得最佳结果，还可使用其它原理。例如（1）最小绝对残差和法：（2）最小最大残差法：（3）最小广义权差法：以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，至今仍用得最广泛。§3.线性参数最小二乘法先举一个实际遇到的测量问题，为精密测定三个电容值:采用的测量方案是，分别等权、独立测得,列出待解的数学模型。 =0.3 =-0.4 +=0.5+=-0.3这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们的测量误差分别为，按最小二乘法原理分别对求偏导数，令它们等于零，得如下的确定性方程组。(-0.3)+(+-0.5)=0(+0.4)+(+0.3)=0(+-0.5)+(+0.3)=0可求出唯一解=0.325,=-0.425, =0.150这组解称之为原超定方程组的最小二乘解。以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。一、正规方程组设线性测量方程组的一般形式为： 即式中，有n个直接测得值，t个待求量。n>t,各等权，无系统误差和粗大误差。固含有测量误差，每个测量方程都不严格成立，故有相应的测量残差方程组 实测值待估计量，最佳估计值，最可信赖值最可信赖的“y”值。按最小二乘法原理，待求的应满足上式分别对求偏导数，且令其等于零，经推导得 正规方程组式中，分别为如下列向量和分别为如下两列向量的内积：=正规方程组有如下特点：（1）主对角线系数是测量方程组各列系数的平方和，全为正数。（2）其它系数关于主对角线对称（3）方程个数等于待求量个数，有唯一解。由此可见，线性测量方程组的最小二乘解归结为对线性正规方程组的求解。 为了便于进一步讨论问题，下面借助矩阵工具给出正规方程组的矩阵形式。记列向量 和n×t阶矩阵则测量方程组可记为： 一般意义下的方程组测量残差方程组记为当估计出的已经是最可信赖的值，则是的最佳结果。最小二乘原理记为利用矩阵的导数及其性质有令，得正规方程组的矩阵形式。展开系数矩阵和列向量，可得代数形式的正规方程组。上述和矩阵的导数有关，因此，我们来分析“矩阵最小二乘法”。二、矩阵最小二乘法1. 矩阵的导数设阶矩阵。)n阶列向量（n+1阶矩阵）和t阶列向量与的转置（行向量）记为与.关于向量的标量函数。定义如下几个导数。（1）矩阵对标量的导数矩阵内A元素是的函数，对矩阵的导数，定义为各元素对的导数，构成新的导数矩阵。若是变量的函数，则定义 (E-1)（2）标量函数对向量的导数标量函数，对列向量的导数，等于标量函数对向量的组成元素的导数组成的列向量（行向量的转置） (E-2)标量函数，对行向量的导数，等于标量函数对向量的组成元素的导数组成的行向量。 (E-3) （3）行（列）向量对列（行）向量的导数行向量对列向量的导数等于行向量各组成元素，对列向量各组成元素分别求得 (E-4) (E-5)关于矩阵的导数有如下性质：（1）矩阵A和B乘积对标量x的导数 (E-6)（2）常数阵的导数为零矩阵。 (E-7)（3）向量关于自身转置向量的导数为单位方阵。 (E-8)（4）向量与向量转置乘积的导数 (E-9) (E-10)（5）关于常数矩阵与向量乘积的导数 (E-11) (E-12) (E-13) (E-14)利用（E-1）、（E-4）、和（E-5）三个定义式，容易证明式（E-6）、（E-7）、（E-8）、和（E-11）、（E-11）成立。以下证明式（E-9）注意到式（E-2）和式（E-4）即， 标量对列向量求导 (E-2)行向量对列向量求导 (E-4)式（E-9） 左类似地，可以证得式（E-10）成立。再证明式（E-13）注意到是关于的标量函数，由式（E-2）知，只需证明由于 所以式（E-13）左2. 正规方程设线性测量方程组与基残差方程组分别为 (E-15) (E-16)式中为阶常数矩阵，为t阶待求向量，是已知的阶的测量向量，（注意均是已测量所得），是n阶残差向量。由最小二乘原理求 （矩阵性质(E-9)式）注意到式（E-7）即常数阵的导数为零矩阵。 注意到式（E-11）即，故所以令得正规方程组的矩阵形式 (E-18)当满秩的情形，可求出 (E-19)一般地，可从式（E-15）出发，用稳定的数值解法，计算A的广义逆阵得 (E-20)要进一步去研究此问题，可参阅有关近代矩阵分析及其数值方法的专著3待求量的协方差矩阵。已知测量向量协方差矩阵。=式中，为的方差：为与的协的方差：这里，假设为等精度、独立测量的结果，有利用式（E-19）待求量X的协方差所以 (E-21)4.最小二乘法解的最佳性可以证明，在等精度、独立和无系统误差的测量条件下，最小二乘法的解具有唯一性、无偏性、有效性和充分性。证明：.唯一性因测量方程相互独立，且n>t,则满秩，式（E-18）有唯一解.无偏性对的估计式（E-19）求数学期望。.有效性设另有的无偏估计则有故 又而 引入单位向量其中第行为1，其它为0与的方差分别为以下证其中第一等式利用了，是一常数，故。最后得证的方差最小，即的有效性成立。.充分性y取到了测量样本中的所有信息，故按（E-18）式求得的估计量，显然也是充分的。正是由于最小二乘法的解具有最佳性，所以，最小二乘法在精密测量的各个领域获得广泛应用。三、精度估计对测量数据的最小二乘法处理，其最终结果不仅要给出待求量的最可信赖值，还要确定其可信赖程度，即估计其精度。具体内容包含有两方面：一是估计直接测量结果的精度；二是估计待求量的精度。1直接测量结果的精度估计对t个未知量的线性测量方程组 进行n次独立的等精度测量，得其残余误差标准偏差。如果服从正态分布，那么服从分布，其自由度n-t，有变量的数学期望，以S代。即有 令t=1，由上式又导出了Bessel公式。2待求量的精度估计按照误差传播的观点，估计量的精度取决于直接测量数据的精度以及建立它们之间联系的测量方程组。可求待求量的协方差（见二·3）矩阵各元素可由矩阵求逆得，也可由下列各方程组分别解得。 (5-51)是直接测量数据的标准差，可按估计待求量的方差 (5-52)矩阵中对角元素就是误差传播系数。待求量与的相关系数。现在，可以解决本节开始提出的测量问题例5-1 为精密测定1号、2号和3号电容器的电容，进行了等权独立、无系统误差的测量。测得1号电容值=0.3，2号电容值=-0.4，1号和3号并联电容值=0.5，2号和3号并联电容值=-0.3。试用最小二乘法求及其标准差。解：列出残差方程组为计算方便，将数据列表如下：11000.31000.3000002010-0.4000010-0.40031010.51010.500010.54011-0.3000011-0.31-0.32010.821-0.720.2按上表计算正规方程组各系数和常数项后，列出正规方程组解出=0.325,=-0.425,=0.150代入残差方程组，计算按式（5-51），求出=0.75, =0.75, =1按式（5-52），求出，最后得1号、2号和3号电容器的精密电容值,，也可以用矩阵形式，这里显然： 这样可求得求逆阵：则由求得 由，可得写出结果。§4 非线性参数的最小二乘法在例5-1中，除了进行4次测量外，又对1号和2号电容器的串联电容进行测量，测得，方差仍为，那么如何处理呢？简单的办法是把它线性化。所谓线性化，就是在未知量的附近，按泰勒级数展开取一次项，然后按线性参数最小二乘法进行迭代求解。线性化的具体步骤如下：设测量残差方程组 (4-1)取的初始近似值记 (4-2)则有 令 (4-3)， (4-4)于是得线性化残差方程组 (4-5)作法：按线性参数最小二乘法解得，以至，将此作为新的，按式（4-2），式（4-3），式（4-4）和式（4-5）进行反复迭代求解，直至符合精度要求为止。例5-2 在例5-1的基础上，再增加一次测量串联电容，测得=0.14。试用最小二乘法求及其标准差解：先列出测量方程组=0.3 =-0.4 +=0.5 +=-0.3对前4个线性测量方程组，按例5-1求出解，作为初次近似解在(0.325,-0.425,0.150)附近，取泰勒展开的一阶近似， 写出线性化残差方程组整理得正规方程组解出取的二次近似值重复上述过程再求出。依次迭代结果如表所示。迭代次数00000.325-0.4250.1501-0.0473-0.03630.04180.278-0.4610.1922-0.0713-0.03730.05430.206-0.4990.2463-0.0472-0.05550.02640.159-0.5040.27340.001980.00105-0.006280.161-0.4940.2665-0.00113-0.001420.001270.160-0.4950.26860.0003150.000419-0.0003670.160-0.4950.267可见，经6次迭代，精度已达10-3，满足要求即可结束迭代。§5 组合测量问题所谓组合测量，是指直接或间接测量一组被测量的不同组合值，从它们相互组合所依赖的若干函数关系中，确定出各被测量的最佳估计值。组合测量的问题常用最小二乘法，以上两节所举精密测量电容值的问题就是一例。本节再介绍几个实例，以进一步说明组合测量方法的特点。例4-3 如图所示，要求检定线纹尺0,1,2,3刻线间的距离x1,x2,x3。已知用组全测量法测得图所示刻线间隙的各种组合量。L1=1.01, L2=0.98, L3=1.02L4=2.02,L5=1.98,L6=3.03解：按前述方法，可以解得x1=1.028(0.011)，x2=0.983(0.011)，x3=1.013(0.011)这里，着重说明组合测量方法的优点。本例对刻度间隔x1,x2与x3分别测了3次，总共测量6次。若不采用组合测量，按每刻度间隔重复测量3次计，共需作9次测量，比组合测量法多测3次。如果待检定的刻度间隔远多于3个。那么可以类似分析得出，采用组合测量法可以大大减少测量次数，提高测量的工作效率。本例测量方程的个数是6，待求量的个数是3。假设。按有。如果测量方程减少为4个，那么有。如果两种情形的误差传播系数相近，那么按式估计，前者比后者小一倍。这说明，增加组合测量的个数，往往可以提高测量结果的精度。这与增加重复测量次数提高测量精度的结论是一致的。例4-4 测量平面三角形的三个角，得，。假设各测量值权分别为1,2,3，求A，B，C的最佳估计值。解：本例有一个约束条件A+B+C=180o这类约束条件容易消去，将C=180o-A-B代入即可另外，在计算中应注意将角、度、分、秒值化度。列出不等权的测量方程组：A=48.0933,w1=1B=60.4233,w2=2A+B=109.298,w3=3按下表运算，写出不等权的正规方程组 11 1 0 48.09332 0 1 60.42323 1 1 109.2981 0 48.09330 0 03 3 327.8940 02 120.84663 327.894234 3 375.98735 448.74064A+3B=375.98733A+5B=448.7406解出 A=48.5195, B=60.6364=0.4545, =0.3636最后得：A=48.52(0.67), B=60.64(0.60), C=70.84(0.89)即, ，因此，不等精度测量问题，主要是考虑加权因子w后再作与等精度同样的处理。 而 -