参数的最小二乘法估计.ppt

《参数的最小二乘法估计.ppt》由会员分享，可在线阅读，更多相关《参数的最小二乘法估计.ppt（69页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、参数的最小二乘法估计现在学习的是第1页，共69页主要内容主要内容1 1 最小二乘法原理最小二乘法原理2 2 线线性性测测量量方方程程组组中中参参数数的的最最小小二乘法二乘法3 3 非非线线性性测测量量方方程程组组中中参参数数的的最最小二乘法小二乘法4 4 组合测量组合测量现在学习的是第2页，共69页数学工具数学工具关于最小二乘法关于最小二乘法数据处理数据处理参数估计参数估计回归分析回归分析现在学习的是第3页，共69页算术平均值，依据使残差的平方和为算术平均值，依据使残差的平方和为最小的原则最小的原则组合测量的问题组合测量的问题拟合经验公式等拟合经验公式等 最小二乘法典型应用最小二乘法典型应用现

2、在学习的是第4页，共69页最小二乘法发展最小二乘法发展200200多年的历史；多年的历史；天文天文和和大地大地测量；测量；近代矩阵理论近代矩阵理论与与电子计算机电子计算机经经典典的的最最小小二二乘乘法法及及其其在在组组合合测测量量的应用的应用深入的内容可参阅专门的书籍和文献深入的内容可参阅专门的书籍和文献现在学习的是第5页，共69页第一节第一节最小二乘法原理最小二乘法原理 现在学习的是第6页，共69页从一组测量值中寻找最可信赖值从一组测量值中寻找最可信赖值现在学习的是第7页，共69页现在学习的是第8页，共69页测得值测得值 同时出现的概率为同时出现的概率为 最可信赖值满足最可信赖值满足 最可信

3、赖值；最可信赖值；最可信赖值；最可信赖值；P P P P为为为为最大；式中负指最大；式中负指最大；式中负指最大；式中负指数中因子达最小数中因子达最小数中因子达最小数中因子达最小微分法得微分法得最可信赖最可信赖值值现在学习的是第9页，共69页（1）最小绝对残差和法：）最小绝对残差和法：小结小结 从一组测量数据中求得最佳结果，还可使用其它原理。例从一组测量数据中求得最佳结果，还可使用其它原理。例如如最可信赖值是在残差平方和或加权残差平方和为最小的意义最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。下求得的，称之为最小二乘法原理。（3）最小广义极差法：）最小广义极

4、差法：（2）最小最大残差法：）最小最大残差法：现在学习的是第10页，共69页主要内容主要内容最小二乘法原理最小二乘法原理线线性性测测量量方方程程组组中中参参数数的的最最小小二二乘法乘法非非线线性性测测量量方方程程组组中中参参数数的的最最小小二乘法二乘法组合测量组合测量现在学习的是第11页，共69页第二节第二节线性参数的最小二乘法线性参数的最小二乘法现在学习的是第12页，共69页先举一个实际遇到的测量问题，为精密测先举一个实际遇到的测量问题，为精密测定三个电容值定三个电容值:采用的测量方案是，分别等权、独立测得采用的测量方案是，分别等权、独立测得 ,列出待解的数学模型。这是一个列出待解的数学模型

5、。这是一个组合测量组合测量的问题。的问题。第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第13页，共69页如为精密测定如为精密测定1 1号、号、2 2号和号和3 3号电容器的电容量号电容器的电容量 测得值测得值待解的数学模型待解的数学模型 待求量待求量为了获得更可靠的为了获得更可靠的结果，测量次数总结果，测量次数总要多于未知参数的要多于未知参数的数目数目组合测量组合测量，指直接测量一组被测量的不同组合值，从指直接测量一组被测量的不同组合值，从它们相互所依赖的若干函数关系中，确定出各被测量它们相互所依赖的若干函数关系中，确定出各被测量的最佳估计值。的最佳估计值。第二节线性参数的

6、最小二乘法第二节线性参数的最小二乘法现在学习的是第14页，共69页这是一个超定方程组，即方程个数多这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们事实上，考虑到测量有误差，记它们的测量误差分别为的测量误差分别为 ，按最小二乘法原理按最小二乘法原理 第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第15页，共69页 分别对分别对 求偏导数，令它们求偏导数，令它们等于零，得如下的确定性方程组。等于零，得如下的确定性方程组。(x(x1 1-0.3)+(x-0.3)+(x1 1+x+x3 3-0.5)=

7、0-0.5)=0(x(x2 2+0.4)+(x+0.4)+(x2 2+x+x3 3+0.3)=0+0.3)=0(x(x1 1+x+x3 3-0.5)+(x-0.5)+(x2 2+x+x3 3+0.3)=0+0.3)=0 x x1 1=0.325,x=0.325,x2 2=-0.425,x=-0.425,x3 3=0.150=0.150 可求出唯一解 第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第16页，共69页以下，一般地讨论线性参数测量方程组以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。的最小二乘解及其精度估计。第二节线性参数的最小二乘法第二节线性参数的最小

8、二乘法现在学习的是第17页，共69页第二节线性参数的最小二乘法第二节线性参数的最小二乘法一、正规方程组现在学习的是第18页，共69页设线性测量方程组的一般形式为：设线性测量方程组的一般形式为：第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第19页，共69页即即式中，有式中，有n n个直接测得值，个直接测得值，t t个待求量。个待求量。nt,nt,各等权，无系统误差和粗大误差。各等权，无系统误差和粗大误差。第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第20页，共69页第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第21页，共69页上式分别对

9、上式分别对 求偏导数，且令其等于零，求偏导数，且令其等于零，经推导得经推导得 应当满足应当满足现在学习的是第22页，共69页式中，式中，分别为如下列向量分别为如下列向量 第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第23页，共69页第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第24页，共69页 和和 分别为如下两列向量的内积：分别为如下两列向量的内积：=正规方程组有如下特点：正规方程组有如下特点：第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第25页，共69页现在学习的是第26页，共69页测量方程组系数与正规方程组系数测量方程组系数与正

10、规方程组系数第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第27页，共69页（1 1）主对角线系数是测量方程组各列系数）主对角线系数是测量方程组各列系数的平方和，全为正数。的平方和，全为正数。（2 2）其它系数关于主对角线对称）其它系数关于主对角线对称（3 3）方程个数等于待求量个数，有唯一解。）方程个数等于待求量个数，有唯一解。由此可见，线性测量方程组的最小二乘解由此可见，线性测量方程组的最小二乘解归结为对线性正规方程组的求解。归结为对线性正规方程组的求解。第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第28页，共69页二、正规方程组的矩阵形式第二节线性参

11、数的最小二乘法第二节线性参数的最小二乘法现在学习的是第29页，共69页为了便于进一步讨论问题，下面借助矩阵为了便于进一步讨论问题，下面借助矩阵工具给出正规方程组的矩阵形式。记列向量工具给出正规方程组的矩阵形式。记列向量 和和ntnt阶矩阵阶矩阵 第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第30页，共69页第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第31页，共69页则测量方程组可记为：则测量方程组可记为：测量残差方程组记为测量残差方程组记为 V=L-AXV=L-AX最小二乘原理记为最小二乘原理记为 第二节线性参数的最小二乘法第二节线性参数的最小二乘法现

12、在学习的是第32页，共69页利用矩阵的导数及其性质有利用矩阵的导数及其性质有 第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第33页，共69页令令，得正规方程组的矩阵形式。，得正规方程组的矩阵形式。展开系数矩阵和列向量，可得代数形式的展开系数矩阵和列向量，可得代数形式的正规方程组。当正规方程组。当 满秩的情形，可求出满秩的情形，可求出 第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第34页，共69页小结小结第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第35页，共69页线性测量方程组的一般形式为线性测量方程组的一般形式为 测量残差方测量残差

13、方程组程组 含有随机误含有随机误差差矩阵形式矩阵形式第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第36页，共69页最小二乘法原理式最小二乘法原理式 求导求导正规方程组正规方程组 正规方程组解正规方程组解 不等权不等权第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第37页，共69页三、精度估计第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第38页，共69页对测量数据的最小二乘法处理，其最终结对测量数据的最小二乘法处理，其最终结果不仅要给出待求量的最可信赖值，还要果不仅要给出待求量的最可信赖值，还要确定其确定其可信赖程度可信赖程度，即估计其，

14、即估计其精度精度。具体内。具体内容包含有两方面：容包含有两方面：一是估计直接测量结果一是估计直接测量结果 的精度；的精度；二是估计待求量二是估计待求量 的精度。的精度。第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第39页，共69页1 1直接测量结果的精度估计直接测量结果的精度估计对对t t个未知量的线性测量方程组个未知量的线性测量方程组 进进行行n n次独立的等精度测量，得次独立的等精度测量，得其残余误差为；标准偏差。其残余误差为；标准偏差。如果服从正态分布，那么服从如果服从正态分布，那么服从分布，其自由度分布，其自由度n-tn-t，有变量的数，有变量的数学期望。学期望。即

15、有即有 第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第40页，共69页令令t=1t=1，由上式又导出了，由上式又导出了BesselBessel公式。公式。第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第41页，共69页2 2待求待求量的精度量的精度估计估计 按照误差传播的观点，按照误差传播的观点，估计量估计量 的精的精度取决于直接测量数据度取决于直接测量数据 的精度以及建立它们之的精度以及建立它们之间联系的测量方程组。间联系的测量方程组。第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第42页，共69页可求待求量的协方差可求待求量的协方差

16、矩阵矩阵 各元素可由矩阵求逆得，也可由下各元素可由矩阵求逆得，也可由下列各方程组分别解得列各方程组分别解得第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第43页，共69页d11第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第44页，共69页d21第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第45页，共69页dt1第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第46页，共69页是直接测量数据的标准差，可按是直接测量数据的标准差，可按估计估计 待求量待求量的方差的方差 矩阵矩阵中对角元素中对角元素就是误差传播系数就是误差传播

17、系数 第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第47页，共69页待求量待求量 与与 的相关系数的相关系数第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第48页，共69页小结小结第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第49页，共69页1 1 1 1、直接测量结果的标准差估计、直接测量结果的标准差估计、直接测量结果的标准差估计、直接测量结果的标准差估计 （加权）（加权）未知量个数未知量个数方程个数方程个数残差残差2 2、待求量的标准差估计、待求量的标准差估计 直接测量量的标准差直接测量量的标准差对角元素对角元素误差传播系数误差传播

18、系数 3 3、待求量与的相关系数、待求量与的相关系数 元素元素第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第50页，共69页例例 2 2为精密测定为精密测定1 1号、号、2 2号和号和3 3号电容器的电容量，进行了等权、号电容器的电容量，进行了等权、独立、无系统误差的测量。测得独立、无系统误差的测量。测得1 1号电容值号电容值 ，2 2号电容值号电容值，1 1号和号和3 3号并联电容值，号并联电容值，2 2号和号和3 3号并联电容值。试用最号并联电容值。试用最小二乘法求及其标准偏差。小二乘法求及其标准偏差。【解】【解】列出测量残差方程组列出测量残差方程组 代数求解过程代数求

19、解过程第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第51页，共69页代数法求解例代数法求解例.doc现在学习的是第52页，共69页矩阵形式矩阵形式第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第53页，共69页第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第54页，共69页即第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第55页，共69页代入残差方程组，计算代入残差方程组，计算 第二节线性参数的最小二乘法第二节线性参数的最小二乘法现在学习的是第56页，共69页主要内容主要内容最小二乘法原理最小二乘法原理线线性性测测量量方

20、方程程组组中中参参数数的的最最小小二二乘法乘法非非线线性性测测量量方方程程组组中中参参数数的的最最小小二乘法二乘法组合测量组合测量现在学习的是第57页，共69页第三节第三节非线性参数的最小二乘法非线性参数的最小二乘法现在学习的是第58页，共69页第三节非线性参数的最小二乘法第三节非线性参数的最小二乘法测量残差方程组测量残差方程组 非线性函数非线性函数取的初始似值取的初始似值 泰勒展开泰勒展开按线性参数最小按线性参数最小二乘法解得二乘法解得 迭代直迭代直至满至满足精度足精度为止为止现在学习的是第59页，共69页例例 3 3在例在例2 2的基础上，再增加一次测量串联电容的基础上，再增加一次测量串联

21、电容 ，测得。，测得。试用最小二乘法求及其标准偏差。试用最小二乘法求及其标准偏差。【解】【解】列出非线性测量方程组列出非线性测量方程组 第三节非线性参数的最小二乘法第三节非线性参数的最小二乘法现在学习的是第60页，共69页对前个线性测量方程组，按例对前个线性测量方程组，按例2 2求出解，作为初次求出解，作为初次近似解近似解 在附近，取泰勒展开的一阶近似在附近，取泰勒展开的一阶近似 现在学习的是第61页，共69页写出线性化写出线性化残差方程组残差方程组 整理得正规整理得正规方程组方程组 解出解出 迭迭代代现在学习的是第62页，共69页6 6次迭代结果次迭代结果迭代次数00000.325-0.42

22、50.1501-0.0473-0.03630.04180.278-0.4610.1922-0.0713-0.03730.05430.206-0.4990.2463-0.0472-0.05550.02640.159-0.5040.27340.001980.001050.006280.161-0.4940.2665-0.00113-0.00142-0.001270.160-0.4950.26860.0003150.0004190.0003670.160-0.4950.267第三节非线性参数的最小二乘法第三节非线性参数的最小二乘法现在学习的是第63页，共69页主要内容主要内容最小二乘法原理最小二乘法

23、原理线线性性测测量量方方程程组组中中参参数数的的最最小小二乘法二乘法非非线线性性测测量量方方程程组组中中参参数数的的最最小二乘法小二乘法组合测量组合测量现在学习的是第64页，共69页第四节第四节组合测量应用举例组合测量应用举例现在学习的是第65页，共69页例例 4 4要求检定丝纹尺要求检定丝纹尺0 0，1 1，2 2，3 3刻线间的距离。已刻线间的距离。已知用组合测量法测得图所示刻线间隙的各种组合量。试用知用组合测量法测得图所示刻线间隙的各种组合量。试用最小二乘法求及其标准偏差。最小二乘法求及其标准偏差。第四节组合测量应用举例第四节组合测量应用举例现在学习的是第66页，共69页计算步骤计算步骤【解】【解】列出测量残差方程组列出测量残差方程组 第四节组合测量应用举例第四节组合测量应用举例现在学习的是第67页，共69页解出解出即即第四节组合测量应用举例第四节组合测量应用举例现在学习的是第68页，共69页代入残差代入残差方程组可方程组可得得 估计的标准差估计的标准差 第四节组合测量应用举例第四节组合测量应用举例现在学习的是第69页，共69页