第二讲估计方法课件.ppt

《第二讲估计方法课件.ppt》由会员分享，可在线阅读，更多相关《第二讲估计方法课件.ppt（64页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第二讲估计方法第1页，此课件共64页哦p经典测量平差三步骤：经典测量平差三步骤：函数模型函数模型随机模型随机模型平差准则平差准则参数的估值参数的估值思考思考:做间接平差时有哪些前提或要求做间接平差时有哪些前提或要求?测量平差：测量平差：就是根据含有就是根据含有误差误差的观测向量，依一定的数学模型，的观测向量，依一定的数学模型，按按一定一定的准则，求未知参数。的准则，求未知参数。第2页，此课件共64页哦测量平差过程示意图测量平差过程示意图观测值观测值数学模型数学模型平差估计准则？平差估计准则？法方程法方程平差值平差值精度评定精度评定第3页，此课件共64页哦1、观测有误差，且呈现偶然性。、观测有误

2、差，且呈现偶然性。2、不考虑参数的先验统计特性；、不考虑参数的先验统计特性；只顾及观测值的先验统计特性。只顾及观测值的先验统计特性。函数模型：2）随机模型：）随机模型：估计准则：1）函数模型：）函数模型：3）平差准则：）平差准则：应用前提：应用前提：第4页，此课件共64页哦p广义测量平差：广义测量平差：1）经典平差是假定没有模型误差的。但实际问题中，模型误）经典平差是假定没有模型误差的。但实际问题中，模型误差总是存在的。差总是存在的。如：函数模型中存在系统误差和粗差；随机模型中方差或协方差如：函数模型中存在系统误差和粗差；随机模型中方差或协方差不准确等。另随机模型是奇异阵等。不准确等。另随机模

3、型是奇异阵等。2）经典平差是认为未知参数是非随机量（或不考虑其先验）经典平差是认为未知参数是非随机量（或不考虑其先验统计特性），而实际中有些参数的先验统计特性是已知统计特性），而实际中有些参数的先验统计特性是已知的的(如如GPS复测网，形变监测网的平差中。复测网，形变监测网的平差中。u以上这些问题均需要按广义测量平差的方法来解决。以上这些问题均需要按广义测量平差的方法来解决。第5页，此课件共64页哦测量平差测量平差由含有误差的观测值按一定准则由含有误差的观测值按一定准则求未知参数求未知参数X的估值的估值参数分为：参数分为：非随机参数非随机参数随机参数随机参数随机参数和非随机参数随机参数和非随机

4、参数最小二乘估计、极大似然估计最小二乘估计、极大似然估计极大验后估计、最小方差估计极大验后估计、最小方差估计,极等极等这类平差即经典平差这类平差即经典平差这类平差称这类平差称“滤波、推估滤波、推估“广义最小二乘原理广义最小二乘原理这类平差称这类平差称”配置配置“第6页，此课件共64页哦估计估计对函数模型对函数模型的估计的估计对随机模型对随机模型的估计的估计方差分量估计方差分量估计观测只含有观测只含有偶然误差偶然误差观测含有观测含有系统误差系统误差观测含有观测含有粗差粗差附加系统附加系统参数的估计参数的估计稳健估计稳健估计最小二乘估计最小二乘估计对系统对系统“状态状态”参数的估计参数的估计卡尔曼

5、滤波卡尔曼滤波第7页，此课件共64页哦总体总体样本样本统计量统计量描述描述作出推断作出推断在参数估计问题中在参数估计问题中：假定总体分布形式已知，未知的仅仅是一个：假定总体分布形式已知，未知的仅仅是一个或几个参数。或几个参数。随机抽样随机抽样（观测值）观测值）（分布）（分布）（估计准则）（估计准则）参数估计问题是：参数估计问题是：利用从总体抽样得到的信息来估计总体的某些参数利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数。或者参数的某些函数。第8页，此课件共64页哦u本章介绍一下三个内容：本章介绍一下三个内容：1、多维正态分布以及条件概率密度；、多维正态分布以及条件概率密度；2、

6、估计方法；、估计方法；3、广义最小二乘准则（、广义最小二乘准则（估计准则推广估计准则推广）。）。可见，根据观测值可见，根据观测值 分布分布 推断（估计准则）。推断（估计准则）。第9页，此课件共64页哦第一章第一章 估计方法和广义测量平差原理估计方法和广义测量平差原理n本章主要内容：本章主要内容：多维正态分布；多维正态分布；极大似然估计（对非随机参数或随机参数进行估计）；极大似然估计（对非随机参数或随机参数进行估计）；最小二乘估计（非随机参数）；最小二乘估计（非随机参数）；极大验后估计（对随机参数进行估计）；极大验后估计（对随机参数进行估计）；最小方差估计（随机参数）；最小方差估计（随机参数）；

7、广义测量平差原理。广义测量平差原理。第10页，此课件共64页哦1-1、概述、概述为了确定平面或三维控制网中各点坐标，对控制网的边长和方向进行为了确定平面或三维控制网中各点坐标，对控制网的边长和方向进行观测（观测包含误差）。未知参数向量（坐标）观测（观测包含误差）。未知参数向量（坐标）X与观测向量（边长、与观测向量（边长、方向）方向）L之间有函数关系：之间有函数关系：卫星（或其它运动体）的轨道往往可以由如下的微分方程确定卫星（或其它运动体）的轨道往往可以由如下的微分方程确定式中表示时间；式中表示时间；X（t）表示卫星的轨道参数，称为状态向量；）表示卫星的轨道参数，称为状态向量；U（t）称为控制向

8、量；）称为控制向量；（t）是随机的状态噪声。）是随机的状态噪声。L(t）为观测值。）为观测值。第11页，此课件共64页哦p可以看出：可以看出：以上的例子，都存在一个对未知参数进行以上的例子，都存在一个对未知参数进行估计的问题。估计的问题。根据含有根据含有误差的观测向量误差的观测向量，依一定的，依一定的数学模型数学模型，按，按一定一定的准则的准则，求未知参数，在数理统计中称为，求未知参数，在数理统计中称为参数估计参数估计，在，在测量中称为测量中称为平差平差。由于观测向量含有误差，而且观测个数有限，因此不能求由于观测向量含有误差，而且观测个数有限，因此不能求得参数的得参数的真值真值，只能求出参数，

9、只能求出参数的的估值估值，这就，这就“参数参数估计估计”名称的由来。名称的由来。第12页，此课件共64页哦p 所谓的估计问题，就是根据含有误差所谓的估计问题，就是根据含有误差的观测值的观测值L，构造一个函数构造一个函数，使，使成为未知参数向量成为未知参数向量X的最的最佳估计量，其具体数值称为最佳估值。通常佳估计量，其具体数值称为最佳估值。通常，简记为简记为。p估计误差：估计误差：p经典最小二乘平差中，习惯上用估值（平差值）的方差衡量精度经典最小二乘平差中，习惯上用估值（平差值）的方差衡量精度(参数非随机）；而估计理论中，通常是用估计量的误差方差来衡量参数非随机）；而估计理论中，通常是用估计量的

10、误差方差来衡量其精度的。其精度的。第13页，此课件共64页哦p由估计理论知道，最优估计量应具有以下几由估计理论知道，最优估计量应具有以下几个性质：个性质：一致性.（当观测个数无限增加时，估计量向被估参数（当观测个数无限增加时，估计量向被估参数趋近的概率等于趋近的概率等于1）无偏性.（估计量的数学期望等于被估计量的数学期望）（估计量的数学期望等于被估计量的数学期望）有效性.（由观测量得到的无偏估计量的误差方差最小）（由观测量得到的无偏估计量的误差方差最小）第14页，此课件共64页哦p主要的估计方法有主要的估计方法有:极大似然估计；极大似然估计；最小二乘估计；最小二乘估计；极大验后估计；极大验后估

11、计；最小方差估计；最小方差估计；线性最小方差估计；线性最小方差估计；贝叶斯估计等。贝叶斯估计等。p概率统计中的估计理论是广义测量平差的理论概率统计中的估计理论是广义测量平差的理论基础。基础。第15页，此课件共64页哦1-2 多维正态分布多维正态分布p正态分布是测量平差理论中最常用的分布，是最小正态分布是测量平差理论中最常用的分布，是最小二乘平差误差理论的基础。二乘平差误差理论的基础。1、一维正态分布、一维正态分布 服从正态分布的一维随机变量服从正态分布的一维随机变量X的概率密度为：的概率密度为：或常写成：或常写成：第16页，此课件共64页哦2、多维正态分布的定义和性质、多维正态分布的定义和性质

12、1）多维正态随机变量：）多维正态随机变量：设有个互相独立的标准正态随机变量构成的随机变量它们的有限个线性函数则称则称X为维正态随机变量。为维正态随机变量。第17页，此课件共64页哦2）多维正态分布定义：）多维正态分布定义：n维正态随机变量维正态随机变量X的数学期望、方差阵为的数学期望、方差阵为X的分布函数、概率密度都称为维正态分布。的分布函数、概率密度都称为维正态分布。3）多维正态分布性质：）多维正态分布性质：正态随机向量的线性函数还是正态的正态随机向量的线性函数还是正态的.第18页，此课件共64页哦对多维正态随机变量X：第19页，此课件共64页哦3、多维正态分布、多维正态分布 n维正态随机向

13、量维正态随机向量X的联合概率密度的联合概率密度设有维正态随机向量：则它的概率密度为：第20页，此课件共64页哦二维正态随机向量二维正态随机向量X YT，其概率密度为：，其概率密度为：当当X与与Y是互不相关的两个正态随机变量时：是互不相关的两个正态随机变量时：第21页，此课件共64页哦4、正态随机向量的条件概率密度、正态随机向量的条件概率密度条件期望、条件方差条件期望、条件方差第22页，此课件共64页哦1-3 极大似然估计极大似然估计p看一例：看一例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由

14、于猎人命中的概率概率一般大于这位同学命中的概率，看来这一枪是猎人射中的l这个例子所作的推断就体现了极大似然法的基本思想。这个例子所作的推断就体现了极大似然法的基本思想。第23页，此课件共64页哦极大似然原理的直观想法是：极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A，B，C，。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。第24页，此课件共64页哦设有参数向量设有参数向量X（可以是非随机量，也可以是随机（可以是非随机量，也可以是随机向量），为了估计向量），为了估计X，进行了次观测，得到观，进行了次观测，得到观测向量测向量L的观测值的观测值，又假

15、定对，又假定对X的所有可能取值为的所有可能取值为，在，在的条件下得到的观测的条件下得到的观测向量向量L的条件概率密度为的条件概率密度为。如果是中的一个，而是中的最大值，那么，是X的准确值准确值的可能性最大。第25页，此课件共64页哦u此时把叫做X的极大似然估值，并记作。也就是说：极大似然估计是以为准则求最佳估值的方法。也可以说：极大似然估计的出发点是基于这样一个统计原理，在一次随机试验中，某一事件已经发生，比如已经得到某个具体的样本，则必然认为发生该事件的概率最大。第26页，此课件共64页哦显然，它满足于由于对数是单调增加函数，故在相同的值达到最大，即下两式是等价的：上两方程称为似然方程，称为

16、似然函数似然函数，而称为对数似然函数对数似然函数。等价等价第27页，此课件共64页哦当当f(l/x)是正态条件概率密度时是正态条件概率密度时,有有则似然方程等价于则似然方程等价于带入条件期望、条件方差即得参数估值带入条件期望、条件方差即得参数估值第28页，此课件共64页哦n求极大似然函数估计值的一般步骤：求极大似然函数估计值的一般步骤：（1）写出（构造）似然函数；（2）对似然函数取对数，并整理；（3）求导数；（4）解似然方程。第29页，此课件共64页哦例例第30页，此课件共64页哦第31页，此课件共64页哦1-4 最小二乘估计最小二乘估计从总体中抽出的从总体中抽出的样本观测值样本观测值与与总体

17、平均数总体平均数是有差异的，这是有差异的，这种差异属于种差异属于抽样误差抽样误差。因而，在总体平均数估计时要尽可能地。因而，在总体平均数估计时要尽可能地降低降低这种误差，使总体平均数估计值尽可能好。这种误差，使总体平均数估计值尽可能好。参数估计的最小二乘法就是基于这种考虑提出的。参数估计的最小二乘法就是基于这种考虑提出的。第32页，此课件共64页哦n基本思想：基本思想：是使误差平方和最小，达到在误差之间是使误差平方和最小，达到在误差之间建立一种平衡，以防止某一极端误差对决定参数的估建立一种平衡，以防止某一极端误差对决定参数的估计值起支配地位。这有助于揭示更接近真实的状况计值起支配地位。这有助于

18、揭示更接近真实的状况。n具体方法：具体方法：是为使误差平方和是为使误差平方和Q为最小，可通过求为最小，可通过求Q对待估参数的偏导数，并令其等于对待估参数的偏导数，并令其等于0，以求得参数估计量。，以求得参数估计量。第33页，此课件共64页哦设被估计量（未知的参数向量）为设被估计量（未知的参数向量）为X，观测向量为，观测向量为L，观测误差为，观测误差为，观测方程为：，观测方程为：设设X的估值为的估值为，并记：，并记：p所谓的最小二乘估计，就是要求所求得的估值使所谓的最小二乘估计，就是要求所求得的估值使下列二次型达到最小值，即：下列二次型达到最小值，即：则称则称为为X的最小二乘估值记为的最小二乘估

19、值记为。第34页，此课件共64页哦n最小二乘估计是测量中求参数估计最普遍、最小二乘估计是测量中求参数估计最普遍、最主要的方法，在其它学科领域中也有广泛最主要的方法，在其它学科领域中也有广泛的应用，主要原因：的应用，主要原因：数理统计观点数理统计观点-需要观测向量的验前统计信息最少；需要观测向量的验前统计信息最少；数学观点数学观点-提供了最优的解一组多余观测的线性代数方程的提供了最优的解一组多余观测的线性代数方程的方法；方法；数值计算角度数值计算角度-最小二乘导出法方程组是一线性代数方最小二乘导出法方程组是一线性代数方程组，其系数矩阵是对称的。程组，其系数矩阵是对称的。第35页，此课件共64页哦

20、u但要保证最小二乘估计求出估值是最优估值，要求：但要保证最小二乘估计求出估值是最优估值，要求：即：即：1、表示、表示L中不含中不含系统误差和粗差；系统误差和粗差；2、权阵、权阵P应由应由L或或的协方差确定的协方差确定(这时，这时，X必需是非随机必需是非随机参数，否则不会相等的！）。参数，否则不会相等的！）。第36页，此课件共64页哦极大似然法与最小二乘估计两种常用方法的比较：极大似然法与最小二乘估计两种常用方法的比较：极大似然估计：极大似然估计：极大似然法要求已知总体的分布，才能获得估计量；极大似然法要求已知总体的分布，才能获得估计量；参数可以是随机的，也可是非随机的参数可以是随机的，也可是非

21、随机的。最小二乘估计：最小二乘估计：最小二乘估计方法对分布没有严格的要求，无论哪种统计分布，均可进行最小二乘估计方法对分布没有严格的要求，无论哪种统计分布，均可进行估计；估计；参数是非随机的。参数是非随机的。第37页，此课件共64页哦1-5 极大验后估计极大验后估计u极大验后估计则是以极大验后估计则是以为准则的估计方为准则的估计方 法。法。随机参数向量随机参数向量X在在的条件下的条件概率密度的条件下的条件概率密度一般用一般用表示由极大验后估计得到的最表示由极大验后估计得到的最佳估值，并称之为极大验后估值。佳估值，并称之为极大验后估值。同理，下方程：同理，下方程：称之为称之为验后方程验后方程。第

22、38页，此课件共64页哦例：例：设有观测值 观测方程为 ，其中参数X与观测误差均为相互独立的正态随机变量,且有 ,试求X的极大验后估值。解：第39页，此课件共64页哦n当当X和和L均为正态随机向量时，此时条件概率密度为：均为正态随机向量时，此时条件概率密度为：其中：则极大验后准则等价于第40页，此课件共64页哦求一阶偏导数，并令其等于零，得：故，极大验后估值为：由协方差传播律可得，估值的误差方差阵为：其中：第41页，此课件共64页哦（极大验后估值、估值的估计误差方差）例：如果例：如果X和和L有如下的观测方程有如下的观测方程则带入验后估值公式可得：第42页，此课件共64页哦p不难看出：不难看出：

23、极大验后估计考虑了参数的极大验后估计考虑了参数的X的的先验统计先验统计特性，特性，改善了改善了最小二乘估计，故估值的精度最小二乘估计，故估值的精度比最小二乘估值的精度要高。比最小二乘估值的精度要高。第43页，此课件共64页哦1-6 最小方差估计最小方差估计u最小方差估计：最小方差估计：是一种以估计误差的方差为最小作是一种以估计误差的方差为最小作为准则的估计方法，即根据观测向量为准则的估计方法，即根据观测向量L求参数求参数X的估的估值，如果它的值，如果它的误差方差误差方差比任何其它估值的方差小，比任何其它估值的方差小，就认为这个估值是最优估值。就认为这个估值是最优估值。u记记X的最小方差估值为的

24、最小方差估值为。第44页，此课件共64页哦估计误差为误差方差阵为当 时候的 就是最小方差估值u参数的最小方差估值为：参数的最小方差估值为：第45页，此课件共64页哦n不难看出：不难看出：极大似然估计、极大验后估计、最小方差估计，均要知道观测向量或极大似然估计、极大验后估计、最小方差估计，均要知道观测向量或未知参数向量的条件概率密度（或联合概率密度），所得到的估计量未知参数向量的条件概率密度（或联合概率密度），所得到的估计量可以是可以是L的任意函数；的任意函数；最小二乘估计不需要知道任何统计性质，所得到的估计量是最小二乘估计不需要知道任何统计性质，所得到的估计量是L的线的线性函数。性函数。第46

25、页，此课件共64页哦1-7 线性最小方差估计线性最小方差估计线性最小方差估计是放宽对概率密度的要求，只要线性最小方差估计是放宽对概率密度的要求，只要求已知求已知L和和X的数学期望、方差、协方差，以及限定的数学期望、方差、协方差，以及限定所求的估计量是所求观测向量所求的估计量是所求观测向量L的线性函数，再以估的线性函数，再以估计量的均方误差达到极小为最优估计量的准则。计量的均方误差达到极小为最优估计量的准则。这样得到的估计量称为线性最小方差估计量，并记这样得到的估计量称为线性最小方差估计量，并记为为。第47页，此课件共64页哦线性最小方差估计量为：线性最小方差估计量为：当X、L的联合概率密度是正

26、态时，X的线性最小方差估计量就等于最小方差估计量，也等于其极大验后估计量。第48页，此课件共64页哦1-9 广义测量平差原理广义测量平差原理p各种估计方法的关系各种估计方法的关系1)对正态分布，极大验后估计、最小方差估计、线性最小方差估计得到的结果相同；2)在一定情况下，可由极大似然估计导出最小二乘估计;3)极大验后估计和最小方差估计是贝叶斯估计的两种形式.故，本节讨论极大似然估计、极大验后估计、最小二乘估计关系。第49页，此课件共64页哦p广义测量平差的估计方法分为两大类广义测量平差的估计方法分为两大类:对非随机参数进行估计的最小二乘估计和极对非随机参数进行估计的最小二乘估计和极大似然估计；

27、大似然估计；对随机参数进行估计的极大验后估计、最小对随机参数进行估计的极大验后估计、最小方差估计、线性最小方差估计等方差估计、线性最小方差估计等.第50页，此课件共64页哦p广义最小二乘原理广义最小二乘原理:一、对于正态分布，极大似然准则一、对于正态分布，极大似然准则 等等价于价于当有观测方程当有观测方程 似然方程又等价于似然方程又等价于(推推导见下页导见下页)即等价于最小二乘估计准则即等价于最小二乘估计准则第51页，此课件共64页哦极大似然估计：极大似然估计：似然方程：观测方程：似然方程可写为：似然方程可写为：第52页，此课件共64页哦二、极大验后估计准则二、极大验后估计准则 等价等价于于当

28、有观测方程当有观测方程 时，上式又等价于时，上式又等价于上式可写为：上式可写为：第53页，此课件共64页哦可见：极大似然估计、极大验后估计均可用可见：极大似然估计、极大验后估计均可用“广广义最小二乘估计义最小二乘估计”表示！表示！(即：下式是最小二乘即：下式是最小二乘估计准则的扩充！）称为估计准则的扩充！）称为“广义最小二乘原理广义最小二乘原理”：当当X是不具有先验统计特性的非随机量时是不具有先验统计特性的非随机量时,极大验后估计退化为极大似然极大验后估计退化为极大似然估计或最小二乘估计了。估计或最小二乘估计了。按广义最小二乘原理进行平差的过程，称为广义测量平差。按广义最小二乘原理进行平差的过

29、程，称为广义测量平差。第54页，此课件共64页哦三、广义最小二乘估计准则应用方法三、广义最小二乘估计准则应用方法若将未知参数若将未知参数X的的先验期望先验期望x看成是与观测值看成是与观测值L相互独相互独立立，且方差为，且方差为DX的的虚拟虚拟观测值，则有如下观测值，则有如下“观测方程观测方程”误差方程为误差方程为是虚拟观测值误差。是虚拟观测值误差。第55页，此课件共64页哦等价：等价：第56页，此课件共64页哦类似间接平差中解法,即:组成并解法方程。第57页，此课件共64页哦由于按广义最小二乘原理求参数估值时，认为参由于按广义最小二乘原理求参数估值时，认为参数数 是非随机量是非随机量,故故:所

30、以，在广义最小二乘原理进行平差时，不区分所以，在广义最小二乘原理进行平差时，不区分和和 ！第58页，此课件共64页哦u值得注意的是：如果 时，应按以下建立随机模型：(这种情况一般不多见)第59页，此课件共64页哦p于是得出重要的结论：于是得出重要的结论：1）当未知参数当未知参数X是正态随机向量时，可以是正态随机向量时，可以将它的先验期望当作虚拟观测将它的先验期望当作虚拟观测值值，按，按广义最小二乘原理求广义最小二乘原理求参数的估值，其结果与极大验后估值相参数的估值，其结果与极大验后估值相同。同。2）如在未知参数中除包含随机参数）如在未知参数中除包含随机参数X外，还包含非随机参数外，还包含非随机

31、参数Y，此时，此时只要将未知参数中的随机部分只要将未知参数中的随机部分，即，即X的先验期望当作方差为的先验期望当作方差为DX的虚拟的虚拟观测值，仍可按观测值，仍可按广义最小二乘原理求估值广义最小二乘原理求估值 。3)对于非线性观测方程对于非线性观测方程,按泰勒级数化为线性形式按泰勒级数化为线性形式;4)对于非正态分布对于非正态分布,也可将它近似地看成是正态分布。也可将它近似地看成是正态分布。第60页，此课件共64页哦p广义测量平差分为三类：广义测量平差分为三类：1、经典平差问题、经典平差问题非随机参数；非随机参数；2、“滤波滤波”-随机参数；随机参数；3、“配置配置”或或“拟合推估拟合推估”-包含随机参数，又包含非随包含随机参数，又包含非随机参数。机参数。第61页，此课件共64页哦p所谓的广义最小二乘原则，归纳为：所谓的广义最小二乘原则，归纳为：当参数是随机量，且DX=0时当参数是随机量，且DX0时特殊地，当参数是非随机量则为：第62页，此课件共64页哦p思考下列数学模型估计参数时应适合的估计方法？1）数学模型2）数学模型3）数学模型4）数学模型第63页，此课件共64页哦中南大学信息物理工程学院中南大学信息物理工程学院第64页，此课件共64页哦