第二讲-估计方法ppt课件.ppt

我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物广义测量平差广义测量平差n测量平差的任务测量平差的任务:n测量平差分为：测量平差分为：广义测量平差广义测量平差经典测量平差经典测量平差1、函数模型的系数阵是满秩的；、函数模型的系数阵是满秩的；2、参数是非随机的；、参数是非随机的；3、观测误差呈现偶然性（随机误差）；、观测误差呈现偶然性（随机误差）；4、随机模型没有误差；、随机模型没有误差；5、平差准则：最小二乘准则、平差准则：最小二乘准则。1、函数模型的系数阵是秩亏的；、函数模型的系数阵是秩亏的；2、参数是随机参数；、参数是随机参数；3、观测误差可以包含：偶然误差、系统误差、观测误差可以包含：偶然误差、系统误差以及粗差；以及粗差；4、存在模型误差（函数模型和随机模型）；、存在模型误差（函数模型和随机模型）；5、平差准则：广义最小二乘准则。、平差准则：广义最小二乘准则。1、是根据含有随机误差的观测值来确定被、是根据含有随机误差的观测值来确定被观测量及其函数的平差值，也就是求定未观测量及其函数的平差值，也就是求定未知参数的最佳估值；知参数的最佳估值；2、评定精度。、评定精度。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物p 经典测量平差三步骤：经典测量平差三步骤： 函数模型函数模型 随机模型随机模型 平差准则平差准则 参数的估值参数的估值210LDPDLBXminTTLV PVV PVu思考思考: :做间接平差时有哪些前提或要求做间接平差时有哪些前提或要求? ?n测量平差：测量平差：就是根据含有就是根据含有误差误差的观测向量，依一定的数学的观测向量，依一定的数学模型，按模型，按一定一定的准则，求未知参数。的准则，求未知参数。1()TTXB PBB PL我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物测量平差过程示意图测量平差过程示意图观测值观测值数学模型数学模型平差估计准则？平差估计准则？法方程法方程平差值平差值精度评定精度评定我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物123123,hhhcccpppsss1212,PPHXHX设：1122132AAhXHhXXhHX1 1、观测有误差，且呈现偶然性。、观测有误差，且呈现偶然性。2 2、不考虑参数的先验统计特性；、不考虑参数的先验统计特性；只顾及观测值的先验统计特性。只顾及观测值的先验统计特性。函数模型：2）随机模型：）随机模型：估计准则：minTTLV PVV PV1112221332AAhvXHhvXXhvHX1）函数模型：）函数模型：3）平差准则：）平差准则：n应用前提：应用前提：我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物p广义测量平差：广义测量平差：1）经典平差是假定没有模型误差的。但实际问题中，模）经典平差是假定没有模型误差的。但实际问题中，模型误差总是存在的。型误差总是存在的。如：函数模型中存在系统误差和粗差；随机模型中方差如：函数模型中存在系统误差和粗差；随机模型中方差或协方差不准确等。另随机模型是奇异阵等。或协方差不准确等。另随机模型是奇异阵等。2）经典平差是认为未知参数是非随机量（或不考虑其先）经典平差是认为未知参数是非随机量（或不考虑其先验统计特性），而实际中有些参数的先验统计特性是验统计特性），而实际中有些参数的先验统计特性是已知的已知的(如如GPS复测网，形变监测网的平差中。复测网，形变监测网的平差中。u以上这些问题均需要按广义测量平差的方法来解决。以上这些问题均需要按广义测量平差的方法来解决。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物测量平差测量平差由含有误差的观测值按一定准则由含有误差的观测值按一定准则求未知参数求未知参数X的估值的估值参数分为：参数分为：非随机参数非随机参数随机参数随机参数随机参数和非随机参数随机参数和非随机参数最小二乘估计、极大似然估计最小二乘估计、极大似然估计极大验后估计、最小方差估计极大验后估计、最小方差估计,极等极等这类平差即经典平差这类平差即经典平差这类平差称这类平差称“滤波、推估滤波、推估“广义最小二乘原理广义最小二乘原理这类平差称这类平差称”配置配置“我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物估计对函数模型的估计对随机模型的估计方差分量估计观测只含有偶然误差观测含有系统误差观测含有粗差附加系统参数的估计稳健估计最小二乘估计对系统“状态”参数的估计卡尔曼滤波我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物总体总体样样本本统计量统计量描述描述作出推断作出推断u在参数估计问题中在参数估计问题中：假定总体分布形式已知，未知的仅仅：假定总体分布形式已知，未知的仅仅是一个或几个参数。是一个或几个参数。随机抽样随机抽样（观测值）观测值）（分布）（分布）（估计准则）（估计准则）u参数估计问题是：参数估计问题是：利用从总体抽样得到的信息来估计总体利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数。的某些参数或者参数的某些函数。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物u本章介绍一下三个内容：本章介绍一下三个内容：1、多维正态分布以及条件概率密度；、多维正态分布以及条件概率密度；2、估计方法；、估计方法；3、广义最小二乘准则（、广义最小二乘准则（估计准则推广估计准则推广）。）。u可见，根据观测值可见，根据观测值 分布分布 推断（估计准则）。推断（估计准则）。 我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物第一章第一章 估计方法和广义测量平差原理估计方法和广义测量平差原理n本章主要内容：本章主要内容：多维正态分布；多维正态分布；极大似然估计（对非随机参数或随机参数进行估计）极大似然估计（对非随机参数或随机参数进行估计）；最小二乘估计（非随机参数）；最小二乘估计（非随机参数）；极大验后估计（对随机参数进行估计）；极大验后估计（对随机参数进行估计）；最小方差估计（随机参数）；最小方差估计（随机参数）；广义测量平差原理。广义测量平差原理。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物1-11-1、概述、概述 为了确定平面或三维控制网中各点坐标，对控制网的边长和方为了确定平面或三维控制网中各点坐标，对控制网的边长和方向进行观测（观测包含误差）。未知参数向量（坐标）向进行观测（观测包含误差）。未知参数向量（坐标）X X与观测与观测向量（边长、方向）向量（边长、方向）L L之间有函数关系：之间有函数关系： 卫星（或其它运动体）的轨道往往可以由如下的微分方程确定卫星（或其它运动体）的轨道往往可以由如下的微分方程确定 式中表示时间；式中表示时间；X X（t t）表示卫星的轨道参数，称为状态向量）表示卫星的轨道参数，称为状态向量；U U（t t）称为控制向量；）称为控制向量；（t t）是随机的状态噪声。）是随机的状态噪声。L(tL(t）为）为观测值。观测值。LF X（ ）)( ),( ),( )L tf X t U tt（我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物p可以看出：可以看出：以上的例子，都存在一个对未知参数以上的例子，都存在一个对未知参数进行估计的问题。进行估计的问题。根据含有根据含有误差的观测向量误差的观测向量，依一定的，依一定的数学模型数学模型，按按一定的准则一定的准则，求未知参数，在数理统计中称为，求未知参数，在数理统计中称为参数估计参数估计，在测量中称为，在测量中称为平差平差。由于观测向量含有误差，而且观测个数有限，因由于观测向量含有误差，而且观测个数有限，因此不能求得参数的此不能求得参数的真值真值，只能求出参数，只能求出参数的的估值估值，这就这就“参数估计参数估计”名称的由来。名称的由来。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物p 所谓的估计问题，就是根据含有误差的观测值所谓的估计问题，就是根据含有误差的观测值L L，构造一个函数，构造一个函数 ，使，使 成为未知参数向量成为未知参数向量X X的的最佳估计量，其具体数值称为最佳估值。通常最佳估计量，其具体数值称为最佳估值。通常 ，简记为，简记为 。p估计误差：估计误差：p 经典最小二乘平差中，习惯上用估值（平差值）的方差衡量经典最小二乘平差中，习惯上用估值（平差值）的方差衡量精度精度( (参数非随机）；而估计理论中，通常是用估计量的误差参数非随机）；而估计理论中，通常是用估计量的误差方差来衡量其精度的。方差来衡量其精度的。X( )X L( )X L( )X L( )XXX LXX我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物p由估计理论知道，最优估计量应具有以下几由估计理论知道，最优估计量应具有以下几个性质：个性质：一致性.（当观测个数无限增加时，估计量向被估（当观测个数无限增加时，估计量向被估参数趋近的概率等于参数趋近的概率等于1 1）无偏性. .（估计量的数学期望等于被估计量的数学（估计量的数学期望等于被估计量的数学期望）期望）有效性.（由观测量得到的无偏估计量的误差方差（由观测量得到的无偏估计量的误差方差最小）最小）我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物p主要的估计方法有主要的估计方法有:极大似然估计；极大似然估计；最小二乘估计；最小二乘估计；极大验后估计；极大验后估计；最小方差估计；最小方差估计；线性最小方差估计；线性最小方差估计；贝叶斯估计等。贝叶斯估计等。p概率统计中的估计理论是广义测量平差的理论概率统计中的估计理论是广义测量平差的理论基础。基础。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物1-2 1-2 多维正态分布多维正态分布p正态分布是测量平差理论中最常用的分布，是正态分布是测量平差理论中最常用的分布，是最小二乘平差误差理论的基础。最小二乘平差误差理论的基础。1 1、一维正态分布、一维正态分布 服从正态分布的一维随机变量服从正态分布的一维随机变量X X的概率密度为：的概率密度为： 或常写成：或常写成：22()21( ),()2xf xex 221()( )exp,()22xf xx 我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2 2、多维正态分布的定义和性质、多维正态分布的定义和性质1 1）多维正态随机变量：）多维正态随机变量： 设有个互相独立的标准正态随机变量构成的随机变量 它们的有限个线性函数 则称则称X X为维正态随机变量。为维正态随机变量。12TmZZZZ11221111nn m mn mnnnmXZXZXA ZAXZ我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2 2）多维正态分布定义：）多维正态分布定义：n n维正态随机变量维正态随机变量X X的数学期望、方差阵为的数学期望、方差阵为X X的分布函数、概率密度都称为维正态分布。的分布函数、概率密度都称为维正态分布。3 3）多维正态分布性质：）多维正态分布性质：正态随机向量的线性函数还是正态的正态随机向量的线性函数还是正态的. .()TXE XDAA:( ,):(,)TnTTXNAAYBXbYN Bb BAA B若且有则我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物对多维正态随机变量X：111112222122( ,)DD,DDTnTXNAAXXAAX设：记：11112222(,),(,)rn rXNDXND则：我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物3 3、多维正态分布、多维正态分布 n n维正态随机向量维正态随机向量X X的联合概率密度的联合概率密度设有维正态随机向量：则它的概率密度为：121122( )( ,)11exp()()2(2 )nTXXXnXf xf x xxxDxD(,)nXXND我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物二维正态随机向量二维正态随机向量X YX YT T，其概率密度为：，其概率密度为：22222222221( , )2()2()()()exp2()XYXYXYXYXYYXXYXYf x yxxyy 当当X X与与Y Y是互不相关的两个正态随机变量时：是互不相关的两个正态随机变量时：( , )( )( )xyf x yfx fy22:,TXXXYYYXYXY 对二维正态随机向量对应数学期望和方差阵我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物4、正态随机向量的条件概率密度、正态随机向量的条件概率密度条件期望、条件方差条件期望、条件方差1221212111212112()(2 )()1exp()()(2nTf xxD XxxE XxDXxxE Xx1222121122121221()(2 )()1exp()()(2tTf xxD XxxE XxDXxxE Xx112112222211211122221()()()E XxD DxD XxDD D D我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物1-3 1-3 极大似然估计极大似然估计p看一例：看一例： 某位同学与一位猎人一起外出打猎，一只野兔从前方窜过只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？ 你就会想，只发一枪便打中，由于猎人命中的概率概率一般大于这位同学命中的概率，看来这一枪是猎人射中的l 这个例子所作的推断就体现了极大似然法的基本思想。这个例子所作的推断就体现了极大似然法的基本思想。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 极大似然原理的直观想法是：极大似然原理的直观想法是： 一个随机试验如有若干个可能的结果A，B，C，。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大 。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物设有参数向量设有参数向量X X（可以是非随机量，也可以是（可以是非随机量，也可以是随机向量），为了估计随机向量），为了估计X X，进行了次观测，进行了次观测，得到观测向量得到观测向量L L的观测值的观测值 ，又假定对，又假定对X X的所有的所有可能取值为可能取值为 ，在，在 的条件下得到的观测的条件下得到的观测 向量向量L L的条件概率密度为的条件概率密度为 。如果 是 中的一个，而 是 中的 最大值，那么， 是X的准确值准确值的可能性最大。 x()lfx()lfx()lfxXxXxxl我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物u此时把 叫做X的极大似然估值，并记作 。也就是说： 极大似然估计是以 为准则求最佳估值的方法。也可以说：极大似然估计的出发点是基于这样一个统计原理，在一次随机试验中，某一事件已经发生，比如已经得到某个具体的样本，则必然认为发生该事件的概率最大。()maxlfxMLXX我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物显然，它满足于由于对数是单调增加函数，故 在相同的 值达到最大，即下两式是等价的：上两方程称为似然方程， 称为似然似然函数函数，而 称为对数似然函数对数似然函数。()0MLx Xlfxx()llInffxx与()0MLxXlInfxxx()0MLxXlfxx等价等价()lfx()lInfx我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物1221()(2 )()1exp()()(2nTf l xD L xlE L xDL x lE l x1()()(minTlE L xDL x lE l x当当f(l/x)f(l/x)是正态条件概率密度时是正态条件概率密度时, ,有有则似然方程等价于则似然方程等价于带入条件期望、条件方差即得参数估值带入条件期望、条件方差即得参数估值1111()( / )( / )( )MLXLLXXXLXE XD DL x DDD DL x LE L我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物n求极大似然函数估计值的一般步骤：求极大似然函数估计值的一般步骤： （1） 写出（构造）似然函数； （2） 对似然函数取对数，并整理； （3） 求导数 ； （4） 解似然方程 。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物:似似然然函函数数为为 niinx1222221exp2 例例的的一一个个样样本本值值，是是来来自自为为未未知知参参数数，已已知知，设设XxxNXn,);,(122 .2的的极极大大似似然然估估计计量量求求 解：解： niixL1222)(21exp21)( Lln)ln(22 n niix122)(21 )2ln(2 n )(21exp21);(222 xxf的的概概率率密密度度为为：X我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 ，解解此此方方程程，得得 niixn1221 的的极极大大似似然然估估计计量量为为因因此此 niiXn12221 ，令：令：0ln2 dLd得得似似然然方方程程 02121242 niixn niixndLd12422212ln Lln)ln(22 n niix122)(21 )2ln(2 n 我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物1-4 最小二乘估计最小二乘估计u从总体中抽出的从总体中抽出的样本观测值样本观测值与与总体平均数总体平均数是有差异是有差异的，这种差异属于的，这种差异属于抽样误差抽样误差。因而，在总体平均数估。因而，在总体平均数估计时要尽可能地计时要尽可能地降低降低这种误差，使总体平均数估计值这种误差，使总体平均数估计值尽可能好。尽可能好。u参数估计的最小二乘法就是基于这种考虑提出的。参数估计的最小二乘法就是基于这种考虑提出的。 我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物n基本思想：基本思想：是使误差平方和最小，达到在误差是使误差平方和最小，达到在误差之间建立一种平衡，以防止某一极端误差对决定之间建立一种平衡，以防止某一极端误差对决定参数的估计值起支配地位。这有助于揭示更接近参数的估计值起支配地位。这有助于揭示更接近真实的状况真实的状况。n具体方法：具体方法：是为使误差平方和是为使误差平方和Q为最小，可通过为最小，可通过求求Q对待估参数的偏导数，并令其等于对待估参数的偏导数，并令其等于0，以求得，以求得参数估计量。参数估计量。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物设被估计量（未知的参数向量）为设被估计量（未知的参数向量）为X X，观测，观测向量为向量为L L，观测误差为，观测方程为：，观测误差为，观测方程为： 设设X X的估值为的估值为 ，并记：，并记：p所谓的最小二乘估计，就是要求所求得的估所谓的最小二乘估计，就是要求所求得的估值使下列二次型达到最小值，即：值使下列二次型达到最小值，即：则称则称 为为X X的最小二乘估值记为的最小二乘估值记为 。VBXLLBXTTXV PVBXLP BXL（ ）（）（）=minXX( )LSLSXXL或我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物n最小二乘估计是测量中求参数估计最普遍、最小二乘估计是测量中求参数估计最普遍、最主要的方法，在其它学科领域中也有广泛最主要的方法，在其它学科领域中也有广泛的应用，主要原因：的应用，主要原因：数理统计观点数理统计观点- -需要观测向量的验前统计信息最少需要观测向量的验前统计信息最少；数学观点数学观点- -提供了最优的解一组多余观测的线性代提供了最优的解一组多余观测的线性代数方程的方法；数方程的方法；数值计算角度数值计算角度- -最小二乘导出法方程组是一线性代最小二乘导出法方程组是一线性代数方程组，其系数矩阵是对称的。数方程组，其系数矩阵是对称的。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物u但要保证最小二乘估计求出估值是最优估值，要求但要保证最小二乘估计求出估值是最优估值，要求：110LEPDD（ ）即：即：1 1、表示、表示L L中不含中不含系统误差和粗差；系统误差和粗差；2 2、权阵、权阵P P应由应由L L或的协方差确定或的协方差确定( (这时，这时，X X必需是必需是非随机参数，否则不会相等的！）。非随机参数，否则不会相等的！）。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物u极大似然法与最小二乘估计两种常用方法的比较：极大似然法与最小二乘估计两种常用方法的比较：极大似然估计：极大似然估计：极大似然法要求已知总体的分布，才能获得估计量；极大似然法要求已知总体的分布，才能获得估计量；参数可以是随机的，也可是非随机的参数可以是随机的，也可是非随机的。最小二乘估计：最小二乘估计：最小二乘估计方法对分布没有严格的要求，无论哪种统计分布，最小二乘估计方法对分布没有严格的要求，无论哪种统计分布，均可进行估计；均可进行估计；参数是非随机的。参数是非随机的。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物1-5 1-5 极大验后估计极大验后估计u极大验后估计则是以极大验后估计则是以 为准则的估计为准则的估计方方 法。法。 随机参数向量随机参数向量X X在在 的条件下的条件概率密的条件下的条件概率密度度 一般用一般用 表示由极大验后估计得到的最表示由极大验后估计得到的最 佳估值，并称之为极大验后估值。佳估值，并称之为极大验后估值。同理，下方程：同理，下方程： 称之为称之为验后方程验后方程。()maxxfl()0MAxXxInflxMAMAXXL或（ ）Ll()xflMAMAXXL或（ ）我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物例：例：设有观测值 观测方程为 ，其中参数X与观测误差均为相互独立的正态随机变量,且有 ,试求X的极大验后估值。解：12TnLLLL3,(1,2,. )iiLxin22(0,),(0,)xixNNi222223123211)1exp221()exp222)()1()exp2(2)3)()( )()11()exp( )22(2)( )xxniinninnxxxflxlfxlff xlxxxflf lf li和的概率密度：f(x)=观测向量的条件概率密度：随机参数向量的条件概率密度：22213222214)()1(022MAnixniixxxxlxxx验后方程得：我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物n 当当X X和和L L均为正态随机向量时，此时条件概率密度为：均为正态随机向量时，此时条件概率密度为：112211()exp()()()2(2 )()TnxXXXfxEDxEllllXDl11()()()xXLLLXXLLLXXED DLlXDDD D Dl其中：则极大验后准则等价于1()()()minTXXXxEDxElll我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物求一阶偏导数，并令其等于零，得：故，极大验后估值为：由协方差传播律可得，估值的误差方差阵为：1()()0TMAXXXEDll()MAXXEl1()()MAXXLLLXXXDDD D DDl11()()()xXLLLXXLLLXE X lD DLD X lDD D D其中：我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物（极大验后估值、估值的估计误差方差）11() ()()()TTMAxXXxTTMAXXXXXD BBD BDLBDXDD BBD BDBD例：如果例：如果X X和和L L有如下的观测方程有如下的观测方程(0,),(,),cov(, )0XXLBXNDXNDX 设：则带入验后估值公式可得：我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物p不难看出：不难看出： 极大验后估计考虑了参数的极大验后估计考虑了参数的X X的的先验统计先验统计特性，特性，改善了改善了最小二乘估计，故估值的精最小二乘估计，故估值的精度比最小二乘估值的精度要高。度比最小二乘估值的精度要高。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物1-6 1-6 最小方差估计最小方差估计u最小方差估计：最小方差估计：是一种以估计误差的方差为最小作是一种以估计误差的方差为最小作为准则的估计方法，即根据观测向量为准则的估计方法，即根据观测向量L L求参数求参数X X的估的估值，如果它的值，如果它的误差方差误差方差比任何其它估值的方差小，比任何其它估值的方差小，就认为这个估值是最优估值。就认为这个估值是最优估值。u记记X X的最小方差估值为的最小方差估值为 。MVMVXXL或（ ）我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物估计误差为误差方差阵为当 时候的 就是最小方差估值