《误差理论与测量平差基础教学课件》第四讲.ppt
第二章第二章 误差理论与最小二乘原理误差理论与最小二乘原理Error Theory and The Least Squares PrincipleError Theory and The Least Squares Principle 第三讲第三讲 精度估计标准精度估计标准（复习）复习）思考题思考题 1 1、什么是精度、准确度、精确度？它们之间有什、什么是精度、准确度、精确度？它们之间有什么区别和联系？么区别和联系？2 2、什么是中误差？为什么要定义中误差？什么是中误差？为什么要定义中误差？3 3、什么是平均误差？它和中误差的关系是什么？、什么是平均误差？它和中误差的关系是什么？4 4、什么是或然误差、什么是或然误差?它和中误差有什么关系它和中误差有什么关系?5 5、何为相对误差？为什么定义相对误差、何为相对误差？为什么定义相对误差?6 6、何为极限误差？它是哪些量的限差、何为极限误差？它是哪些量的限差?第三讲第三讲 精度估计标准精度估计标准（复习）复习）1 1、在仅含有偶然误差时，精度和精确度是统一的、在仅含有偶然误差时，精度和精确度是统一的上节课内容回顾：上节课内容回顾：2 2、方差指的是随即变量的离散程度，亦即反映、方差指的是随即变量的离散程度，亦即反映了随即变量精度的高低了随即变量精度的高低3 3、衡量精度的标准包括：中误差、平均误差和、衡量精度的标准包括：中误差、平均误差和或然误差，统称为绝对误差或然误差，统称为绝对误差4 4、相对误差一般用于长度测量、相对误差一般用于长度测量5 5、极限误差是真误差的限值（界限）、极限误差是真误差的限值（界限）第四讲第四讲 参数估计和最小二乘原理参数估计和最小二乘原理 Parameters Estimation and Principle of LS1 1、Concepts of Parameters EstimationConcepts of Parameters Estimation 2 2、Properties of The Properties of The EstimatesEstimates 3 3、Maximum Likelihood EstimateMaximum Likelihood Estimate4 4、The Least Squares EstimateThe Least Squares EstimateNo.4 Parameters Estimation and Principle of LS1 1、Concepts of Parameters EstimationConcepts of Parameters Estimation .Collectivity.Collectivity（母体，（母体，总体）体）.Individual.Individual（个个体）体）随机变量可能取值的全体随机变量可能取值的全体1)1)Some ConceptsSome Concepts组成母体的每个单元组成母体的每个单元No.4 Parameters Estimation and Principle of LS1 1、Concepts of Parameters EstimationConcepts of Parameters Estimation .Sample.Sample（子（子样，样本）本）.Amount.Amount（容量）容量）1)1)Some ConceptsSome Concepts总体中随机抽取的若干个体总体中随机抽取的若干个体样本中个体的数目样本中个体的数目No.4 Parameters Estimation and Principle of LS1 1、Concepts of Parameters EstimationConcepts of Parameters Estimation .Theoretical Characteristic.Theoretical Characteristic.Statistical Characteristic.Statistical Characteristic1)1)Some ConceptsSome Concepts母体所具有的特性（理论方差，理论分布）母体所具有的特性（理论方差，理论分布）子样具有的特性（统计分布，统计方差）子样具有的特性（统计分布，统计方差）No.4 Parameters Estimation and Principle of LS1 1、Concepts of Parameters EstimationConcepts of Parameters Estimation Example:Example:某项观测所有可能取得的观测值为某项观测所有可能取得的观测值为总体总体一观测组的一观测组的n n个观测值称为个观测值称为子样（样本）子样（样本）n n就是子样的就是子样的容量容量观测本身就是观测本身就是抽样抽样No.4 Parameters Estimation and Principle of LS1 1、Concepts of Parameters EstimationConcepts of Parameters Estimation n科学实践中，常以子样的某些特征估计推科学实践中，常以子样的某些特征估计推断母体的相应的特征断母体的相应的特征2)Parameters Estimation 2)Parameters Estimation n此时，我们关心的不是母体的分布，而是此时，我们关心的不是母体的分布，而是母体的某些数字特征母体的某些数字特征例如，为了推断一批灯泡的质量，就要求出这批灯例如，为了推断一批灯泡的质量，就要求出这批灯泡的平均使用寿命，使用时数长短的差异，即要推泡的平均使用寿命，使用时数长短的差异，即要推断母体的期望和方差断母体的期望和方差No.4 Parameters Estimation and Principle of LS1 1、Concepts of Parameters EstimationConcepts of Parameters Estimation 2)Parameters Estimation 2)Parameters Estimation 例如，已知偶然误差服从正态分布，需要确定的例如，已知偶然误差服从正态分布，需要确定的只是期望和方差，因此确定分布问题又归结为确只是期望和方差，因此确定分布问题又归结为确定其中参数的问题。定其中参数的问题。n当需要确定母体分布时，亦可以事先断定当需要确定母体分布时，亦可以事先断定母体服从某种分布，未知的还是母体的某母体服从某种分布，未知的还是母体的某些数字特征些数字特征No.4 Parameters Estimation and Principle of LS1 1、Concepts of Parameters EstimationConcepts of Parameters Estimation 2)Parameters Estimation 2)Parameters Estimation 通常，我们能得到母体的理论特征值吗？通常，我们能得到母体的理论特征值吗？因为子样具有随机性；因为子样具有随机性；因为子样的容量不可能很大；因为子样的容量不可能很大；No.4 Parameters Estimation and Principle of LS1 1、Concepts of Parameters EstimationConcepts of Parameters Estimation 2)Parameters Estimation 2)Parameters Estimation 参数估计定义：参数估计定义：用有限个数的子样观测值，来估计母用有限个数的子样观测值，来估计母体中某些特征参数的问题体中某些特征参数的问题分为点估计和区间估计分为点估计和区间估计分为点估计和区间估计分为点估计和区间估计No.4 Parameters Estimation and Principle of LS1 1、Concepts of Parameters EstimationConcepts of Parameters Estimation 3)3)Point and Interval Point and Interval Estimation Estimation A A、点估计的定义点估计的定义 母体母体X X服从某种分布，概率密度函数服从某种分布，概率密度函数f(x)f(x)，其中有其中有参数参数 ，则，则PDFPDF通常写作通常写作f(x;)f(x;)，设参数个数为设参数个数为t t个。现从母体中抽取子样个。现从母体中抽取子样(x x1 1,x,x2 2,x,xn n)，点估计就点估计就是遵循某种原则，由子样构成一些统计量是遵循某种原则，由子样构成一些统计量 (x x1 1,x,x2 2,x,xn n)将这些分别作为母体参数的估计量。由子样观测将这些分别作为母体参数的估计量。由子样观测值计算出的数值称为参数的估值。值计算出的数值称为参数的估值。No.4 Parameters Estimation and Principle of LS1 1、Concepts of Parameters EstimationConcepts of Parameters Estimation 3)3)Point and Interval Point and Interval Estimation Estimation B B、区间估计的定义区间估计的定义 在一定置信概率下，估计参数所在区间的方法。在一定置信概率下，估计参数所在区间的方法。例如，或然误差的求法。例如，或然误差的求法。No.4 Parameters Estimation and Principle of LS1 1、Concepts of Parameters EstimationConcepts of Parameters Estimation 4)4)Parameters Parameters Estimation Estimation in LSin LS 依据作为子样的观测值，估计被观测量母依据作为子样的观测值，估计被观测量母体的均值和母体的方差。体的均值和母体的方差。No.4 Parameters Estimation and Principle of LS1 1、Concepts of Parameters EstimationConcepts of Parameters Estimation 4)4)Parameters Parameters Estimation Estimation in LSin LS 例：对某量例：对某量x x（如角度）进行了（如角度）进行了n n次等精度、独立观测，得子样次等精度、独立观测，得子样观测值观测值 ，在不含系统误差时，母体服从正态分布，即，在不含系统误差时，母体服从正态分布，即xx（u u，），其中），其中u u，是其数学期望和方差，求其估值。是其数学期望和方差，求其估值。2 2、Properties of The Properties of The EstimatesEstimates No.4 Parameters Estimation and Principle of LS1)1)UnbiasedUnbiased 若参数若参数 的估计量的估计量 的的数学期望等于参数数学期望等于参数 ，即，即 称称 为为 的无偏估值的无偏估值2 2、Properties of The Properties of The EstimatesEstimates No.4 Parameters Estimation and Principle of LS1)1)UnbiasedUnbiased 例例1 1：证明子样的均值是母体均值的：证明子样的均值是母体均值的无偏估值无偏估值。例例2 2：证明子样的统计方差是母体方差的有偏估值：证明子样的统计方差是母体方差的有偏估值。期望表达式：因为 所以取子样统计方差有偏2 2、Properties of The Properties of The EstimatesEstimates No.4 Parameters Estimation and Principle of LS1)1)UnbiasedUnbiased 例例3 3：Bessel Bessel 公式公式。当未知参数个数为1，观测值个数为n时，根据改正数计算中误差公式2 2、Properties of The Properties of The EstimatesEstimates No.4 Parameters Estimation and Principle of LS2)2)ValidityValidity设设 和和 都是都是 的无偏估值，如果的无偏估值，如果 的方差小于的方差小于 的方差，即的方差，即称称 比比 更有效。更有效。2 2、Properties of The Properties of The EstimatesEstimates No.4 Parameters Estimation and Principle of LS2)2)ValidityValidity 例例1 1：证明均值比任一观测值更有效：证明均值比任一观测值更有效。当当n1n1时，子样平均值比观测值更有效。时，子样平均值比观测值更有效。2 2、Properties of The Properties of The EstimatesEstimates No.4 Parameters Estimation and Principle of LS3)3)IdenticalIdentical 如果参数如果参数 的估计量的估计量 ，随着子样容量，随着子样容量n n的增大，依概率收敛于的增大，依概率收敛于 ，则有，则有称称 为为 的一致估计量。的一致估计量。2 2、Properties of The Properties of The EstimatesEstimates No.4 Parameters Estimation and Principle of LS 证明证明:子样均值是母体均值的严格一子样均值是母体均值的严格一致估计量致估计量。3)3)IdenticalIdentical 3 3、Maximum Likelihood EstimateMaximum Likelihood EstimateNo.4 Parameters Estimation and Principle of LSD Descriptionescription：1 1）f(x)f(x)称为称为PDFPDF，f f一定时，可以计算一定时，可以计算点密度和区间密度；点密度和区间密度；2 2）当分布参数已知时，任一向量都有）当分布参数已知时，任一向量都有确定的概率密度，但是，我们关心确定的概率密度，但是，我们关心的是向量取值观测向量时的概率密的是向量取值观测向量时的概率密度；在观测向量确定后，如何估计度；在观测向量确定后，如何估计分布参数就是参数估计分布参数就是参数估计3 3、Maximum Likelihood EstimateMaximum Likelihood EstimateNo.4 Parameters Estimation and Principle of LSD Descriptionescription：3 3）如果不附加任何条件，分布参数取）如果不附加任何条件，分布参数取值不唯一；值不唯一；4 4）极大似然估计：子样出现概率为最）极大似然估计：子样出现概率为最大的前提下，来求取未知参数估计大的前提下，来求取未知参数估计量的方法。量的方法。3 3、Maximum Likelihood EstimateMaximum Likelihood EstimateNo.4 Parameters Estimation and Principle of LSExampleExample：设观测值母体服从正态分布设观测值母体服从正态分布NN（a,a,2 2),),由子样由子样（x1,x2,xn)x1,x2,xn)求参数求参数a a和和2的最大或然估计量。的最大或然估计量。解：或然函数取对数得到解：或然函数取对数得到3 3、Maximum Likelihood EstimateMaximum Likelihood EstimateNo.4 Parameters Estimation and Principle of LS 最大或然估计就是：最大或然估计就是：当子样（当子样（x1,x2,xn)x1,x2,xn)取值确定取值确定后，参数后，参数a a和和2取何值时取何值时，或然函数取值最大。或然函数取值最大。分别对分别对a a和和求导，令其等于零求导，令其等于零3 3、Maximum Likelihood EstimateMaximum Likelihood EstimateNo.4 Parameters Estimation and Principle of LS 解得解得 当母体服从正态分布时，子样算术平均值和子样方当母体服从正态分布时，子样算术平均值和子样方差就是母体数学期望和方差的最大或然估计量。差就是母体数学期望和方差的最大或然估计量。4 4、The Least Squares EstimateThe Least Squares EstimateNo.4 Parameters Estimation and Principle of LS 1 1）设某一量）设某一量n n个非等精度观测结果个非等精度观测结果L1,L2,LnL1,L2,Ln，观测，观测值服从正态分布，以中误差值服从正态分布，以中误差mimi代替均方差代替均方差，以估，以估值值 代替代替E(L),E(L),组成的或然函数为组成的或然函数为4 4、The Least Squares EstimateThe Least Squares EstimateNo.4 Parameters Estimation and Principle of LS 或然估计就是使上式取得最大值，即或然估计就是使上式取得最大值，即 亦即亦即4 4、The Least Squares EstimateThe Least Squares EstimateNo.4 Parameters Estimation and Principle of LS 上式乘以常数上式乘以常数2 22 2，对求最小值无影响对求最小值无影响 vi vi表示观测值表示观测值Li Li和参和参数估值数估值 之差之差并令并令于是于是或者或者4 4、The Least Squares EstimateThe Least Squares EstimateNo.4 Parameters Estimation and Principle of LS 其中其中此即为非等精度且观测值独立时的最小二乘原理。此即为非等精度且观测值独立时的最小二乘原理。4 4、The Least Squares EstimateThe Least Squares EstimateNo.4 Parameters Estimation and Principle of LS 2 2）设存在）设存在n n个未知量，根据随机向量的正态分布密度个未知量，根据随机向量的正态分布密度函数，观测值向量函数，观测值向量L L的分布密度函数为的分布密度函数为 其中其中4 4、The Least Squares EstimateThe Least Squares EstimateNo.4 Parameters Estimation and Principle of LS 协方差矩阵协方差矩阵4 4、The Least Squares EstimateThe Least Squares EstimateNo.4 Parameters Estimation and Principle of LS 引入非零参数参数引入非零参数参数0 于是于是 可得到如下关系式可得到如下关系式 此即为权矩阵和协方此即为权矩阵和协方差矩阵的关系式。差矩阵的关系式。4 4、The Least Squares EstimateThe Least Squares EstimateNo.4 Parameters Estimation and Principle of LS 2 2）设存在）设存在n n个未知量，根据随机向量的正态分布密度个未知量，根据随机向量的正态分布密度函数，观测值向量函数，观测值向量L L的分布密度函数为的分布密度函数为 上式中以估值代替理论值上式中以估值代替理论值4 4、The Least Squares EstimateThe Least Squares EstimateNo.4 Parameters Estimation and Principle of LS 2 2）设存在）设存在n n个未知量，根据随机向量的正态分布密度个未知量，根据随机向量的正态分布密度函数，观测值向量函数，观测值向量L L的分布密度函数为的分布密度函数为 或然函数取最大值时，得到最小二乘估值公式或然函数取最大值时，得到最小二乘估值公式4 4、The Least Squares EstimateThe Least Squares EstimateNo.4 Parameters Estimation and Principle of LS 当观测值服从正态分布时，最小二乘原理与当观测值服从正态分布时，最小二乘原理与参数估计中的最大或然估计一致。参数估计中的最大或然估计一致。思考题思考题 1 1、衡量估计量性质的标准有哪些，它们分别有什、衡量估计量性质的标准有哪些，它们分别有什么含义？么含义？无偏性：估值的数学期望等于真值。无偏性：估值的数学期望等于真值。有效性：方差最小的无偏估值。有效性：方差最小的无偏估值。一致性：随着观测值个数的增大估值以概一致性：随着观测值个数的增大估值以概率收敛于真值。率收敛于真值。思考题思考题 3 3、什么情况下、什么情况下最小二乘估计与最大或然估计是一致的。最小二乘估计与最大或然估计是一致的。当观测值服从正态分布时。当观测值服从正态分布时。似然函数：似然函数：思考题思考题 4 4、协方差阵与权阵之间的关系。协方差阵与权阵之间的关系。权矩阵是与协方差矩阵的逆矩阵成比例的矩阵。权矩阵是与协方差矩阵的逆矩阵成比例的矩阵。思考题思考题 （1 1）形式上的不同）形式上的不同。（2 2）都是均方差的估计值。）都是均方差的估计值。（3 3）真误差难得，残差易得，第二个公式应用面更广。）真误差难得，残差易得，第二个公式应用面更广。（4 4）后一式称）后一式称BesselBessel公式公式思考题思考题
