第7章 曲线拟合的最小二乘法.ppt
Ch.7 离散数据的曲线拟合离散数据的曲线拟合引言 曲线拟合问题仍然是已知仍然是已知 x1 xm;y1 ym,求一个简单易求一个简单易算的近似函数算的近似函数 P(x)来拟合这些数据来拟合这些数据。但是但是 m 很大；很大；yi 本身是测量值，不准确，即本身是测量值，不准确，即 yi f(xi)这时没必要取这时没必要取 P(xi)=yi,而要使而要使 i=P(xi)yi 总体上总体上尽可能地小。尽可能地小。这种构造近似函数这种构造近似函数 的方法称为的方法称为曲线拟合曲线拟合，P(x)称为称为拟合函数拟合函数称为称为“残差残差”常见做法：常见做法：u使使 最小最小较复杂，较复杂，u使使 最小最小不可导，求解困难不可导，求解困难u使使 最小最小“使使 i=P(xi)yi 尽可能地小尽可能地小”有不同的准有不同的准则则一一 最小二乘法求解矛盾方程组最小二乘法求解矛盾方程组设线性方程组设线性方程组或或 (1)当线性方程组当线性方程组(1)的系数矩阵和增广矩阵的秩不相等时的系数矩阵和增广矩阵的秩不相等时,方程方程组无解组无解,这时称方程组为矛盾方程组这时称方程组为矛盾方程组.引理引理1:设设 n 元实函数元实函数 在点在点 的某个邻的某个邻域内连续域内连续,且有一阶连续偏导数且有一阶连续偏导数,若若(1)其中其中(2)矩阵矩阵引理引理2:设非齐次线性方程组设非齐次线性方程组(1)的系数矩阵的系数矩阵 A:r(A)=n,则则 是正定是正定(负定负定)矩阵矩阵.则则 是是 n 元函数元函数 的极小的极小(极大极大)值值.(1)矩阵矩阵 是对称正定矩阵是对称正定矩阵;(2)n阶线性方程组阶线性方程组 有唯一解有唯一解.矛盾方程组在某种意义下的解矛盾方程组在某种意义下的解:证证:(1)显然显然 是对称矩阵是对称矩阵因为因为 r(A)=n,所以所以Ax=0有唯一零解有唯一零解,故故 有有于是于是 ,因此因此 是正定矩阵是正定矩阵.(2)因为因为 是正定矩阵是正定矩阵,所以所以 .(3)故故 有唯一解有唯一解 说明说明:引理引理2 说明在说明在r(A)=n的条件下的条件下,无论方程组无论方程组(1)是否有解是否有解,n阶方程组阶方程组 都有唯一解都有唯一解.由于矛盾方程组由于矛盾方程组(1)的精确解不存在的精确解不存在,故转化为寻求某种意义故转化为寻求某种意义下的解下的解.令令称称 为偏差为偏差工程中许多问题归结为偏差平方和工程中许多问题归结为偏差平方和Th1.设矛盾方程组设矛盾方程组(1)的系数矩阵的系数矩阵 A的秩为的秩为n,则二次函数则二次函数达到最小达到最小,这一条件称为最小二乘原则这一条件称为最小二乘原则.按最小二乘原则选择按最小二乘原则选择未知数未知数 的一组取值的方法称为求解矛盾方程组的最的一组取值的方法称为求解矛盾方程组的最小二乘法小二乘法.符合条件的符合条件的 的一组取值称为矛盾方程组的一组取值称为矛盾方程组的最小二乘解的最小二乘解.将将Q看作关于看作关于 的的n 元二次函数元二次函数,记为记为 求求(1)的最小二乘解就是求该二次函数的最小值点的最小二乘解就是求该二次函数的最小值点.证证:Q为为 的二次函数的二次函数,且有连续的且有连续的1、2阶偏导数阶偏导数.必存在最小值必存在最小值,且方程组且方程组 的解就是其最小值点的解就是其最小值点.令令即即由引理由引理 2 知知 有唯一解有唯一解,设为设为记记 ,二元函数二元函数 Q 存在存在 P0,使得使得故满足引理故满足引理1的条件的条件(1).又又说明说明:Th1说明只要矛盾方程组说明只要矛盾方程组(1)的系数矩阵的系数矩阵 A的秩为的秩为n,则则 由引理由引理 2 知知 M 正定正定,故满足引理故满足引理 1 的条件的条件(2),所以所以Q 存在极存在极小值小值.又方程组又方程组 有唯一解有唯一解,所以所以Q 的极小值即为最的极小值即为最小值小值.方程组方程组 的解就是最小值点的解就是最小值点.线性方程组线性方程组 称为称为正则方程组正则方程组矛盾方程组矛盾方程组(1)的最小二乘解存在的最小二乘解存在;正则方程组有唯一解正则方程组有唯一解,此解就是矛盾方程组此解就是矛盾方程组(1)的最小二的最小二乘解乘解.例例1:求下列矛盾方程组的最小二乘解求下列矛盾方程组的最小二乘解 解解:因为因为r(A)=3,所以最小二乘解存在所以最小二乘解存在.正则方程组为正则方程组为:二二 线性模型和最小二乘拟合线性模型和最小二乘拟合De f：对于已知的对于已知的 m+1 对离散数据对离散数据 ，记记在连续函数空间在连续函数空间C a,b中选定中选定n+1个线性无关的基函数个线性无关的基函数 ，并记由它们生成的子空间为：并记由它们生成的子空间为：若有若有 使得使得则称则称 为离散数据为离散数据 在子空间在子空间 中的中的最小二乘最小二乘拟合拟合。对于选定的基函数对于选定的基函数 ，定义中的拟合曲线即拟合模型，定义中的拟合曲线即拟合模型 ，是待定参数，是待定参数 的线性函数，故称之为的线性函数，故称之为线性最小二乘问线性最小二乘问题题。由于由于记：记：则最小二乘问题，即求极小值问题则最小二乘问题，即求极小值问题(1)的解的解 ，也就是求，也就是求多元二次函数多元二次函数 的的极小值点极小值点 ，使得：使得：问题：问题：极值问题极值问题(2)的解是否存在，是否唯一，即最小二乘问的解是否存在，是否唯一，即最小二乘问题题(1)的解的解是否存在唯一是否存在唯一？如果存在唯一，？如果存在唯一，如何求之如何求之？正规正规(法法)方程和解的存在唯一性方程和解的存在唯一性由于由于 是关于待定参数是关于待定参数 的二次多的二次多项式函数，所以项式函数，所以(2)式有解的必要条件为：式有解的必要条件为：即：即：记记 m+1 维向量维向量:其中其中 为函数为函数 在点列在点列 处取值的向量，由向量处取值的向量，由向量 内积的定义，可得：内积的定义，可得：故方程故方程(3)可写成可写成:即：即：G方程方程 称之为称之为正规方程正规方程(或法方程或法方程)。由此可见，最小二乘问题存在唯一解的由此可见，最小二乘问题存在唯一解的必要条件必要条件就是正规方程的就是正规方程的系数矩阵系数矩阵 G 非奇异。显然非奇异。显然G 为对称矩阵，称为为对称矩阵，称为Gram 矩阵矩阵.定理定理2：对于已知的对于已知的 m+1 对离散数据对离散数据 ，选定，选定 n+1维连维连续函数空间续函数空间 ，如果它有一组基，如果它有一组基 在点列在点列 处的值向量组处的值向量组 线性无关，则最小二乘问题存在唯一线性无关，则最小二乘问题存在唯一解解 ，其中，其中 为正规方程的解为正规方程的解.定理定理1：Gram 矩阵矩阵 G 非奇异的非奇异的充要条件充要条件是向量组是向量组 线线 性无关。性无关。注注:(1)最小二乘问题的解与所选基函数无关。即对于最小二乘问题的解与所选基函数无关。即对于n+1维连维连 续函数空间续函数空间 的任何基的任何基 ，只要它们在点列，只要它们在点列 处的值向量组处的值向量组 线性无关，就可以用相应的正规方程求线性无关，就可以用相应的正规方程求解，从而得到相同的拟合曲线。解，从而得到相同的拟合曲线。(2)在在离散点列离散点列 中，对自变量序列中，对自变量序列 没有特别没有特别要求，既不需要有序，也可以重复。要求，既不需要有序，也可以重复。(3)Gram矩阵矩阵G由子空间由子空间 的基函数的基函数 和自变量和自变量(4)序列序列 确定，与离散点的函数值确定，与离散点的函数值 无关。无关。三三 多项式拟合多项式拟合在离散数据的最小二乘拟合中，最简单也是最常用的数学模在离散数据的最小二乘拟合中，最简单也是最常用的数学模型就是多项式：型就是多项式：即在多项式空间即在多项式空间中作曲线拟合，称为中作曲线拟合，称为多项式拟合多项式拟合。特例：一次多项式拟合特例：一次多项式拟合设一次多项式设一次多项式 则则由由得得即即解得解得 则得拟合多项式则得拟合多项式 。例例1：已知已知 ，求拟合直线，求拟合直线.解：解：设拟合直线为设拟合直线为 ，则法方程组为，则法方程组为:解得解得所以所求拟合直线为所以所求拟合直线为:一般多项式拟合一般多项式拟合设设 n 次多项式次多项式 则法方程为则法方程为:注注:数据代入多项式后所得矛盾方程组记为数据代入多项式后所得矛盾方程组记为A=y,则上述正则上述正则方程即为则方程即为 ,也就是矛盾方程组的正则方程组也就是矛盾方程组的正则方程组.故故也可通过也可通过 求得拟合多项式的各项系数求得拟合多项式的各项系数.例例2：已知函数已知函数的观测数据为：的观测数据为：304321用最小二乘法求形如用最小二乘法求形如 的经验公式使与的经验公式使与题目题目数据拟合数据拟合.解：解：正则方程组为正则方程组为:解得解得:所以拟合曲线为所以拟合曲线为:可化为线性模型的曲线拟合可化为线性模型的曲线拟合1 分式函数分式函数这种情形可令这种情形可令 ，则有，则有此时法方程组为此时法方程组为:2 指数函数指数函数 3 幂函数幂函数 例例3 3：给定数据如下：给定数据如下：x1.01.41.82.22.6 y0.9310.4730.2970.2240.168求形如求形如 的拟合曲线的拟合曲线.解：解：令令 ，则拟合函数转化为线性模型，则拟合函数转化为线性模型:此时数据转化为：此时数据转化为：x1.01.41.82.22.6 z1.0742.1143.3674.4645.592用该线性模型拟合上述数据，相应的正规方程为用该线性模型拟合上述数据，相应的正规方程为:解得解得:故所求拟合曲线为故所求拟合曲线为:例例4：2000年人口预测问题年人口预测问题.根据下表数据构造拟合函数，预根据下表数据构造拟合函数，预测测2000年时的世界人口。年时的世界人口。年196019611962196319641965196619671968人口/亿29.7230.6131.5132.1332.3432.8533.5634.2034.83解：解：根据人口增长的统计资料和人口理论数学模型可知，当根据人口增长的统计资料和人口理论数学模型可知，当人口总数人口总数N 不是很大时，在不太长的时期内，人口增长接近于不是很大时，在不太长的时期内，人口增长接近于指数增长。因此采用指数函数指数增长。因此采用指数函数 对数据进行拟合。两对数据进行拟合。两边同时取对数，得：边同时取对数，得：，令，令 ，变换后的拟，变换后的拟合函数为：合函数为：对人口数据取对数，计算得下表对人口数据取对数，计算得下表:年196019611962196319641965196619671968人口/亿3.39183.42133.45033.46983.47633.49203.51333.53223.5505相应的正规方程为相应的正规方程为:解得解得:故所求拟合函数为故所求拟合函数为:经计算经计算N(2000)=64.1805 亿，基本反映了人口变化趋势亿，基本反映了人口变化趋势.
