矩阵论第3章5-7节.ppt

《矩阵论第3章5-7节.ppt》由会员分享，可在线阅读，更多相关《矩阵论第3章5-7节.ppt（81页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、3.5 曲线拟合的最小二乘法曲线拟合的最小二乘法 3.5.1 最小二乘法及其计算最小二乘法及其计算 在函数的最佳平方逼近中 如果 只在一组离散点集 上给定，这就是科学实验中经常见到的实验数据 的曲线拟合.1 记误差 则 的各分量分别为 个数据点上的误差.问题为利用 求出一个函数与所给数据 拟合.2 设 是 上线性无关函数族，在 中找一函数 ，使误差平方和（5.1）这里（5.2）3 这个问题称为最小二乘逼近，几何上称为曲线拟合的最小二乘法.用最小二乘求拟合曲线时,首先要确定 的形式.确定 的形式问题不仅是数学问题,还与问题的实际背景有关.通常要用问题的运动规律及给定的数据进行数据描图,确定 的形

2、式,然后通过实际计算选出较好的结果.4 为了使问题的提法更有一般性，通常在最小二乘法中考虑加权平方和（5.2）（5.3）这里 是 上的权函数，它表示不同点 处的数据比重不同.就是 次多项式.若 是 次多项式，的一般表达式为（5.2）表示的线性形式.5 这样，最小二乘问题就转化为求多元函数（5.4）的极小点 问题.用最小二乘法求拟合曲线的问题，就是在形如(5.2)的 中求一函数 ，由求多元函数极值的必要条件，有 使（5.3）取得最小.（5.2）（5.3）6若记（5.5）上式可改写为（5.6）这个方程称为法方程法方程，可写成矩阵形式7其中（5.7）要使法方程(5.6)有惟一解，就要求矩阵 非奇异，

3、而 在 上线性无关不能推出矩阵 非奇异，必须加上另外的条件.（5.6）8 显然 在任意 个点上满足哈尔条件.哈尔条件，则法方程(5.6)的系数矩阵(5.7)非奇异，如果 在 上满足函数 的最小二乘解为 定义定义1010设 的任意线性组合在点集 上至多只有 个不同的零点，则称 在点集 上满足哈尔哈尔(Haar)条件条件.方程(5.6)存在惟一的解从而得到于是（5.6）9这样得到的 ，对任何形如(5.2)的 ，都有故 确是所求最小二乘解.（5.2）10一般可取 ，但这样做当 时，通常对 的简单情形都可通过求法方程（5.6）得到 给定 的离散数据 ，例如，求解法方程（5.6）将出现系数矩阵 为病态的

4、问题，有时根据给定数据图形，其拟合函数 表面上不是（5.2）的形式，但通过变换仍可化为线性模型.若两边取对数得（5.6）（5.2）11 例例7 7这样就变成了形如（5.2）的线性模型.此时，若令 则已知一组实验数据如下，求它的拟合曲线.12 解解 从图中看到各点在一条直线附近，故可选择线性函数作拟合曲线，将所给数据在坐标纸上标出，见图3-4.图3-413 令这里故 14解得由（5.6）得方程组 于是所求拟合曲线为（5.6）15 关于多项式拟合，Matlab中有现成的程序 其中输入参数 为要拟合的数据，为拟合多项式的次数，输出参数 为拟合多项式的系数.利用下面的程序，可在Matlab中完成上例的

5、多项式拟合.16x=1 1 2 3 3 3 4 5;f=4 4 4.5 6 6 6 8 8.5;aa=poly(x,f,1);y=polyval(aa,x);plot(x,f,r+,x,y,k)xlabel(x);ylabel(y);gtext(y=s1(x)）17结果如下：18 例例8 8设数据 由表3-1给出，用最小二乘法确定 及 .解解表中第4行为通过描点可以看出数学模型为它不是线性形式.用给定数据描图可确定拟合曲线方程为两边取对数得19 若令先将 转化为为确定 ，根据最小二乘法，取 则得数据表见表3-1.得20故有法方程 解得 于是得最小二乘拟合曲线为 21 利用下面的程序，可在Mat

6、lab中完成曲线拟合.x=1.00 1.25 1.50 1.75 2.00;y=5.10 5.79 6.53 7.45 8.46;y1=log(y);aa=poly(x,y1,1);a=aa(1);b=exp(aa(2);y2=b*exp(a*x);plot(x,y,r+,x,y2,k)xlabel(x);ylabel(y);gtext(y=a*exp(bx);22结果如下：23 3.5.2 用正交多项式做最小二乘拟合用正交多项式做最小二乘拟合 如果 是关于点集（5.8）用最小二乘法得到的法方程组（5.6），其系数矩阵 是病态的.带权 正交的函数族，即（5.6）24（5.9）则方程（5.6）的

7、解为 且平方误差为（5.6）25 接下来根据给定节点 及权函数 构造带权 正交的多项式 .注意 ，用递推公式表示 ，即（5.10）这里 是首项系数为1的 次多项式，根据 的正交性，得26（5.11）下面用归纳法证明这样给出的 是正交的.27 假定 对 及要证 对 均成立.由（5.10）有 由（5.10）第二式及（5.11）中 的表达式，有 均成立，（5.12）（5.10）（5.10）28 而 ，于是由（5.12），当 时，另外，是首项系数为1的 次多项式，它可由由归纳法假定，当 时的线性组合表示.由归纳法假定又有（5.12）29由假定有 再考虑（5.13）利用（5.11）中 表达式及以上结果，

8、得 30至此已证明了由（5.10）及（5.11）确定的多项式 组成一个关于点集 的正交系.用正交多项式 的线性组合作最小二乘曲线拟合，只要根据公式（5.10）及（5.11）逐步求 的同时，相应计算出系数最后，由 和 的表达式（5.11）有 31并逐步把 累加到 中去，最后就可得到所求的 用这种方法编程序不用解方程组，只用递推公式，并且当逼近次数增加一次时，只要把程序中循环数加1，其余不用改变.这里 可事先给定或在计算过程中根据误差确定.拟合曲线323.6 最佳平方三角逼近与快速傅里叶变换最佳平方三角逼近与快速傅里叶变换 当 是周期函数时，显然用三角多项式逼近 比用代数多项式更合适，本节主要讨论

9、用三角多项式做最小平方逼近及快速傅里叶变换，快速傅里叶变换，简称FFT算法.33 3.6.1 最佳平方三角逼近与三角插值最佳平方三角逼近与三角插值 设 是以 为周期的平方可积函数，用三角多项式（6.1）作为最佳平方逼近函数.由于三角函数族 在 上是正交函数族，于是 在 上的最小平方三角逼近多项式 的系数是 34 称为傅里叶系数.函数 按傅里叶系数展开得到的级数（6.3）就称为傅里叶级数.（6.2）35 只要 在 上分段连续，则级数（6.3）一致收敛到 .对于最佳平方逼近多项式（6.1）有 由此可以得到相应于（4.11）的贝塞尔不等式 因为右边不依赖于 ，左边单调有界，所以级数（6.3）（6.1

10、）（4.11）36 当 只在给定的离散点集 上已知时，则可类似得到离散点集正交性与相应的离散傅里叶系数.下面只给出奇数个点的情形.收敛，并有 37可以证明对任何 成立 令38这表明函数族 在点集上正交.若令其中 则 的最小二乘三角逼近为39当 时 于是（6.4）就是三角插值多项式，系数仍由（6.4）表示.40由于 所以函数族 在区间 上是正交的.一般情形，假定 是以 为周期的复函数，给定 在 个等分点 上的值函数 在等距点集 上的值组成的向量记作41当 时，个复向量 具有如下正交性：（6.5）42事实上，令于是 即 若若则有则从而43于是 若这就证明了（6.5）成立.即 是正交的.则于是 因此

11、，在 个点 上的最小二乘傅里叶逼近为（6.5）44（6.6）其中（6.7）在（6.6）中，若 ，则 为 在点上的插值函数，于是由（6.6）得 即（6.8）45 而（6.8）是由 求 的过程，称为反变换反变换.（6.7）是由 求 的过程，称为 的离散离散傅里叶变换傅里叶变换.简称DFT，（6.7）（6.8）46 3.6.2 快速傅氏变换（快速傅氏变换（FFT）不论是按（6.7）式由 求 ，由 求 ，（6.9）其中 (正变换)或 (反变换)，还是由（6.4）计算傅里叶逼近系数都可归结为计算是已知复数序列.或是按（6.8）（6.4）47 当 较大且处理数据很多时，就是用高速的电子计算机，很多实际问题

12、仍然无法计算，如直接用（6.9）计算 ，需要 次复数乘法和 次复数加法，称为 个操作，计算全部 共要 个操作.直到20世纪60年代中期产生了FFT算法，大大提高了运算速度，从而使傅氏变换得以广泛应用.FFT算法的基本思想就是尽量减少乘法次数.（6.9）48用（6.9）计算全部 ，表面看要做 个乘法，实际上所有 中，只有 个不同的值特别当 时，只有 个不同的值.因此可把同一个 对应的 相加后再乘 ，这就能大量减少乘法次数.（6.9）49 设正整数 除以 后得商 及余数 ，则 ，称为 的 同余数，以 表示.由于 因此计算 时可用 的 同余数 代替 ，从而推出FFT算法.以 为例.说明FFT的计算方

13、法.由于 则（6.9）的和是（6.10）故有50将 用二进制表示为 其中 只能取0或1.例如根据 表示法，有公式（6.10）可表示为（6.10）51（6.11）若引入记号（6.12）52则（6.11）变成 它说明利用 同余数可把计算 分为 步，用公式（6.12）计算.每计算一个 只用2次复数乘法，计算一个 用 次复数乘法，计算全部 共用 次复数乘法.若注意 公式（6.12）还可进一步简化为 53将这表达式中二进制表示还原为十进制表示：54（6.13）同样（6.12）中的 也可简化为 即 即 得55把二进制表示还原为十进制表示，得（6.14）同理（6.12）中 可简化为 即 56表示为十进制，有

14、（6.15）57 根据公式(6.13)，(6.14)，(6.15)，由逐次计算到见表3-2(略）.上面推导的 的计算公式可类似地推广到 的情形.根据公式(6.13)，(6.14)，(6.15)，一般情况的FFT计算公式如下：58（6.16）其中 从 出发，由 到 算到 一组 占用 个复数单元，计算时需给出两组单元，括号内的数代表它的位置，在计算机中代表存放数的地址.即为所求.59 这个计算公式除了具有不倒地址的优点外，计算只有两重循环，计算过程中只要按地址号存放 则最后得到的 就是所求离散频谱的次序.外循环 由 计算到 ，内循环 由 计算到由 计算到更重要的是整个计算过程省计算量.由公式看到算

15、一个 共做 次复数乘法，而最后一步计算 时，由于60 当 时比值是 它比一般FFT的计算量（次乘法）也快一倍.（注意 时 故 ），因此，总共要算次复数乘法，它比直接用（6.9）需 次乘法快得多，计算量比值是 我们称（6.16）的计算公式为改进的改进的FFT算法算法.613.7 有有 理理 逼逼 近近 3.7.1 有理逼近与连分式有理逼近与连分式 有理函数逼近是指用形如 的函数逼近 与前面讨论一样，如果 最小就可得到最佳有理一致逼近最佳有理一致逼近.（7.1）62 如果 最小则可得到最佳有理平方逼近最佳有理平方逼近函数函数.本节主要讨论利用函数的泰勒展开获得有理逼近函数的方法.对函数 用泰勒展开

16、得（7.2）取部分和 63 另一方面,若对（7.2）式用辗转相除可得到 的一种连分式展开（7.3）（7.2）64（7.4）（7.3）右端为 的无穷连分式的前5项，最后式子 若取（7.3）的前2，4，6，8项，则可分别得到 的以下有理逼近:是它的紧凑形式.65 若用同样多项的泰勒展开部分和 逼近 并计算 处的值 及 ，计算结果见表3-2.的准确值为从表3-1可以看出，66 但它们的计算量是相当的，这说明用有理逼近比多项式逼近好得多.由此看出 的精度比 高出近10万倍，例例9 9用辗转相除法将它化为连分式并写成紧凑形式.解解给出有理函数用辗转相除可逐步得到67 本例中用连分式计算 的值只需3次除法

17、，1次乘法和7次加法.68 若直接用多项式计算的秦九韶算法则需6次乘法和1次除法及7次加法.可见将 化成连分式可节省计算乘除法次数.对一般的有理函数,（7.1）可转化为一个连分式它的乘除法运算只需 次.而直接用有理函数（7.1）计算乘除法次数为 次.69 3.7.2 帕德逼近帕德逼近 利用函数 的泰勒展开可以得到它的有理逼近.设 在 的泰勒展开为（7.5）它的部分和记作（7.6）70 定义定义1111设其中 无公因式，且满足条件（7.8）则称 为函数 在 处的 阶帕德逼近帕德逼近，记作 ,简称 的帕德逼近.如果有理函数（7.7）71 根据定义，若令 则满足条件（7.8）等价于 即 由于 应用莱

18、布尼茨求导公式得（7.8）72这里 是由（7.6）得到的，上式两端除 ，并由 可得（7.9）及（7.10）注意当 时故（7.10）可写成（7.6）73（7.11）其中 时 ，若记（7.12）74则方程组（7.11）的矩阵形式为 定理定理1010（7.7）的有理函数 是 的 阶帕德逼近的充分必要条件是多项式 的系数 及 满足方程组（7.9）及（7.11）.设则形如75 根据定理10,求 的帕德逼近时，首先要由（7.11）解出 的系数 ，再由（7.9）直接算出 的系数 .的各阶帕德逼近可列成一张表，称为帕德表（见表3-3）.（7.11）（7.9）76 例例1010求 的帕德逼近 及 .解解由 的泰勒展开得 当 时，由（7.11）得 求得再由（7.9）得77于是得 当 时，由（7.11）得 78代入（7.9）得 解得 于是得 79 为了求帕德逼近 的误差估计，由(7.9)及(7.11)求得的 系数 及 ，直接代入则得 将 除上式两端，即得 可以看到这里得到的 及 与 的前面 连分式展开得到的有理逼近（7.4）结果一样.80（7.13）其中 当 时可得误差近似表达式 81