第二章最佳平方逼近.ppt

为为了了进进一一步步讨讨论论函函数数逼逼近近问问题题,以以及及为为了了后后续续内内容容的的需需要要,我我们们的的着着眼眼点点不不能能再再局局限限在在一一般般多多项项式式上上,而而要要给给出出一一类类具具有有特殊性质的多项式特殊性质的多项式,即正交多项式即正交多项式.第二章第二章 最佳平方逼近最佳平方逼近一、正交多项式一、正交多项式（一）正交函数的概念定义定义给定函数给定函数若若满足满足:(1)(2)权函数权函数的一种解释是物理上的密度函数的一种解释是物理上的密度函数,相应相应的的表示总质量表示总质量.=常量常量,表示质量分布是均匀的表示质量分布是均匀的.(3)积分积分存在存在,n=0,1,.则称则称 为为a,b上的权函数上的权函数为函数为函数f与与g在在a,b上的内积上的内积.内内积积具具有有下下列列简简单单性性质质:我我们们知知道道,一一个个向向量量的的长长度度的的几几何何概概念念,对对于于函函数数空空间间及及逼逼近近有有许许多多自自然然的的应应用用.正正如如在在通通常常的的二二维维或或三三维维空空间间中中,我我们们有有一一种种度度量量两两个个向向量量u及及v之之间间距距离离的的方方法法,我我们们也也想想用用长长度度来来度量一个逼近的好坏度量一个逼近的好坏.在这一点上常用范数这个词在这一点上常用范数这个词.定义定义给定给定 ,是是a,b上的权函数上的权函数,称称(1)(2)(3)(4)当当定定义义一一个个实实值值函函数数称称为为一一个个函函数数空空间间的的范范数数,如如果果它它在在空间处处有定义并满足条件空间处处有定义并满足条件:(1)(1)最大值范数最大值范数:(2)(2)欧氏范数欧氏范数(L2范数范数):(1)(2)为任意常数为任意常数(3)在闭区间上连续的函数在闭区间上连续的函数 的最常见范数有的最常见范数有:(1.1)(1.2)定义定义 若内积若内积则称则称是是a,b上带上带权权的正交函数系的正交函数系.当当是代数多是代数多项式时项式时,称为正交多项式称为正交多项式.下面我们列举几个最常见的正交函数系下面我们列举几个最常见的正交函数系.满足满足:则称则称 与与 在区间在区间 上带权上带权，若函数，若函数正交例例1、三角函数系三角函数系例例 2 2、Legendre Legendre 多项式多项式1，在区间在区间-,上两两正交上两两正交,因为因为即多项式即多项式:是是-1,1-1,1上的正交多项式上的正交多项式,且有且有事实上事实上,设设 ,由分部积分法得由分部积分法得若若 ,则则若若 ,则有则有于是有于是有例例3 3 Chebyshey Chebyshey 多项式多项式即多项式即多项式在区间在区间-1,1上关于权函数上关于权函数正交正交,且且于是有于是有事实上事实上,若若则有则有例例、Laguerre多项式多项式即多项式即多项式的的n次正交多项式次正交多项式,且且是在是在上带权上带权例例5、Hermite多项式多项式即多项式即多项式的的n次正交多项式次正交多项式,且有正交关系式且有正交关系式:是在区间是在区间上带权上带权（二）、（二）、正交多项式的性质正交多项式的性质若记若记则则的最高次项的系数为的最高次项的系数为1，并且，并且也是在也是在上带上带权正交的权正交的次多项式。次多项式。设设 是在是在 上带权正交的多项式序列，其中上带权正交的多项式序列，其中 表示表示 次正交多项式：次正交多项式：性质性质1关于权函数关于权函数的任意正交函数系的任意正交函数系都是线性都是线性无关的。无关的。特别地有特别地有事实上，要是事实上，要是则以则以乘等式乘等式的两边并积分，得到的两边并积分，得到由此可知由此可知推论推论1任何次数不超过任何次数不超过的多项式的多项式可由正交多项可由正交多项式式线性表出，即线性表出，即推论推论2任何次数不超过任何次数不超过的多项式的多项式必定同必定同带权带权 正交正交,即即其中其中性质性质2对于最高次项系数为对于最高次项系数为1的正交多项式的正交多项式存存 在着递推关系在着递推关系证明证明 由于由于是是次多项式，因此可由次多项式，因此可由线性表出，即存在线性表出，即存在使使并积分并积分比较比较两边的系数，可见两边的系数，可见 。两边乘以两边乘以有有从而从而而而故故，所以当当时，因为时，因为是是 次多项式，次多项式，当当 时时于是有于是有把这些结果代入（把这些结果代入（1.111.11）式，得到）式，得到 即即 证毕。证毕。当当时，则有时，则有其中其中推论推论 对于最高次项系数为对于最高次项系数为的正交多项式的正交多项式 ,有递推有递推关系式关系式性质性质3次正交多项式次正交多项式有有个互异的实根，并且全个互异的实根，并且全 部位于区间部位于区间 内。内。证明：证明：取固定的取固定的 ,假定假定则则此与正交多项式的定义相矛盾。于是至少有某一数此与正交多项式的定义相矛盾。于是至少有某一数使使现假设现假设 是是的重根，即的重根，即则则另一方面却有另一方面却有是是次多项式，由正交多项式的定义有次多项式，由正交多项式的定义有最佳平方逼近问题的提法是：设最佳平方逼近问题的提法是：设是是上的连续函数，上的连续函数，是所有次数不超过是所有次数不超过的多项式的集合，在的多项式的集合，在中求中求逼近逼近，使，使此时称此时称 为为 在在 上的最佳平方逼近多项式。上的最佳平方逼近多项式。我们将要研究我们将要研究 是否存在？是否唯一？如何求得是否存在？是否唯一？如何求得？二、最佳平方逼近问题二、最佳平方逼近问题（一）、（一）、最小二乘拟合多项式最小二乘拟合多项式例例1求电阻求电阻和温度和温度间的关系间的关系。测得铜导线在温度测得铜导线在温度 时的电阻时的电阻 如下如下k1234567温度x19.125.030.136.040.045.150.0电阻y76.3077.8079.2580.8082.3583.90 85.10解决这类问题通常的步骤如下解决这类问题通常的步骤如下:xy(1)(1)用一坐标将用一坐标将 ，值描于图上值描于图上（1）(2)凭视觉知，凭视觉知，在一条直线在一条直线上的两测附近，于是可设上的两测附近，于是可设，近近似的成直线关系。似的成直线关系。上面的直线关系称为数学模型。在第上面的直线关系称为数学模型。在第 次观测数据中，次观测数据中，与与实测值实测值 有误差有误差通常称为残差。通常称为残差。它是衡量被确定的参数它是衡量被确定的参数 和和 （也就是近似多项式（也就是近似多项式 ）好坏的重要标志。）好坏的重要标志。确定参数确定参数 ，原则：原则：，使残差绝对值中最大的一个达到最小，即使残差绝对值中最大的一个达到最小，即为最小；为最小；使残差绝对值之和达到最小，即使残差绝对值之和达到最小，即为最小；为最小；使残差的平方和达到最小，即使残差的平方和达到最小，即为最小；为最小；原则原则确定待定参确定待定参数，从而得到近似多项式的方法，就是数，从而得到近似多项式的方法，就是通常所说的通常所说的最小二乘法最小二乘法。用最小二乘法确定参数用最小二乘法确定参数 和和，应使，应使取最小值。因此，应有取最小值。因此，应有由此，得到如下线性方程组由此，得到如下线性方程组解之有解之有从而得近似多项从而得近似多项式式一般来说，设给定一组数据一般来说，设给定一组数据则适当选择系数则适当选择系数后，使后，使达到最小的多项式达到最小的多项式称为数据称为数据 的的最小二乘拟合多项式最小二乘拟合多项式，或变量，或变量 之间的之间的数学模型（经验公式）。数学模型（经验公式）。即即或写成或写成由于由于非负，且为非负，且为的二次多项式，故的二次多项式，故必有最小值，其最小值可如下求得：必有最小值，其最小值可如下求得：令：令：引进记号引进记号则上述方程组成为则上述方程组成为这是这是 系数系数 满足的方程组，称为满足的方程组，称为正规方程正规方程组（或法方程组）组（或法方程组）。可以证明，当可以证明，当互异时，该方程组有唯一解互异时，该方程组有唯一解它们使得它们使得 取最小值。如此，我取最小值。如此，我 们便得们便得到了最小二乘拟合多项式到了最小二乘拟合多项式 。例例7设已知函数设已知函数的表列值为的表列值为试按最小二乘法构造试按最小二乘法构造的二次近似多项式。的二次近似多项式。0.20.50.70.8511.221 1.649 2.014 2.340 2.718解解 经简单计算可得关于参数经简单计算可得关于参数 的方程组为的方程组为解之得解之得故故三、一般最小二乘逼近问题的提法三、一般最小二乘逼近问题的提法4、小结、小结1、广义多项式与权系数、广义多项式与权系数2 2、一般最小二乘逼近问题的提法、一般最小二乘逼近问题的提法3 3、正规方程组、正规方程组（一）、广义多项式与权系数（一）、广义多项式与权系数（1）、广义多项式、广义多项式设函数系设函数系线性无关，则其有限项线性组合线性无关，则其有限项线性组合称为称为广义多项式广义多项式。例如例如（2）、“权系数权系数”的概念的概念在例在例6中，如果要研究低温时电阻与温度的关系，显然低温中，如果要研究低温时电阻与温度的关系，显然低温下测得的电阻值更重要一些，而另外一些电阻值的作用小下测得的电阻值更重要一些，而另外一些电阻值的作用小些。这在数学上表现为用和些。这在数学上表现为用和替代替代 右端的和式。此处右端的和式。此处 是任意的正数，通常称之是任意的正数，通常称之为权系数，而称为权系数，而称 为加权和。为加权和。（二）、一般最小二乘逼近问题的提（二）、一般最小二乘逼近问题的提法法（1）、离散型）、离散型设给定一组数据设给定一组数据和一组权和一组权系数系数，要求广义多项式，要求广义多项式，使得，使得最小。这时最小。这时 称为数据称为数据 关于权系数关于权系数 的最小二的最小二乘拟合多项式。乘拟合多项式。2、连续型、连续型设已知设已知，权函数，权函数，并且，并且在在上只有有限个点上上只有有限个点上。要求广义多项式。要求广义多项式，使得使得最小。这时最小。这时称为函数称为函数在区间在区间上关于上关于权函数权函数的的最小二乘逼近多项式最小二乘逼近多项式。注意，注意，可看成可看成 中中 且且 的极限。通常，的极限。通常，“最小最小”也可说成也可说成“最优最优”或或“最佳最佳”；“二乘二乘”可可说成说成“平方平方”或或“均方均方”；当；当 或或 时，时，“关于权函数关于权函数”或或“关于权系数关于权系数”的字样，常常略而不提。的字样，常常略而不提。离散情形，定义离散情形，定义与与的内积为的内积为连续情形，定义连续情形，定义与与的内积为的内积为则由此所引入的范数则由此所引入的范数便给出了两个函数便给出了两个函数与与之间的之间的“距离距离”或接近程度的度量。所谓或接近程度的度量。所谓平方逼近正是按照这种度量方式来规定其逼近概念的。依这平方逼近正是按照这种度量方式来规定其逼近概念的。依这种度量方式，我们可将两种情形下的最小二乘逼近问题统一种度量方式，我们可将两种情形下的最小二乘逼近问题统一说成是：说成是：求广义多项式求广义多项式，使得，使得最小。其中最小。其中依依 式。我们可求得式。我们可求得的系数的系数 所满足的线所满足的线性方程组，即所谓性方程组，即所谓正规方程组正规方程组。据微分学可知，使据微分学可知，使取极小值的取极小值的应满足条件应满足条件（三）、正规方程组（三）、正规方程组由于由于从而从而故条件故条件变为变为或者或者亦即亦即条件条件 可以看做是每个可以看做是每个 都与都与 正交。正交。对于离散情形，若对于离散情形，若，可引进，可引进阶矩阵阶矩阵，并令其第并令其第行第行第列元素为列元素为，则，则的的第第行第行第列元素列元素又令又令则可将则可将 式写成式写成从而从而 由下列方程组所决定由下列方程组所决定可以证明，正规方程组可以证明，正规方程组 的解存在而且唯一，且使为最小的解存在而且唯一，且使为最小事实上，由于事实上，由于 线性无关，从而对于任意非零向量线性无关，从而对于任意非零向量，于是二次型，于是二次型说明此二次型正定，故方程组说明此二次型正定，故方程组的系数行列式大于零，的系数行列式大于零，因此方程组因此方程组的解存在而且唯一。现设的解存在而且唯一。现设是任意广义多项是任意广义多项式，式，则，则由条件由条件可知可知故故.这说明这说明确实是使确实是使取极小值的广义多项式。取极小值的广义多项式。注：在求最佳平方逼近函数注：在求最佳平方逼近函数时，需要确定的参数是时，需要确定的参数是 ，而，而 可以看成是可以看成是 的线性函数，但是有时往往要确定的函数和的线性函数，但是有时往往要确定的函数和参数之间不具有线性关系。参数之间不具有线性关系。通过变量替换使其线性化通过变量替换使其线性化记记，则，则式变成式变成（1）若若用用函函数数去去近近似似一一个个已已给给定定的的列列表函数表函数 ,其中其中 是待定的两个参数。是待定的两个参数。在在式两端取对数，得到式两端取对数，得到这是一个一次多项式，其系数这是一个一次多项式，其系数和和可由最小二乘法求得。可由最小二乘法求得。（2）若用函数若用函数去近似一个已给定的列表函数，去近似一个已给定的列表函数，其中其中是待定的两个参数。这时，我们可在是待定的两个参数。这时，我们可在的两端取对数：的两端取对数：记记，则，则式变成式变成这样，仍可用最小二乘法定出这样，仍可用最小二乘法定出 （从而也就定出了（从而也就定出了 ），），得到近似函数得到近似函数1 1、一般最小二乘逼近、一般最小二乘逼近基本概念：基本概念：广义多项式广义多项式“权系数权系数”一般最小二乘逼近问题的提法一般最小二乘逼近问题的提法离散型离散型连续型连续型2 2、正规方程组、正规方程组（四）、小结（四）、小结