最小二乘法简介.ppt

《最小二乘法简介.ppt》由会员分享，可在线阅读，更多相关《最小二乘法简介.ppt（18页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、最小二乘法的思想方法及其应用目的目的 最小二乘法在农、工、经济等领域都有广泛使用。本文旨在向大家介绍最小二乘法的原理及其应用,使大家对最小二乘法有初步了解，方便以后使用。主要内容主要内容 一、最小二乘法简介 二、创立思想 三、最小二乘法拟合办法 四、最小二乘法的实际应用一、最小二乘法简介一、最小二乘法简介 最小二乘法，又称最小平方法，是一种数学技术。它通过最小误差的平方和寻找数据函数的最佳匹配。最小二乘法是提供“观测组合”的主要工具之一，它依据对某事件的大量观测而获得“最佳”结果或“最可能”表现形式。最小二乘法之于数理统计学，有如微积分之于数学，可以称为数理统计学之灵魂。二、创立思想二、创立思

2、想勒让德在先驱者解线性方程组的基础上，以整体的思想方法创立了最小二乘法高斯由寻找随机误差函数为突破，以独特的概率思想导出了正态分布，详尽地阐述了最小二乘法的理论依据。最小二乘法(OLSE)的思想就是要使得观测点和估计点的距离平方和达到最小，在各方程的误差之间建立一种平衡，从而防止某一极端误差，对决定参数的估计值取得支配地位，有助于揭示系统的更接近真实的状态。在最小二乘法的创立过程中有两位科学家为它的创立及发展作出了杰出的贡献。设一组数据(xi,yi)(i=1,2,.,n),现用近似曲线y=(xi)拟合这组数据,“拟合得最好”的标 准 是 所 选 择 的(xi)在 xi处 的 函 数 值(xi)

3、(i=1,2,.,n)与实际值yi的偏差（也称残差)(xi)-yi(i=1,2,.,n)最小，使偏差之和(xi)-yi最小来保证每个偏差都很小。但偏差有正有负,在求和的时候可能相互抵消。为了避免这种情况，选择使“偏差平方和(xi)-yi2最小”的原则来保证每个偏差的绝对值都很小,从而得到最佳拟合曲线y=(xi)。三、最小二乘法拟合三、最小二乘法拟合 一般而言，拟合函数(x)可以使不同的函数类,由m个线性无关函数1(x),2(x),.,m(x)的线性组合而成，即其 中,a1,a2,.,am为 待 定 系 数，1(x),2(x),.,m(x)称为基函数。常用的基函数有：多项式：1,x,x2,xm;

4、三角函数：sinx,sin2x,.,sinmx;指数函数：e1x,e2x,.,emx。1、一元线性拟合、一元线性拟合 已知实测到的一组数据(xi,yi)(i=1,2,.,n),设线性关系式为y=a+bx,最小二乘法求出a,b。2、多元性拟合、多元性拟合 设变量y与n个变量x1,x2,xn(n1)内在联系是线性的，即有y=a0+ajxj(j=1,.,n)。拟合函数拟合函数y=aebx3、指数函数的拟合、指数函数的拟合单击添加单击添加lny=lna+bxY=lnyb0=lnaY=b0+bx得到一组数据(xi,yi)(i=1,.,n),还可以考虑用指数函数为基函数来拟合。拟合函数拟合函数y=a+bl

5、nxy=a+blnx4、对数函数的拟合、对数函数的拟合单击添加单击添加令X=lnxy=a+bX得到一组数据(xi,yi)(i=1,.,n),还可以考虑用对数函数为基函数来拟合。OLSE的一般假的一般假设设解释变量解释变量xi为确为确定型变量定型变量样本容量大于解释变量个数等方差等方差不相关不相关5、脱离一般假设的最小二乘估计、脱离一般假设的最小二乘估计 在实际应用中，采集到的数据不一定满 足 OLSE(ordinary least square estimation)的一般假设，即会出现异方差问题。利用得到的数据进行残差图检验，若残差围绕e=0这条线波动，则满足基本假设，否则，便是异方差现象。

6、对于这种问题的处理，我们引入加权最小二乘估计。5.1 加权原理加权原理n在等方差条件下，偏差平方和S中每一项的地位是相同的；在异方差条件下，误差项方差i2大的在S中的作用偏大。n加 权 最 小 二 乘 估 计（WLS,weighted least square）的方法是在平方和中加入一适当的权数i，以调整各项在平方和中的作用。5.2 权数的取定权数的取定n为消除异方差的影响，使各项的地位相同，观测值的权数取观测值误差项方差的倒数，即i=1/i2n在实际问题中，i2通常是未知的，当自变量水平以系统的形式变化时，取i=1/xi25.3 WLS模型模型n加权后的最小二乘估计模型为:四、最小二乘法应用四、最小二乘法应用 利用实际试验采集到的数据，建立回归模型，运用最小二乘估计进行趋势分析及预测，比如经济趋势预测，工业产量控制等等。