第6章 最小二乘及偏最小二乘的参数估计方法-v1.ppt
《第6章 最小二乘及偏最小二乘的参数估计方法-v1.ppt》由会员分享,可在线阅读,更多相关《第6章 最小二乘及偏最小二乘的参数估计方法-v1.ppt(83页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法化工过程动态数学模型化工过程动态数学模型硕士研究生课程硕士研究生课程-2010-2010陈祥光陈祥光1/14/20231化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 6.16.1 最小二乘整批算法最小二乘整批算法 6.2 6.2 最小二乘递推算法最小二乘递推算法 6.3 6.3 实验数据处理实验数据处理 6.4 6
2、.4 问题提出及最小二乘原理问题提出及最小二乘原理 6.5 6.5 偏最小二乘的基本含义偏最小二乘的基本含义 6.6 6.6 偏最小二乘的重要性偏最小二乘的重要性 6.7 6.7 应用举例应用举例 6.8 6.8 单因变量的偏最小二乘回归模型单因变量的偏最小二乘回归模型1/14/20232化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法第第6章章 最小二乘及最小二乘及偏最小二乘偏最小二乘的参数估计方法的参数估计方法 最小二乘法自高斯在最小二乘法自高斯在1795年提出以来,已有二百多年
3、的历年提出以来,已有二百多年的历史,但至今仍广泛用于参数估计。其主要原因是这种方法简单史,但至今仍广泛用于参数估计。其主要原因是这种方法简单方便,而且是其他几种方法的基础。方便,而且是其他几种方法的基础。上式中:上式中:Y量测向量;量测向量;参数向量;参数向量;H量测矩阵量测矩阵 e考虑量测误差的随机向量。考虑量测误差的随机向量。6.1 最小二乘整批算法最小二乘整批算法 (1)静态模型算法静态模型算法 设需要估计的模型用下列代数方程表示:设需要估计的模型用下列代数方程表示:(6-1)1/14/20233化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章
4、最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法例如:当模型形式为例如:当模型形式为 Y=a1x1+a2x2+anxn一共进行了一共进行了N 次次量测时:量测时:实际过程(或装置)1/14/20234化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 上式中上式中R-1 是加权矩阵,在此讨论是加权矩阵,在此讨论R=I(单位矩阵)时的最(单位矩阵)时的最小二乘估计。为了使小二乘估计。为了使J成为最小值,取成为最小值,取 现在要使下列目标函数现在要使下列目标函数J为最小
5、时,求出参数的估计值为最小时,求出参数的估计值(6-2)整理后有:整理后有:(6-3)一般情况下,一般情况下,量测次数量测次数N远大于待估计的远大于待估计的参数的数目参数的数目n。1/14/20235化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法(2)动态模型算法动态模型算法 考虑单输入单输出(考虑单输入单输出(SISO)线性系统,用后移差分算符)线性系统,用后移差分算符q-1表示的脉冲传递函数是:表示的脉冲传递函数是:(6-4)考虑到量测噪声的存在,(考虑到量测噪声的存在,(6-
6、4)式可写成:)式可写成:(6-5)上式中:上式中:k是采样次数,是采样次数,y是输出,是输出,u是输入,是输入,e是考虑噪声是考虑噪声或不确定性的随机变量。或不确定性的随机变量。1/14/20236化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法该系统的框图如该系统的框图如6-1所示:所示:图图6-1 辨识系统示意图辨识系统示意图 假定假定e(k)是独立的,零均值随机变量序列,而且在是独立的,零均值随机变量序列,而且在不同的不同的k 值下有相同的分布。如果采样次数从值下有相同的分布
7、。如果采样次数从(1-n)至至k,一共进行了一共进行了(n+k)次时量测,则对次时量测,则对y(k)可得出下列方程:可得出下列方程:1/14/20237化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法(6-6)可以看出,上式与(可以看出,上式与(6-1)式很相似,在得到)式很相似,在得到k次采样次采样数据后的最小二乘估计值可象(数据后的最小二乘估计值可象(6-3)式一样求取:)式一样求取:1/14/20238化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)
8、第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法(6-7)上式中:上式中:-是(是(2n+1)维列向量;)维列向量;-是是k维列向量;维列向量;-是是k(2n+1)维维矩矩阵阵;-是是(2n+1)(2n+1)的的对对称矩称矩阵阵。1/14/20239化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 上述的算法是在取得整批数据后,一次求取参数的估计值。上述的算法是在取得整批数据后,一次求取参数的估计值。在采样次数在采样次数k值大的时候,矩阵值大的时候
9、,矩阵HTH的计算比较费时,在模型的计算比较费时,在模型阶次阶次n高时,高时,(HTH)求逆的计算工作量很大。求逆的计算工作量很大。6.2 最小二乘递推算法最小二乘递推算法 值得注意的是:值得注意的是:如果取得新的测量数据,需对估计值进行如果取得新的测量数据,需对估计值进行修正时,必须从头算起,完全不能利用原来的计算结果。修正时,必须从头算起,完全不能利用原来的计算结果。在很多应用中,在有些在很多应用中,在有些自适应系统中自适应系统中,需要依据动态模型,需要依据动态模型参数的估计值来确定控制作用,必须不断依据新的数据来修参数的估计值来确定控制作用,必须不断依据新的数据来修正参数估计值。正参数估
10、计值。这就要求采用递推算法。这就要求采用递推算法。1/14/202310化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法(6-8)(1 1)基本的递推算法)基本的递推算法 递推算法的一般形式是:递推算法的一般形式是:-是预报是预报 值。值。上式中:上式中:-是第是第k次采样数据后求出的参数估计值;次采样数据后求出的参数估计值;-是得到第是得到第(k+1)次采样数据后求出的估计值;次采样数据后求出的估计值;-是是H 矩阵的矩阵的(k+1)行;行;-是是(2n+1)维的维的修正列向量矩阵
11、修正列向量矩阵。1/14/202311化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法(2 2)式()式(6-86-8)的物理意义)的物理意义:在收到新的量测值后,要依据实际在收到新的量测值后,要依据实际y值与预报值之差,对参数的估计值进行适当的修正。值与预报值之差,对参数的估计值进行适当的修正。在此,在此,关键的问题是如何确定关键的问题是如何确定Kk+1,这在不同的算法中有这在不同的算法中有不同的解答。如果不同的解答。如果Kk+1的修正过于强烈,估计值将波动较大的修正过于强烈,估计
12、值将波动较大,甚至不能收敛;但如果过于微弱,则需要经过很多次采样,甚至不能收敛;但如果过于微弱,则需要经过很多次采样后,才能接近可靠的估计值。后,才能接近可靠的估计值。在最小二乘递推算法中,在最小二乘递推算法中,Kk+1的表达式为:的表达式为:(6-9)设则1/14/202312化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 在在式式(6-10)中中,是是个个纯纯量量,项项成成为为简简单单的求倒数计算,只不过要有了的求倒数计算,只不过要有了 ,的计算就不困难。的计算就不困难。(6-
13、10)但是,作为完整的算法,对但是,作为完整的算法,对P(k+1)也要有个递推算式,才能也要有个递推算式,才能满足下一采样后进一步修正估计值的计算中的需要。满足下一采样后进一步修正估计值的计算中的需要。由矩阵由矩阵求逆引理可以导出:求逆引理可以导出:(6-11)递推算法:递推算法:已有数据已有数据求求P(kP(k)求求K Kk+1k+1由由 ,1/14/202313化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 以上的递推算法尽管在计算步骤上与整批算法不同,但计以上的递推算法尽管在
14、计算步骤上与整批算法不同,但计算结果是相同的,对所采集的各组数据,对最终结果起着算结果是相同的,对所采集的各组数据,对最终结果起着同同等程度的影响。等程度的影响。在许多情况下,例如对于时变的系统,需要逐步减少老数在许多情况下,例如对于时变的系统,需要逐步减少老数据的作用,加强新数据的地位。据的作用,加强新数据的地位。一种办法一种办法是对数据组数作限制,一直规定为是对数据组数作限制,一直规定为k,在收到第,在收到第(k+1)组数据后,把第组数据后,把第1组数据弃掉,组数据弃掉,吐故纳新吐故纳新。另一种常用的办法另一种常用的办法是引入是引入遗忘因子遗忘因子 。把。把记忆记忆中的数据乘中的数据乘上小
15、于上小于1的数,犹如逐的数,犹如逐渐渐淡忘一淡忘一样样。采用采用遗遗忘因子的算法步忘因子的算法步骤骤如下:如下:1/14/202314化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 依据过去已有的数据,求取依据过去已有的数据,求取P(k)和和 ,如:,如:(6-12)也可按照某些初值假定,如也可按照某些初值假定,如 ,等等依据新的量测值求取依据新的量测值求取 (6-13)计算新的估计值计算新的估计值(6-14)1/14/202315化工化工过程动态数学模型(化工与环境学院)过程动态
16、数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法计算新的计算新的P值值(6-15)这样,构成一个完整的算法,一步一步计算,可设这样,构成一个完整的算法,一步一步计算,可设 的的值值在在01之之间间,通常取,通常取0.951。如。如 =1,则对新旧数据一视同仁,则对新旧数据一视同仁 值越小,对旧的数据遗忘越快。值越小,对旧的数据遗忘越快。1/14/202316化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 将现场测试得到的
17、数据直接代入回归方程,所得到的结果一将现场测试得到的数据直接代入回归方程,所得到的结果一般是不正确的。其原因是:目标函数同生产变量之间不一定都般是不正确的。其原因是:目标函数同生产变量之间不一定都是线性关系,如下图是线性关系,如下图6-2所示的实验数据分布:所示的实验数据分布:6.3 实验数据处理实验数据处理xyy=y0+kx图(a)yxaby=b+ax2图(b)1/14/202317化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 从以上的实验数据分布图可知:只有图从以上的实验数据
18、分布图可知:只有图(a)是线性关系。是线性关系。因此,在进行实验数据收集之前,建议进行有目的的试验,因此,在进行实验数据收集之前,建议进行有目的的试验,以找出目标函数以找出目标函数y同各个过程变量的定性关系。有目的试验的同各个过程变量的定性关系。有目的试验的最简单的方法是固定所有的有关变量,仅让其中一个变量变化,最简单的方法是固定所有的有关变量,仅让其中一个变量变化,观察目标函数观察目标函数(或称目标变量或称目标变量)同此变量的关系。同此变量的关系。y=-bxnyx0图(c)yx图(d)y与x 无关图图6-2 实验数据分布图实验数据分布图1/14/202318化工化工过程动态数学模型(化工与环
19、境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 实验数据的处理通常需要从几组测定的数据(例如实验数据的处理通常需要从几组测定的数据(例如N个点个点xi,yi)去求)去求数据拟合的问题数据拟合的问题。这种方法在有些场合称为。这种方法在有些场合称为线性线性回归问题回归问题,在系统辨识中称为,在系统辨识中称为参数据计。参数据计。6.4 问题提出及最小二乘原理问题提出及最小二乘原理 由于在实验中给出的数据总是有观测误差的,如果要求估由于在实验中给出的数据总是有观测误差的,如果要求估计曲线通过所有的点,那么会使曲线保留全部观
20、测误差的影计曲线通过所有的点,那么会使曲线保留全部观测误差的影响,这与古典的数据拟合方法是不相符的,由于数据拟合方响,这与古典的数据拟合方法是不相符的,由于数据拟合方法不要求曲线通过所有的点(法不要求曲线通过所有的点(xi,yi),而是根据这些数之间),而是根据这些数之间的相互关系,用其它方法给出它们之间合适的数学公式,绘的相互关系,用其它方法给出它们之间合适的数学公式,绘出一条近似曲线,以反映给定数据的一般趋势。出一条近似曲线,以反映给定数据的一般趋势。1/14/202319化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数
21、估计方法最小二乘及偏最小二乘的参数估计方法编号11.91.422.01.332.11.8229.08.0239.58.12410.08.1 假设生产过程中,某一因变量与自变量之间的关系,通过假设生产过程中,某一因变量与自变量之间的关系,通过实际测定。如下表实际测定。如下表6-1所示:所示:表表 6-1 实际测定数据表实际测定数据表1/14/202320化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 把把x,y的观测值标在坐标纸上,每组数据(的观测值标在坐标纸上,每组数据(x,y)在
22、图中以)在图中以一个星点表示,这种图一个星点表示,这种图称为散点图,称为散点图,从散点图可直观地看出从散点图可直观地看出两个变量之间的大致关系。两个变量之间的大致关系。xy图图6-3 散点图散点图1/14/202321化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 从以上的图可以看出从以上的图可以看出x与与y之间大致呈线性关系,因此,可之间大致呈线性关系,因此,可用一条直线来表示两者之间的关系,即设用一条直线来表示两者之间的关系,即设 y=a+b x (6-16)这时各坐标值大体上
23、满足如下方程组:这时各坐标值大体上满足如下方程组:a+1.9b=1.4 a+2b =1.3 .a+10b=8.1(6-17)若取式(6-17)中的第2和第24两方程联立起来:解得:解得:a=-0.4,b=0.851/14/202322化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 但是,当选取不同的点值时,得到的但是,当选取不同的点值时,得到的a、b值就不同,值就不同,这说这说明解不是唯一的!明解不是唯一的!假定用某种方法把假定用某种方法把a 和和 b确定下来,确定下来,这时有这时
24、有了了x就可以算出就可以算出y值,值,可记为:可记为:(6-18)当然,这样得到的当然,这样得到的 与与 不一定相同,把两个数据之差记为不一定相同,把两个数据之差记为(6-19)可以有许多方法来确定最好的可以有许多方法来确定最好的a和和b参数,但常用的是参数,但常用的是最小二最小二乘原理乘原理,即使,即使误差平方和达到最小误差平方和达到最小。即。即1/14/202323化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法为了求出为了求出a 和和 b的最好值,把(的最好值,把(6-19)式
25、代入()式代入(6-20)式,可得)式,可得(6-20)(6-21)用数学分析中求极值的方法:用数学分析中求极值的方法:(6-22)1/14/202324化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法整理(整理(6-22)式可得:)式可得:(6-23)将观测值代入式(将观测值代入式(6-23)并解方程组可得:)并解方程组可得:可得:可得:(6-24)1/14/202325化工化工过程动态数学模型(化工与环境学院)过程动态数学模型(化工与环境学院)第第6 6章章 最小二乘及偏最小二乘
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第6章 最小二乘及偏最小二乘的参数估计方法-v1 最小 参数估计 方法 v1
限制150内