SAS讲义第三十四课非线性回归研究 .docx

《SAS讲义第三十四课非线性回归研究 .docx》由会员分享，可在线阅读，更多相关《SAS讲义第三十四课非线性回归研究 .docx（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精品名师归纳总结第三十四课非线性回来分析现实世界中严格的线性模型并不多见，它们或多或少都带有某种程度的近似。在不少情形下，非线性模型可能更加符合实际。由于人们在传统上常把“非线性”视为畏途，非线性回来的应用在国内仍不够普及。事实上，在运算机与统计软件特别发达的令天，非线性回来的基本统计分析已经与线性回来一样切实可行。在常见的软件包中（诸如SAS、 SPSS 等等），人们已经可以像线性回来一样，便利的对非线性回来进行统计分析。因此，在国内回归分析方法的应用中，已经到了“更上一层楼”，线性回来与非线性回来同时并重的时候。对变量间非线性相关问题的曲线拟合，处理的方法主要有：第一打算非线性模型的函数类

2、型，对于其中可线性化问题就通过变量变换将其线性化，从而归结为前面的多元线性回来问题来解决。如实际问题的曲线类型不易确定时，由于任意曲线皆可由多项式来靠近，故常可用多项式回来来拟合曲线。如变量间非线性关系式已知（多数未知），且难以用变量变换法将其线性化，就进行数值迭代的非线性回来分析。一、 可变换成线性的非线性回来在实际问题中一些非线性回来模型可通过变量变换的方法化为线性回来问题。例如，对非线性回来模型可编辑资料 - - - 欢迎下载精品名师归纳总结即可作变换yt02ai cos ixti 1bi sin ix tt34.1可编辑资料 - - - 欢迎下载精品名师归纳总结可编辑资料 - - -

3、欢迎下载精品名师归纳总结x1tcosxt , x2tsin xt , x3tcos2xt , x4tsin 2xt可编辑资料 - - - 欢迎下载精品名师归纳总结将其化为多元线性回来模型。一般的，如非线性模型的表达式为可编辑资料 - - - 欢迎下载精品名师归纳总结yt*就可作变量变换b0b1 g1 xtb2 g2 xtbm gm xt34.2可编辑资料 - - - 欢迎下载精品名师归纳总结x*1tg1 xt*, xg2t2xt ,mtm xt34.3可编辑资料 - - - 欢迎下载精品名师归纳总结, xg将其化为线性回来模型的表达式，从而用前面线性模型的方法来解决，其中34.3 中的 xt也

4、可为自变量构成的向量。这种变量变换法也适用于因变量和待定参数bi。如可编辑资料 - - - 欢迎下载精品名师归纳总结yt时上式两边取对数得a exp b1 x1tb2 x2 tb3 x1t x2t134.4可编辑资料 - - - 欢迎下载精品名师归纳总结现作变换就可得线性表达式ln yty* tln a ln ytb1 x1t, b0b2 x2 tln a, x3tb3x1tx1t x2t1x2t134.534.6可编辑资料 - - - 欢迎下载精品名师归纳总结y*bb xb xb x34.7可编辑资料 - - - 欢迎下载精品名师归纳总结t01 1t2 2t3 3t可编辑资料 - - - 欢

5、迎下载精品名师归纳总结利用前面方法确定了b. ,i0,1,2,3，并由 a.expb. 得到 a.的值。可编辑资料 - - - 欢迎下载精品名师归纳总结i0变量变换的线性化方法可推广到以下形式的非线性模型可编辑资料 - - - 欢迎下载精品名师归纳总结h yt c0 b0c1b1 g1 xtcm bm gm xt34.8可编辑资料 - - - 欢迎下载精品名师归纳总结其中 x=（ x1,x2 ,xp），而 h（ yt）、 ci（ bi）、 gi（ xt）就分别化为新的因变量、线性回来参数和自变量，即可归结为线性回来模型来解。见表34.1 所示给出了一些常见的可线性化的非线性模型。表 34.1

6、典型的函数及线性化方法函数名称函数表达式线性化方法可编辑资料 - - - 欢迎下载精品名师归纳总结双曲线函数1abyxx 1 u1 yx可编辑资料 - - - 欢迎下载精品名师归纳总结幂函数y axbvlny uln x可编辑资料 - - - 欢迎下载精品名师归纳总结yaebxvln y ux可编辑资料 - - - 欢迎下载精品名师归纳总结指数函数yaeb / xvlny u1 x可编辑资料 - - - 欢迎下载精品名师归纳总结对数函数yab ln xvy uln x可编辑资料 - - - 欢迎下载精品名师归纳总结11x可编辑资料 - - - 欢迎下载精品名师归纳总结S 型函数yxabevue

7、 y可编辑资料 - - - 欢迎下载精品名师归纳总结当曲线的函数类型未确定时，我们常采纳上述非线性模型作为其拟合曲线，即将自变量的各种初等函数的组合作为新自变量，用逐步回来法（或正交挑选法等）对新变量进行筛 选，以确定一个项数不多的线性函数表达式。该方法对表达式形式没限制且精度要求不高的问题颇为有效。二、 多项式回来分析可编辑资料 - - - 欢迎下载精品名师归纳总结在式 34.2 中，如取gi xx ，就为多项式回来模型。由数学分析学问可知，一般函数可编辑资料 - - - 欢迎下载精品名师归纳总结ixx2m都可用多项式来靠近，故多项式回来分析可用来处理相当广泛的非线性问题。对观测数据（ xt

8、，yt）（ t= 1， N），多项式回来模型为可编辑资料 - - - 欢迎下载精品名师归纳总结ytb0b1xtb2tbmtt ， t=1,2,N可编辑资料 - - - 欢迎下载精品名师归纳总结可编辑资料 - - - 欢迎下载精品名师归纳总结令y1 y2Y， XyN1x11xx221x22x21x NN1b01xxmm2b12， B，xmNbmN可编辑资料 - - - 欢迎下载精品名师归纳总结就模型可表示为YXB可编辑资料 - - - 欢迎下载精品名师归纳总结当 X 列满秩时，由前面的争论知，其最小二乘估量为可编辑资料 - - - 欢迎下载精品名师归纳总结B.由此即可求得其多项式回来方程。但由于

9、用正交多项式法来进行多项式回来。X XX Y11X X的运算既复杂又不稳固，故我们一般采可编辑资料 - - - 欢迎下载精品名师归纳总结三、 不行变换成线性的非线性回来分析可编辑资料 - - - 欢迎下载精品名师归纳总结假设因变量 y 与自变量（ x1， x2,， xp ）之间满意非线性模型可编辑资料 - - - 欢迎下载精品名师归纳总结yF x1, x2 , xp;34.9可编辑资料 - - - 欢迎下载精品名师归纳总结可编辑资料 - - - 欢迎下载精品名师归纳总结其中差项。1,2 ,m为未知参数， F 为已知表达式，仅未知的非线性函数，为误可编辑资料 - - - 欢迎下载精品名师归纳总结

10、现将观看数据可编辑资料 - - - 欢迎下载精品名师归纳总结yt , x1t , x2t , x pt， t=1,2,N可编辑资料 - - - 欢迎下载精品名师归纳总结代人上式 34.9 得非线性回来模型可编辑资料 - - - 欢迎下载精品名师归纳总结ytFx1t , x2t , x pt ;t ，t=1,2,N可编辑资料 - - - 欢迎下载精品名师归纳总结可编辑资料 - - - 欢迎下载精品名师归纳总结常记为YF E可编辑资料 - - - 欢迎下载精品名师归纳总结可编辑资料 - - - 欢迎下载精品名师归纳总结其中 Yy1, y2 , y N为 y 的观看向量，1,m为非线性回来系数，E可

11、编辑资料 - - - 欢迎下载精品名师归纳总结=1 ,2 ,N为观看误差向量， F 为未知参数的函数向量。非线性回来分析就是利用最小二乘准就来估量回来系数，即求.使得残差平方和可编辑资料 - - - 欢迎下载精品名师归纳总结Q1 E E 21 YFYF 2可编辑资料 - - - 欢迎下载精品名师归纳总结在.处达到最小。非线性回来分析一般来用数值迭代法来进行，其共同特点是：由选定的初值0 出可编辑资料 - - - 欢迎下载精品名师归纳总结发，通过逐步迭代0t34.10可编辑资料 - - - 欢迎下载精品名师归纳总结即挑选适当的步长t 0 及确定搜寻方向向量（1， 2， m），使得可编辑资料 -

12、- - 欢迎下载精品名师归纳总结QQ05.4.11可编辑资料 - - - 欢迎下载精品名师归纳总结0再由取代，重复上述迭代过程，直至Q 可认为达到最小值为止，即可将所得的作为其最小二乘估量.，从而得到非线性回来方程可编辑资料 - - - 欢迎下载精品名师归纳总结y.Fx1 , x2 , x p ; .可编辑资料 - - - 欢迎下载精品名师归纳总结1. 下降方向和步长的挑选可编辑资料 - - - 欢迎下载精品名师归纳总结第一考察 Q1 E E21 YF 2YF的梯度向量（即导数）可编辑资料 - - - 欢迎下载精品名师归纳总结QFYFG YF可编辑资料 - - - 欢迎下载精品名师归纳总结可编

13、辑资料 - - - 欢迎下载精品名师归纳总结其中 GFF ,F1m为 F 的梯度矩阵。可编辑资料 - - - 欢迎下载精品名师归纳总结为 使0 迭 代 收 敛 到 . ， 其 迭 代 公 式 应 满 足 下 降 性 质 5.4.11 。 现 考 虑 一 元 函 数可编辑资料 - - - 欢迎下载精品名师归纳总结tQ0tdtQ0t 00，它从动身以 为方向的射线上取值。由复合求导公式得YFG可编辑资料 - - - 欢迎下载精品名师归纳总结可编辑资料 - - - 欢迎下载精品名师归纳总结可以证明，当d0 时，在以为方向向量的射线上可以找到t，使得可编辑资料 - - - 欢迎下载精品名师归纳总结可编

14、辑资料 - - - 欢迎下载精品名师归纳总结QQ0。我们将满意d0 的 称为下降方向 ，Bard 于 1974 年给出了为下降方向的可编辑资料 - - - 欢迎下载精品名师归纳总结充要条件为PG YF其中 P 为对称正定阵，由此我们可得下降算法的迭代公式为可编辑资料 - - - 欢迎下载精品名师归纳总结0tPG YF34.12可编辑资料 - - - 欢迎下载精品名师归纳总结可编辑资料 - - - 欢迎下载精品名师归纳总结其中 P 为任意正定阵， G 为 F 的梯度， t 为满意 QQ0 的正实数，即步长。可编辑资料 - - - 欢迎下载精品名师归纳总结如何运算以便修改参数向量有五种常用的非线性

15、回来迭代方法：高斯- 牛顿法（ Gauss-Newton）、最速下降法（梯度法，Gradient ）、牛顿法（Newton ）、麦夸特法（Marquardt ）、正割法（ DUD ）。以下我们介绍其中高斯-牛顿法。2. Gauss Newton 法第一选取的一切初始近似值0 ，令0 ，就只要确定的值即可确定。为可编辑资料 - - - 欢迎下载精品名师归纳总结此，考虑 F 在0 处的 Taylor 绽开式，并略去二次以上的项得可编辑资料 - - - 欢迎下载精品名师归纳总结可编辑资料 - - - 欢迎下载精品名师归纳总结0FF0F0FF0G可编辑资料 - - - 欢迎下载精品名师归纳总结可编辑资

16、料 - - - 欢迎下载精品名师归纳总结其中 GF0 为 F 的梯度。此时其残差平方和可编辑资料 - - - 欢迎下载精品名师归纳总结可编辑资料 - - - 欢迎下载精品名师归纳总结Q1 YF0G2YF0G可编辑资料 - - - 欢迎下载精品名师归纳总结由Q0 ，得其 的正就方程为G G故G GG YF0 10G YF34.1334.14可编辑资料 - - - 欢迎下载精品名师归纳总结0由此即可用前面线性回来法求，只需将 G 、 YF 0 视为前面（ 5.2.1）式中的 X、 Y可编辑资料 - - - 欢迎下载精品名师归纳总结可编辑资料 - - - 欢迎下载精品名师归纳总结即可。此时，对给定精

17、度1 、2 ，当maxi i1 或 Q2 时，即得的最小可编辑资料 - - - 欢迎下载精品名师归纳总结可编辑资料 - - - 欢迎下载精品名师归纳总结二乘法估量.0。否就用所得的.代替0 ，重复上述步骤，直至或 Q 满可编辑资料 - - - 欢迎下载精品名师归纳总结i足精度要求为止。该法称为Gauss Newton 法，其一般迭代公式为可编辑资料 - - - 欢迎下载精品名师归纳总结其中：为 G点。i Gii 1itiGiYFi的解， ti 为tQit的最小值34.15可编辑资料 - - - 欢迎下载精品名师归纳总结可编辑资料 - - - 欢迎下载精品名师归纳总结0Gauss-Newton

18、法在初值选取适当，且G G 可逆时特别有效，但在其他情形，其求解可编辑资料 - - - 欢迎下载精品名师归纳总结较为困难，对此， Marguardt 对34.14 中 的正就系数阵作适当修正，得到了改进算法。四、 nlin 非线性回来过程在许多场合，可以对非线性模型进行线性化处理，特别是关于变量非线性的模型，以运用 OLS 进行推断。对线性化后的线性模型，可以应用SAS 的 reg 过程进行运算。多项式模型可以直接应用glm （广义线性模型）求解。对于不能线性化的非线性模型。其估量不能直接运用经典的最小二乘法，而需要运用其他估量方法，如直接搜寻法、直接最优法与 Taylor 级数绽开法进行线性

19、靠近。此时，可以利用SAS/STAT 的 nlin 过程实现相应的运算。1. proc nlin 过程proc nlin采 用 最 小 误 差 平 方 法 （ Least Squares Method ） 及 循 环 推 测 法 （ Iterative Estimation Method ）来建立一个非线性模型。一般而言，用户必需自订参数的名字、参数的启动值（ startingva1ue ）、非线性的模型与循环估量法所用的准就。如用户不指明，就nlin 程序自动以高斯 -牛顿迭代法（ Gauss-Newton iterative procedure）为估量参数的方法。另外此程序也备有扫描（ G

20、rid search）的功能来帮忙读者挑选合适的参数启动值。由于非线性回来分析特别不易处理，nlin 程序不保证肯定可以算出符合最小误差平方法之标准的参数估量值。nlin 过程的功能，运算非线性模型参数的最小二乘估量LS 及加权最小二乘估量。与reg 过程不同的是：模型的参数要命名、赋初值、求偏导数。model 语句与参数名、说明变量的表达式有关。可以使用赋值语句及条件语句。nlin 过程一般由以下语句掌握：proc nlindata=数据集 。parameters参数名 =数值。model 因变量表达式 。 bounds表达式 。der . 参数名参数名= 表达式。id变量列表。output

21、out=数据集 。byrun。变量列表。其中， parameters 语句和 model 语句是必需的，而其余语句供用户依据需要挑选。可编辑资料 - - - 欢迎下载精品名师归纳总结2. proc nlin 语句中的主要挑选项。outest数据集名 指定存放参数估量的每步迭代结果的数据集名。bestn 要求过程只输出网格点初始值可能组合中最好的n 组残差平方和。method gauss| marquardt| newton| gradient| dud | 设定参数估量的迭代方法。缺省时为 gauss，除非没有 der.语句。eformat 要求全部数值以科学记数法输出。nopoint 抑制打

22、印输出。noinpoint 抑制迭代结果的输出。3. parameters（ parms）语句。用于对全部参数赋初值，工程之间以空格分隔。例如，parms b0=0b1=1 to 10b2=1 to 10 by 2b3=1,10,100 。4. model 语句。表达式可以是获得数值结果的任意有效SAS 表达式。这个表达式包括参数名字、输入数据集中的变量名以及在nlin 过程中用程序设计语句创建的新变量。例如，model y=b0* 1 exp-b1*x。5. bounds 语句。用于设定参数的约束，主要是不等式约束，约束间用逗号分隔。例如，boundsa30， 1=c=10 。6. der.

23、 语句。除非在 proc nlin 语句中指明所用的迭代法是dud，使用挑选项 method dud，否就 der.语句是必需的。 der.语句用于运算模型关于各个参数的偏导数，相应的格式为：一阶偏导数 der参数名表达式。二阶偏导数 der参数名参数名表达式。例如，对于model y=b0* 1 exp-b1*x。 der. 语句的书写格式为der. b0= 1 exp- b1*x 。 der. b1=b0*x*exp-b1*x。对于多数算法，都必需对每个被估量的参数给出一阶偏导数表达式。对于newton法，必 须 给 出 一 、 二 阶 偏 导 数 表 达 式 。 例 如 ， 二 阶 偏

24、导 数 表 达 式 为 ， der.b0.b0.=0。der.b0.b1=x*exp-b1*x。 der.b1.b1=-der.b1*x。7. output 语句用于把一些运算结果输出到指定的数据集中。有关的关键字及其意义如表34.2 所示：关键字意义猜测值关键字stdp意义clm 的标准差关键字u95意义predicted|p95cli上限表 34.2 nlin 过程中 output 语句的关键字residual|r残差stdr残差的标准差l9595cu 下限parms参数估量值l95m95 clm 下限student同学氏残差sse|ess残差平方和u95m95 clm 上限h杠杆点统计量

25、 hi关于 nlin 过程的其他挑选项及意义，详见SASSTAT 的用户手册。五、 实例分析例 34.1 负指数增长曲线的非线性回来。依据对已有数据的XY 散点图的观看和分析，发觉 Y 随 X 增长趋势是减缓的，并且Y 趋向一个极限值，我们认为用负指数增长曲线可编辑资料 - - - 欢迎下载精品名师归纳总结yb0 1e b1 x 来拟合模型较为合适。程序如下：可编辑资料 - - - 欢迎下载精品名师归纳总结data expd。input x y 。cards 。020 0.57 030 0.72 040 0.81 050 0.87 060 0.91 070 0.94080 0.95 090 0

26、.97 100 0.98 110 0.99 120 1.00 130 0.99140 0.99 150 1.00 160 1.00 170 0.99 180 1.00 190 1.00200 0.99 210 1.00。proc nlin data=expd best=10 method=gauss。 parms b0=0 to 2 by 0.5 b1=0.01 to 0.09 by 0.01。model y=b0*1-exp-b1*x。der.b0=1-exp-b1*x。der.b1=b0*x*exp-b1*x。output out=expout p=ygs。run 。goptions re

27、set=global gunit=pct cback=white borderhtitle=6 htext=3 ftext=swissb colors=back。proc gplot data=expout。plot y*x ygs*x /haxis=axis1 vaxis=axis2 overlay。symbol1 i=none v=plus cv=red h=2.5 w=2。symbol2 i=join v=none l=1 h=2.5 w=2。axis1 order=20 to 210 by 10。axis2 order=0.5 to 1.1 by 0.05。title1 y=b0*1-

28、exp-b1*x。 title2 proc nlin method=gauss。run 。程序说明：由于在nlin过程中使用选项method=gauss，即指定用高斯 -牛顿迭代算法来可编辑资料 - - - 欢迎下载精品名师归纳总结查找 model 语句中非线性表达式yb 1e b1x 中参数 b 和 b 的最小二乘估量。我们知道可编辑资料 - - - 欢迎下载精品名师归纳总结001参数初始值选取好坏，对迭代过程是否收敛影响很大。parms 语句设置了初始值网格值为b0可编辑资料 - - - 欢迎下载精品名师归纳总结取 0， 0.5，1， 1.5，2 共 5 个值，b1 取 0.01， 0.0

29、2， 0.09 共 9 个值，全部可能组合为5可编辑资料 - - - 欢迎下载精品名师归纳总结9=45, 选项 best=10 要求输出残差平方和最小的前10 种组合。高斯 -牛顿迭代算法要求给出模型 yb 1e b1x 对参数 b 和 b 的一阶偏导数表达式，我们知道可编辑资料 - - - 欢迎下载精品名师归纳总结001d y d b0d y d b11e b0 xeb1 xb1x可编辑资料 - - - 欢迎下载精品名师归纳总结der.语句用以表示上面两个一阶偏导数表达式。output 语句输出一个新数据集expout，包括原数据集和非线性回来模型的猜测值ygs。gplot 过程的主要作用是

30、绘制输出数据集expout中的原始数据的散点图及回来曲线的平滑线。程序的输出结果见图341 和见表 34.3 所示。可编辑资料 - - - 欢迎下载精品名师归纳总结图 34- 1 XY 散点图和非线性回来曲线可编辑资料 - - - 欢迎下载精品名师归纳总结表 34.3 负指数增长曲线 :Gauss-Newton 方法的输出结果y=b0*1-exp-b1*x proc nlin method=gaussNon-Linear Least Squares Grid SearchDependent Variable YB0B1Sum of Squares1.0000000.0400000.001404

31、1.0000000.0500000.0168111.0000000.0600000.0551551.0000000.0300000.0665711.0000000.0700000.0972841.0000000.0800000.1365361.0000000.0900000.1708391.0000000.0200000.4192851.5000000.0100000.9757241.0000000.0100002.165290Non-Linear Least Squares Iterative PhaseDependent Variable YMethod: Gauss-Newton Ite

32、rB0B1Sum of Squares01.0000000.0400000.00140410.9961390.0418570.00058020.9961920.0419520.00057730.9961890.0419540.00057740.9961890.0419540.000577NOTE: Convergence criterion met.Non-Linear Least Squares Summary StatisticsDependent Variable Y SourceDF Sum of SquaresMean SquareRegression217.6717231898.8

33、35861595Residual180.0005768110.000032045Uncorrected Total2017.672300000Corrected Total190.243855000ParameterEstimateAsymptoticAsymptotic 95 %Std. ErrorConfidence Interval输出结果分析：第一列表输出了10 个最好的迭代初始值组合，按回来模型的残差平方和从小到大排列。因此，最好的迭代初始值为B0=1.000000 ， B1=0.040000 ，此时回来模型的ESS=0.001404，与其他初始值组合的ESS 相比是最小的。紧接着输

34、出迭代过程分析表，从这个最好迭代初始值开头经过4 次迭代误差平方和的变化就满意收敛准就，停止迭代，例如，经过第 1 次迭代， B0 值从 1 修正为 0.996139 ，B1 值从 0.040000 修正为 0.041857 ，而 ESS 从0.001404 减小到 0.000580 ，而从第 2 次迭代开头， B0 的值只有在小数点四位以后才有变化， B1 的值只有在小数点五位以后才有变化，而ESS 值几乎不变了，因此是满意了收敛性标 准而 停 止 迭 代 的 。 方 差 分 析 表 给出 ， 回 归 平 方 和为 17.671723189 ， 残 差 平 方 和 为0.000576811，

35、总平方和为17.672300000，总偏平方和为0.243855000。参数估量表给出了， B0 和 B1 的渐近估量值，因此得到的非线性回来模型为可编辑资料 - - - 欢迎下载精品名师归纳总结y0.99618856571e 0.0419538868 x 可编辑资料 - - - 欢迎下载精品名师归纳总结同时仍给出 B0 和 B1 参数估量的渐近有效标准差（ AsymptoticStd. Error）和渐近 95%置信区间（ Asymptotic 95 % Confidence Interval ）。最终仍给出了参数的渐近相关阵（ Asymptotic Correlation Matrix ）。可编辑资料 - - - 欢迎下载