《非线性回归》PPT课件.ppt

《《非线性回归》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《非线性回归》PPT课件.ppt（63页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第8章章 非线性回归非线性回归信计学院统计系信计学院统计系 沈菊红沈菊红1非线性回归非线性回归学习目标学习目标1.因变量因变量 y 与与 x 之间不是线性关系之间不是线性关系2.可通过变量代换转换成线性关系可通过变量代换转换成线性关系3.用最小二乘法求出参数的估计值用最小二乘法求出参数的估计值4.并并非非所所有有的的非非线线性性模模型型都都可可以以化化为为线线性性模型模型2如下列模型如下列模型(1)(2)(3)(4)对于模型对于模型(4)，不能通过对等式两边同时取自然对数，不能通过对等式两边同时取自然对数的方法将模型线性化，只能用非线性最小二乘法求解。的方法将模型线性化，只能用非线性最小二乘

2、法求解。注意：新引进的自变量只能依赖于原始变量，而不能注意：新引进的自变量只能依赖于原始变量，而不能与未知参数有关。与未知参数有关。b未知未知3在在SPSS中给出了中给出了10种常见的可线性化的曲线回归种常见的可线性化的曲线回归方程方程(误差项的形式能够使回归模型线性化误差项的形式能够使回归模型线性化)。其。其中，自变量以中，自变量以t表示。表示。4英文名称英文名称中文名称中文名称方程形式方程形式Linear线线性函数性函数Logarithm对对数函数数函数Inverse逆函数逆函数Quadratic二次函数二次函数Cubic三次函数三次函数Power幂幂函数函数Compound复合函数复合函

3、数 SS形函数形函数Logistic逻辑逻辑函数函数 Growth增增长长函数函数 Exponent指数函数指数函数 5 对以上各种曲线回归，选用对以上各种曲线回归，选用SPSS的的Regression命令下的命令下的Curve Estimation命令，即可直接拟合各种命令，即可直接拟合各种曲线回归，不必作任何变量变换。曲线回归，不必作任何变量变换。除此之外，下面再介绍几种常用的曲线回归。除此之外，下面再介绍几种常用的曲线回归。6双曲线双曲线 0 0 01.基本形式：基本形式：2.线性化方法线性化方法令：令：,则有则有 3.图像图像7幂函数曲线幂函数曲线1.基本形式：基本形式：2.线性线性化

4、方法化方法n两端取对数得：两端取对数得：n令：令：，则则 3.图像图像00 1 1 1 1 =1=1-1-1 0 0 -1-1 =-1=-1 8对数曲线对数曲线1.基本形式：基本形式：2.线性化方法线性化方法令令 ,则有则有3.图像图像 0 0 0 0 9指数曲线指数曲线1.基本形式：基本形式：2.线性化方法线性化方法两端取对数得：两端取对数得：令：令：，则有则有 3.图像图像 10S 型曲线型曲线1.基本形式：基本形式：2.线性化方法线性化方法n令：令：,则有则有 3.图像图像1/a011非线性回归非线性回归(例题分析例题分析)【例例1】一一种种商商品品的的需需求求量量与与其其价价格格有有一

5、一定定的的关关系系。现现对对一一定定时时期期内内的的商商品品价价格格 与与需需求求量量 进进行行观观察察，取取得得的的样样本本数数据据如如下下表表。试试判判断断商商品品价价格格与与需需求求量量之之间间回回归归函函数数的的类类型型，并并求求需需求求量量对价格的回归方程。对价格的回归方程。商品价格与需求量的关系商品价格与需求量的关系价格价格(元元)x12345678910需求量需求量(千克千克)y585044383430 29 26 25 2412非线性回归非线性回归 (例题分析例题分析)价格与需求量的散点图价格与需求量的散点图散点呈双曲线趋势散点呈双曲线趋势13非线性回归非线性回归(例题分析例题

6、分析)1.用双曲线模型：用双曲线模型：2.按线性回归的方法求解按线性回归的方法求解 和和 ，得，得14非线性回归非线性回归(例题分析例题分析)价格与需求量的散点图价格与需求量的散点图15【例例2】对对GDP的拟合，以的拟合，以GDP为因变量，为因变量，拟合拟合GDP关于时间关于时间t的趋势曲线。以的趋势曲线。以1981年为基准年，取值年为基准年，取值t1，1998年年t=18，数据列入下表。数据列入下表。16年份年份t ty yFit yFit yerrerrlnylny198119811 14862.44862.44296.354296.35566.05566.058.498.4919821

7、9822 25294.75294.75123.045123.04171.66171.668.578.57198319833 35934.55934.56108.86108.8-174.3-174.38.698.69198419844 4717171717284.247284.24-113.24-113.248.888.88198519855 58964.48964.48685.868685.86278.54278.549.19.1198619866 610202.210202.210357.1610357.16-154.96-154.969.239.23198719877 711962.511

8、962.512350.0612350.06-387.56-387.569.399.39198819888 814928.314928.314726.4214726.42201.88201.889.619.61198919899 916909.216909.217560.0417560.04-650.84-650.849.749.7419901990101018547.918547.920938.8920938.89-2390.99-2390.999.839.8319911991111121617.821617.824967.8924967.89-3350.09-3350.099.989.981

9、9921992121226638.126638.129772.1429772.14-3134.04-3134.0410.1910.1919931993131334634.434634.435500.8135500.81-866.41-866.4110.4510.4519941994141446759.446759.442331.7742331.774427.634427.6310.7510.7519951995151558478.158478.150477.1350477.138000.978000.9710.9810.9819961996161667884.667884.660189.860

10、189.87694.87694.811.1311.1319971997171774462.674462.671771.3571771.352691.252691.2511.2211.2219981998181879395.779395.785581.3885581.38-6185.68-6185.6811.2811.2817GDP对对时时间间的的散散点点图图方法一：方法一：直接用直接用SPSS软件的软件的Curve Estimation 命令命令计算。计算。从散点图中看到，从散点图中看到，GDP大致为指数函数形式。大致为指数函数形式。18复合函数复合函数 ，增长函数，增长函数 ，指数，指数函数

11、函数 是等价的，复合函数的形式与经济是等价的，复合函数的形式与经济意义更相符合。同时作复合函数意义更相符合。同时作复合函数 的曲线回归，的曲线回归，和简单线性回归和简单线性回归 ，并作比较。，并作比较。19Multiple R .92528R Square .85615Adjusted R Square .84716Standard Error 9964.23063 Analysis of Variance DF Sum of Squares Mean Square F SigRegression 1 9454779005.1 9454779005.1 95.22782 0.0000Resid

12、uals 16 1588574273.6 99285892.1 Variables in the EquationVariable B SE B Beta T Sig Time 4417.522807 452.685809 .925284 9.758 .0000(Constant)-13374.922222 4900.032018 -2.730 .0148简单线性回归简单线性回归20Multiple R .99593R Square .99188Adjusted R Square .99138Standard Error .08760 Analysis of Variance DF Sum o

13、f Squares Mean Square FSigRegression 1 15.004878 15.0048781955.313150.0000Residuals 16 0.122782 0.007674Variables in the EquationVariable B SE B Beta T Sig Time 1.192417 .004746 2.707250 251.2690.0000(Constant)3603.061130 155.215413 23.213 0.0000复合函数回归复合函数回归21为了与线性回归的拟合效果直接比较，先存储为了与线性回归的拟合效果直接比较，先存储

14、复合函数回归的残差序列，然后计算出复合函复合函数回归的残差序列，然后计算出复合函数回归的数回归的 ，进而得，进而得 拟合效果优于线性回归，故采用复合函数回归。拟合效果优于线性回归，故采用复合函数回归。回归方程为回归方程为 22方法二：线性化求解法。对复合函数方法二：线性化求解法。对复合函数 两端取两端取自然对数，得自然对数，得令令 ，于是得到，于是得到 关于关于 的线性回归方程的线性回归方程得输出结果如下得输出结果如下23Model Summary(b)ModelRR SquareAdjusted R SquareStd.Error of the EstimateDurbin-Watson10

15、.9960.9920.9910.0876010.616b.Dependent Variable:LNYANOVAModel Sum of SquaresdfMean SquareFSig.1Regression15.005115.0051,955.3130.000Residual0.123160.008Total15.1281724CoefficientsModel Unstandardized CoefficientsStandardized CoefficientstSig.BStd.ErrorBeta1(Constant)8.1900.043 190.1060.000T0.1760.00

16、40.99644.2190.000其中，其中，得得与直接用与直接用SPSS中的中的Curve Estimation命令计算的结果一致。命令计算的结果一致。25多项式回归多项式回归 是重要的曲线回归模型，通常转化为多元线性回是重要的曲线回归模型，通常转化为多元线性回归来作处理。归来作处理。一一.几种常见的多项式回归模型几种常见的多项式回归模型一元二阶多项式模型：一元二阶多项式模型：称称 为线性效应系数，为线性效应系数，为二次效应系数。为二次效应系数。一元三次多项式模型：一元三次多项式模型：26以上两个模型只含有一个自变量以上两个模型只含有一个自变量x，在实际应用中，在实际应用中，常用到二元二阶多

17、项式回归模型：常用到二元二阶多项式回归模型：交叉乘积项系数交叉乘积项系数 表示表示 与与 的交互作用，称为的交互作用，称为交互影响系数交互影响系数。27例题分析例题分析【例例8.2】下表列出的数据是关于下表列出的数据是关于18个个35岁到岁到40岁经理的前两年平均年收入岁经理的前两年平均年收入 (千美元千美元)、风险反感度、风险反感度 和人寿保险额和人寿保险额 (千美元千美元)。研究者想研究三者之间。研究者想研究三者之间的关系，预计收入的关系，预计收入 和人寿保险额和人寿保险额 之间有二次关系，之间有二次关系，并有把握地认为风险反感度并有把握地认为风险反感度 对对 只有线性效应，而只有线性效应

18、，而没有二次效应。但是，研究者不知两个自变量是否对没有二次效应。但是，研究者不知两个自变量是否对 有交互效应，为此，拟合了二阶多项式回归模型有交互效应，为此，拟合了二阶多项式回归模型检验是否有交互效应，并检验风险反感度的二次效应。检验是否有交互效应，并检验风险反感度的二次效应。28序号序号x x1 1x x2 2y y1 166.2966.297 71961962 240.96440.9645 563633 372.99672.99610102522524 445.0145.016 684845 557.20457.2044 41261266 626.85226.8525 514147 738

19、.12238.1224 449498 835.8435.846 649499 975.79675.7969 9266266101037.40837.4085 54949111154.37654.3762 2105105121246.18646.1867 79898131346.1346.134 47777141430.36630.3663 31414151539.0639.065 55656161679.3879.381 1245245171752.76652.7668 8133133181855.91655.9166 613313329回归采用逐个引入自变量的方式，这样可以看到各回归采用逐个

20、引入自变量的方式，这样可以看到各项对回归的贡献，使显著性检验更加明确。依次引项对回归的贡献，使显著性检验更加明确。依次引入自变量入自变量 取取 。303132最终的回归方程为最终的回归方程为标准化回归方程为标准化回归方程为研究者可用这个回归方程研究经理的年平均收入和研究者可用这个回归方程研究经理的年平均收入和风险反感度对人寿保险额的效应。风险反感度对人寿保险额的效应。33多项式回归常用于分析试验设计的数据。在试验设计多项式回归常用于分析试验设计的数据。在试验设计中，目标变量中，目标变量y与试验因子间的函数关系往往是未知与试验因子间的函数关系往往是未知的，因而常用多项式回归近似的，因而常用多项式

21、回归近似y与试验因子的关系。与试验因子的关系。34例题分析例题分析【例例8.3】用均匀设计法研究从烤烟中提取粗蛋白的用均匀设计法研究从烤烟中提取粗蛋白的实验条件，三个实验因子分别为：实验条件，三个实验因子分别为：代表提取液代表提取液PH值；值；代表提取时间代表提取时间(小时小时)；代表提取温度代表提取温度()；目标变量目标变量y是提取液中的蛋白质浓度是提取液中的蛋白质浓度()，采，采用如下的试验安排：用如下的试验安排：x x1 1x x2 2x x3 3y y10.0010.0032.0032.00100.00100.008.508.501.561.568.008.0080.0080.005.

22、805.8013.1013.1048.0048.0060.0060.0073.6073.606.666.6624.0024.0045.0045.002.202.200.860.862.002.0035.0035.008.308.3012.4012.4040.0040.0020.0020.0019.6019.603.003.0016.0016.0010.0010.003.503.5035首先用首先用 对对 作线性回归，计算结果如下作线性回归，计算结果如下36从以上结果看出，拟合效果极差。从以上结果看出，拟合效果极差。37采用二次多项式拟合，首先生成三个自变量的平方采用二次多项式拟合，首先生成三个

23、自变量的平方项及三个交互作用项，然后采用逐步回归法选择变项及三个交互作用项，然后采用逐步回归法选择变量。量。383940逐步回归最终的回归方程为逐步回归最终的回归方程为标准化回归方程为标准化回归方程为从以上分析结果看出，拟合效果极好。从以上分析结果看出，拟合效果极好。41非线性回归模型非线性回归模型(Non-Linear Regression Model)42非线性最小二乘非线性最小二乘w非线性回归模型的一般形式为：非线性回归模型的一般形式为：n式中式中f(.)为一个可微分的非线性函数，为一个可微分的非线性函数，b b为为 p1未知未知参数向量，参数向量，为满足独立同分布假定的随机误差项为满足

24、独立同分布假定的随机误差项。w此时我们无法将待估计参数表示为由已知的此时我们无法将待估计参数表示为由已知的X和和Y表示的线性函数，这种情况被称作参数非线性。表示的线性函数，这种情况被称作参数非线性。43非线性模型案例非线性模型案例1C-D生产函数生产函数44非线性模型案例非线性模型案例2不变替代弹性生产函数不变替代弹性生产函数(CES)：假假定定模模型型有有两两个个解解释释变变量量，其其一一般般形形式式可可以以表表示示为为 式中：式中：为技术效率系数，为技术效率系数，为分配系数，为分配系数，为替代系数，为替代系数，为规模报酬系数，随机误差为规模报酬系数，随机误差项服从正态分布。项服从正态分布。

25、45非线性最小二乘法非线性最小二乘法1.非非线线性性最最小小二二乘乘法法的的原原理理与与线线性性最最小小二二乘乘法法相相同同，即求解使残差平方和最小的参数：即求解使残差平方和最小的参数：2.在在满满足足要要求求的的条条件件下下，模模型型参参数数可可以以由由求求解解一一阶阶条件构成的方程组得出，即：条件构成的方程组得出，即：3.对对于于非非线线性性方方程程组组，通通常常我我们们无无法法确确保保得得到到估估计计参参数数的的解解析析解解，但但是是总总能能够够利利用用数数值值逼逼近近方方法法得得到上述问题的解。到上述问题的解。(如用如用Newton迭代法迭代法)46非线性最小二乘法非线性最小二乘法表示

26、成矩阵形式后有：表示成矩阵形式后有：47非线性最小二乘法非线性最小二乘法估计非线性最小二乘法包括以下步骤：估计非线性最小二乘法包括以下步骤：n在未给定初始值的情况下，利用在未给定初始值的情况下，利用OLS方法估计系数方法估计系数作为初始值，反之利用给定的初始值，作为初始值，反之利用给定的初始值，n对该组值求导以确定每个参数的变化方向及步长，对该组值求导以确定每个参数的变化方向及步长，或采用泰勒级数展开转化为线性方程求解得到新的或采用泰勒级数展开转化为线性方程求解得到新的参数估计值。参数估计值。n重复上述过程，直到参数达到给定的收敛标准时为重复上述过程，直到参数达到给定的收敛标准时为止，或达到最

27、大迭代次数时为止。止，或达到最大迭代次数时为止。n此时得到的结果包括最后一次计算得到的参数估计此时得到的结果包括最后一次计算得到的参数估计值，对应的渐近值，对应的渐近t统计值，统计值，R2值等。值等。48在非线性回归模型中，平方和分解式在非线性回归模型中，平方和分解式SST=SSR+SSE不再成立。类似于线性回归中的复决定系数，定义非不再成立。类似于线性回归中的复决定系数，定义非线性回归的相关指数线性回归的相关指数49例题分析例题分析【例例8.3】一位药物学家使用下面的非线性模型对药一位药物学家使用下面的非线性模型对药物反应拟合回归模型物反应拟合回归模型其中，自变量其中，自变量x为药剂量，用级

28、别表示；因变量为药剂量，用级别表示；因变量y为药为药物反应程度，用表示。三个参数是非负的，初始值物反应程度，用表示。三个参数是非负的，初始值取为取为 。测得。测得9个反应数据如下个反应数据如下表。表。501234567890.52.33.424.054.782.194.896.296.4首先画出散点图首先画出散点图51SPSS Regression 点选点选Nonlinear Iteration Residual SS C0 C1 C2 1 172.7877170 100.000000 5.00000000 4.80000000 1.1 32.60704413 97.7943996 6.579

29、38197 4.74460195 2 32.60704413 97.7943996 6.57938197 4.74460195 2.1 20.20240372 99.5785656 6.73691756 4.80074972 3 20.20240372 99.5785656 6.73691756 4.80074972 3.1 20.18814307 99.5334850 6.76307032 4.79941696 4 20.18814307 99.5334850 6.76307032 4.79941696 4.1 20.18803580 99.5411768 6.76104088 4.7996

30、6204 5 20.18803580 99.5411768 6.76104088 4.79966204 5.1 20.18803473 99.5404447 6.76127045 4.79964160 6 20.18803473 99.5404447 6.76127045 4.79964160 6.1 20.18803472 99.5405197 6.76124800 4.7996438252Nonlinear Regression Summary Statistics Source DF Sum of Squares Mean Square Regression 3 37839.85197

31、12613.28399 Residual 6 20.18803 3.36467 Uncorrected Total 9 37860.04000 (Corrected Total)8 14917.88889 R squared=1-Residual SS/Corrected SS=.99865 Asymptotic 95%Asymptotic Confidence Interval Parameter Estimate Std.Error Lower Upper C0 99.540519705 1.567325922 95.705411332 103.37562808 C1 6.76124800

32、1 .421980052 5.728700011 7.793795992 C2 4.799643816 .050165520 4.676893210 4.922394421(离差平方和)总平方和总平方和53总平方和总平方和回归平方和回归平方和54序号序号11 10.50.50 00.50.5-50.49-50.4922 22.32.30.270.272.032.03-50.22-50.2233 33.43.43.983.98-0.58-0.58-46.5-46.544 4242422.4822.481.521.52-28.01-28.0155 554.754.756.6156.61-1.91-

33、1.916.126.1266 682.182.181.5281.520.580.5831.0331.0377 794.894.892.3492.342.462.4641.8541.8588 896.296.296.4996.49-0.29-0.29464699 996.496.498.1498.14-1.74-1.7447.6547.65均值均值550.4950.200.2860.285离差平方和离差平方和6014917.8915156.5519.4315156.55平方和平方和28537860.0437839.9220.1615157.28回归离差平方和回归离差平方和 ，而，而 ，并且并且5

34、5通过以上分析可以认为药物反应程度通过以上分析可以认为药物反应程度 与药剂量与药剂量符合非线性回归方程符合非线性回归方程56【例例8.3】龚珀兹模型是计量经济学中的一个常龚珀兹模型是计量经济学中的一个常用模型，用来拟合销售量增长趋势，龚珀兹曲用模型，用来拟合销售量增长趋势，龚珀兹曲线形式为线形式为其中，其中，为销售量增长上限。当为销售量增长上限。当 未知时，龚未知时，龚珀兹模型不能线性化，可以用非线性最小二乘珀兹模型不能线性化，可以用非线性最小二乘法求解，或三和值求解法。法求解，或三和值求解法。57解：解：1.用三和值求解：用三和值求解：58由由可得可得由由可得可得59由此求得龚珀兹模型为由此

35、求得龚珀兹模型为602.用非线性最小二乘法求解用非线性最小二乘法求解以三和值法的参数估计值以三和值法的参数估计值 为初值，用为初值，用SPSS软件软件的非线性最小二乘法功能求解：的非线性最小二乘法功能求解：61Source DF Sum of Squares Mean Square Regression 3 561508401.100 187169467.033 Residual 18 6323848.90008 351324.93889 Uncorrected 21 567832250.000 Total (Corrected 20 86753100.2857 Total)R squared

36、=1-Residual SS/Corrected SS=.92711 Asymptotic 95%Asymptotic Confidence Interval Parameter Estimate Std.Error Lower Upper L 15355.84 7524.962 -453.522 31165.195 a .113861 .04414 .021126 .206595 b .940897 .02573 .8868395 .995 62用非线性最小二乘法求得的方程为用非线性最小二乘法求得的方程为增长上限为增长上限为 ，1981年的实际年的实际销售量为销售量为7470万只，与上限相比，还有一倍万只，与上限相比，还有一倍的增长空间。的增长空间。63