非线性回归学习.pptx

《非线性回归学习.pptx》由会员分享，可在线阅读，更多相关《非线性回归学习.pptx（62页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1如下列模型(1)(2)(3)(4)对于模型(4)，不能通过对等式两边同时取自然对数的方法将模型线性化，只能用非线性最小二乘法求解。注意：新引进的自变量只能依赖于原始变量，而不能与未知参数有关。b未知第1页/共62页2在SPSS中给出了10种常见的可线性化的曲线回归方程(误差项的形式能够使回归模型线性化)。其中，自变量以t表示。第2页/共62页3英文名称英文名称中文名称中文名称方程形式方程形式Linear线性函数线性函数Logarithm对数函数对数函数Inverse逆函数逆函数Quadratic二次函数二次函数Cubic三次函数三次函数Power幂函数幂函数Compound复合函数复合函数

2、SS形函数形函数Logistic逻辑函数逻辑函数 Growth增长函数增长函数 Exponent指数函数指数函数 第3页/共62页4 对以上各种曲线回归，选用SPSS的Regression命令下的Curve Estimation命令，即可直接拟合各种曲线回归，不必作任何变量变换。除此之外，下面再介绍几种常用的曲线回归。第4页/共62页5双曲线双曲线 0 0 01.基本形式：2.线性化方法令：,则有 3.图像第5页/共62页6幂函数曲线幂函数曲线1.基本形式：2.线性化方法两端取对数得：令：，则 3.图像00 1 1 1 1 =1=1-1-1 0 0 -1-1 =-1=-1 第6页/共62页7对

3、数曲线对数曲线1.基本形式：2.线性化方法令 ,则有3.图像 0 0 0 0 第7页/共62页8指数曲线指数曲线1.基本形式：2.线性化方法两端取对数得：令：，则有 3.图像 第8页/共62页9S S 型曲线型曲线1.基本形式：2.线性化方法令：,则有 3.图像1/a0第9页/共62页10非线性回归(例题分析)【例1】一种商品的需求量与其价格有一定的关系。现对一定时期内的商品价格 与需求量 进行观察，取得的样本数据如下表。试判断商品价格与需求量之间回归函数的类型，并求需求量对价格的回归方程。商品价格与需求量的关系商品价格与需求量的关系价格价格(元元)x12345678910需求量需求量(千克千

4、克)y585044383430 29 26 25 24第10页/共62页11非线性回归 (例题分析)价格与需求量的散点图散点呈双曲线趋势第11页/共62页12非线性回归(例题分析)1.用双曲线模型：2.按线性回归的方法求解 和 ，得第12页/共62页13非线性回归(例题分析)价格与需求量的散点图第13页/共62页14【例2】对GDP的拟合，以GDP为因变量，拟合GDP关于时间t的趋势曲线。以1981年为基准年，取值t1，1998年t=18，数据列入下表。第14页/共62页15年份年份t ty yFit yFit yerrerrlnylny198119811 14862.44862.44296.

5、354296.35566.05566.058.498.49198219822 25294.75294.75123.045123.04171.66171.668.578.57198319833 35934.55934.56108.86108.8-174.3-174.38.698.69198419844 4717171717284.247284.24-113.24-113.248.888.88198519855 58964.48964.48685.868685.86278.54278.549.19.1198619866 610202.210202.210357.1610357.16-154.96-

6、154.969.239.23198719877 711962.511962.512350.0612350.06-387.56-387.569.399.39198819888 814928.314928.314726.4214726.42201.88201.889.619.61198919899 916909.216909.217560.0417560.04-650.84-650.849.749.7419901990101018547.918547.920938.8920938.89-2390.99-2390.999.839.8319911991111121617.821617.824967.8

7、924967.89-3350.09-3350.099.989.9819921992121226638.126638.129772.1429772.14-3134.04-3134.0410.1910.1919931993131334634.434634.435500.8135500.81-866.41-866.4110.4510.4519941994141446759.446759.442331.7742331.774427.634427.6310.7510.7519951995151558478.158478.150477.1350477.138000.978000.9710.9810.981

8、9961996161667884.667884.660189.860189.87694.87694.811.1311.1319971997171774462.674462.671771.3571771.352691.252691.2511.2211.2219981998181879395.779395.785581.3885581.38-6185.68-6185.6811.2811.28第15页/共62页16GDP对时间的散点图方法一：直接用SPSS软件的Curve Estimation 命令计算。从散点图中看到，GDP大致为指数函数形式。第16页/共62页17复合函数 ，增长函数 ，指数函数

9、 是等价的，复合函数的形式与经济意义更相符合。同时作复合函数 的曲线回归，和简单线性回归 ，并作比较。第17页/共62页18Multiple R .92528R Square .85615Adjusted R Square .84716Standard Error 9964.23063 Analysis of Variance DF Sum of Squares Mean Square F SigRegression 1 9454779005.1 9454779005.1 95.22782 0.0000Residuals 16 1588574273.6 99285892.1 Variables

10、 in the EquationVariable B SE B Beta T Sig Time 4417.522807 452.685809 .925284 9.758 .0000(Constant)-13374.922222 4900.032018 -2.730 .0148简单线性回归第18页/共62页19Multiple R .99593R Square .99188Adjusted R Square .99138Standard Error .08760 Analysis of Variance DF Sum of Squares Mean Square FSigRegression 1

11、 15.004878 15.0048781955.313150.0000Residuals 16 0.122782 0.007674Variables in the EquationVariable B SE B Beta T Sig Time 1.192417 .004746 2.707250 251.2690.0000(Constant)3603.061130 155.215413 23.213 0.0000复合函数回归第19页/共62页20为了与线性回归的拟合效果直接比较，先存储复合函数回归的残差序列，然后计算出复合函数回归的 ，进而得 拟合效果优于线性回归，故采用复合函数回归。回归方程

12、为 第20页/共62页21方法二：线性化求解法。对复合函数 两端取自然对数，得令 ，于是得到 关于 的线性回归方程得输出结果如下第21页/共62页22Model Summary(b)ModelRR SquareAdjusted R SquareStd.Error of the EstimateDurbin-Watson10.9960.9920.9910.0876010.616b.Dependent Variable:LNYANOVAModel Sum of SquaresdfMean SquareFSig.1Regression15.005115.0051,955.3130.000Residu

13、al0.123160.008Total15.12817第22页/共62页23CoefficientsModel Unstandardized CoefficientsStandardized CoefficientstSig.BStd.ErrorBeta1(Constant)8.1900.043 190.1060.000T0.1760.0040.99644.2190.000其中，得与直接用SPSS中的Curve Estimation命令计算的结果一致。第23页/共62页24多项式回归 是重要的曲线回归模型，通常转化为多元线性回归来作处理。一.几种常见的多项式回归模型一元二阶多项式模型：称 为线

14、性效应系数，为二次效应系数。一元三次多项式模型：第24页/共62页25以上两个模型只含有一个自变量x，在实际应用中，常用到二元二阶多项式回归模型：交叉乘积项系数 表示 与 的交互作用，称为交互影响系数。第25页/共62页26例题分析【例8.2】下表列出的数据是关于18个35岁到40岁经理的前两年平均年收入 (千美元)、风险反感度 和人寿保险额 (千美元)。研究者想研究三者之间的关系，预计收入 和人寿保险额 之间有二次关系，并有把握地认为风险反感度 对 只有线性效应，而没有二次效应。但是，研究者不知两个自变量是否对 有交互效应，为此，拟合了二阶多项式回归模型检验是否有交互效应，并检验风险反感度的

15、二次效应。第26页/共62页27序号序号x x1 1x x2 2y y1 166.2966.297 71961962 240.96440.9645 563633 372.99672.99610102522524 445.0145.016 684845 557.20457.2044 41261266 626.85226.8525 514147 738.12238.1224 449498 835.8435.846 649499 975.79675.7969 9266266101037.40837.4085 54949111154.37654.3762 2105105121246.18646.186

16、7 79898131346.1346.134 47777141430.36630.3663 31414151539.0639.065 55656161679.3879.381 1245245171752.76652.7668 8133133181855.91655.9166 6133133第27页/共62页28回归采用逐个引入自变量的方式，这样可以看到各项对回归的贡献，使显著性检验更加明确。依次引入自变量 取 。第28页/共62页29第29页/共62页30第30页/共62页31最终的回归方程为标准化回归方程为研究者可用这个回归方程研究经理的年平均收入和风险反感度对人寿保险额的效应。第31页/共

17、62页32多项式回归常用于分析试验设计的数据。在试验设计中，目标变量y与试验因子间的函数关系往往是未知的，因而常用多项式回归近似y与试验因子的关系。第32页/共62页33例题分析【例8.3】用均匀设计法研究从烤烟中提取粗蛋白的实验条件，三个实验因子分别为：代表提取液PH值；代表提取时间(小时)；代表提取温度()；目标变量y是提取液中的蛋白质浓度()，采用如下的试验安排：x x1 1x x2 2x x3 3y y10.0010.0032.0032.00100.00100.008.508.501.561.568.008.0080.0080.005.805.8013.1013.1048.0048.0

18、060.0060.0073.6073.606.666.6624.0024.0045.0045.002.202.200.860.862.002.0035.0035.008.308.3012.4012.4040.0040.0020.0020.0019.6019.603.003.0016.0016.0010.0010.003.503.50第33页/共62页34首先用 对 作线性回归，计算结果如下第34页/共62页35从以上结果看出，拟合效果极差。第35页/共62页36采用二次多项式拟合，首先生成三个自变量的平方项及三个交互作用项，然后采用逐步回归法选择变量。第36页/共62页37第37页/共62页3

19、8第38页/共62页39逐步回归最终的回归方程为标准化回归方程为从以上分析结果看出，拟合效果极好。第39页/共62页40非线性回归模型(Non-Linear Regression Model)第40页/共62页41非线性最小二乘非线性回归模型的一般形式为：式中f(.)为一个可微分的非线性函数，b b为 p1未知参数向量，为满足独立同分布假定的随机误差项。此时我们无法将待估计参数表示为由已知的X和Y表示的线性函数，这种情况被称作参数非线性。第41页/共62页42非线性模型案例1C-D生产函数第42页/共62页43非线性模型案例2不变替代弹性生产函数(CES)：假定模型有两个解释变量，其一般形式可

20、以表示为 式中：为技术效率系数，为分配系数，为替代系数，为规模报酬系数，随机误差项服从正态分布。第43页/共62页44非线性最小二乘法1.非线性最小二乘法的原理与线性最小二乘法相同，即求解使残差平方和最小的参数：2.在满足要求的条件下，模型参数可以由求解一阶条件构成的方程组得出，即：3.对于非线性方程组，通常我们无法确保得到估计参数的解析解，但是总能够利用数值逼近方法得到上述问题的解。(如用Newton迭代法)第44页/共62页45非线性最小二乘法表示成矩阵形式后有：第45页/共62页46非线性最小二乘法估计非线性最小二乘法包括以下步骤：在未给定初始值的情况下，利用OLS方法估计系数作为初始值

21、，反之利用给定的初始值，对该组值求导以确定每个参数的变化方向及步长，或采用泰勒级数展开转化为线性方程求解得到新的参数估计值。重复上述过程，直到参数达到给定的收敛标准时为止，或达到最大迭代次数时为止。此时得到的结果包括最后一次计算得到的参数估计值，对应的渐近t统计值，R2值等。第46页/共62页47在非线性回归模型中，平方和分解式SST=SSR+SSE不再成立。类似于线性回归中的复决定系数，定义非线性回归的相关指数第47页/共62页48例题分析【例8.3】一位药物学家使用下面的非线性模型对药物反应拟合回归模型其中，自变量x为药剂量，用级别表示；因变量y为药物反应程度，用表示。三个参数是非负的，初

22、始值取为 。测得9个反应数据如下表。第48页/共62页491234567890.52.33.424.054.782.194.896.296.4首先画出散点图第49页/共62页50SPSS Regression 点选Nonlinear Iteration Residual SS C0 C1 C2 1 172.7877170 100.000000 5.00000000 4.80000000 1.1 32.60704413 97.7943996 6.57938197 4.74460195 2 32.60704413 97.7943996 6.57938197 4.74460195 2.1 20.20

23、240372 99.5785656 6.73691756 4.80074972 3 20.20240372 99.5785656 6.73691756 4.80074972 3.1 20.18814307 99.5334850 6.76307032 4.79941696 4 20.18814307 99.5334850 6.76307032 4.79941696 4.1 20.18803580 99.5411768 6.76104088 4.79966204 5 20.18803580 99.5411768 6.76104088 4.79966204 5.1 20.18803473 99.54

24、04447 6.76127045 4.79964160 6 20.18803473 99.5404447 6.76127045 4.79964160 6.1 20.18803472 99.5405197 6.76124800 4.79964382第50页/共62页51Nonlinear Regression Summary Statistics Source DF Sum of Squares Mean Square Regression 3 37839.85197 12613.28399 Residual 6 20.18803 3.36467 Uncorrected Total 9 3786

25、0.04000 (Corrected Total)8 14917.88889 R squared=1-Residual SS/Corrected SS=.99865 Asymptotic 95%Asymptotic Confidence Interval Parameter Estimate Std.Error Lower Upper C0 99.540519705 1.567325922 95.705411332 103.37562808 C1 6.761248001 .421980052 5.728700011 7.793795992 C2 4.799643816 .050165520 4

26、.676893210 4.922394421(离差平方和)总平方和第51页/共62页52总平方和回归平方和第52页/共62页53序号序号11 10.50.50 00.50.5-50.49-50.4922 22.32.30.270.272.032.03-50.22-50.2233 33.43.43.983.98-0.58-0.58-46.5-46.544 4242422.4822.481.521.52-28.01-28.0155 554.754.756.6156.61-1.91-1.916.126.1266 682.182.181.5281.520.580.5831.0331.0377 794.

27、894.892.3492.342.462.4641.8541.8588 896.296.296.4996.49-0.29-0.29464699 996.496.498.1498.14-1.74-1.7447.6547.65均值均值550.4950.200.2860.285离差平方和离差平方和6014917.8915156.5519.4315156.55平方和平方和28537860.0437839.9220.1615157.28回归离差平方和 ，而 ，并且第53页/共62页54通过以上分析可以认为药物反应程度 与药剂量符合非线性回归方程第54页/共62页55【例8.3】龚珀兹模型是计量经济学中的

28、一个常用模型，用来拟合销售量增长趋势，龚珀兹曲线形式为其中，为销售量增长上限。当 未知时，龚珀兹模型不能线性化，可以用非线性最小二乘法求解，或三和值求解法。第55页/共62页56解：1.用三和值求解：第56页/共62页57由可得由可得第57页/共62页58由此求得龚珀兹模型为第58页/共62页592.用非线性最小二乘法求解以三和值法的参数估计值 为初值，用SPSS软件的非线性最小二乘法功能求解：第59页/共62页60Source DF Sum of Squares Mean Square Regression 3 561508401.100 187169467.033 Residual 18

29、6323848.90008 351324.93889 Uncorrected 21 567832250.000 Total (Corrected 20 86753100.2857 Total)R squared=1-Residual SS/Corrected SS=.92711 Asymptotic 95%Asymptotic Confidence Interval Parameter Estimate Std.Error Lower Upper L 15355.84 7524.962 -453.522 31165.195 a .113861 .04414 .021126 .206595 b .940897 .02573 .8868395 .995 第60页/共62页61用非线性最小二乘法求得的方程为增长上限为 ，1981年的实际销售量为7470万只，与上限相比，还有一倍的增长空间。第61页/共62页62感谢您的观看！第62页/共62页