多元回归分析 讲稿.ppt

《多元回归分析 讲稿.ppt》由会员分享，可在线阅读，更多相关《多元回归分析 讲稿.ppt（61页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多元回归分析 第一页，讲稿共六十一页哦v第一节 多元线性回归v第二节 可化为多元线性回归的问题v第三节 曲线回归v第四节 逐步回归v第五节 岭回归v推荐阅读第二页，讲稿共六十一页哦第一节 多元线性回归v Yi=b0+b1x1i+b2x2i+bpxpi+i Y1=b0+b1x11+b2x21+bpxp1+1 Y2=b0+b1x12+b2x22+bpxp2+2 Yn=b0+b1x1n+b2x2n+bpxpn+n 第三页，讲稿共六十一页哦v令 y1 1 x11 x21 xp1vY=y2 x=1 x12 x22 xp2 yn 1 x1n x2n xpn b0 1 b1 2vB=e=bp nv则 Y=X

2、B+e第四页，讲稿共六十一页哦v一、多元线性回归模型的基本假定v解释变量x1,x2,xp是确定性变量，不是随机变量，而且解释变量之间互不相关v随机误差项具有零均值和同方差 E（i）=0 var(i)=E(i-E(i)2=E(i)2=2v随机误差项在不同样本点之间是相互独立的，不存在序列相关 cov(i,j)=0 ij i,j=1,2,n cov(i,j)=E(i-E(i)(j-E(j)=E(i j)=E(i)E(j)=0 第五页，讲稿共六十一页哦v v随机误差项与解释变量之间不相关 cov(xi,i)=0v随机误差项服从零均值，同方差的正态分布 iN（0，2）第六页，讲稿共六十一页哦v二、建立

3、回归方程v设v令 即第七页，讲稿共六十一页哦第八页，讲稿共六十一页哦v三、多元线性回归模型的建模方法v1.打开文件或新建文件v2.Analyze regression liner 3.建模方法 （1）enter:强迫进入法 （2）stepwise:逐步选择法 （3）remove:强迫消除法 （4）backward:向后剔除法 （5）forward:向前引入法第九页，讲稿共六十一页哦v 回归统计量 （1）estimates:显示回归系数及相关的指标 （2）confidence intervals:显示未标准化回归系数的置信区间 （3）covariance matrix:未标准化回归系数的方差协方

4、差矩阵 （4）model fit:模型检验第十页，讲稿共六十一页哦v 回归统计量 （5）R squared change （6）descriptive:显示变量的均值、标准差等 （7）Part and partial correlations:（8）collinearity diagnostics:共线性诊断 （9）Durbon_waston:D.w.检验统计量第十一页，讲稿共六十一页哦举例（一）v根据我国某地区乡镇企业总产值、从业劳动者人数和固定资产原值的历年资料，求回归方程。（总产值-y,从业劳动者人数-x1,固定资产原值-x2)v（数据见spssex/例子1）第十二页，讲稿共六十一页哦第

5、十三页，讲稿共六十一页哦第十四页，讲稿共六十一页哦举例（二）v卫生陶瓷是我国住宅建筑、饭店、宾馆、医疗卫生、体育、办公设施等建筑必不可少的卫生设备。合理地发展卫生陶瓷生产是国民经济的需要。卫生陶瓷产量y与城镇住宅建筑面积x1,医疗卫生机构建筑面积x2,办公室建筑面积x3有关。试根据历史资料建立回归方程。v（数据见spssex/例子2）第十五页，讲稿共六十一页哦 Y=0.488+0.576x1+4.769x2-2.145x3 (4.245)(2.404)(-2.111)第十六页，讲稿共六十一页哦举例（三）v在研究国家财政收入时，我们把财政收入按收入形式分为各项税收收入、企业收入、债务收入、国家能

6、源交通重点建设基金收入、基本建设贷款归还收入、国家预算调节基金收入、其他收入等。为了建立国家财政收入回归模型，我们以财政收入y为因变量。自变量如下：x1工业总产值，x2农业总产值，x3建筑业总产值，x4人口数，x5社会商品零售总额，x6受灾面积v（数据见spssex/例子3）第十七页，讲稿共六十一页哦 Y=-13534.1+0.209x1-0.06x2+0.763x3+0.141x4-0.855x5+0.227x6 (3.292)(-0.416)(2.341)(2.703)(-2.932)(2.595)第十八页，讲稿共六十一页哦v五、回归方程的效果的检验v方程显著性检验v参数显著性检验v拟合优

7、度检验（复相关系数、偏相关系数）v对假设理论的检验v链接第十九页，讲稿共六十一页哦v例2中，方差分析表为：y第二十页，讲稿共六十一页哦v1.方程显著性检验(F检验)vF检验是以方差分析为基础,对回归总体线性关系是否显著的一种假设检验,是解释模型中被解释变量与所有解释变量之间的线性关系在总体上是否显著的方法v利用F统计量进行总体线性显著性检验的步骤如下:(1)提出关于P个总体参数的假设 H0:b0=b1=b2=bp=0 (2)构造统计量 (3)检验 给定显著性水平,查F分布表 若FF,拒绝H0,表明回归总体有显著性关系.若Ft /2,说明拒绝原假设若tregression-linearvPlot

8、子对话框中选Histogram或p-p图v返回第二十九页，讲稿共六十一页哦残差序列的随机性分析：v可以绘制残差序列和对应的预测值序列的散点图。如果残差序列是随机的，那么残差序列应与预测值序列无关，残差序列点将随机地分布在经过零的一条直线上下。v在线性回归Plots对话框中的源变量表中，选择SRESID（学生氏残差）做Y轴，选ZPRED（标准化预测值）做X轴v返回第三十页，讲稿共六十一页哦残差序列的独立性分析：v分析残差序列是否存在后期值与前期值相关的现象。vD.W检验v返回第三十一页，讲稿共六十一页哦样本奇异值的诊断：v样本奇异值是样本数据中那些远离均值的样本数据点。它们会对回归方程的拟合产生

9、较大偏差影响。v一般认为，如果某样本点对应的标准化残差的值超出了-3+3的范围，就可以判定该样本数据为奇异值。vAnalyze-regression-statistics-case diagnosticsv返回第三十二页，讲稿共六十一页哦异方差诊断：v线性回归模型要求残差序列服从等方差的正态分布v一般通过绘制SRESID与因变量预测值的散点图或计算SRESID和因变量预测值间的相关系数。v如果残差序列和预测值的平方根成正比例变化，可以对因变量作开方处理；如果残差序列与预测值成比例变化，可以对因变量取对数；如果残差序列与预测值的平方成比例的变化，可以对因变量求倒数。v还可以用WLS法消除异方差。

10、v返回第三十三页，讲稿共六十一页哦v七、预测和控制v所谓预测就是给定解释变量x样本外的某一特征值x0=(1，x10,x20,xp0),对因变量的值y0以及E(y0)进行估计。v1、y0的点预测：v2、y0的（1-）的预测区间：第三十四页，讲稿共六十一页哦v例例5 继例1，预测从业劳动者为3000万人，固定资产原值为400亿元时该地区的总产值，并给出=0.05时的预测区间.第三十五页，讲稿共六十一页哦v返回v例6 中国民航客运量的回归模型.为了研究我国民航客运量的变化趋势及成因,我们以民航客运量作为因变量y,以国民收入、消费额、铁路客运量、民航航线里程、来华旅游入境人数为影响民航客运量的主要因素

11、。Y-民航客运量（万人），x1-国民收入（亿元），x2-消费额（亿元），x3-铁路客运量（万人），x4-民航航线里程（万公里），x5-来华旅游入境人数第三十六页，讲稿共六十一页哦第二节 可化为多元线性回归的问题在自然科学中，y关于x 的数量关系多数都不是简单的线性关系，而是各种各样的非线性关系，于是我们常会遇到非线性回归模型，在非线性回归模型中，一种类型是可以通过变量变换化为线性模型，然后按线性模型加以解决；另一种类型的非线性模型是用任何变量变换办法都不能或不方便直接化为线性模型求得参数的估计值。第三十七页，讲稿共六十一页哦v多项式函数vY=0+1x+2x2+pxpv设i=xiv则多项式化为:

12、Y=0+1 1+2 2+p pv多元幂函数 y=x1 1 x2 2 xp p lny=ln +1ln x1+pln xp 令z=lny,0=ln ,i=ln xi z=0+1 1+2 2+p p第三十八页，讲稿共六十一页哦v指数函数 y=ae ixi y=a+1x1+2x2+pxp z=y,0=a,则 z=0+1x1+2x2+pxpv多元对数函数 y=a+1x1+2x2+pxp 设i=xi,则 y=a+1 1+2 2+p p 第三十九页，讲稿共六十一页哦v指数函数与幂函数的积 y=aexp ixi xibi y=a+1x1+2x2+pxp +b1x1+b2x2+bpxp 令z=y,0=a,i=

13、xi z=0+1x1+2x2+pxp+b1 1+b2 2+bp p第四十页，讲稿共六十一页哦v例7 某企业在15年中每年的年产量x和总成本y,试建立y对x,x2和x3的多项式回归方程.(数据见spssex/例子7)第四十一页，讲稿共六十一页哦v如果自变量相邻数值之间大小间隔相等,而且相邻样本点对应的因变量y的二次差分大致相同,则该总体可配合二次多项式函数v如果是三次差分大致相同,则可配合三次多项式函数第四十二页，讲稿共六十一页哦v例8 根据某地1985-1993年间农产品收购额,建立回归方程.(数据见spssex/例子8)MODEL:MOD_2.Independent:xDependentMt

14、hRsqd.f.FSigfb0b1b2yQUA1.0006202698.000178.0955.22383.8810第四十三页，讲稿共六十一页哦v返回v例9 某制造厂表面处理车间试验将铬后污水同电解污泥混合,使之生成无毒溶液,效果很好.但实际排出污水的浓度不完全相同,而且一定浓度的定量铬后污水只有同定量的电解污泥混合后,才能反应完全.现通过试验,找出铬后污水用量与电解污泥用量之比对于铬后污水浓度之间的关系.(spssex/例子9)第四十四页，讲稿共六十一页哦第三节 曲线回归vAnalyze-regression-curve estimationvLinear:y=b0+b1xvQuadrati

15、c:y=b0+b1x+b2x2vCompound:y=b0b1xvGrowth:y=e(b0+b1x)vLogarithmic:y=b0+b1lnxvCubic:y=b0+b1x+b2x2+b3x3第四十五页，讲稿共六十一页哦vS:y=e(b0+b1/x)vExponential:y=b0eb1xvInverse:y=b0+b1/xvPower:y=b0 xb1vLogistic:y=1/(1/u+b0b1x)v返回第四十六页，讲稿共六十一页哦第四节 逐步回归v在多元线性回归中，最难的是如何选择自变量的问题，如果自变量选的太少，则自变量对Y的决定系数太小，导致过大的偏差，如果把与Y有关的自变量

16、都选入是不可能的，一般来讲，选的自变量愈多，ESS愈大，然而多个自变量中有相当一部分对Y影响不显著，反而会因自由度的减少而增大了误差。另外，多个自变量间的相关会给回归方程的实际解释上造成麻烦，即多重共线性的影响。因此我们提出最优方程的概念，要求进入回归方程的自变量都是显著的，未进入回归方程的自变量都是不显著的。第四十七页，讲稿共六十一页哦v一、“最优”回归方程的选择v1.回归方程中包含尽量多的信息v2.回归方程中包含尽量少的变量v方法：v逐步剔除的回归分析方法v逐步引入的回归分析方法v“有进有出”的回归分析方法(逐步回归分析方法)第四十八页，讲稿共六十一页哦逐步剔除法（backward）v1、

17、用全部变量建立一个回归方程v2、对每个变量进行检验，剔除偏回归平方和最小的变量。v3、对剩余变量再作回归，再检验v直至方程中没有可剔除的变量为止。第四十九页，讲稿共六十一页哦逐步引入法（forward）v1、将所有自变量分别与因变量建立一元线性回归方程，比较各自的回归平方和，将回归平方和最大的变量引入回归方程。v2、再分别将剩余变量与因变量y、及已引入的变量建立二元线性回归方程，再比较回归平方和，选择回归平方和最大的变量引入方程。v直至方程检验不显著为止。第五十页，讲稿共六十一页哦v“逐步剔除”法与“逐步引入”法都有明显的不足之处:(1)“逐步剔除”法计算量大,且一旦某个自变量被剔除,没有机会

18、重新进入方程.(2)“逐步引入”法一旦引入某个变量,就不再改变.第五十一页，讲稿共六十一页哦逐步回归法（stepwise）v1、将所有自变量分别与y建立一元线性回归方程，将偏回归平方和最大及通过显著性检验的变量引入方程。v2、将剩余变量再分别与y、及已引入方程的变量建立二元回归方程，并检验方程，剔除不显著变量。v第五十二页，讲稿共六十一页哦v二、偏回归平方和v设s回是p个自变量x1,x2,xp所引起的回归平方和，si回是p-1个变量 x1,x2,x i-1,x i+1,xp所引起的回归平方和，那么它们的差 Qi=s回-s i回，Qi称为自变量xi的偏回归平方和第五十三页，讲稿共六十一页哦v在回

19、归计算的某一步需要引进的变量应该是所有未进入回归方程的变量中最显著的一个，也就是偏回归平方和最大的一个。第五十四页，讲稿共六十一页哦v三、逐步回归分析方法的应用v如果要在回归方程中剔除不显著的变量，则首先应从已引入的变量中剔除对因变量贡献最小的，也就是偏回归平方和最小的一个变量。v设模型中已引入L个自变量，xi的偏回归平方和为Qi(L),再假设偏回归平方和最小的变量为xk,作检验为：第五十五页，讲稿共六十一页哦 举例 v例10 假定某地区某个历史时期对某种消费品的销售量为y，居民或支配收入为x1，该类消费品的价格指数x2,社会保有量x3,以及其它消费品平均价格指数x4.试研究该地区对这种消费品

20、的需求函数。(数据见spssex/例子10)v例11 对例6用逐步回归法建模。（取 F剔=F引=2）第五十六页，讲稿共六十一页哦第五节 岭回归第五十七页，讲稿共六十一页哦v一、岭回归的方法原理v用xx+kI代替xx，人为降低均方误差v二、一个简单选择K值的方法第五十八页，讲稿共六十一页哦v三、步骤 1.进行最小二乘估计 2.寻找正交矩阵U,使得U(XX)U=3.利用U,对最小二乘估计量进行变换 4.产生方差2 5.令Kt=2/maxi2 6.最后利用最小二乘估计量,得到岭估计量.第五十九页，讲稿共六十一页哦推荐阅读v财经研究 2002.4v我国加入WTO后上海浦东新区人才需求预测研究v摘要摘要：本文分析了我国加入WTO对清东新区经济及其行业影响，以及浦东新区人才需求与新区经济增长的关系。按照人才需求总量与经济总量相适应，人才需求结构与经济结构相适应的要求，运用各种模型和推算方法，给出了2001-2005年浦东新区人才需求总量和三大产业的人才需求值，同时具体测算了新区各主要行业的人才需求值，并提出了相应的对策和措施。v关键字：人才需求；逐步回归法；主成分分析法；组合预测法第六十页，讲稿共六十一页哦第六十一页，讲稿共六十一页哦