第二章回归分析精选PPT.ppt

《第二章回归分析精选PPT.ppt》由会员分享，可在线阅读，更多相关《第二章回归分析精选PPT.ppt（60页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第二章回归分析第1页，本讲稿共60页v回归分析：回归分析：研研究究处处于于同同一一总总体体中中两两个个或或两两个个以以上上变变量量之间的之间的相关关系相关关系的数学工具。的数学工具。v相关关系相关关系1.确定关系（函数关系）确定关系（函数关系）如：如：U=IR2.相关关系（不确定关系）相关关系（不确定关系）如：树高与胸径，如：树高与胸径，产量产量与施肥量的关系。与施肥量的关系。第2页，本讲稿共60页相关关系相关关系如给定如给定X的任一具体取值，对应的任一具体取值，对应的的Y是一随机变量是一随机变量,服从一定的概率分布；同时给定服从一定的概率分布；同时给定Y的任一个具体取值时，对应的的任一个具体

2、取值时，对应的X是一随机变量是一随机变量,服服从一定的概率分布从一定的概率分布.回归关系回归关系相关关系中，如果相关关系中，如果X容易确定或容易确定或可控制，即为非随机变量，可控制，即为非随机变量，Y是随机变量，则称是随机变量，则称Y对对X存在回归关系。存在回归关系。X：预报因子Y：预报量相关关系与回归关系相关关系与回归关系第3页，本讲稿共60页2.1一元回归2.1.1回归分析概述回归分析概述第4页，本讲稿共60页v回归函数回归函数（回归方程）回归方程）因变量自变量自变量：预报因子的取值因变量：预报量的期望（均值）问题问题1：回归方程有何意义？：回归方程有何意义？问题问题2：如何求得回归方程？

3、：如何求得回归方程？第5页，本讲稿共60页v回归模型回归模型 第6页，本讲稿共60页v回归函数回归函数散散点点图图：把把观观测测数数据据用用散散点点表表示在平面直角坐标上示在平面直角坐标上 实际中，回归函数不易得到，用如下办法确定：实际中，回归函数不易得到，用如下办法确定：（1）先确定形式：用专业知识或散点图；先确定形式：用专业知识或散点图；（2 2）确定系数：用最小二乘法）确定系数：用最小二乘法）确定系数：用最小二乘法）确定系数：用最小二乘法 X X与与与与 之之之之间间间间具具具具有有有有线线性性回回归归关关系系，散散散散点点点点图图图图呈呈呈呈线线线线性性性性，回归函数是线性函数。回归函

4、数是线性函数。回归函数是线性函数。回归函数是线性函数。第7页，本讲稿共60页一元线性回归一元线性回归自变量为一个（自变量为一个（一元一元），回归函数是），回归函数是线性线性的的。设回归方程的形式为：设回归方程的形式为：常数项常数项常数项常数项回归系数回归系数回归系数回归系数一元线性回归方程模型一元线性回归方程模型关键关键：求出常数项和一次项系数（回归系数）求出常数项和一次项系数（回归系数）办法办法：由样本观测值，估计出直线方程由样本观测值，估计出直线方程。第8页，本讲稿共60页一元线性回归满足的前提一元线性回归满足的前提正态，独立，等方差正态，独立，等方差第9页，本讲稿共60页2.1.2参数估

5、计参数估计1.普通最小二乘法（普通最小二乘法（OLSE）第10页，本讲稿共60页（1）构造残差平方和）构造残差平方和:求出常数项和回归系数求出常数项和回归系数回归值回归值实测值实测值请问：残差平方和表示什么？请问：残差平方和表示什么？第11页，本讲稿共60页（2）确定系数）确定系数，使残差达到最小（最小二乘法）使残差达到最小（最小二乘法）求出常数项和回归系数求出常数项和回归系数为什么？为什么？怎么做？怎么做？求导数并令导数为零求导数并令导数为零第12页，本讲稿共60页解得：解得：其中：其中：预报因子预报因子平均值平均值预报量平预报量平均值均值第13页，本讲稿共60页几个平方和记为：几个平方和记

6、为：注注意意对对比比记记忆忆公公式式第14页，本讲稿共60页 求回归方程的例题求回归方程的例题 例例 设设从从某某油油松松林林地地随随机机抽抽得得10株株油油松松，测得胸径与树高如下表所示测得胸径与树高如下表所示:胸径x(cm)4.25.15.96.57.38.18.69.09.7树高y(m)5.74.66.47.87.58.49.29.59.6试求树高试求树高y对胸径对胸径x的经验回归方程。的经验回归方程。第15页，本讲稿共60页解：设回归方程为：解：设回归方程为：经计算得：经计算得：第一行数据之和第一行数据之和第二行数据之和第二行数据之和两行数据交叉两行数据交叉乘积之和乘积之和第16页，本

7、讲稿共60页计算平方和得：计算平方和得：X的离差平方和的离差平方和X和和Y的协方差的协方差第17页，本讲稿共60页所以：所以：所求回归方程为：所求回归方程为：第18页，本讲稿共60页2.1.3一元线性回归的显著性检验一元线性回归的显著性检验3种方法种方法1.方差分析法（F检验）2.样本相关系数法（r检验）3.T检验第19页，本讲稿共60页v 1.方差分析法方差分析法(F检验检验)：总的离差平方和：总的离差平方和：回归平方和回归平方和U=SSR残差平方和Q=SSE第20页，本讲稿共60页构造检验统计量构造检验统计量即回归关系显著即回归关系显著第21页，本讲稿共60页2.样本相关系数法样本相关系数

8、法v样本相关系数：样本相关系数：大小能反映大小能反映X与与Y间的相间的相关关系关关系第22页，本讲稿共60页v样本相关系数的特点：样本相关系数的特点：（1）|r|1（2）r0，则则X与与Y正相关；正相关；rr0.01(8)线性关系极显著线性关系极显著第28页，本讲稿共60页2.1.4 利用回归方程预测利用回归方程预测步骤：步骤：第29页，本讲稿共60页第30页，本讲稿共60页2.2多元回归多元回归第40页，本讲稿共60页2.2.1多元回归概述多元回归概述因变量因变量(响应变量响应变量)为为y （一个），（一个），自变量自变量(回归变量回归变量)为为xi（i1,2,k）（多个），（多个），多元线

9、性回归模型：多元线性回归模型：其中其中0称为称为截距截距i(i1，2，k)叫做叫做偏回归系数偏回归系数，叫做叫做误差误差第41页，本讲稿共60页如如果果对对各各自自变变量量及及相相应应的的因因变变量量观观测测了了n次次，得得到到如下表所示的样本：如下表所示的样本：样本样本号号因变因变量量回回 归归 变变 量量x1x2x3xk1y1x11x12x13x1k2y2x21x22x23x2knynxn1xn2xn3xnk第42页，本讲稿共60页令令则模型矩阵表示为则模型矩阵表示为第43页，本讲稿共60页2.2.2参数估计参数估计利用最小二乘法，得利用最小二乘法，得第44页，本讲稿共60页例、设因变量y

10、与其有关的自变量x1，x2得下表所示的数据：样本号（年份）因变量回 归 变 量yx1x2180.56290.583120.7104110.5125130.8126171.212(7)？(1.7)(14)如果y与x1，x2的线性模型是第45页，本讲稿共60页（1）求回归方程yb0b1x1b2x2（2）预测当x11.7，x214时，y的估计值（3）计算残差。由公式即可算出其中故所求回归方程为当x11.7，x214时，y的预报值为第46页，本讲稿共60页 我们可以通过回归方程计算出每一样点上的残差为：0.1，0.0，0.3，0.1，0.4，0.1 于是残差平方和 0.27第47页，本讲稿共60页2.

11、2.3方差分析与回归参数检验方差分析与回归参数检验第48页，本讲稿共60页(一一)方差分析法方差分析法在讨论检验之前，先介绍几种平方和：在讨论检验之前，先介绍几种平方和：1.残差平方和残差平方和回归的显著性检验回归的显著性检验第49页，本讲稿共60页2.总平方和总平方和回归平方和回归平方和反映模型的贡献，称为反映模型的贡献，称为SSR 第50页，本讲稿共60页回归平方和的自由度，记为回归平方和的自由度，记为fRk残差平方和的自由度，记为残差平方和的自由度，记为fEnk进行进行F检验检验:我们就认为回归关系在我们就认为回归关系在水平上是显著的；水平上是显著的；换句话说，模型在一定程度上反映了换句

12、话说，模型在一定程度上反映了y与与之间的相关关系。之间的相关关系。第51页，本讲稿共60页方差分析表方差分析表变变差差来来源源离离差差平平方方和和自由度自由度均方均方F值值临界值临界值显显著著性性回回归归SSRfR=kMSRF=MSR/MSEF(fR,fE)*-残残差差SSEfE=n-k-1MSE总总和和SSTfT=n-1第52页，本讲稿共60页（二）复相关系数法（二）复相关系数法回归平方和在总平方和中所占份额，即回归平方和在总平方和中所占份额，即可用来评价模型的有效性，称可用来评价模型的有效性，称为为决定系数决定系数，称称R为为复相关系数复相关系数，R越大，反映回归变量与因越大，反映回归变量

13、与因变量之间线性关系密切。变量之间线性关系密切。第53页，本讲稿共60页一一般般0R1，但但R要要多多大大才才认认为为线线性性关关系系存存在在呢呢？要要给给出出临临界界值值(多多元元线线性性回回归归显显著著性性检检验验复相关系数复相关系数临界值表临界值表)多元线性回归显著多元线性回归显著,否则不显著否则不显著第54页，本讲稿共60页校正决定系数校正决定系数（Adjusteddeterminationefficient）响考虑了自变量个数的影,22RRc第55页，本讲稿共60页（三）（三）t检验检验:检验第检验第j个自变量对个自变量对Y影响是否显著影响是否显著第56页，本讲稿共60页说明第说明第

14、j个自变量对个自变量对Y影响显著，应保留，否则说明影响显著，应保留，否则说明第第j个自变量对个自变量对Y影响不显著，可以剔除；影响不显著，可以剔除；如果同时有几个预报因子经检验都不显著，则先如果同时有几个预报因子经检验都不显著，则先剔除剔除|t|值最小的预报因子，每次只能剔除一个预报因值最小的预报因子，每次只能剔除一个预报因子。子。第57页，本讲稿共60页剔除和引进变量的方法剔除和引进变量的方法）淘汰法（向后法）淘汰法（向后法backward）这这种种程程序序基基本本思思想想是是，根根据据给给定定问问题题的的实实际际情情况况考考虑虑，把把所所有有可可供供选选择择的的自自变变量量都都放放进进模模

15、型型中中，尔尔后后逐逐个个剔剔除除，直直到到不不能能再再剔剔除除为为止止。最最后后即即为为所所选选的的模模型。型。）纳新法（向前法）纳新法（向前法forward）与与淘淘汰汰法法相相反反，先先选选少少量量自自变变量量进进入入模模型型，然然后后一一个个一一个个地地使使用用引引进进变变量量方方法法，把把新新变变量量引引进进到到模模型型中来，一直到不能引进为止。中来，一直到不能引进为止。）逐逐步步回回归归法法（吐吐故故纳纳新新法法）（有有进进有有出出法法stepwise）第58页，本讲稿共60页在在淘淘汰汰中中，一一旦旦变变量量被被剔剔除除模模型型，往往后后就就没没有有机机会会再再进进入入模模型型；

16、在在纳纳新新法法中中，一一旦旦变变量量被被选选进进模模型型，往往后后就就不不会会被被淘淘汰汰出出模模型型。然然后后，由由于于变变量量之之间间相相关关的的复复杂杂性性，当当某某个个变变量量被被淘淘汰汰后后，早早先先被被淘淘汰汰的的变变量量可可能能就就会会显显得得重重要要；或或者者当当新新的的一一个个变变量量被被引引进进后后，原原先先已已在在模模型型中中的的变变量量或或许许就就不不重重要要了了。为为了了改改善善这这两两种种方方法法的的各各自自缺缺点点，逐逐步步回回归归法法把把两两个个方方法法结结合合起起来来，交交替替使使用用做做到到了了“扬扬长长避避短短”。逐逐步步回回归归是是目目前前国内使用较多

17、的一种方法。国内使用较多的一种方法。第59页，本讲稿共60页在在逐逐步步回回归归中中，首首先先用用纳纳新新法法引引入入一一个个变变量量，而而后后对对早早先先已已进进入入模模型型中中的的变变量量使使用用淘淘汰汰法法，淘淘汰汰不不显显著著变变量量，一一直直到到不不能能淘淘汰汰，再再用用纳纳新新法法，引引进进新新变变量量纳纳新新法法每每次次只只能能引引进进一一个个变变量量，即即转转入入淘淘汰汰法法程程序序，而而淘淘汰汰法法可可连连续续多多次次使使用用。如如此此循循环环，一一直直到到既既不不能能纳纳新新也也不不能能淘淘汰汰才才终终止止运运算算程程序序，选选出出最终模型。最终模型。第60页，本讲稿共60页