多元线性回归讲稿.ppt

《多元线性回归讲稿.ppt》由会员分享，可在线阅读，更多相关《多元线性回归讲稿.ppt（54页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多元线性回归第一页，讲稿共五十四页哦第三章第三章 多元线性回归模型多元线性回归模型 3.1 多元线性回归模型及古典假定多元线性回归模型及古典假定3.2 多元线性回归模型的估计多元线性回归模型的估计 3.3 多元线性回归模型的检验多元线性回归模型的检验3.4 多元线性回归模型的预测多元线性回归模型的预测3.5 案例分析案例分析第二页，讲稿共五十四页哦3.1 多元线性回归模型及古典假定多元线性回归模型及古典假定3.1.1 多元线性回归模型的基本形式多元线性回归模型的基本形式 3.1.2 多元线性回归模型的古典假定多元线性回归模型的古典假定 第三页，讲稿共五十四页哦3.1 多元线性回归模型及古典假定

2、多元线性回归模型及古典假定LAKY 3.1.1 3.1.1 多元线性回归模型的基本形式多元线性回归模型的基本形式一种社会经济现象和许多现象相联系，比如描述产出量与资本投入、劳动投入之间的关系的Cobb-Douglas生产函数：LKAYlnlnlnln转化为线性的：为非线性模型lnY为被解释变量，lnK,lnL为解释变量,ln为随机误差项,lnA,为参数。iiXXY33221再如：西部地区各省区电力消费的变化与各地区国民生产总值及电力价格水平变动等因素的关系。建立模型如下Y为西部地区各省区电力消费量；X2为各地区国民生产总值；X3为各地区电力价格变动。为随机误差项。第四页，讲稿共五十四页哦3.1

3、 多元线性回归模型及古典假定多元线性回归模型及古典假定 多元线性回归模型多元线性回归模型:表现在线性回归模型中的解释变量有多个。线性是指对各个参数而言是线性的。3.1.1 3.1.1 多元线性回归模型的基本形式多元线性回归模型的基本形式i=1,2,n其中:k为参数的数目，j称为偏回归参数回归参数（regression coefficient），k-1为解释变量的个数。表示当控制其他解释变量不变的条件下，Xj每变化1个单位时，Y的均值E(Y)的变化.一般表现形式一般表现形式：ikikiiiXXXY33221第五页，讲稿共五十四页哦3.1 多元线性回归模型及古典假定多元线性回归模型及古典假定ni,

4、2,1),(32kiiiiXXXYni,2,13.1.1 3.1.1 多元线性回归模型的基本形式多元线性回归模型的基本形式 对被解释变量Y及多个解释变量做n次观测，所得的n组观测值则有：ikikiiiXXXY33221第六页，讲稿共五十四页哦3.1 多元线性回归模型及古典假定多元线性回归模型及古典假定ikikiiiXXXY33221ni,2,13.1.1 3.1.1 多元线性回归模型的基本形式多元线性回归模型的基本形式 对被解释变量Y及多个解释变量做n次观测，所得的n组观测值ikikkiiieXXXY33221样本回归模型：样本回归函数：kikkiiiXXXY33221多元线性回归分析要解决的

5、主要问题，仍然是如何根据变量的样本观测值去估计回归模型中的各个参数。第七页，讲稿共五十四页哦3.1 多元线性回归模型及古典假定多元线性回归模型及古典假定3.1.1 3.1.1 多元线性回归模型的基本形式多元线性回归模型的基本形式即为以下线性方程组：2232322212kkXXXY1131321211kkXXXYnknknnnXXXY33221将以上方程组写成矩阵的形式：第八页，讲稿共五十四页哦3.1 多元线性回归模型及古典假定多元线性回归模型及古典假定nYYY21knnnkkXXXXXXXXX322322213121111k213.1.1 3.1.1 多元线性回归模型的基本形式多元线性回归模型

6、的基本形式n21=+第九页，讲稿共五十四页哦3.1 多元线性回归模型及古典假定多元线性回归模型及古典假定3.1.1 3.1.1 多元线性回归模型的基本形式多元线性回归模型的基本形式Y：被解释变量观测列向量 X：数据矩阵或设计矩阵，为解释变量观测值矩阵B：参数列向量 U:随机误差项列向量UXY即：UXY即：UXY121nnU121kk)1(322322213121111knknnnkkXXXXXXXXXX令：121nnYYY第十页，讲稿共五十四页哦3.1 多元线性回归模型及古典假定多元线性回归模型及古典假定3.1.1 3.1.1 多元线性回归模型的基本形式多元线性回归模型的基本形式类似地，多元样

7、本线性回归函数的矩阵表示为：XYeXY或k21nYYYY21neeee21其中：第十一页，讲稿共五十四页哦3.1 多元线性回归模型及古典假定多元线性回归模型及古典假定3.1.2 3.1.2 多元线性回归模型的古典假定多元线性回归模型的古典假定 假设1:零均值零均值假定：ni,2,122)()(iiEVar用矩阵表示为：假设2:同方差和无自相关同方差和无自相关假定：ni,2,10)(iE000)()()()(2121nnEEEEUEkikiEEEECovkikkiiki,0,),()()(),(2nki,2,1,第十二页，讲稿共五十四页哦3.1 多元线性回归模型及古典假定多元线性回归模型及古典假

8、定3.1.2 3.1.2 多元线性回归模型的古典假定多元线性回归模型的古典假定随机误差项的方差-协方差矩阵)为：IEEEEEEEEEUUEUEUUEUEUVarnnnnnn22222122212121110000000)()()()()()()()()()()()()(第十三页，讲稿共五十四页哦3.1 多元线性回归模型及古典假定多元线性回归模型及古典假定0)()()(11iKiiiiiKiiiiEXEXEXXE3.1.2 3.1.2 多元线性回归模型的古典假定多元线性回归模型的古典假定0),(ijiXCov 假设3:随机误差项与解释变量不相关随机误差项与解释变量不相关假定：用矩阵表示为：E(X

9、U)=nikj,2,1;,3,2第十四页，讲稿共五十四页哦3.1 多元线性回归模型及古典假定多元线性回归模型及古典假定3.1.2 3.1.2 多元线性回归模型的古典假定多元线性回归模型的古典假定用矩阵表示为：kXRank)(假设4:无多重共线性无多重共线性假定：即解释变量之间不存在线性相关关系，即矩阵X列满秩。假设5:正态性正态性假定：iN(0,2)i=1,2,n?1)(XX?XXkXXRank)(则：，可逆，存在 上述假定条件称为多元线性回归模型的古典假定。),0(2INU第十五页，讲稿共五十四页哦3.2 多元线性回归模型的估计多元线性回归模型的估计一：多元线性回归参数的最小二乘估计 二：参

10、数最小二乘估计的性质三：OLS估计的分布性质四：随机扰动项方差的估计第十六页，讲稿共五十四页哦一：多元线性回归模型的最小二乘法一：多元线性回归模型的最小二乘法如果样本函数样本函数的参数估计值已经得到，则有：i=1,2，n根据最小二乘原理最小二乘原理，参数估计值应该是下列方程组的解 其中3.2 多元线性回归模型的估计多元线性回归模型的估计kikiiXXY2210)(2jie)(33221kikiiiiXXXYe第十七页，讲稿共五十四页哦于是得到关于待估参数估计值的正规方程组正规方程组：3.2 多元线性回归模型的估计多元线性回归模型的估计0)(233221kikiiiXXXY0)(2332212k

11、ikiiiiXXXYX0)(233221kikiiikiXXXYX一：多元线性回归模型的最小二乘法一：多元线性回归模型的最小二乘法解该k个方程组成的线性代数方程组，即可得到k个待估参数的估计值j第十八页，讲稿共五十四页哦由极值条件得YXX)X(由于XX满秩，故有 YXXX1)(3.2 多元线性回归模型的估计多元线性回归模型的估计0001112121222212eXeeeXXXXXXeXeXenknkknikiiiieXY一：多元线性回归模型的最小二乘法一：多元线性回归模型的最小二乘法 对样本回归函数 两边同乘以样本观测值矩阵X的转置矩阵，得到eXXXYX极值条件第十九页，讲稿共五十四页哦3.2

12、 多元线性回归模型的估计多元线性回归模型的估计23223223232322)(-)()()()(iiiiiiiiiiixxxxxxxyxxy?iiiiXXY3322123223223222233)(-)()()()(iiiiiiiiiiixxxxxxxyxxy?一：多元线性回归模型的最小二乘法一：多元线性回归模型的最小二乘法对于二元线性回归模型：参数最小二乘估计式为：33221XXYXXxiiYYyii其中：第二十页，讲稿共五十四页哦3.2 多元线性回归模型的估计多元线性回归模型的估计60.21495.35643.320Y一：多元线性回归模型的最小二乘法一：多元线性回归模型的最小二乘法iiXX

13、Y33221例3.1 研究2002年西部地区各省区电力消费的变化与各地区国民生产总值及电力价格水平变动等因素的关系。建立模型如下Y：电力消费量；X2：国民生产总值；X3：电力价格变动（以水电燃料价格指数来代表）。原始数据见课本78页表3.1。6.10928.159817.10136.245517.10431.17341X被解释变量观测值矩阵和解释变量观测值矩阵分别为：第二十一页，讲稿共五十四页哦3.2 多元线性回归模型的估计多元线性回归模型的估计1507.170936.0837.1941)(1YXXX一：多元线性回归模型的最小二乘法一：多元线性回归模型的最小二乘法例3.1 研究2002年西部地

14、区各省区电力消费的变化与各地区国民生产总值及电力价格水平变动等因素的关系。所估计的样本回归函数为：321507.170936.0837.1941XXYi第二十二页，讲稿共五十四页哦11111()()()()()E BE X XX YE X XXXBE X XX XBX XXBX XX EB3.2 多元线性回归模型的估计多元线性回归模型的估计二：参数最小二乘法估计的性质二：参数最小二乘法估计的性质1线性性线性性 2无偏性无偏性 UUUYXXX1)(由 可知，最小二乘参数估计的参数估计量 是被解释变量Yi的线性函数。第二十三页，讲稿共五十四页哦3.2 多元线性回归模型的估计多元线性回归模型的估计二

15、：参数最小二乘法估计的性质二：参数最小二乘法估计的性质 3、有效性（最小方差性）、有效性（最小方差性）UUUUUUYXXX1)(XXXXXXX11)()()(和IUUE2)(由UU第二十四页，讲稿共五十四页哦3.2 多元线性回归模型的估计多元线性回归模型的估计jjjcSE2)(三：三：OLSOLS估计的分布性质估计的分布性质由OLS估计量的性质可知：以cjj表示矩阵(XX)-1 主对角线上的第j个元素，标准差：),(2jjjjcN第二十五页，讲稿共五十四页哦3.2 多元线性回归模型的估计多元线性回归模型的估计knei2222)(kneEi2四：随机扰动项方差的估计四：随机扰动项方差的估计如果记

16、则 就是随机误差项方差 的无偏估计量2jjijjjcknecVar)()(22 的方差估计量为：j第二十六页，讲稿共五十四页哦3.2 多元线性回归模型的估计多元线性回归模型的估计6063.130331185.1042822knei1801.152271)()(1121ckneVari四：随机扰动项方差的估计四：随机扰动项方差的估计00008834.0670000000677.031185.10428)()(2222ckneVari例3.1续：可以计算出：6977.13)()(3323ckneVari同理：第二十七页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验3.3.1

17、 拟合优度检验拟合优度检验3.3.2 回归方程的显著性检回归方程的显著性检验验（F检验）检验）3.3.3 回归参数的显著性检验（回归参数的显著性检验（t检验）检验）第二十八页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验3.3.1 拟合优度检验拟合优度检验一.多重可决系数（1）变差：TSS=RSS+ESS 总离差平方和TSS反映了被解释变量观测值总变量的大小，回归平方和ESS反映了被解释变量回归估计值总变差的大小，它是被解释变量观测值总变差中由多个解释变量做出解释的那部分变差，残差平方和RSS反映了被解释变量观测值与估计值之间的变差，是被解释变量观测值总离差中未被列入模

18、型的解释变量解释的那部分变差。第二十九页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验3.3.1 拟合优度检验拟合优度检验一.多重可决系数（1）变差：显然，ESS越大，RSS越小，从而被解释变量观测值总变差中能由解释变量解释的那部分变差就越大，模型对观测数据的拟合程度就越高，因此定义多重可决系数为2ESSRTSSTSSRSSR12或者因为：RSS Y Y X Y2ESSTSSRSSnY XY222nYRnY X YY Y可得：2YnYYTSS第三十页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验3.3.1 拟合优度检验拟合优度检验一.多重可决系数

19、 作为检验回归方程与样本值拟合优度的指标：越大，表示回归方程拟合样本的的效果越好；反之，回归方程拟合样本值较差。)10(2 R2R2R第三十一页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验2222222222ESS TSS-RSS=Y YnYY Y+Y XB=Y XB-nYESSY XB-nYRTSSY YnYRRRRR=由以上表达式可以看出，的大小与解释变量的个数有关，解释变量越多，越大。这就造成一种误导：增加解释变量个数可以增大，但是这并不是的含义，因此必须对进行调整，使其不再受到解释变量个数的影响。3.3.1 拟合优度检验拟合优度检验二.修正的可决系数 iiki

20、kiiiiyyxyxyxR233222还可表示为第三十二页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验knnRnTSSknRSSR1)1(1)1/()/(1223.3.1 拟合优度检验拟合优度检验引入自由度来校正可决系数2R1）当k1时，2）可能为负值，这时规定 =0，但是 必定非负 2R2R2R2RTSS自由度为：n-1ESS自由度为：k-1（回归模型中解释变量的个数）RSS自由度为：n-k第三十三页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验85.104282ieRSS19.196400)(YYTSSi9336.0311111)9469.

21、01(11)1(122knnRR3.3.1 拟合优度检验拟合优度检验例3.1续：已知：可计算得：TSSRSSR129469.019.19640085.104281第三十四页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验3.3.1 拟合优度检验拟合优度检验注意：1.用样本估计的回归模型计算的可决系数和修正的可决系数，也是随抽样而变动的随机变量随机变量。2.可决系数只是对模型拟合优度的度量，只说明列入模型中的解释变量对被解释变量的联合影响程度联合影响程度。并不能说明模型中各个解释变量对被解释变量的影响程度。第三十五页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回

22、归模型的检验3.3.1 拟合优度检验拟合优度检验注意：3.在回归分析中，不仅要模型的拟合程度高，而且还要得到总体回归系数的可靠估计量。因此，在选择模型时，不能单纯的靠可决系数的高低来断定模型的优劣，有时为了整体考虑模型的可靠度及其经济意义，可以适当降低对可决系数可以适当降低对可决系数的要求。4.可决系数和修正的可决系数只能提供对拟合优度的度量，它们的值究竟要达到多大才算模型通过检验？并没有给出确定的界限。第三十六页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验3.3.2 回归方程的显著性检验回归方程的显著性检验 方程的显著性检验，是对模型中被解释变量与所有解释变量之间的

23、线性关系在总体上是否显著作出推断。该检验是在方差分析的基础上，利用F检验进行的。第三十七页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验122i2ii222iii2TSS RSS+ESSESSRTSS(YY)ESS,XYRSS(YY)(YY)(YY)一、检验原理总离差平方和分解：=我们利用表示回归方程对实际观测值的拟合效果。考虑比值此比值越大，对 的解释能力也越大，总体线形关系越显著，因此利用这个比值构造方程的显著性检验的统计量是合适的。已知、均服从分布（服从标准正态分布的随机变量的平方和服从分布），可知2i2iiF(YY)/kF F(k,nk1)(YY)/nk1分别除

24、以各自自由度的比值服从 分布。即=3.3.2 回归方程的显著性检验回归方程的显著性检验),1(knkF第三十八页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验3.3.2 回归方程的显著性检验回归方程的显著性检验),1()/()1/(knkFknRSSkESSF二、检验步骤二、检验步骤1.提出原假设H0和备择假设H1?:;0:1320HHk),3,2(kjj不全为零2.构造统计量：),1(knkF3.给定显著性水平，查F分布表，得到临界值：4.比较判断：),1(knkFF若 ，则拒绝原假设，说明回归方程显著。),1(knkFF若 ，则接受原假设，说明回归方程不显著。第三十

25、九页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验3.3.2 回归方程的显著性检验回归方程的显著性检验F(k-1,n-k)1-Ff(F)拒绝域显著水平显著水平的单侧的单侧 F检验拒绝域检验拒绝域第四十页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验3.3.2 回归方程的显著性检验回归方程的显著性检验F检验与可决系数的关系：一般来讲，模型对观测值的拟合程度越高，模型总体线性关系的显著性就越强。2211RRkknF可决系数越大，F统计量的值越大，R2=0时，F=0；R2=1时，F趋于。第四十一页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性

26、回归模型的检验3.3.2 回归方程的显著性检验回归方程的显著性检验注意：一元线性回归中，由于解释变量只有一个，不存在解释变量的联合影响的整体检验问题。因此，不需要进行F检验。换种说法，对参数 的显著性检验（t检验）与对回归总体的显著性检验（F检验）是一致的，说明如下：)2/()()2/()()2/()12/(22222neXXneYYnRSSESSFiiiii22222222222222)(/tSExxii给定显著性水平,查临界值，发现：22)2()2,1(?ntnF2第四十二页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验3.3.3 回归参数的显著性检验回归参数的显著

27、性检验 总体线性关系显著（方程显著性检验通过）只能表明所有解释变量共同对Y影响是显著的，但不能表明每个解释变量影响都是显著的。所以必须对每个解释变量作显著性检验。其目的是将影响不大的解释变量删除。利用 t 检验来检验解释变量对被解释变量的影响程度。第四十三页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验3.3.3 回归参数的显著性检验回归参数的显著性检验 t 检验是一种回归系数的显著性检验。如果某个解释变量Xj对被解释变量Y的作用显著，那么它的参数j 应不等于零。因此，提出检验 原假设H0：j=0 备择假设H1:j 0显然，若拒绝原假设，则表明解释变量Xj对被解释变量Y

28、的影响显著。第四十四页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验),(2jjjjcN)1,0(2Nczjjjj3.3.3 回归参数的显著性检验回归参数的显著性检验由最小二乘估计量的性质可知:标准化得：)(2kntcctjjjjjjjj由于 未知，可用 代替 ，可得 222第四十五页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验)(0kntcctjjjjjj)(2kntt3.3.2 回归方程的显著性检验回归方程的显著性检验二、检验步骤二、检验步骤1.提出原假设H0和备择假设H1?:;0:10HHj),3,2(,0kjj2.构造统计量：)(2kn

29、t3.给定显著性水平，查t分布表，得到临界值：4.比较判断：若 ，接受原假设，说明在其他解释变量不变的情况下，解释变量 对被解释变量没有显著的影响。若 ，拒绝原假设，说明在其他解释变量不变的情况下，解释变量 对被解释变量的影响是显著的。)(2kntt第四十六页，讲稿共五十四页哦3.3 多元线性回归模型的检验多元线性回归模型的检验3.3.3 回归参数的显著性检验回归参数的显著性检验t f(t)1(2/knt)1(2/knt接受域)1(|(|2/knttP接受域）)第四十七页，讲稿共五十四页哦3.4.1 点预测点预测3.4.2 E(Y0)的置信区间的置信区间 3.4.3 Y0的置信区间的置信区间3

30、.4 多元线性回归模型的预多元线性回归模型的预测测第四十八页，讲稿共五十四页哦3.4 多元线性回归模型的预测多元线性回归模型的预测对于模型 XY给定样本以外的解释变量的观测值X0=(1,X10,X20,Xk0)，可以得到被解释变量的预测值：X00Y 它可以是总体均值E(Y0)或个值Y0的预测。但严格地说，这只是被解释变量的预测值的估计值，而不是预测值。为了进行科学预测，还需求出预测值的置信区间，包括为了进行科学预测，还需求出预测值的置信区间，包括E(Y0)和和Y0的的置信区间置信区间。3.4.1 点预测点预测第四十九页，讲稿共五十四页哦3.4 多元线性回归模型的预测多元线性回归模型的预测3.4

31、.2 E(Y0)的置信区间的置信区间 易知)()()()(00YEEEYEXXX000)()()(20()X(XXX0000EEYVar0102000)()()(XXXXX)(XX)(X00EEYVar第五十页，讲稿共五十四页哦3.4 多元线性回归模型的预测多元线性回归模型的预测3.4.2 E(Y0)的置信区间的置信区间 容易证明),(020XX)X(XX100NY)1(knt)E(YY00010XX)X(X 于是，得到(1-)的置信水平下E(Y0)的置信区间置信区间：010000100)()()(22XXXXXXXXtYYEtY第五十一页，讲稿共五十四页哦3.4 多元线性回归模型的预测多元线

32、性回归模型的预测3.4.3 Y0的置信区间的置信区间 如果已经知道实际的预测值Y0，那么预测误差为：000YYe容易证明 0)()()()(100000000XXXXXXXEEEeE)(1()()()(01022100200XXXXXXXXEeEeVar第五十二页，讲稿共五十四页哦3.4 多元线性回归模型的预测多元线性回归模型的预测3.4.3 Y0的置信区间的置信区间 e0服从正态分布，即)(1(,0(01020XXXXNe)(1(010220XXXXe构造t统计量)1(000kntYYte可得给定(1-)的置信水平下Y0的置信区间置信区间：010000100)(1)(122XXXXXXXXtYYtY第五十三页，讲稿共五十四页哦3.5 案例分析案例分析案例：研究影响中国税收收入增长的主要原因，分析中央和地方税收收入的增长规律，预测中国税收未来的增长趋势。一、研究的目的要求二、模型设定三、估计参数四、模型检验五、模型应用第五十四页，讲稿共五十四页哦