多元线性回归模型-课件.ppt

《多元线性回归模型-课件.ppt》由会员分享，可在线阅读，更多相关《多元线性回归模型-课件.ppt（58页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、3.2 3.2 多元线性回归模型多元线性回归模型n回归项回归项-X-X对对Y Y影响影响nf-f-确定函数关系确定函数关系n随机误差项随机误差项-随机因素影响随机因素影响n自变量自变量(回归变量回归变量)n确定性变量确定性变量多元回归模型多元回归模型n因变量因变量nY-Y-随机变量随机变量3.2 3.2 多元线性回归模型多元线性回归模型1 1基本概念基本概念2 2MatlabMatlab回归分析命令回归分析命令1.1.回归模型回归模型/矩阵表示矩阵表示2.2.参数估计参数估计3.3.显著性检验显著性检验4.4.预测及统计推断预测及统计推断5.5.建模基本步骤建模基本步骤1.1.多元回归建模命令

2、多元回归建模命令 2.2.多元回归辅助图形命令多元回归辅助图形命令3 3 多元线性回归实例多元线性回归实例3.2 3.2 多元线性回归模型多元线性回归模型1 1基本概念基本概念1.1.回归模型回归模型/矩阵表示矩阵表示2.2.参数估计参数估计3.3.显著性检验显著性检验4.4.预测及统计推断预测及统计推断5.5.建模基本步骤建模基本步骤1 1回归模型回归模型/矩阵表示矩阵表示 3.2.1 基本概念基本概念-待定常数，回归系数待定常数，回归系数n多元线性回归模型多元线性回归模型 -设计矩阵设计矩阵 n多元线性回归模型的矩阵表示多元线性回归模型的矩阵表示 -不可观测不可观测 随机误差向量随机误差向

3、量 -回归参数向回归参数向量量 -观测向量观测向量(3.2.3)(3.2.3)2.2.参数估计参数估计（1 1）回归参数向量的最小二乘估计回归参数向量的最小二乘估计 注意：注意：证明证明（2 2）随机误差项方差的估计）随机误差项方差的估计 残差向量残差向量无偏估计无偏估计为无偏估计的证明（3 3）估计量的基本性质）估计量的基本性质(不要求）不要求）*3.3.显著性检验显著性检验样本及拟合值样本及拟合值 （1 1）离差平方和分解）离差平方和分解总离差平方和总离差平方和残差平方和残差平方和 回归平方和回归平方和证明证明(了解即可了解即可):=0=0正规方程正规方程正规方程第一个正规方程第一个（2

4、2）可决系数及相关性检验）可决系数及相关性检验-可决系数可决系数（复相关系数平方）（复相关系数平方）TSS=y*(eye(n)-1/n*ones(n,n)*y;%;%计算计算TSSTSSH=x*inv(x*x)*x;%计算对称幂等矩阵计算对称幂等矩阵H HESS=y*(eye(n)-H)*y;%;%计算计算ESSESSRSS=y*(H-1/n*ones(n,n)*y;%计算计算RSSRSSMSR=RSS/p;%计算计算MSRMSRMSE=ESS/(n-p-1);%);%计算计算MSEMSE%求可决系数命令求可决系数命令（3 3）回归方程的显著性检验）回归方程的显著性检验p0u构造统计量构造统计

5、量u假设假设u检验检验u判断判断%回归方程显著性检验命令回归方程显著性检验命令F0=(RSS/p)/(ESS/(n-p-1);F0=(RSS/p)/(ESS/(n-p-1);%求求F F统计量观测值统计量观测值F0,nF0,n样本数样本数,p,p自变自变量个数量个数Fa=finv(0.95,p,n-p-1)Fa=finv(0.95,p,n-p-1)%F%F统计量上统计量上0.050.05分位数分位数p0=1-fcdf(F0,p,n-p-1)p0=1-fcdf(F0,p,n-p-1)%求检验求检验P P值值 结果判断结果判断F0Fa=FF0Fa=F(p,n-p-1),(p,n-p-1),或者或者

6、p0p0T|T2|T/2(n-p-1),/2(n-p-1),或者或者pp,拒绝假设拒绝假设,回归关系显著回归关系显著.21求回归参数置信区间证明求回归参数置信区间证明(可不要求可不要求）看梅长林数据分析方法224.4.预测及其统计推断预测及其统计推断n回归参数置信区间回归参数置信区间n因变量预测值因变量预测值n因变量置信区间因变量置信区间5 5.建模基本步骤建模基本步骤(1)1)对问题直观分析，选择因变量与自变量，作因变量与各自变对问题直观分析，选择因变量与自变量，作因变量与各自变量量散点图散点图，初步设定多元线性回归模型参数个数；，初步设定多元线性回归模型参数个数；(2)(2)输入因变量与自

7、变量的观测数据输入因变量与自变量的观测数据(y,X)(y,X)调用调用MATMABMATMAB命令命令 b,bint,r,rint,s=regress(Y,X,alpha)b,bint,r,rint,s=regress(Y,X,alpha)计算参数的估计计算参数的估计(3)(3)调用调用残差图命令命令 rcoplot(r,rint)rcoplot(r,rint)分析数据异常点情况；分析数据异常点情况；(4)(4)作显著性作显著性检验检验，若检验通过，则用模型作预测；，若检验通过，则用模型作预测；(5)(5)对模型对模型进一步研究：如残差的正态性检验、残差异方差检研究：如残差的正态性检验、残差异

8、方差检验，残差自相关性检验等验，残差自相关性检验等.3.2 3.2 多元线性回归模型多元线性回归模型1 1基本概念基本概念2 2MatlabMatlab回归分析命令回归分析命令1.1.回归模型回归模型/矩阵表示矩阵表示2.2.参数估计参数估计3.3.显著性检验显著性检验4.4.预测及统计推断预测及统计推断5.5.建模基本步骤建模基本步骤1.1.多元回归建模命令多元回归建模命令 2.2.多元回归辅助图形命令多元回归辅助图形命令3 3 多元线性回归实例多元线性回归实例1.1.多元回归建模命令多元回归建模命令regeress，调用格用格式有以下三式有以下三种种：（1）b=regress(Y,X)（2

9、）b,bint,r,rint,stats=regress(Y,X)（3）b,bint,r,rint,stats=regress(Y,X,alpha)主要区别在输出项参数多少，第主要区别在输出项参数多少，第3 3种方式称为全参数方式种方式称为全参数方式.输入参数输入参数：输入量输入量Y Y表示模型表示模型(3.1.1)(3.1.1)中因变量观测向量；中因变量观测向量；X X是一个是一个n*(p+1)n*(p+1)阶矩阵，第一列元素全为数阶矩阵，第一列元素全为数“1 1”，第，第j j列是列是自变量自变量X Xj j的观测向量，对一元回归取的观测向量，对一元回归取p=1p=1，alphaalpha

10、为显著性为显著性水平水平,默认默认0.05.0.05.b,bint,r,rint,stats=regress(Y,X,alpha)b,bint,r,rint,stats=regress(Y,X,alpha)输出参数：输出参数：u向量向量b-b-回归系数估计向量回归系数估计向量ubint-bint-回归系数的回归系数的(1-alpha)(1-alpha)置信区间置信区间u向量向量r-r-残差列向量残差列向量urint-rint-模型的模型的n n个残差的个残差的(1-(1-)的置信区间的置信区间ustats-stats-用于检验回归模型的统计量，用于检验回归模型的统计量，4 4个分量值：个分量值

11、：R R2 2-可决系数，可决系数，R R是复相关系数是复相关系数F0-F0-F F统计量值统计量值P0-P0-与统计量与统计量F F对应概率，对应概率，P0P0 时拒绝时拒绝H H0 0，回归模型显著，回归模型显著MSE-MSE-方差方差 2 2的无偏估计的无偏估计例例3.2.13.2.1某销售公司将库存占用资金情况、广告投入的费用、员工某销售公司将库存占用资金情况、广告投入的费用、员工薪酬以及销售额等方面的数据作了汇总薪酬以及销售额等方面的数据作了汇总,该公司试图根据这些数据该公司试图根据这些数据找到销售额与其他变量之间的关系，以便进行销售额预测并为工找到销售额与其他变量之间的关系，以便进

12、行销售额预测并为工作决策提供参考依据作决策提供参考依据.(1)(1)建立销售额的回归模型；建立销售额的回归模型；(2)(2)如果未来某月库存资金额为如果未来某月库存资金额为150150万元，广告投入预算为万元，广告投入预算为4545万元，万元，员工薪酬总额为员工薪酬总额为2727万元，试根据建立的回归模型预测该月销售额万元，试根据建立的回归模型预测该月销售额.表表3.7 3.7 占用资金、广告投入、员工薪酬、销售额（单位：万元）占用资金、广告投入、员工薪酬、销售额（单位：万元）月份月份库库存存资资金金额额(x1)(x1)广告投入广告投入(x2)(x2)员员工薪酬工薪酬总额总额(x3)(x3)销

13、销售售额额(y)(y)1 175.275.230.630.621.121.11090.41090.42 277.677.631.331.321.421.4113311333 380.780.733.933.922.922.91242.11242.14 4767629.629.621.421.41003.21003.25 579.579.532.532.521.521.51283.21283.26 681.881.827.927.921.721.71012.21012.27 798.398.324.824.821.521.51098.81098.88 867.767.723.623.621218

14、26.3826.39 9747433.933.922.422.41003.31003.3101015115127.727.724.724.71554.61554.6111190.890.845.545.523.223.2119911991212102.3102.342.642.624.324.31483.11483.11313115.6115.6404023.123.11407.11407.1141412512545.845.829.129.11551.31551.31515137.8137.851.751.724.624.61601.21601.21616175.6175.667.267.2

15、27.527.52311.72311.71717155.2155.2656526.526.52126.72126.71818174.3174.365.465.426.826.82256.52256.5解：为确定销售额与库存占用资金、广告投入、员工薪酬之间解：为确定销售额与库存占用资金、广告投入、员工薪酬之间关系，分别作出关系，分别作出y y与与x x1 1,x,x2 2,x,x3 3散点图，若散点图显示它们之间近散点图，若散点图显示它们之间近似线性关系，可设似线性关系，可设y y与与x1,x2,x3x1,x2,x3关系为三元线性回归模型关系为三元线性回归模型.%输入数据并作散点图（图输入数据并

16、作散点图（图3.183.18）A=75.2 30.6 21.1 1090.4;77.6 31.3 21.4 113380.7 33.9 22.9 1242.1;76 29.6 21.4 1003.279.5 32.5 21.5 1283.2;81.8 27.9 21.7 1012.298.3 24.8 21.5 1098.8;67.7 23.6 21 826.374 33.9 22.4 1003.3;151 27.7 24.7 1554.690.8 45.5 23.2 1199;102.3 42.6 24.3 1483.1115.6 40 23.1 1407.1;125 45.8 29.1 1

17、551.3137.8 51.7 24.6 1601.2;175.6 67.2 27.5 2311.7155.2 65 26.5 2126.7;174.3 65.4 26.8 2256.5;m,n=size(A);m,n=size(A);%读取读取A A行数和列数行数和列数%画画3 3行行1 1列列图矩阵，第图矩阵，第1 1张为张为X1X1与与Y Y散点图散点图subplot(subplot(3,1,13,1,1),plot(A(:,1),A(:,4),+),),plot(A(:,1),A(:,4),+),xlabel(x1(xlabel(x1(库存资金额库存资金额)ylabel(y(ylabe

18、l(y(销售额销售额)%第第2 2张为张为X2X2与与Y Y散点图散点图subplot(3,1,subplot(3,1,2 2),plot(A(:,2),A(:,4),*),),plot(A(:,2),A(:,4),*),xlabel(x2(xlabel(x2(广告投入广告投入)ylabel(y(ylabel(y(销售额销售额)%第第3 3张为张为X3X3与与Y Y散点图散点图subplot(3,1,3),plot(A(:,3),A(:,4),x),subplot(3,1,3),plot(A(:,3),A(:,4),x),xlabel(x3(xlabel(x3(员工薪酬员工薪酬)xx)xxyl

19、abel(y(ylabel(y(销售额销售额)图图3.183.18销售额与库存、广告、薪酬散点图销售额与库存、广告、薪酬散点图由由图图3.183.18，销售额，销售额y y与库存资金、广告投入、员工薪酬有与库存资金、广告投入、员工薪酬有线性关系，可建立三元线性回归模型线性关系，可建立三元线性回归模型.法法1 1 调用命令调用命令regressregress建立三元线性回归模型建立三元线性回归模型x=ones(m,1),A(:,1),A(:,2),A(:,3);x=ones(m,1),A(:,1),A(:,2),A(:,3);y=A(:,4)y=A(:,4)b,bint,r,rint,stats

20、=regress(y,x);b,bint,r,rint,stats=regress(y,x);b,bint,stats,%b,bint,stats,%输出结果输出结果 回归参数回归参数b=162.0632=b=162.0632=0 7.2739=7.2739=1 13.9575=13.9575=2 -4.3996=-4.3996=3 参数参数 0,0,1,1,2,2,3 3的的95%95%的置信区间的置信区间bint=-580.3603 904.4867bint=-580.3603 904.4867 4.3734 10.1743 4.3734 10.1743 7.1649 20.7501 7.

21、1649 20.7501 -46.7796 37.9805 -46.7796 37.9805stats=0.95748(=0.95748(可决系数可决系数R R2 2)105.086652(105.086652(F F观测值观测值F F0 0)0.0000000008(0.0000000008(概率概率p p)10077.986789(E)10077.986789(ESS/(n-p-1)=MSESS/(n-p-1)=MSE）回归模型回归模型p0.05法法2.2.线性回归模型类的类方法线性回归模型类的类方法LinearModelLinearModel命令命令X=A(:,1:3)%X1-X3%X1

22、-X3构成的数据矩阵构成的数据矩阵y=A(:,4)mmdl=LinearModel.fit(X,y)%调用调用LinearModelLinearModel类的类的fitfit方法求解模型方法求解模型A=75.2 30.6 21.1 1090.4;77.6 31.3 21.4 113380.7 33.9 22.9 1242.1;76 29.6 21.4 1003.279.5 32.5 21.5 1283.2;81.8 27.9 21.7 1012.298.3 24.8 21.5 1098.8;67.7 23.6 21 826.374 33.9 22.4 1003.3;151 27.7 24.7

23、1554.690.8 45.5 23.2 1199;102.3 42.6 24.3 1483.1115.6 40 23.1 1407.1;125 45.8 29.1 1551.3137.8 51.7 24.6 1601.2;175.6 67.2 27.5 2311.7155.2 65 26.5 2126.7;174.3 65.4 26.8 2256.5;n,p=size(A);注意此处注意此处X X是原始数据，是原始数据，1 1列不是列不是1 1法法2.LinearModel2.LinearModel命令命令结果输出结果输出 mmdl=Linear regression model:y 1+x

24、1+x2+x3Estimated Coefficients:Estimate SE tStat pValue 参数估计参数估计 残差平方残差平方 t t统计量值统计量值 检验检验p p值值(Intercept)162.06 346.15 0.46818 0.64686 x1 7.2739 1.3523 5.3787 9.7273e-05 x2 13.957 3.167 4.4071 0.00059659 x3 -4.3996 19.76 -0.22265 0.82702Number of observations:18=n,Error degrees of freedom:14=n-p-1Ro

25、ot Mean Squared Error:100=MSE的均方的均方R-squared:0.957（可决系数）（可决系数）Adjusted R-Squared 0.948F-statistic vs.constant model:105=F0,p-value=7.75e-10=P0平方和平方和2.2.多元回归辅助图形命令多元回归辅助图形命令ur,rint-r,rint-多元回归建模命令多元回归建模命令regressregress输出结果残差输出结果残差r r和和r r的置信区间，运行该命令后展示了的置信区间，运行该命令后展示了残差残差r r与与置信置信区间区间rintrint的图形的图形.u

26、如图形中出现如图形中出现红色红色点，可认作异常点，可删除后重点，可认作异常点，可删除后重新建模，最终得到改进的回归模型新建模，最终得到改进的回归模型.（1 1）残差图命令）残差图命令rcoplot调用格式：调用格式：rcoplot(r,rint)图图3.19 残差与置信区间图残差与置信区间图结果如右图：横坐标为样本序号，纵坐标为残差，直线段表示结果如右图：横坐标为样本序号，纵坐标为残差，直线段表示残差的置信区间；残差的置信区间；第第5 5个点为异常点，从表个点为异常点，从表3.73.7可发现第可发现第5 5个月库存占用资金、广个月库存占用资金、广告投入、员工薪酬均比告投入、员工薪酬均比3 3月

27、份少，销售额反而增加？这就可促月份少，销售额反而增加？这就可促使该公司的经理找出原因，寻找对策使该公司的经理找出原因，寻找对策.例例3.2.13.2.1加入加入 rcoplot(r,rint)rcoplot(r,rint)如何删除异常点，对模型进行改进？如何删除异常点，对模型进行改进？例例3.2.2 3.2.2 葛洲坝机组发电耗水率的主要影响因素为库水位葛洲坝机组发电耗水率的主要影响因素为库水位,出出库流量。数据如表库流量。数据如表3.83.8所示，利用多元线性回归分析方法建立所示，利用多元线性回归分析方法建立耗水率与出库流量、库水位的模型耗水率与出库流量、库水位的模型.表表3.8 3.8 某

28、天耗水率与出库流量、库水位的数据某天耗水率与出库流量、库水位的数据 时间时间年年-月月-天天-时时库库水位（米水位（米)出出库库流量流量(立方米立方米)机机组发电耗水率耗水率(立方立方米米/万千瓦万千瓦)2005-10-15:002005-10-15:0065.0865.08156071560760.4660.462005-10-15:022005-10-15:0265.1065.10155651556560.2860.282005-10-15:042005-10-15:0465.1265.12155401554060.1060.102005-10-15:062005-10-15:0665.1

29、765.17155071550759.7859.782005-10-15:082005-10-15:0865.2165.21154321543259.4459.442005-10-15:102005-10-15:1065.3765.37156191561959.2559.252005-10-15:122005-10-15:1265.3865.38155361553658.9158.912005-10-15:142005-10-15:1465.3965.39155141551458.7658.762005-10-15:162005-10-15:1665.4065.40155191551958.7

30、358.732005-10-15:182005-10-15:1865.4365.43155101551058.6358.632005-10-15:202005-10-15:2065.4765.47154891548958.4858.482005-10-15:222005-10-15:2265.5365.53154371543758.3158.312005-10-16:002005-10-16:0065.6265.62163551635557.9657.962005-10-16:022005-10-16:0265.5865.58147081470857.0657.062005-10-16:042

31、005-10-16:0465.7065.70143931439356.4356.432005-10-16:062005-10-16:0665.8465.84142961429655.8355.83（1 1）绘散点图）绘散点图%输入原始数据输入原始数据A=65.08 15607 60.4665.10 15565 60.2865.12 15540 60.1065.17 15507 59.7865.21 15432 59.4465.37 15619 59.2565.38 15536 58.9165.39 15514 58.7665.40 15519 58.7365.43 15510 58.6365.

32、47 15489 58.4865.53 15437 58.3165.62 16355 57.9665.58 14708 57.0665.70 14393 56.4365.84 14296 55.83;subplot(1,2,1),plot(A(:,1),A(:,3),+)subplot(1,2,1),plot(A(:,1),A(:,3),+)%做做1*21*2图矩阵，第图矩阵，第1 1张图为水位、耗水率散点图张图为水位、耗水率散点图xlabel(x1(xlabel(x1(库水位库水位)ylabel(y(ylabel(y(耗水率耗水率)subplot(1,2,2),plot(A(:,2),A(:

33、,3),o)subplot(1,2,2),plot(A(:,2),A(:,3),o)xlabel(x2(xlabel(x2(出库流量出库流量)ylabel(y(ylabel(y(耗水率耗水率)图图3.20 3.20 库水位、出库流量与耗水率的散点图库水位、出库流量与耗水率的散点图图图3.203.20可看可看出出库水位库水位X1X1、出库流量出库流量X2X2都与机组发电耗水都与机组发电耗水率率Y Y有线性关系，可建立有线性关系，可建立Y Y与与X1X1和和X2X2二元线性回归模型二元线性回归模型m,n=size(A);m,n=size(A);y=A(:,3);y=A(:,3);x=A(:,1:2

34、);x=A(:,1:2);b,bint,r,rint,stats=b,bint,r,rint,stats=regressregress(y,ones(m,1),x);(y,ones(m,1),x);%调用调用regressregress回归命令，回归命令，注意注意X X第一列均是第一列均是1 1b,bint,statsb,bint,stats输出回归模型的系数、输出回归模型的系数、系数置信区间与统计量如表系数置信区间与统计量如表3.93.9所示所示（2 2）建立模型）建立模型 表表3.9回归模型的系数、回归模型的系数、系数置信区间与统计量系数置信区间与统计量回归系数回归系数 回归系数估计值回归

35、系数估计值 回归系数置信区间回归系数置信区间 0 0373.8698373.8698340.082,407.6577340.082,407.6577 1 1 -4.9759-4.9759-5.4642,-4.4875-5.4642,-4.4875 2 2 0.0007 0.0007 0.0004,0.00090.0004,0.0009 R R2 2=0.98630.9863，F=F=468.4118468.4118，p0.0001p0.0001，s s2 2=0.0278=ESS/(n-p-1)=MSE=0.0278=ESS/(n-p-1)=MSE可得模型可得模型%删除异常点程序并建模删除异常

36、点程序并建模b1,bint1,r1,rint1,stats1=regress(y(1:12);y(14:m),b1,bint1,r1,rint1,stats1=regress(y(1:12);y(14:m),ones(m-1,1),x(1:12,:);x(14:m,:)%ones(m-1,1),x(1:12,:);x(14:m,:)%剔出第剔出第1313个样本个样本rcoplot(r1,rint1);rcoplot(r1,rint1);图图3.21 残差示意图残差示意图结果：结果：删除异常点后，残差图删除异常点后，残差图3.223.22，没有异常点，改进回归模，没有异常点，改进回归模型的系数、

37、型的系数、系数置信区间与统计量参见表系数置信区间与统计量参见表3.10.3.10.（3 3）模型改进）模型改进rcoplot(r,rint);rcoplot(r,rint);%画残差图画残差图得到图得到图3.213.21，发现有一个，发现有一个异常点异常点,13,13个样本个样本表表3.10 改进改进回归模型的系数、回归模型的系数、系数置信区间与统计量系数置信区间与统计量回归系数回归系数回归系数估计值回归系数估计值回归系数置信区间回归系数置信区间 0 0328.4616328.4616290.6145,366.3087290.6145,366.3087 1 1-4.3594-4.3594-4.

38、8880,-3.8308-4.8880,-3.8308 2 20.00100.0010 0.00073,0.00120.00073,0.0012 R R2 2=0.99310.9931，F=F=858.5846858.5846，p0.0001p F F,或或F F0 0的的p p值为值为p=00.05p=00.05，拒绝，拒绝H H0 0，接受备择假设，接受备择假设H H1 1，说明总体回归系数，说明总体回归系数 i i不全为零，表明模型线不全为零，表明模型线性关系在性关系在95%95%的置信水平下显著成立的置信水平下显著成立.F F检验：检验：程序的输出结果列在表程序的输出结果列在表3.12

39、,3.13中中表表3.13 参数估计表参数估计表变量变量值值标准差标准差t t值值p p值值常数项常数项345.25345.25150.322150.3222.2972.2970.0380.038省人均省人均GDPGDP0.1670.1670.0440.0443.8123.8120.0020.002第二产业增加值第二产业增加值0.1960.1960.0820.0822.392.390.0310.031服务业就业人数服务业就业人数-0.701-0.7010.2160.216-3.242-3.2420.0060.006服务业资本形成总额服务业资本形成总额-0.654-0.6540.2950.295

40、-2.215-2.2150.0440.044t t检验：检验：给给=0.05=0.05，表表3.13 3.13 最后一列概率均小于最后一列概率均小于0.050.05，拒绝，拒绝H H0 0，接受备择假设接受备择假设H1,H1,即回归系数即回归系数 i i(i=0,1,2,3,4)(i=0,1,2,3,4)显著不为零显著不为零 该方程的拟合优度判定系数该方程的拟合优度判定系数调整后的拟合优度判定系数调整后的拟合优度判定系数说明该多元线性回归方程的拟合程度比较理想说明该多元线性回归方程的拟合程度比较理想.课堂总结课堂总结ThemeGallery is a Design Digital Content&Contents mall developed by Guild Design Inc.回归分析总结作业作业习题习题3 3基本要求基本要求掌握多元线性回归模型及掌握多元线性回归模型及MatlabMatlab命令命令