多元回归及复相关分析.ppt
2022/10/261第十一章第十一章 多元回归及复相关分析多元回归及复相关分析2022/10/262一元线性回归一元线性回归多元线性回归多元线性回归回归分析回归分析数数学学模模型型及及定定义义*模模型型参参数数估估计计*检检验验、预预测测与与控控制制可可线线性性化化的的一一元元非非线线性性回回归归（曲曲线线回回归归）数数学学模模型型及及定定义义*模模型型参参数数估估计计*多多元元线线性性回回归归中中的的检检验验与与预预测测逐逐步步回回归归分分析析2022/10/263、多元线性回归方程、多元线性回归方程2022/10/264一、多元线性回归模型一、多元线性回归模型2022/10/265二、模型参数估计二、模型参数估计解得估计值2022/10/2662022/10/267三、多元线性回归中的检验与预测三、多元线性回归中的检验与预测（）F检验法检验法(残差平方和）残差平方和）2022/10/268三、多元线性回归中的检验与预测三、多元线性回归中的检验与预测（）r检验法检验法2022/10/2692、预测、预测（1）点预测）点预测（2）区间预测）区间预测2022/10/2610四、逐步回归分析四、逐步回归分析（4）“有进有出”的逐步回归分析。（1）从所有可能的因子（变量）组合的回归方程中选择最优者；（2）从包含全部变量的回归方程中逐次剔除不显著因子；（3）从一个变量开始，把变量逐个引入方程；选择“最优”的回归方程有以下几种方法：“最最优优”的的回回归归方方程程就是包含所有对Y有影响的变量,而不包含对Y影响不显著的变量回归方程。以第四种方法，即逐步回归分析法逐步回归分析法在筛选变量方面较为理想.2022/10/2611 这个过程反复进行，直至既无不显著的变量从回归方程中剔除，又无显著变量可引入回归方程时为止。逐步回归分析法逐步回归分析法的思想：从一个自变量开始，视因变量Y作用的显著程度，从大到小地依次逐个引入回归方程。当引入的自变量由于后面变量的引入而变得不显著时，要将其剔除掉。引入一个自变量或从回归方程中剔除一个自变量，为逐步回归的一步。对于每一步都要进行Y值检验，以确保每次引入新的显著性变量前回归方程中只包含对Y作用显著的变量。2022/10/2612统计工具箱中的回归分析命令统计工具箱中的回归分析命令1、多元线性回归、多元线性回归2、多项式回归、多项式回归3、非线性回归、非线性回归4、逐步回归、逐步回归2022/10/2613多元线性回归多元线性回归 b=regress(Y,X)1、确定回归系数的点估计值：确定回归系数的点估计值：2022/10/26143、画出残差及其置信区间：画出残差及其置信区间：rcoplot（r，rint）2、求回归系数的点估计和区间估计、并检验回归模型：求回归系数的点估计和区间估计、并检验回归模型：b,bint,r,rint,stats=regress(Y,X,alpha)回归系数的区间估计残差用于检验回归模型的统计量，有三个数值：相关系数r2、F值、与F对应的概率p置信区间 显著性水平（缺省时为0.05）2022/10/2615例例1 解：解：1、输入数据：输入数据：x=143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164;X=ones(16,1)x;Y=88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102;2、回归分析及检验：回归分析及检验：b,bint,r,rint,stats=regress(Y,X)b,bint,statsTo MATLAB(liti11)题目2022/10/26163、残差分析，作残差图：、残差分析，作残差图：rcoplot(r,rint)从残差图可以看出，除第二个数据外，其余数据的残差离零点均较近，且残差的置信区间均包含零点，这说明回归模型 能较好的符合原始数据，而第二个数据可视为异常点.4、预测及作图：、预测及作图：z=b(1)+b(2)*x plot(x,Y,k+,x,z,r)返回返回To MATLAB(liti12)2022/10/2617多多项项式式回回归归（一）一元多项式回归（一）一元多项式回归（1）确定多项式系数的命令：p，S=polyfit（x，y，m）（2）一元多项式回归命令：polytool（x，y，m）1、回归：、回归：y=a1xm+a2xm-1+amx+am+12、预测和预测误差估计：、预测和预测误差估计：（1）Y=polyval（p，x）求polyfit所得的回归多项式在x处 的预 测值Y；（2）Y，DELTA=polyconf（p，x，S，alpha）求polyfit所得 的回归多项式在x处的预测值Y及预测值的显著性为1-alpha的置信区间Y DELTA；alpha缺省时为0.5.2022/10/2618法一法一 直接作二次多项式回归：直接作二次多项式回归：t=1/30:1/30:14/30;s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48;p,S=polyfit(t,s,2)To MATLAB（liti21）得回归模型为：2022/10/2619法二法二化为多元线性回归：化为多元线性回归：t=1/30:1/30:14/30;s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48;T=ones(14,1)t(t.2);b,bint,r,rint,stats=regress(s,T);b,statsTo MATLAB(liti22)得回归模型为：Y=polyconf(p,t,S)plot(t,s,k+,t,Y,r)预测及作图预测及作图To MATLAB(liti23)2022/10/2620（二）多元二项式回归（二）多元二项式回归命令：rstool（x，y，model,alpha）nm矩阵显著性水平（缺省时为0.05）n维列向量2022/10/2621例例3 设某商品的需求量与消费者的平均收入、商品价格的统计数 据如下，建立回归模型，预测平均收入为1000、价格为6时 的商品需求量.法一法一 直接用多元二项式回归：x1=1000 600 1200 500 300 400 1300 1100 1300 300;x2=5 7 6 6 8 7 5 4 3 9;y=100 75 80 70 50 65 90 100 110 60;x=x1 x2;rstool(x,y,purequadratic)2022/10/2622 在画面左下方的下拉式菜单中选”all”,则beta、rmse和residuals都传送到Matlab工作区中.在左边图形下方的方框中输入1000，右边图形下方的方框中输入6。则画面左边的“Predicted Y”下方的数据变为，即预测出平均收入为1000、价格为6时的商品需求量为88.4791.2022/10/2623在Matlab工作区中输入命令：beta,rmseTo MATLAB(liti31)2022/10/2624结果为:b=stats=法二法二To MATLAB(liti32)返回返回将 化为多元线性回归：2022/10/2625非线性回非线性回归归（1）确定回归系数的命令：beta，r，J=nlinfit（x，y，model,beta0）（2）非线性回归命令：nlintool（x，y，model,beta0，alpha）1、回归：、回归：残差Jacobian矩阵回归系数的初值是事先用m-文件定义的非线性函数估计出的回归系数输入数据x、y分别为 矩阵和n维列向量，对一元非线性回归，x为n维列向量。2、预测和预测误差估计：、预测和预测误差估计：Y，DELTA=nlpredci（model,x，beta，r，J）求nlinfit 或nlintool所得的回归函数在x处的预测值Y及预测值的显著性为1-alpha的置信区间Y DELTA.2022/10/2626例例4 对第一节例2，求解如下：2、输入数据：x=2:16;y=6.42 8.20 9.58 9.5 9.7 10 9.93 9.99 10.49 10.59 10.60 10.80 10.60 10.90 10.76;beta0=8 2;3、求回归系数：beta,r,J=nlinfit(x,y,volum,beta0)；beta得结果：beta=即得回归模型为：To MATLAB(liti41)题目2022/10/26274、预测及作图：YY,delta=nlpredci(volum,x,beta,r,J)；plot(x,y,k+,x,YY,r)To MATLAB(liti42)2022/10/2628例例5财政收入预测问题：财政收入与国民收入、工业总产值、农业总产值、总人口、就业人口、固定资产投资等因素有关。下表列出了1952-1981年的原始数据，试构造预测模型。解解 设国民收入、工业总产值、农业总产值、总人口、就业人口、固定资产投资分别为x1、x2、x3、x4、x5、x6，财政收入为y，设变量之间的关系为：y=ax1+bx2+cx3+dx4+ex5+fx6使用非线性回归方法求解。2022/10/26291对回归模型建立对回归模型建立M文件如下文件如下:function yy=model(beta0,X)a=beta0(1);b=beta0(2);c=beta0(3);d=beta0(4);e=beta0(5);f=beta0(6);x1=X(:,1);x2=X(:,2);x3=X(:,3);x4=X(:,4);x5=X(:,5);x6=X(:,6);yy=a*x1+b*x2+c*x3+d*x4+e*x5+f*x6;2022/10/26302.主程序如下主程序如下:.2927.00 6862.00 1273.00 100072.0 43280.00 496.00;y=184.00 216.00 248.00 254.00 268.00 286.00 357.00 444.00 506.00.271.00 230.00 266.00 323.00 393.00 466.00 352.00 303.00 447.00.564.00 638.00 658.00 691.00 655.00 692.00 657.00 723.00 922.00.890.00 826.00 810.0;beta0=0.50-0.03-0.60 0.01-0.02 0.35;betafit=nlinfit(X,y,model,beta0)To MATLAB(liti6）2022/10/2631 betafit=即123456结果为结果为:返返回回2022/10/2632逐逐步步回回归归逐步回归的命令是：stepwise（x，y，inmodel，alpha）运行stepwise命令时产生三个图形窗口：Stepwise Plot，Stepwise Table，Stepwise History.在Stepwise Plot窗口，显示出各项的回归系数及其置信区间.Stepwise Table 窗口中列出了一个统计表，包括回归系数及其置信区间，以及模型的统计量剩余标准差（RMSE）、相关系数（R-square）、F值、与F对应的概率P.矩阵的列数的指标，给出初始模型中包括的子集（缺省时设定为全部自变量）显著性水平（缺省时为0.5）自变量数据,阶矩阵因变量数据，阶矩阵2022/10/2633例例6 水泥凝固时放出的热量y与水泥中4种化学成分x1、x2、x3、x4 有关，今测得一组数据如下，试用逐步回归法确定一个 线性模 型.1、数据输入：、数据输入：x1=7 1 11 11 7 11 3 1 2 21 1 11 10;x2=26 29 56 31 52 55 71 31 54 47 40 66 68;x3=6 15 8 8 6 9 17 22 18 4 23 9 8;x4=60 52 20 47 33 22 6 44 22 26 34 12 12;y=78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4;x=x1 x2 x3 x4;2022/10/26342、逐步回归：、逐步回归：（1）先在初始模型中取全部自变量：）先在初始模型中取全部自变量：stepwise(x,y)得图Stepwise Plot 和表Stepwise Table图图StepwisePlot中四条直线都是虚中四条直线都是虚线，说明模型的显著性不好线，说明模型的显著性不好从表从表StepwiseTable中看出变中看出变量量x3和和x4的显著性最差的显著性最差.2022/10/2635（2）在图）在图StepwisePlot中点击直线中点击直线3和直线和直线4，移去变量，移去变量x3和和x4移去变量移去变量x3和和x4后模型具有显著性后模型具有显著性.虽然剩余标准差（虽然剩余标准差（RMSE）没）没有太大的变化，但是统计量有太大的变化，但是统计量F的的值明显增大，因此新的回归模型值明显增大，因此新的回归模型更好更好.To MATLAB(liti51）2022/10/2636（3）对变量）对变量y和和x1、x2作线性回归：作线性回归：X=ones(13,1)x1 x2;b=regress(y,X)得结果：b=故最终模型为：12To MATLAB(liti52）返回返回
