数据分析处理幻灯片.ppt

《数据分析处理幻灯片.ppt》由会员分享，可在线阅读，更多相关《数据分析处理幻灯片.ppt（56页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据分析处理第1页，共56页，编辑于2022年，星期六二、多元数据处理方法1 1、二维插值、二维插值2 2、多元回归分析、多元回归分析第2页，共56页，编辑于2022年，星期六二维插值的定义二维插值的定义 xyO O第一种（网格节点）：第一种（网格节点）：第3页，共56页，编辑于2022年，星期六 已知已知 m n个节点个节点 其中其中互不相同，不妨设互不相同，不妨设 构造一个二元函数构造一个二元函数通过全部已知节点通过全部已知节点,即即再用再用计算插值，即计算插值，即第4页，共56页，编辑于2022年，星期六第二种（散乱节点）：第二种（散乱节点）：yx0 0第5页，共56页，编辑于2022年

2、，星期六已知已知n个节点个节点其中其中互不相同，互不相同，构造一个二元函数构造一个二元函数通过全部已知节点通过全部已知节点,即即再用再用计算插值，即计算插值，即第6页，共56页，编辑于2022年，星期六 注意：注意：最邻近插值一般不连续。具有连续性的最简单的插值是分片线性插值。最邻近插值最邻近插值x y(x1,y1)(x1,y2)(x2,y1)(x2,y2)O O 二维或高维情形的最邻近插值，与被插值点最邻近的节点的函数值即为所求。第7页，共56页，编辑于2022年，星期六 将四个插值点（矩形的四个顶点）处的函数值依次简记为：分片线性插值分片线性插值xy (xi,yj)(xi,yj+1)(xi

3、+1,yj)(xi+1,yj+1)O Of(xi,yj)=f1，f(xi+1,yj)=f2，f(xi+1,yj+1)=f3，f(xi,yj+1)=f4第8页，共56页，编辑于2022年，星期六插值函数为：第二片(上三角形区域)：(x,y)满足插值函数为：注意注意：(x,y)当然应该是在插值节点所形成的矩形区域内。显然，分片线性插值函数是连续的；分两片的函数表达式如下：第一片(下三角形区域)：(x,y)满足第9页，共56页，编辑于2022年，星期六 双线性插值是一片一片的空间二次曲面构成。双线性插值函数的形式如下：其中有四个待定系数，利用该函数在矩形的四个顶点（插值节点）的函数值，得到四个代数方

4、程，正好确定四个系数。双线性插值双线性插值x y(x1,y1)(x1,y2)(x2,y1)(x2,y2)O O第10页，共56页，编辑于2022年，星期六 要求要求x0,y0 x0,y0单调；单调；x x，y y可取为矩阵，或可取为矩阵，或x x取行向量，取行向量，y y取为列取为列向量，向量，x,yx,y的值分别不能超出的值分别不能超出x0,y0 x0,y0的范围。的范围。z=interp2(x0,y0,z0,x,y,method)被插值点插值方法用用MATLAB作网格节点数据的插值作网格节点数据的插值插值节点被插值点的函数值nearestnearest 最邻近插值最邻近插值linearli

5、near 双线性插值双线性插值cubiccubic 双三次插值双三次插值缺省时缺省时,双线性插值双线性插值第11页，共56页，编辑于2022年，星期六例：测得平板表面例：测得平板表面3*53*5网格点处的温度分别为：网格点处的温度分别为：82 81 80 82 84 82 81 80 82 84 79 63 61 65 81 79 63 61 65 81 84 84 82 85 86 84 84 82 85 86 试作出平板表面的温度分布曲面试作出平板表面的温度分布曲面z=f(x,y)z=f(x,y)的图形。的图形。输入以下命令：x=1:5;y=1:3;temps=82 81 80 82 84

6、;79 63 61 65 81;84 84 82 85 86;mesh(x,y,temps)1.先在三维坐标画出原始数据，画出粗糙的温度分布曲图.第12页，共56页，编辑于2022年，星期六2以平滑数据,在x、y方向上每隔0.2个单位的地方进行插值.再输入以下命令:xi=1:0.2:5;yi=1:0.2:3;zi=interp2(x,y,temps,xi,yi,cubic);mesh(xi,yi,zi)%画出插值后的温度分布曲面图.第13页，共56页，编辑于2022年，星期六 通过此例对最近邻点插值、双线性插值方法和双三次插值方法的插值效果进行比较。第14页，共56页，编辑于2022年，星期六

7、 插值函数插值函数griddata格式为格式为:cz=griddata（x，y，z，cx，cy，method）用用MATLABMATLAB作散点数据的插值计算作散点数据的插值计算 要求要求cxcx取行向量，取行向量，cycy取为列向量。取为列向量。被插值点插值方法插值节点被插值点的函数值nearestnearest 最邻近插值最邻近插值linearlinear 双线性插值双线性插值cubiccubic 双三次插值双三次插值v4-Matlab提供的插值方法提供的插值方法缺省时缺省时,双线性插值双线性插值第15页，共56页，编辑于2022年，星期六 例例 在某海域测得一些点在某海域测得一些点(x,

8、y)(x,y)处的水深处的水深z z由下表给由下表给出，船的吃水深度为出，船的吃水深度为5 5英尺，在矩形区域（英尺，在矩形区域（7575，200200）*（-50-50，150150）里的哪些地方船要避免进入。）里的哪些地方船要避免进入。第16页，共56页，编辑于2022年，星期六4.作出水深小于5的海域范围,即z=5的等高线.3、作海底曲面图第17页，共56页，编辑于2022年，星期六clearx=129 140 103.5 88 185.5 195 105 157.5 107.5 77 81 162 162 117.5;y=7.5 141.5 23 147 22.5 137.5 85.5

9、-6.5-81 3 56.5 -66.5 84 -33.5;z=4 8 6 8 6 8 8 9 9 8 8 9 4 9 ;cx=min(x):10:max(x);cy=min(y):10:max(y);cz=griddata（x，y，z，cx，cy，cubic)%cy取列向量取列向量mesh(cx,cy,cz)第18页，共56页，编辑于2022年，星期六第19页，共56页，编辑于2022年，星期六可线性化的一元非线性回归曲线回归可线性化的一元非线性回归曲线回归例例2 出钢时所用的盛钢水的钢包，由于钢水对耐火材料的侵蚀，容积不断增大.我们希望知道使用次数与增大的容积之间的关 系.对一钢包作试验，

10、测得的数据列于下表：第20页，共56页，编辑于2022年，星期六散点图此即非线性回归非线性回归或曲线回归曲线回归问题（需要配曲线）配曲线的一般方法是：配曲线的一般方法是：第21页，共56页，编辑于2022年，星期六通常选择的六类曲线如下：第22页，共56页，编辑于2022年，星期六多元线性回归多元线性回归数学模型及定义数学模型及定义第23页，共56页，编辑于2022年，星期六第24页，共56页，编辑于2022年，星期六第25页，共56页，编辑于2022年，星期六第26页，共56页，编辑于2022年，星期六模型参数估计模型参数估计 第27页，共56页，编辑于2022年，星期六解得估计值第28页，

11、共56页，编辑于2022年，星期六第29页，共56页，编辑于2022年，星期六多元线性回归中的检验与预测多元线性回归中的检验与预测第30页，共56页，编辑于2022年，星期六(残差平方和）残差平方和）F检验法检验法第31页，共56页，编辑于2022年，星期六多元线性回归多元线性回归 b=regress(Y,X)1)确定回归系数的点估计值：确定回归系数的点估计值：MATLAB多元回归命令多元回归命令对一元线性回归，取p=1即可.第32页，共56页，编辑于2022年，星期六3、画出残差及其置信区间：画出残差及其置信区间：rcoplot（r，rint）2)求回归系数的点估计和区间估计、并检验回归模型

12、：求回归系数的点估计和区间估计、并检验回归模型：b,bint,r,rint,stats=regress(Y,X,alpha)回归系数的区间估计残差用于检验回归模型的统计量，有三个数值：相关系数r2、F值、与F对应的概率p置信区间 显著性水平（缺省时为0.05）第33页，共56页，编辑于2022年，星期六法一法一 直接作二次多项式回归：直接作二次多项式回归：t=1/30:1/30:14/30;s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48;p,S=polyfit(t,

13、s,2)得回归模型为：第34页，共56页，编辑于2022年，星期六法二法二化为多元线性回归：化为多元线性回归：t=1/30:1/30:14/30;s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48;T=ones(14,1),t,(t.2);b,bint,r,rint,stats=regress(s,T);b,stats得回归模型为：Y=polyconf(p,t,S)plot(t,s,k+,t,Y,r)预测及作图预测及作图第35页，共56页，编辑于2022年，星期六(2)

14、预测预测（A）点预测）点预测（B）区间预测）区间预测第36页，共56页，编辑于2022年，星期六逐步回归分析逐步回归分析 实际问题中影响因变量的因素可能很多，我们希望从中挑选出影响显著的自变量来建立回归模型，这就涉及到变量选择的问题。逐步回归是一种从众多变量中有效地选择重要变量的方法。它是在多元线性回归的基础上派生出来的一种算法技巧。“最最优优”的的回回归归方方程程就是包含所有对Y有影响的变量,而不包含对Y影响不显著的变量回归方程。如果采用的自变量越多，则回归平方和越大，残差平方和越小，然而较多的变量来拟合回归方程，得到的防策划能够稳定性差，用它作预测可靠性差，精度低另一方面，如果采用了y 影

15、响较小的变量而遗漏了重要变量，可导致估计量产生偏崎和不一致性为此，我们希望得到“最优”的回归方程第37页，共56页，编辑于2022年，星期六（4）“有进有出”的逐步回归分析。（1）从所有可能的因子（变量）组合的回归方程中选择最优者；（2）从包含全部变量的回归方程中逐次剔除不显著因子；（3）从一个变量开始，把变量逐个引入方程；选择“最优”的回归方程有以下几种方法：以第四种方法，即逐步回归分析法逐步回归分析法在筛选变量方面较为理想.第38页，共56页，编辑于2022年，星期六 这个过程反复进行，直至既无不显著的变量从回归方程中剔除，又无显著变量可引入回归方程时为止。逐步回归分析法逐步回归分析法的思

16、想：从一个自变量开始，视自变量Y作用的显著程度，从大到小地依次逐个引入回归方程。当引入的自变量由于后面变量的引入而变得不显著时，要将其剔除掉。引入一个自变量或从回归方程中剔除一个自变量，为逐步回归的一步。对于每一步都要进行Y值检验，以确保每次引入新的显著性变量前回归方程中只包含对Y作用显著的变量。第39页，共56页，编辑于2022年，星期六逐逐 步步 回回 归归matalb逐步回归的命令是：stepwise（x，y，inmodel，alpha）运行stepwise命令时产生三个图形窗口：Stepwise Plot，Stepwise Table，Stepwise History.在Stepwis

17、e Plot窗口，显示出各项的回归系数及其置信区间.Stepwise Table 窗口中列出了一个统计表，包括回归系数及其置信区间，以及模型的统计量剩余标准差（RMSE）、相关系数（R-square）、F值、与F对应的概率P.矩阵的列数的指标，给出初始模型中包括的子集（缺省时设定为全部自变量）显著性水平（缺省时为0.5）自变量数据,阶矩阵因变量数据，阶矩阵第40页，共56页，编辑于2022年，星期六例例6 水泥凝固时放出的热量y与水泥中4种化学成分x1、x2、x3、x4 有关，今测得一组数据如下，试用逐步回归法确定一个 线性模 型.1、数据输入：、数据输入：x1=7 1 11 11 7 11

18、3 1 2 21 1 11 10;x2=26 29 56 31 52 55 71 31 54 47 40 66 68;x3=6 15 8 8 6 9 17 22 18 4 23 9 8;x4=60 52 20 47 33 22 6 44 22 26 34 12 12;y=78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4;x=x1 x2 x3 x4;第41页，共56页，编辑于2022年，星期六2、逐步回归：、逐步回归：（1）先在初始模型中取全部自变量：）先在初始模型中取全部自变量：stepwise(x,y

19、)图图Stepwise Plot中四条直线都是红线线，中四条直线都是红线线，说明模型的显著性不好说明模型的显著性不好第42页，共56页，编辑于2022年，星期六（2）在图）在图Stepwise Plot中点击直线中点击直线3和直线和直线4，移去变量，移去变量x3和和x4移去变量移去变量x3和和x4后模型具有显著性后模型具有显著性.虽然剩余标准差（虽然剩余标准差（RMSE）没有太大的变化，）没有太大的变化，但是统计量但是统计量F的值明显增大，因此新的回归模型更好的值明显增大，因此新的回归模型更好.第43页，共56页，编辑于2022年，星期六（3）对变量）对变量y和和x1、x2作线性回归：作线性回

20、归：X=ones(13,1)x1 x2;b=regress(y,X)得结果：b=52.5773 1.4683 0.6623故最终模型为：y=52.5773+1.4683x1+0.6623x2第44页，共56页，编辑于2022年，星期六1.6.3多元二项式回归多元二项式回归命令：rstool（x，y，model,alpha）nm矩阵显著性水平（缺省时为0.05）n维列向量第45页，共56页，编辑于2022年，星期六 命令rstool产生一个交互式画面，画面中有m个图形，这m个图形分别给出了一个独立变量xi（另m-1个变量取固定值）与y的拟合曲线，以及y的置信区间。可以通过键入不同的xi值来获得相

21、应的y值。第46页，共56页，编辑于2022年，星期六 例例3 设某商品的需求量与消费者的平均收入、商品价格的统计数 据如下，建立回归模型，预测平均收入为800、价格为6时 的商品需求量.解解 直接用多元二项式回归：x1=1000 600 1200 500 300 400 1300 1100 1300 300;x2=5 7 6 6 8 7 5 4 3 9;y=100 75 80 70 50 65 90 100 110 60;x=x1 x2;rstool(x,y,purequadratic)第47页，共56页，编辑于2022年，星期六 在画面左下方的下拉式菜单中选”all”,则beta（回归系数

22、）、rmse（剩余标准差）和residuals（残差）都传送到Matlab工作区中.在左边图形下方的方框中输入800，右边图形下方的方框中输入6。则画面左边的“Predicted Y”下方的数据变为86.3971，即预测出平均收入为800、价格为6时的商品需求量为86.3971.第48页，共56页，编辑于2022年，星期六在Matlab工作区中输入命令：beta,rmse第49页，共56页，编辑于2022年，星期六非线性回非线性回 归归（1）确定回归系数的命令：beta，r，J=nlinfit（x，y，model,beta0）（2）非线性回归命令：nlintool（x，y，model,beta

23、0，alpha）1.1回归：回归：残差Jacobian矩阵，用于估计预测误差需要的数据。回归系数的初值是事先用m-文件定义的非线性函数估计出的回归系数输入数据x、y分别为 矩阵和n维列向量，对一元非线性回归，x为n维列向量。其中个参数含义同前，alpha为显著性水平，缺省时为0.05。该命令产生一个交互式的画面，画面中有拟合曲线和y的置信区间。通过左下方的Export菜单，可以输出回归系数等。第50页，共56页，编辑于2022年，星期六预测和预测误差估计：预测和预测误差估计：该命令用于求nlinfit 或nlintool所得的回归函数在x处的预测值Y及预测值的显著性为1-alpha的置信区间Y

24、 DELTA.Y，DELTA=nlpredci（model,x，beta，r，J）第51页，共56页，编辑于2022年，星期六例例 4 对第一节例2，求解如下：clear yhat=inline(beta(1)*exp(beta(2)./x),beta,x)x=2:16;y=6.42 8.20 9.58 9.5 9.7 10 9.93 9.99 10.49 10.59 10.60 10.80 10.60 10.90 10.76;beta0=8 2;beta,r,J=nlinfit(x,y,yhat,beta0)3、求回归系数：beta,r,J=nlinfit(x,y,volum,beta0)；

25、beta得结果：beta=11.6036 -1.0641即得回归模型为：1、对将要拟合的非线性模型y=a*exp(b/x)第52页，共56页，编辑于2022年，星期六4、预测及作图：YY,delta=nlpredci(volum,x,beta,r,J)；plot(x,y,k+,x,YY,r)第53页，共56页，编辑于2022年，星期六练习练习1、经研究发现，家庭书刊消费受家庭收入几户主受教育年数的影响，表中为对某地区部分家庭抽样调查得到样本数据：家庭书刊年消费支出（元）Y家庭月平均收入（元）X户主受教育年数（年）T家庭书刊年消费支出（元）Y家庭月平均收入（元）X户主受教育年数/（年）T4501

26、027.28793.21998.614507.71045.29660.8219610613.91225.812792.72105.412563.41312.29580.82147.48501.51316.47612.7215410781.51442.415890.82231.414541.81641911212611.818611.11768.8101094.23143.4161222.11981.21812533624.620(1)建立家庭书刊消费的计量经济模型；（2）利用样本数据估计模型的参数；（3）检验户主受教育年数对家庭书刊消费是否有显著影响；（4）分析所估计模型的经济意义和作用第54

27、页，共56页，编辑于2022年，星期六2、下表给出的是19601982年间7个OECD国家的能源需求指数（Y）、实际GDP指数（X1）、能源价格指数（X2）的数据，所有指数均以1970年为基准（1970=100）年份能源需求指数Y实际GDP指数X1能源价格指数X2年份能源需求指数Y实际GDP指数X1能源价格指数X219601961196219631964196519661967196819691970197154.155.458.561.763.666.870.373.578.383.388.991.854.156.459.462.165.969.573.275.779.983.886.289

28、.8111.9112.4111.1110.2109.0108.3105.3105.4104.3101.797.7100.31972197319741975197619771978197919801981198297.2100.097.393.599.1100.9103.9106.9101.298.195.694.3100.0101.4100.5105.3109.9114.4118.3119.6121.1120.698.6100.0120.1131.0129.6137.7133.7144.5179.0189.4190.9(1)建立能源需求与收入和价格之间的对数需求函数，解释各回归系数的意义，用P值检验所估计回归系数是否显著。(2)再建立能源需求与收入和价格之间的线性回归模型，解释各回归系数的意义，用P值检验所估计回归系数是否显著。(3)比较所建立的两个模型，如果两个模型结论不同，你将选择哪个模型，为什么？第55页，共56页，编辑于2022年，星期六第56页，共56页，编辑于2022年，星期六