实验指导四回归分析.ppt

《实验指导四回归分析.ppt》由会员分享，可在线阅读，更多相关《实验指导四回归分析.ppt（56页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、回归分析回归分析2.1 线性回归模型线性回归模型 在医学上人的身高与体重、体温与脉搏次数、在医学上人的身高与体重、体温与脉搏次数、年龄与血压、药物剂量与疗效等均有一定的联系。年龄与血压、药物剂量与疗效等均有一定的联系。说明客观事物或现象相互关系的密切程度并用适说明客观事物或现象相互关系的密切程度并用适当的统计指标表示出来，这是当的统计指标表示出来，这是相关分析相关分析的任务。的任务。把客观事物或现象间的关系用把客观事物或现象间的关系用函数形式函数形式表示出表示出来，则是来，则是回归分析回归分析所要解决的问题。所要解决的问题。回归分析回归分析是确定一个连续变量与另一些连续是确定一个连续变量与另一

2、些连续变量间的关系，用于变量间的关系，用于解释和预测解释和预测。2变量变量Y与其他有关变量与其他有关变量X1,X2,Xk的关系不的关系不能确切的知道，变量能确切的知道，变量Y的值由两部分所构成：的值由两部分所构成：一部分由一部分由X1,X2,Xk确定，可以表示为确定，可以表示为X1,X2,Xk的某个函数关系式：的某个函数关系式：Y=f(X1,X2,Xk);另一部分是众多未加考虑的因素所产生的影响另一部分是众多未加考虑的因素所产生的影响,被看作是被看作是随机误差，记为随机误差，记为.从而有：从而有：Y=f(X1,X2,Xk)+3回归过程：回归过程：Step1.确定变量：确定变量：Y 与那些与那些

3、 x1,x2,.,xk 有关有关;Step2.选择形式：选择形式：Y 与与 x1,x2,.,xk 以什么形以什么形式式相联系相联系,即即 f 的表示式；的表示式；Step3.确定系数确定系数：利用：利用Y 与与 x1,x2,.,xk 的观的观测数据，并在误差项的某些假设下确定关系式测数据，并在误差项的某些假设下确定关系式f(X1,X2,Xk)中的中的系数系数;Step4.合理性分析：合理性分析：利用统计推断方法对所确定利用统计推断方法对所确定的函数的合理性以及由此关系所揭示的的函数的合理性以及由此关系所揭示的Y 与与 x1,x2,.,xk 的关系作分析；的关系作分析；Step5.应用于预测、控

4、制等问题。应用于预测、控制等问题。4n n2.回归分析的内容与目的回归分析的内容与目的 建立变量建立变量Y与与X1，X2，Xk的的经验公式经验公式(回回归方程，预测公式归方程，预测公式)，即从一组样本数据出发，即从一组样本数据出发，确定出变量之间近似的数学关系式；确定出变量之间近似的数学关系式；对经验公式的对经验公式的可信度可信度进行检验；进行检验；判断每个自变量判断每个自变量Xi（i=1，2，k）对）对Y的的影响是否影响是否显著显著；对经验公式进行对经验公式进行回归诊断回归诊断（诊断经验公式是否（诊断经验公式是否适合这组数据）；适合这组数据）；利用合适的经验公式，根据自变量的取值对因利用合适

5、的经验公式，根据自变量的取值对因变量的取值进行预测。变量的取值进行预测。5n n线性回归模型线性回归模型(Line Regression model)当当f为线性函数时，回归模型：为线性函数时，回归模型：Y=0+1X1+2X2+kXk+称为线性回归模型，其中称为线性回归模型，其中 0，1，k是未是未知的参数，称为知的参数，称为回归参数回归参数(系数系数)；Y是响应变是响应变量量(因变量因变量)，X1,X2,Xk是是回归变量回归变量(自变量自变量)，是不可观测的随机变量，称为是不可观测的随机变量，称为随机误差项随机误差项，假，假定定E()=0。6Proc REG 过程过程是用最小二乘法原理求解线

6、性回是用最小二乘法原理求解线性回归方程的过程归方程的过程,只要把要分析的多个自变量名放只要把要分析的多个自变量名放在在MODELMODEL语句中应变量后即可。语句中应变量后即可。PROC REG DATA=PROC REG DATA=选项选项选项选项 ;MODEL MODEL 应变量名应变量名应变量名应变量名=自变量名列自变量名列自变量名列自变量名列/选项选项选项选项;VAR VAR 变量名列变量名列变量名列变量名列;FREQ FREQ 变量名变量名变量名变量名;WEIGHT WEIGHT 变量名变量名变量名变量名;BY BY 变量名列变量名列变量名列变量名列;OUTPUT OUT=OUTPU

7、T .;.;PLOT PLOT /./选选选选项项项项;7MODELMODEL语句语句语句语句，必需语句，定义回归分析模型，必需语句，定义回归分析模型，必需语句，定义回归分析模型，必需语句，定义回归分析模型 VARVAR语句语句语句语句为可选的，指定用于计算交叉积的变量为可选的，指定用于计算交叉积的变量为可选的，指定用于计算交叉积的变量为可选的，指定用于计算交叉积的变量 PLOTPLOT语句语句语句语句为可选的，用于绘制变量间的散点为可选的，用于绘制变量间的散点为可选的，用于绘制变量间的散点为可选的，用于绘制变量间的散点 图，还可添加回归线。图，还可添加回归线。图，还可添加回归线。图，还可添加

8、回归线。语法说明语法说明8【过程选项过程选项】OUTEST=数据集名数据集名 指定统计量和参数估指定统计量和参数估计输出的新数据集名。计输出的新数据集名。NOPRINT 禁止统计结果在禁止统计结果在OUTPUT视窗视窗中输出。中输出。SIMPLE 输出输出REG过程中所用的每个变量过程中所用的每个变量的基本统计量。的基本统计量。CORR 输出输出MODEL语句或语句或VAR语句中所列语句中所列变量的相关矩阵。变量的相关矩阵。ALL 等价于等价于MODEL语句加上全部选项，语句加上全部选项，即输出该语句所有选项分析结果。即输出该语句所有选项分析结果。9【MODEL语句语句】n nMODELMOD

9、EL语句定义模型中的因变量、自变量、语句定义模型中的因变量、自变量、模型选项及结果输出选项。模型选项及结果输出选项。n n语句中的变量只能是数据集中的变量，任语句中的变量只能是数据集中的变量，任何形式的变换都必须先产生一个新变量，何形式的变换都必须先产生一个新变量，然后用于分析。如然后用于分析。如X X1 1的二次项，不能在模的二次项，不能在模型中直接指定型中直接指定X X1 1*X X1 1，而要产生另一个新变，而要产生另一个新变量代表量代表X X1 1*X X1 1，方可引入模型。，方可引入模型。10【MODEL语句中常用的选项有：语句中常用的选项有：】n nNOINT 在模型中不拟合常数

10、项。在模型中不拟合常数项。n nSTB 输出标准化回归系数。输出标准化回归系数。n nCLI 输出个体预测值输出个体预测值 的的95%可信区间上下限。可信区间上下限。n nCLM 输出因变量期望值输出因变量期望值(均值均值)的的95%可信区可信区间上下限。间上下限。n nR 输出个体预测值、残差及其标准误。输出个体预测值、残差及其标准误。n nP 输出实际值输出实际值Yi、预测值、预测值 和残差等。如已选和残差等。如已选择了择了CLI、CLM和和R，则无需选择，则无需选择P。11【关键字关键字】n n关关键键字字用用来来定定义义需需要要输输出出到到新新数数据据集集中中的的统统计计量，常用的关键

11、字及其含义有：量，常用的关键字及其含义有：n nPREDICTED因变量预测值因变量预测值(简写为简写为P)n nRESIDUAL残差残差(简写为简写为R)n nL95M、U95M均数均数95%可信区间上下限可信区间上下限n nL95、U95个体预测值个体预测值95%可信区间上下限可信区间上下限n nSTDP期望值的标准误期望值的标准误n nSTDR残差的标准误残差的标准误n nSTDI预测值的标准误预测值的标准误n nSTUDENT学学生生化化残残差差(即即残残差差与与标标准准误误之之比比)12例例3.欲了解某研究所科研人员的年工资欲了解某研究所科研人员的年工资Y与他的与他的论文质量论文质量

12、X1、工作年限、工作年限X2、获得资助指标、获得资助指标X3之之间的关系间的关系.24位科研人员的调查数据位科研人员的调查数据(部分部分)如下如下:设误差设误差 ,建立回归方程建立回归方程;13解：解：先作相关性分析：先作相关性分析：data exam2_3;input y x1-x3;cards;33.2 3.5 9 6.1 40.3 5.3 20 6.4 38.7 5.1 18 7.446.8 5.8 33 6.7 41.4 4.2 31 7.5 37.5 6.0 13 5.939.0 6.8 25 6.0 40.7 5.5 30 4.0 30.1 3.1 5 5.852.9 7.2 47

13、 8.3 38.2 4.5 25 5.0 31.8 4.9 11 6.443.3 8.0 23 7.6 44.1 6.5 35 7.0 42.8 6.6 39 5.033.6 3.7 21 4.4 34.2 6.2 7 5.5 48.0 7.0 40 7.038.0 4.0 35 6.0 35.9 4.5 23 3.5 40.4 5.9 33 4.936.8 5.6 27 4.3 45.2 4.8 34 8.0 35.1 3.9 15 5.0;解：解：先作相关性分析：先作相关性分析：Proc corr data=exam2_3 cov pearson spearman;var y x1-x3;

14、run;Pearson Correlation Coefficients,N=24 Prob|r|under H0:Rho=0 y x1 x2 x3 y 1.00000 0.66710 0.85856 0.55820 0.0004 .0001 0.0046 x1 0.66710 1.00000 0.46695 0.32276 0.0004 0.0214 0.1240 x2 0.85856 0.46695 1.00000 0.25375|r|under H0:Rho=0 y x1 x2 x3 y 1.00000 0.65145 0.82724 0.54344 0.0006 .0001 0.006

15、1x1 0.65145 1.00000 0.45223 0.29399 0.0006 0.0265 0.1632x2 0.82724 0.45223 1.00000 0.24864 F变异来源变异来源 自由度自由度 离均差离均差 均方均方 F值值 P值值 平方和平方和 Model 3 627.81700 209.27233 68.12|tIntercept 1 17.84693 2.00188 8.92 .0001 x1 1 1.10313 0.32957 3.35 0.0032 x2 1 0.32152 0.03711 8.66 .0001 x3 1 1.28894 0.29848 4.32

16、 0.0003 回归方程为回归方程为 Y=17.8469+1.10313X1+0.32152X2+1.28894X32.2 统计推断与预测统计推断与预测n n2.2.1 回归方程的显著性检验回归方程的显著性检验n n2.2.2 回归系数的统计推断回归系数的统计推断n n2.2.3 预测及其统计推断预测及其统计推断n n2.2.4 与回归系数有关的假设检验的一般方法与回归系数有关的假设检验的一般方法22意义意义意义意义:R R2 2越大越大越大越大Y Y与与与与1 1,p-1p-1的线性关系越显著的线性关系越显著的线性关系越显著的线性关系越显著.以衡量线性回归模型的拟合优度，以衡量线性回归模型的

17、拟合优度，R2描述了描述了自变量的线性函数值所能反映的总变化量的比例自变量的线性函数值所能反映的总变化量的比例定义定义:R是是Y与与 的的相关系数绝对值的估计值，称相关系数绝对值的估计值，称R为复相关系数为复相关系数23在在SAS软件的软件的proc reg过程中，线性关系的显过程中，线性关系的显著性检验以如下方差分析表的形式输出，同著性检验以如下方差分析表的形式输出，同时输出拟合优度统计量时输出拟合优度统计量R2的值等的值等 242.2.2 回归系数的统计推断回归系数的统计推断 前述为前述为整体性整体性检验检验,即拒绝原假设即拒绝原假设H0，则意味着，则意味着Y相关于相关于1,p-1的线性函

18、数这个整体，但不的线性函数这个整体，但不意味着每个自变量意味着每个自变量Xi对对Y产生显著影响，即某些产生显著影响，即某些自变量对自变量对Y的影响可能不显著，更有可能其系数的影响可能不显著，更有可能其系数为为“0”。n n对给出显著水平对给出显著水平,n n若若p0 ,则拒绝则拒绝H0,即即Y与与1,p-1线性线性关系显著关系显著;n n否则不能拒绝否则不能拒绝H0,即即Y与与1,p-1线性关线性关系不显著系不显著;因而建立的线性关系因而建立的线性关系没有实际意没有实际意义义！25在在在在SASSAS软件的软件的软件的软件的proc proc regreg过程中将参数估计值、标准差估过程中将参

19、数估计值、标准差估过程中将参数估计值、标准差估过程中将参数估计值、标准差估计估计以及计估计以及计估计以及计估计以及t tk k的观测值与相应的的观测值与相应的的观测值与相应的的观测值与相应的 k k k k=0=0=0=0的的的的p p p p值输出如下：值输出如下：值输出如下：值输出如下：n n对给出显著水平对给出显著水平,n n若若p0k F变异来源变异来源 自由度自由度 离均差离均差 均方均方 F值值 P值值 平方和平方和 Model 3 627.81700 209.27233 68.12|tIntercept 1 17.84693 2.00188 8.92 .0001 x1 1 1.1

20、0313 0.32957 3.35 0.0032 x2 1 0.32152 0.03711 8.66|tIntercept 1 17.84693 2.00188 8.92 .0001 x1 1 1.10313 0.32957 3.35 0.0032 x2 1 0.32152 0.03711 8.66 .0001 x3 1 1.28894 0.29848 4.32 0.0003 回归方程为回归方程为 Y=17.8469+1.10313X1+0.32152X2+1.28894X3Dep Var Predicted Std Error y Value Mean Predict 95%CL Predi

21、ct Residual33.2000 32.4641 0.7514 28.4861 36.4421 0.735940.3000 38.3731 0.4256 34.6107 42.1356 1.926938.7000 38.7984 0.6365 34.9086 42.6882 -0.098446.8000 43.4911 0.4653 39.7083 47.2740 3.308941.4000 42.1142 0.8107 38.0859 46.1426 -0.714237.5000 36.2502 0.6701 32.3359 40.1645 1.249839.0000 41.1199 0

22、.5936 37.2597 44.9800 -2.119940.7000 38.7155 0.7418 34.7453 42.6857 1.984530.1000 30.3501 0.8601 26.2774 34.4228 -0.2501.39.1837 0.5639 35.3429 43.0244 .关于关于(x01,x02,x03)=(5.1,20,7.2),y0的预测的预测值为值为39.1837，95%置信区间为置信区间为(35.3429,43.0244)34proc reg data=examp2_3;model y=x1-x3/i r clm cli;output out=d pr

23、edicted=yhat L95=low U95=up;quit;run;proc print;var yhat low up;run;表示输出预测值、表示输出预测值、95%的下、上置信区间到数的下、上置信区间到数据集据集d中中结果如下表结果如下表quit表示把所有数据输入数据集中之后退出程表示把所有数据输入数据集中之后退出程序序 Obs yhat low up 1 32.4641 28.4861 36.4421 2 38.3731 34.6107 42.1356 3 38.7984 34.9086 42.6882 4 43.4911 39.7083 47.2740 5 42.1142 38.

24、0859 46.1426 6 36.2502 32.3359 40.1645 7 41.1199 37.2597 44.9800 8 38.7155 34.7453 42.6857 9 30.3501 26.2774 34.4228 22 38.2479 34.3514 42.1445 23 44.3852 40.3390 48.4313 25 39.1837 35.3429 43.0244i项的输出项的输出Variable Intercept x1 x2 x3Intercept 1.30446 -0.10187 0.00044 -0.12158n x1 -0.10187 0.03536 -0

25、.00167 -0.00765n x2 0.00044 -0.00167 0.00045 -0.00044n x3 -0.12158 -0.00765 -0.00044 0.0290037nproc print data=d;nrun;用于输出用于输出xi(XTX)-1xin n fn0.18377 0.05896 0.13187 0.07048 0.21392n0.14617 0.11468 0.17913 0.24082 0.28811n0.08319 0.12794 0.32049 0.09758 0.18551n0.15118 0.26728 0.14647 0.19793 0.206

26、26n0.11751 0.13582 0.22472 0.11020 0.1035238 2.回归系数一般检验方法举例回归系数一般检验方法举例 约简模型为约简模型为Y=0+其最小二乘估计为其最小二乘估计为其自由度其自由度 fR=n-11)线性回归关系的显著性检验线性回归关系的显著性检验 对对 拟合值拟合值 由此得由此得39 对全模型对全模型,有有 SSE(F)=SSE,其自由度其自由度 fF=n-p2)检验某个回归系数是否为零检验某个回归系数是否为零约简模型约简模型,40 3)检验几个回归系数是否同时为零检验几个回归系数是否同时为零 约简模型为约简模型为故有故有 不失一般不失一般,可设可设41

27、 data aa;/*建立新数据集以建立新数据集以*/set exam2_3;z=x1+x3;/*合合并并x1与与x3*/z1=x1*x2;/*产生交叉项产生交叉项*/z2=x1*x3;z3=x2*x3;run;proc reg data=aa;/*建立建立y与与x1-x2的全模型的全模型*/model y=x1-x3;run;proc reg data=aa;/*建立建立y与与z,x2的回归模型的回归模型*/model y=z x2;run;proc reg data=aa;/*建立包含交叉项的回归模型建立包含交叉项的回归模型*/model y=x1-x3 z1-z3;run;4243n2.

28、3 残差分析残差分析n n前面对线性回归模型讨论的前面对线性回归模型讨论的主要假设主要假设:1.回归关系的回归关系的线性性线性性,2.各次观测中误差项的各次观测中误差项的独立同正态分布独立同正态分布.n n问题问题1:如何考察如何考察给定数据满足上述特点？给定数据满足上述特点？n n问题问题2:若不满足若不满足,如何调整如何调整使其符合或近似符合？使其符合或近似符合？n n误差是不可观测与未知的，但误差是不可观测与未知的，但其估计量是残差。其估计量是残差。n n方法方法:从从残差残差出发出发,分析误差项假定的合理性及线分析误差项假定的合理性及线性回归关系假定的可行性等特点性回归关系假定的可行性

29、等特点4344n n2.3.1 误差项的正态性检验误差项的正态性检验n n残差残差是误差的是误差的估计量，估计量，反映了误差的一定特点，反映了误差的一定特点，通过对残差的正态性检验分析误差项的通过对残差的正态性检验分析误差项的正态分正态分布假定的合理性布假定的合理性n nSAS中的中的proc reg过程可输出残差与学生化残差过程可输出残差与学生化残差(即残差除以它的标准差的估计值即残差除以它的标准差的估计值)，第一章中，第一章中介绍的正态性检验方法可用残差的检验介绍的正态性检验方法可用残差的检验.n n主要以学生化残差为基础，介绍常用方法：主要以学生化残差为基础，介绍常用方法：1.残差正态性

30、的频率检验残差正态性的频率检验 2.正态正态QQ图检验图检验 4445(2)残差正态性的频率检验残差正态性的频率检验基本思想基本思想:将学生化残差在一些范围内的频率与标准正将学生化残差在一些范围内的频率与标准正态分布在相应范围内的频率态分布在相应范围内的频率(理论频率理论频率)作比较，作比较，若二者差异较大，则认为残差不服从正态分布，若二者差异较大，则认为残差不服从正态分布，否则接受误差项独立同正态分布的假定否则接受误差项独立同正态分布的假定 一般取几个具有代表性的区间比较学生化残一般取几个具有代表性的区间比较学生化残差的频率与差的频率与N(0,1)分布的概率分布的概率4546若模型误差项独立

31、同正态分布，则当若模型误差项独立同正态分布，则当n较大时，较大时，学生化残差学生化残差ri(i=1,n)中应大约有中应大约有68%在在(-1,1)内内;大约有大约有87%在在(-1.5,1.5)内内;大约有大约有95%在在(-2,2)内内;若在某个区间上二者有较大差异，则有理由若在某个区间上二者有较大差异，则有理由怀疑误差项的假设怀疑误差项的假设设设 则则 (-1,1)(-1.5,1.5)(-2,2)P0.680.870.954647例例2.5 对例对例2.3,计算学生化残差并利用频率检验法计算学生化残差并利用频率检验法检验误差正态性假定的合理性检验误差正态性假定的合理性.解：解：data e

32、xam2_3;input y x1-x3;cards;数据略！数据略！proc reg data=exam2_3;model y=x1-x3;output out=a p=predict r=resid h=h student=student;run;data b;set a;drop x1-x3;run;proc print data=b;run;4748Obs y predict resid student h1 33.2 32.4641 0.73590 0.46472 0.183772 40.3 38.3731 1.92686 1.13325 0.058963 38.7 38.7984

33、-0.09841 -0.06026 0.131874 46.8 43.4911 3.30886 1.95807 0.070485 41.4 42.1142 -0.71425 -0.45961 0.213926 37.5 36.2502 1.24978 0.77166 0.146177 39.0 41.1199 -2.11985 -1.28539 0.114688 40.7 38.7155 1.98450 1.24966 0.179139 30.1 30.3501 -0.25009 -0.16376 0.2408210 52.9 51.5991 1.30090 0.87966 0.2881111

34、 38.2 37.2937 0.90629 0.54001 0.0831912 31.8 35.0382 -3.23821 -1.97838 0.127944849Obs y predict resid student h13 43.3 43.8629 -0.56288 -0.38958 0.3204914 44.1 45.2931 -1.19305 -0.71653 0.0975815 42.8 44.1116 -1.31156 -0.82914 0.1855116 33.6 34.3518 -0.75177 -0.46554 0.1511817 34.2 34.0262 0.17385 0

35、.11587 0.2672818 48.0 47.4522 0.54778 0.33828 0.1464719 38.0 41.2463 -3.24629 -2.06804 0.1979320 35.9 34.7173 1.18274 0.75741 0.2062621 40.4 41.2814 -0.88136 -0.53527 0.1175122 36.8 38.2479 -1.44794 -0.88864 0.1358223 45.2 44.3852 0.81485 0.52799 0.2247224 35.1 33.4166 1.68336 1.01815 0.110204950 学生

36、化残差学生化残差ri(i=1,24)中有中有17/24=70.8%(0.68)在在(-1,1)内内;有有21/24=87.5%(0.87)在在(-1.5,1.5)内内;有有23/24=95.8%(0.95)在在(-2,2)内内;相应区间的差异不大，没理由拒绝误差项的相应区间的差异不大，没理由拒绝误差项的假设假设50513 残差的正态残差的正态QQ图图(1)学生化残差的正态学生化残差的正态QQ图的做法图的做法(i)将将r1,r2,rn按由小到大排序按由小到大排序 r(1),r(2),r(n);(i)对每个对每个i=1,2,n,计算计算 其中其中-1为为N(0,1)的反函数。的反函数。(iii)描

37、出描出点点 此散点图称为此散点图称为学生化残差学生化残差QQ图图 5152(2)直观检验法直观检验法理论上：理论上：若若r1,r2,rn来自正态总体，来自正态总体，则则(q(i),r(i)(i=1,2,n)应大致在一条直线上应大致在一条直线上若散点基本上在一直线上若散点基本上在一直线上,则认可误差为正态则认可误差为正态.若散点明显不在一直线上若散点明显不在一直线上,则有理由怀疑误差则有理由怀疑误差正态性假定的合理性正态性假定的合理性.5253(3)相关系数检验法相关系数检验法用用q(i)和和r(i)(i=1,2,n)之间的相关系数的估计之间的相关系数的估计来来度量二者之间线性关系的强度，其相关

38、系数的度量二者之间线性关系的强度，其相关系数的估计值为估计值为若相关系数的估计值接近于若相关系数的估计值接近于1，则说明，则说明(q(i),r(i)(i=1,2,n)大致在一条直线上大致在一条直线上5354例例2.6 对表对表2.6中学生化残差中学生化残差,作作QQ图图,并分析并分析模型误差项分布的正态性假定的合理性模型误差项分布的正态性假定的合理性.解：解：data exam2_3;input y x1-x3;cards;数据略！数据略！proc reg data=exam2_3;model y=x1-x3;output out=resid student=r;run;proc capability data=resid graphics noprint;qqplot r/normal(mu=0 sigma=1);run;54555556proc sort data=resid;by r;proc iml;use resid;read all varr into rr;do i=1 to 24;qi=probit(i-0.375)/24.25);q=q/qi;end;rq=rr|q;create correl varr q;append from rq;quit;proc print data=correl;run;proc corr data=correl;run;56