emuchnetSPSS相关分析与回归分析.pptx

《emuchnetSPSS相关分析与回归分析.pptx》由会员分享，可在线阅读，更多相关《emuchnetSPSS相关分析与回归分析.pptx（68页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 概述(一)相关关系(1)函数关系:(如:销售额与销售量;圆面积和圆半径.)是事物间的一种一一对应的确定性关系.即:当一个变量x取一定值时,另一变量y可以依确定的关系取一个确定的值(2)相关关系（统计关系）:(如:收入和消费)事物间的关系不是确定性的.即:当一个变量x取一定值时,另一变量y的取值可能有几个.一个变量的值不能由另一个变量唯一确定第1页/共68页概述相关关系的常见类型：线性相关：正线性相关、负线性相关非线性相关 相关关系不象函数关系那样直接,但却普遍存在,且有强有弱.如何测度?第2页/共68页概述(二)相关分析和回归分析的任务研究对象:相关关系相关分析旨在测度变量间线性关系的强弱程

2、度.回归分析侧重考察变量之间的数量变化规律,并通过一定的数学表达式来描述这种关系,进而确定一个或几个变量的变化对另一个变量的影响程度.第3页/共68页相关分析(一)目的 通过样本数据,研究两变量间线性相关程度的强弱.(例如:投资与收入之间的关系、GDP与通信需求之间的数量关系）(二)基本方法 绘制散点图、计算相关系数第4页/共68页 绘制散点图(一)散点图 将数据以点的形式绘制在直角平面上.比较直观,可以用来发现变量间的关系和可能的趋势.第5页/共68页绘制散点图(二)基本操作步骤(1)菜单选项:graphs-scatter(2)选择散点图类型:(3)选择x轴和y轴的变量(4)选择分组变量(s

3、et markers by):分别以不同颜色点的表示(5)选择标记变量(label case by):散点图上可带有标记变量的值(如:省份名称)第6页/共68页计算相关系数(一)相关系数(1)作用:以精确的相关系数(r)体现两个变量间的线性关系程度.r:-1,+1;r=1:完全正相关;r=-1:完全负相关;r=0:无线性相关;|r|0.8:强相关;|r|0.3:弱相关第7页/共68页计算相关系数(一)相关系数(2)说明:相关系数只是较好地度量两变量间的线性相关程度,不能描述非线性关系.如:x和y的取值为:(-1,-1)(-1,1)(1,-1)(1,1)r=0 但 xi2+yi2=2数据中存在极

4、端值时不好如:(1,1)(2,2)(3,3),(4,4),(5,5),(6,1)r=0.33 但总体上表现出:x=y 应结合散点图分析第8页/共68页计算相关系数(一)相关系数(3)种类:简单线性相关系数(Pearson):针对定距数据.第9页/共68页计算相关系数(一)相关系数Spearman相关系数:用来度量定序或定类变量间的线性相关关系(如:不同年龄段与不同收入段,职称和受教育年份)利用秩(数据的排序次序).认为:如果x与y相关,则相应的秩Ui、Vi也具有同步性.首先得到两变量中各数据的秩(Ui、Vi),并计算Di2统计量.计算Spearman秩相关系数若两变量存在强正相关性,则Di2应

5、较小,秩序相关系数较大.若两变量存在强负相关性,则Di2应较大,秩序相关系数为负,绝对值较大第10页/共68页计算相关系数(一)相关系数Kendall相关系数:度量定序定类变量间的线性相关关系首先计算一致对数目(U)和非一致对数目(V)如:对x和y求秩后为:x:2 4 3 5 1 y:3 4 1 5 2x的秩按自然顺序排序后:x:1 2 3 4 5 y:2 3 1 4 5 然后计算Kendall相关系数.若两变量存在强相关性,则V较小,秩序相关系数较大;若两变量存在强负相关性,则V较大,秩序相关系数为负,绝对值较大第11页/共68页计算相关系数(二)相关系数检验应对两变量来自的总体是否相关进行

6、统计推断.原因:抽样的随机性、样本容量小等(1)H0:两总体零相关(2)构造统计量简单相关系数Spearman系数,大样本 下,近似正态分布kendall系数,大样本 下,近似正态分布第12页/共68页计算相关系数(二)相关系数检验(3)计算统计量的值,并得到对应的相伴概率p(4)结论:如果pa,不能拒绝H0.第13页/共68页计算相关系数(三)基本操作步骤(1)菜单选项:analyze-correlate-bivariate.(2)选择计算相关系数的变量到variables框.(3)选择相关系数(correlation coefficients).(4)显著性检验(test of signi

7、ficance)tow-tailed:输出双尾概率P.one-tailed:输出单尾概率P第14页/共68页计算相关系数(四)其他选项statistics选项:仅当计算简单相关系数时,选择输出哪些统计量.means and standard deviations:均值、标准差;cross-product deviations and covariances:分别输出两变量的离差平方和(sum of square 分母)、两变量的差积和(cross-products分子)、协方差(covariance 以上各个数据除以n-1)第15页/共68页计算相关系数(五)应用举例利用相关系数分析人均GDP

8、与移动电话普及率之间的关系*表示t检验值发生的概率小于等于0.05,即总体无相关的可能性小于0.05;*表示t检验值发生的概率小于等于0.01,即总体无相关的可能性小于0.01;*比*，拒绝零假设更可靠.第16页/共68页计算相关系数(五)应用举例分析固定话费的高低是否与年龄、生活水平、文化程度相关.利用秩,通过计算spearman和kendall相关系数进行分析第17页/共68页偏相关分析(一)偏相关系数(1)含义：在控制了其他变量的影响下计算两变量的相关系数。虚假相关.如:小学16年级全体学生进行速算比赛（身高和分数间的相关受年龄的影响）研究商品的需求量和价格、消费者收入之间的关系.因为:

9、需求量和价格之间的相关关系包含了消费者收入对商品需求量的影响；收入对价格也产生影响，并通过价格变动传递到对商品需求量的影响中。第18页/共68页偏相关分析(一)偏相关系数(2)计算方法：第19页/共68页偏相关分析(二)基本操作步骤(1).菜单选项:analyze-correlate-partial(2).选择将参加计算的变量到variable框.(3).选择控制变量到controlling for 框。(4)option选项:zero-order correlations:输出简单相关系数矩阵第20页/共68页偏相关分析(三)应用举例分析文化程度对话费与年龄之间的关系的影响第21页/共68页

10、回归分析概述(一)回归分析理解(1)“回归”的含义galton研究研究父亲身高和儿子身高的关系时的独特发现.(2)回归线的获得方式一:局部平均 回归曲线上的点给出了相应于每一个x(父亲)值的y(儿子)平均数的估计(3)回归线的获得方式二:拟和函数使数据拟合于某条曲线;通过若干参数描述该曲线;利用已知数据在一定的统计准则下找出参数的估计值(得到回归曲线的近似);第22页/共68页回归分析概述(二)回归分析的基本步骤(1)确定自变量和因变量(2)从样本数据出发确定变量之间的数学关系式,并对回归方程的各个参数进行估计.(3)对回归方程进行各种统计检验.(4)利用回归方程进行预测.第23页/共68页线

11、性回归分析概述(三)参数估计的准则目标:回归线上的观察值与预测值之间的距离总和达到最小最小二乘法(利用最小二乘法拟和的回归直线与样本数据点在垂直方向上的偏离程度最低)第24页/共68页一元线性回归分析(一)一元回归方程:y=0+1x0为常数项；1为y对x回归系数，即:x每变动一个单位所引起的y的平均变动(二)一元回归分析的步骤利用样本数据建立回归方程回归方程的拟和优度检验回归方程的显著性检验(t检验和F检验)残差分析预测第25页/共68页一元线性回归方程的检验(一)拟和优度检验:(1)目的:检验样本观察点聚集在回归直线周围的密集程度，评价回归方程对样本数据点的拟和程度。(2)思路:因为:因变量

12、取值的变化受两个因素的影响n自变量不同取值的影响n其他因素的影响n如:儿子身高(y)的变化受:父亲身高(x)的影响、其他条件于是:因变量总变差=自变量引起的+其他因素引起的即:因变量总变差=回归方程可解释的+不可解释的可证明:因变量总离差平方和=回归平方和+剩余平方和第26页/共68页一元线性回归方程的检验(一)拟和优度检验:(3)统计量：判定系数R2=SSR/SST=1-SSE/SST.R2体现了回归方程所能解释的因变量变差的比例;1-R2则体现了因变量总变差中，回归方程所无法解释的比例。R2越接近于1，则说明回归平方和占了因变量总变差平方和的绝大部分比例，因变量的变差主要由自变量的不同取值

13、造成，回归方程对样本数据点拟合得好在一元回归中R2=r2;因此，从这个意义上讲，判定系数能够比较好地反映回归直线对样本数据的代表程度和线性相关性。第27页/共68页一元线性回归方程的检验(二)回归方程的显著性检验(1)目的:检验自变量与因变量之间的线性关系是否显著，是否可用线性模型来表示.(2)检验方法t检验F检验第28页/共68页一元线性回归方程的检验(三)回归方程的显著性检验:t检验(1)目的:检验自变量对因变量的线性影响是否显著.(2)H0:=0 即:回归系数与0无显著差异(3)利用t检验,构造t统计量：其中:Sy是回归方程标准误差(Standard Error)的估计值，由均方误差开方

14、后得到，反映了回归方程无法解释样本数据点的程度或偏离样本数据点的程度如果回归系数的标准误差较小，必然得到一个相对较大的t值，表明该自变量x解释因变量线性变化的能力较强。第29页/共68页一元线性回归方程的检验(三)回归方程的显著性检验:t检验(4)计算t统计量的值和相伴概率p(5)判断:相伴概率=a:拒绝H0,即:回归系数与0有显著差异，自变量与因变量之间存在显著的线性关系,能够较好的解释说明因变量的变化.反之，不能拒绝H0(6)回归系数的区间估计第30页/共68页一元线性回归方程的检验(四)回归方程的显著性检验：F检验(1)目的:检验自变量与因变量之间的线性关系是否显著,是否可用线性模型来表

15、示.(2)H0:=0 即:回归系数与0无显著差异(3)利用F检验,构造F统计量:F=平均的回归平方和/平均的剩余平方和F(1,n-1-1)如果F值较大，则说明自变量造成的因变量的线性变动远大于随机因素对因变量的影响,自变量于因变量之间的线性关系较显著(4)计算F统计量的值和相伴概率p(5)判断p=a:拒绝H0,即:回归系数与0有显著差异，自变量与因变量之间存在显著的线性关系。反之，不能拒绝H0第31页/共68页一元线性回归方程的检验(五)t检验与F检验的关系一元回归中,F检验与t检验一致,即:F=t2,两种检验可以相互替代(六)F统计量和R2值的关系如果回归方程的拟合优度高，F统计量就越显著。

16、F统计量越显著，回归方程的拟合优度就会越高。第32页/共68页线性回归方程的残差分析(一)残差序列的正态性检验:绘制标准化残差的直方图或累计概率图(二)残差序列的随机性检验绘制残差和预测值的散点图,应随机分布在经过零的一条直线上下(三)残差序列的等方差性检验随机、等方差、独立随机、异方差、独立非独立第33页/共68页线性回归方程的残差分析(四)残差序列独立性检验:n残差序列是否存在后期值与前期值相关的现象,利用D.W(Durbin-Watson)检验nd-w=0:残差序列存在完全正自相关;d-w=4:残差序列存在完全负自相关;0d-w2:残差序列存在某种程度的正自相关;2d-wregressi

17、on-linear(2)选择一个变量为因变量进入dependent框(3)选择一个变量为自变量进入independent框(4)enter:所选变量全部进入回归方程(默认方法)(5)对样本进行筛选(selection variable)利用满足一定条件的样本数据进行回归分析(6)指定作图时各数据点的标志变量(case labels)第37页/共68页一元线性回归分析操作(二)statistics选项(1)基本统计量输出Estimates:默认.显示回归系数相关统计量.confidence intervals:每个非标准化的回归系数95%的置信区间.Descriptive:各变量均值、标准差和相

18、关系数单侧检验概率.Model fit:默认.判定系数、估计标准误差、方差分析表、容忍度(2)Residual框中的残差分析Durbin-waston:D-W值casewise diagnostic:异常值(奇异值)检测(输出预测值及残差和标准化残差)第38页/共68页一元线性回归分析操作(三)plot选项:图形分析.Standardize residual plots:绘制残差序列直方图和累计概率图,检测残差的正态性绘制指定序列的散点图,检测残差的随机性、异方差性ZPRED:标准化预测值 ZRESID:标准化残差SRESID:学生化残差produce all partial plot:绘制因

19、变量和所有自变量之间的散点图第39页/共68页一元线性回归分析应用举例移动电话普及率和人均GDP的线性关系Model Summary观察R2值（拟合优度，回归方程能够解释的比例）ANOVA 观察方差分析表Coefficients观察t检验和ANOVA F检验的关系Coefficients能够写出回归方程观察残差序列的散点图(plot)和Model Summary 的DW检验利用回归分析进行预测第40页/共68页多元线性回归分析(一)多元线性回归方程多元回归方程:y=0+1x1+2x2+.+kxk1、2、.k为偏回归系数。1表示在其他自变量保持不变的情况下，自变量x1变动一个单位所引起的因变量y

20、的平均变动(二)多元线性回归分析的主要问题回归方程的检验自变量筛选多重共线性问题第41页/共68页多元线性回归方程的检验(一)拟和优度检验:(1)判定系数R2:R是y和xi的复相关系数，测定了因变量y与所有自变量全体之间线性相关程度(2)调整的R2:考虑的是平均的剩余平方和,克服了因自变量增加而造成R2也增大的弱点在某个自变量引入回归方程后，如果该自变量是理想的且对因变量变差的解释说明是有意义的，那么必然使得均方误差减少，从而使调整的R2得到提高；反之，如果某个自变量对因变量的解释说明没有意义，那么引入它不会造成均方误差减少，从而调整的R2也不会提高。第42页/共68页多元线性回归方程的检验(

21、二)回归方程的显著性检验：(1)目的:检验所有自变量与因变量之间的线性关系是否显著，是否可用线性模型来表示.(2)H0:1=2=k=0 即:所有回归系数同时与0无显著差异(3)利用F检验,构造F统计量:F=平均的回归平方和/平均的剩余平方和F(k,n-k-1)如果F值较大，则说明自变量造成的因变量的线性变动大于随机因素对因变量的影响,自变量于因变量之间的线性关系较显著(4)计算F统计量的值和相伴概率p(5)判断:p=a:拒绝H0,即:所有回归系数与0有显著差异，自变量与因变量之间存在显著的线性关系。反之，不能拒绝H0第43页/共68页多元线性回归方程的检验(三)回归系数的显著性检验(1)目的:

22、检验每个自变量对因变量的线性影响是否显著.(2)H0:i=0 即:第i个回归系数与0无显著差异(3)利用t检验,构造t统计量：其中:Sy是回归方程标准误差(Standard Error)的估计值，由均方误差开方后得到，反映了回归方程无法解释样本数据点的程度或偏离样本数据点的程度如果某个回归系数的标准误差较小，必然得到一个相对较大的t值，表明该自变量xi解释因变量线性变化的能力较强。(4)逐个计算t统计量的值和相伴概率p 第44页/共68页多元线性回归方程的检验(三)回归系数的显著性检验(5)逐个进行检验和判断 相伴概率p=a:拒绝H0,即:该回归系数与0有显著差异.该自变量与因变量之间存在显著

23、的线性关系,能够较好的解释说明因变量的变化,应保留在回归方程中。反之，不能拒绝H0第45页/共68页多元线性回归方程的检验(四)t统计量与F统计量一元回归中,F检验与t检验一致,即:F=t2,可以相互替代在多元回归中，F检验与t检验不能相互替代Fchange=ti2从Fchange 角度上讲，如果由于某个自变量xi的引入，使得Fchange是显著的(通过观察Fchange 的相伴概率值)，那么就可以认为该自变量对方程的贡献是显著的，它应保留在回归方程中，起到与回归系数t检验同等的作用。第46页/共68页多元线性回归分析中的自变量筛选(一)自变量筛选的目的 多元回归分析引入多个自变量.如果引入的

24、自变量个数较少,则不能很好的说明因变量的变化;并非自变量引入越多越好.原因:有些自变量可能对因变量的解释没有贡献自变量间可能存在较强的线性关系,即:多重共线性.因而不能全部引入回归方程.第47页/共68页多元线性回归分析中的自变量筛选(二)自变量向前筛选法(forward):即:自变量不断进入回归方程的过程.首先,选择与因变量具有最高相关系数的自变量进入方程,并进行各种检验;其次,在剩余的自变量中寻找偏相关系数最高的变量进入回归方程,并进行检验;默认:回归系数检验的概率值小于PIN(0.05)才可以进入方程.反复上述步骤,直到没有可进入方程的自变量为止.第48页/共68页多元线性回归分析中的自

25、变量筛选(三)自变量向后筛选法(backward):即:自变量不断剔除出回归方程的过程.首先,将所有自变量全部引入回归方程；其次,在一个或多个t值不显著的自变量中将t值最小的那个变量剔除出去,并重新拟和方程和进行检验;默认:回归系数检验值大于POUT(0.10),则剔除出方程如果新方程中所有变量的回归系数t值都是显著的,则变量筛选过程结束.否则,重复上述过程,直到无变量可剔除为止.第49页/共68页多元线性回归分析中的自变量筛选(四)自变量逐步筛选法(stepwise):即:是“向前法”和“向后法”的结合。向前法只对进入方程的变量的回归系数进行显著性检验，而对已经进入方程的其他变量的回归系数不

26、再进行显著性检验，即：变量一旦进入方程就不会被剔除随着变量的逐个引进，由于变量之间存在着一定程度的相关性，使得已经进入方程的变量其回归系数不再显著，因此会造成最后的回归方程可能包含不显著的变量。逐步筛选法则在变量的每一个阶段都考虑剔除一个变量的可能性。第50页/共68页线性回归分析中的共线性检测(一)共线性带来的主要问题高度的多重共线性会使回归系数的标准差随自变量相关性的增大而不断增大,以至使回归系数的置信区间不断增大,造成估计值精度减低.回归方程检验显著但所有偏回归系数均检验不显著偏回归系数估计值大小或符号与常识不符定性分析对因变量肯定有显著影响的因素，在多元分析中检验不显著，不能纳入方程去

27、除一个变量，偏回归系数估计值发生巨大变化第51页/共68页线性回归分析中的共线性检测(二)共线性诊断自变量的容忍度(tolerance)和方差膨胀因子容忍度:Toli=1-Ri2.其中:Ri2是自变量xi与方程中其他自变量间的复相关系数的平方.容忍度越大则与方程中其他自变量的共线性越低,应进入方程.(具有太小容忍度的变量不应进入方程,spss会给出警告)(据经验T0.1一般认为具有多重共线性)方差膨胀因子(VIF):容忍度的倒数SPSS在回归方程建立过程中不断计算待进入方程自变量的容忍度,并显示目前的最小容忍度第52页/共68页线性回归分析中的共线性检测(二)共线性诊断用特征根刻画自变量的方差

28、如果自变量间确实存在较强的相关关系，那么它们之间必然存在信息重叠，于是可从这些自变量中提取出既能反映自变量信息(方差)又相互独立的因素(成分)来.从自变量的相关系数矩阵出发，计算相关系数矩阵的特征根，得到相应的若干成分.如果特征根中有一个特征根值远远大于其他特征根的值，则仅一个特征根就基本刻画所有自变量绝大部分信息，自变量间一定存在相当多的重叠信息如果某个特征根既能够刻画某个自变量方差的较大部分比例(如大于0.7),同时又可以刻画另一个自变量方差的较大部分比例，则表明这两个自变量间存在较强的多重共线性。第53页/共68页线性回归分析中的共线性检测(二)共线性诊断条件指标0k=30 可能存在；k

29、=100 严重第54页/共68页多重共线性的对策增大样本量（不太可能）多种自变量筛选方法结合（选择最优方程）人为去除次要变量（定性分析为较次要，或无需分析）主成分回归分析（提取因子作为影响因素）第55页/共68页多元线性回归分析操作(一)基本操作步骤(1)菜单选项:analyze-regression-linear(2)选择一个变量为因变量进入dependent框(3)选择一个或多个变量为自变量进入independent框(4)选择多元回归分析的自变量筛选方法:enter:所选变量全部进入回归方程(默认方法)remove:从回归方程中剔除变量stepwise:逐步筛选；backward:向后筛

30、选；forward:向前筛选(5)对样本进行筛选(selection variable)利用满足一定条件的样本数据进行回归分析(6)指定作图时各数据点的标志变量(case labels)第56页/共68页多元线性回归分析操作(二)statistics选项(1)基本统计量输出Part and partial correlation:与Y的简单相关、偏相关和部分相关R square change:每个自变量进入方程后R2及F值的变化量Collinearity dignostics:共线性诊断.第57页/共68页多元线性回归分析操作(三)options选项:stepping method crite

31、ria:逐步筛选法参数设置.use probability of F:以F值相伴概率作为变量进入和剔除方程的标准.一个变量的F值显著性水平小于entry(0.05)则进入方程;大于removal(0.1)则剔除出方程.因此:Entryremovaluse F value:以F值作为变量进入(3.84)和剔除(2.71)方程的标准(四)save选项:将回归分析结果保存到数据编辑窗口中或某磁盘文件中第58页/共68页多元线性回归分析应用举例(一)根据全国各省移动电话普及率、人均GDP、人均可支配收入、人均拥有固定资产数据,建立移动电话普及率的预测模型所有自变量强行进入方程(方程存在作用不显著的自变

32、量）观察方差分析表观察t检验观察回归方程标准误差和R2逐步回归,与上述参数进行比较(虽然误差增大)回归系数置信区间观察置信区间、偏相关系数、容忍度共线性检测残差图分析选择:D-W检验、casewise、plot图第59页/共68页线性回归分析中的异方差问题(一)什么是异方差回归模型要求残差序列服从均值为0并具有相同方差的正态分布,即:残差分布幅度不应随自变量或因变量的变化而变化.否则认为出现了异方差现象(二)举例理解异方差收入水平和消费种类打字时间和出错类型第60页/共68页线性回归分析中的异方差问题(三)异方差诊断可以通过绘制标准化残差序列和因变量预测值(或每个自变量)的散点图来识别是否存在

33、异方差(四)异方差处理实施方差稳定性变换残差与yi(预测值)的平方根呈正比：对yi开平方残差与yi(预测值)呈正比:对yi取对数.残差与yi(预测值)的平方呈正比,则1/yi第61页/共68页曲线估计(curve estimate)(一)目的:在一元回归分析或时间序列中,因变量与自变量(时间)之间的关系不呈线性关系,但通过适当处理,可以转化为线性模型.可进行曲线估计.第62页/共68页曲线估计(curve estimate)(二)曲线估计的常用模型:(t为时间,也可为某一自变量)y=b0+b1t(线性拟合linear)y=b0+b1t+b2t2(二次曲线quadratic)y=b0+b1t+b

34、2t2+b3t3(三次曲线cubic)y=b0*b1t(复合曲线Compound)y=e(b0+b1t)(Growth)y=b0+b1lnt(对数曲线Logarithmic)y=e(b0+b1/t)(S曲线)y=b0eb1t(指数曲线Exponential)y=b0+b1/t(Inverse)y=b0tb1(乘幂曲线Power)y=1/(1/u+b0*b1t)(Logistic曲线)第63页/共68页幂函数2.线性化方法 两端取对数得：两端取对数得：log log y y=log=log +loglog x x 令：令：y y =log=logy y，x x=log=log x x，则则y y

35、 =loglog +x x 1.基本形式：3.图像00 1 1 1 1 =1=1-1-1 0 0 -1 regression-curve estimation(3)选择因变量到dependent框(4)选择自变量到independent框或选time以时间作自变量(5)选择模型(R2最高拟和效果最好)第65页/共68页曲线估计(curve estimate)(四)其他选项(1)display ANOVA table:方差分析表(2)plot models:绘制观察值和预测值的对比图.(3)save选项:predicted values:保存预测值.Residual:保存残差值.prediction interval:保存预测值的默认95%的可置信区间.Predict case:以time作自变量进行预测.Predict from estimation period through last case:计算保存所有预测值.Predict through:如果预测周期超过了数据文件的最后一个观测期,选择此项,并输入预测期数.第66页/共68页曲线估计应用举例利用GDP和通信业务收入的样本数据,建立通信业务收入关于GDP的回归方程分析移动公司话务价格弹性第67页/共68页感谢您的欣赏！第68页/共68页