spss回归分析相关分析.ppt

相关分析相关分析 Correlations线性相关：线性相关：当一个变量的值发生变化时，另外的一个变量也发生大致相同的变化。（+-）非线性相关：非线性相关：如果一个变量发生变动，另外的变量也随之变动，但是，其观察值分布近似的在一条曲线上。如果仅仅研究变量之间的相互关系的密切程度和变化趋势，并用适当的统计指标描述。这就是相关分析。如果要把变量间相互关系用函数表达出来，用一个或多个变量的取值来估计另一个变量的取值，这就是回归分析。绘制散点图散点图和计算相关系数是相关分析最常用的工具，它们的相互结合能够达到较为理想的分析效果相关分析相关分析 Correlations是将数据以点的形式画在直角坐标系上，通过观察散点图能够直观的发现变量间的相关关系及它们的强弱程度和方向。散点图：散点图：完全负相关负相关无相关完全正相关正相关无相关实际操作：简单散点图：生成一对相关变量的散点图简单散点图：生成一对相关变量的散点图重叠散点图：生成多对相关变量的散点图重叠散点图：生成多对相关变量的散点图矩阵散点图：同时生成多对相关变量的矩阵散点图矩阵散点图：同时生成多对相关变量的矩阵散点图三维散点图：生产成三个变量之间的三维散点图三维散点图：生产成三个变量之间的三维散点图相关分析相关分析 Correlations表示一对变量间统计关系的散点图将纵轴变量选入【Y 轴】，将横轴变量选入【X轴】，将分组变量选入【设置标记】:用该变量分组，并在一张图上用不同颜色绘制若干个散点图。将标记变量选入【标注个案】：将标记变量的各变量值标记在散点图相应点的旁边。简单散点图：简单散点图：计算相关系数：利用相关系数进行变量间线性关系的分析通常需要完成以下两个步骤：1.计算样本相关系数计算样本相关系数r；相关系数r的取值在-1-+1之间 r0表示两变量存在正的线性相关关系；r4040）必须是连续变量必须是连续变量多元回归方程中的自变量选择多元回归方程中的自变量选择 强行进入法（强行进入法（enterenter），即一般所称的复回归分析法。强迫所有），即一般所称的复回归分析法。强迫所有变量有顺序地进入回归方程。在研究设计中，如果研究者事先建立假变量有顺序地进入回归方程。在研究设计中，如果研究者事先建立假设，决定变量的重要性层次，则应使用设，决定变量的重要性层次，则应使用enterenter法比较合适。此法又称法比较合适。此法又称“层次式进入法层次式进入法”（hierarchical enterhierarchical enter）后退法（后退法（BackwardBackward），将已纳入方程的变量按对因变量的贡献），将已纳入方程的变量按对因变量的贡献大小由小到大依次剔除，每剔除一个自变量，即重新检验每一自变量大小由小到大依次剔除，每剔除一个自变量，即重新检验每一自变量对因变量的贡献。对因变量的贡献。前进法（前进法（ForwardForward），对已纳入方程的变量不考察其显著性，直），对已纳入方程的变量不考察其显著性，直到方程外变量均达不到入选标准。到方程外变量均达不到入选标准。强制剔除法（强制剔除法（RemoveRemove）与后退法相同，只是筛选的是）与后退法相同，只是筛选的是BlockBlock逐步回归法逐步回归法 StepwiseStepwise运用很广，报告中出现的几率最高。结合了前进法和后退法的运用很广，报告中出现的几率最高。结合了前进法和后退法的优点。第一，模型中先不包含任何预测变量，与因变量相关最优点。第一，模型中先不包含任何预测变量，与因变量相关最高者首先进入回归方程；第二，控制回归方程中的变量后，根高者首先进入回归方程；第二，控制回归方程中的变量后，根据每个预测变量与因变量的偏相关的高低来决定进入方程的顺据每个预测变量与因变量的偏相关的高低来决定进入方程的顺序；第三，已进入方程的自变量，每引入一个自变量，就对方序；第三，已进入方程的自变量，每引入一个自变量，就对方程中的每一自变量进行显著性检验，若发现不显著，就剔除；程中的每一自变量进行显著性检验，若发现不显著，就剔除；每剔除一个自变量有也对留在方程中的自变量再进行显著性检每剔除一个自变量有也对留在方程中的自变量再进行显著性检验，再不显著，又剔除，直至没有自变量引入，也没有自变量验，再不显著，又剔除，直至没有自变量引入，也没有自变量剔除为止。剔除为止。在选择回归的方法时，注意专业上的要求要先于统计学检验的准则。在选择回归的方法时，注意专业上的要求要先于统计学检验的准则。HowerHower（19871987）建议：（）建议：（1 1）应优先使用）应优先使用enterenter或或stepwisestepwise。（。（2 2）使用）使用enterenter时，可根据研究时，可根据研究计划时的相关理论，决定变量投入的顺序。计划时的相关理论，决定变量投入的顺序。通过样本数据建立回归方程后一般不能立即用于对实际问题的分通过样本数据建立回归方程后一般不能立即用于对实际问题的分析和预测，通常要进行各种统计检验析和预测，通常要进行各种统计检验.包括回归方程的拟合优度检验包括回归方程的拟合优度检验回归方程的显著性检验回归方程的显著性检验回归系数的显著性检验回归系数的显著性检验残差分析等残差分析等拟合优度检验拟合优度检验检验样本数据点聚集在回归线周围的密集程度，从而评价回归方检验样本数据点聚集在回归线周围的密集程度，从而评价回归方程对样本数据的代表程度。程对样本数据的代表程度。认为认为y y各观测值的之间的差异主要由两个方面的原因造成：一是各观测值的之间的差异主要由两个方面的原因造成：一是解释变量解释变量x x取值的不同造成的；二是由于其他随机因素造成的。取值的不同造成的；二是由于其他随机因素造成的。SST=SSA+SSESST=SSA+SSE（回归平方和剩余平方和）（回归平方和剩余平方和）若若SSASSA所占的比例远大于所占的比例远大于SSESSE所占的比例，那么回归方程的拟合优所占的比例，那么回归方程的拟合优度会比较高。度会比较高。拟合优度检验采用拟合优度检验采用R R2 2统计量，该统计量称为判定系数或决定系数，统计量，该统计量称为判定系数或决定系数，它是它是SSA/SSTSSA/SST反映因变量的全部变异中能够通过回归关系被自变量解释的比例，反映因变量的全部变异中能够通过回归关系被自变量解释的比例，即检验回归的效果如何。即检验回归的效果如何。如果自变量的个数很多，有时要以调整后的决定系数代替原先的如果自变量的个数很多，有时要以调整后的决定系数代替原先的决定系数。因为增加新的自变量会使决定系数增大，这种决定系决定系数。因为增加新的自变量会使决定系数增大，这种决定系数会有高人为控制的机制在内，此时用调整后的决定系数更好数会有高人为控制的机制在内，此时用调整后的决定系数更好拟合优度检验拟合优度检验显著性检验显著性检验线性回归方程能够较好地反映被解释变量和解释变量之间统计关线性回归方程能够较好地反映被解释变量和解释变量之间统计关系的前提应是，被解释变量和解释变量之间确实存在显著的线性系的前提应是，被解释变量和解释变量之间确实存在显著的线性关系。回归方程的显著性检验正是要检验被解释变量与所有解释关系。回归方程的显著性检验正是要检验被解释变量与所有解释变量之间的线性关系是否显著，用线性模型来描述它们之间的关变量之间的线性关系是否显著，用线性模型来描述它们之间的关系是否恰当。系是否恰当。基本出发点与拟合优度检验非常相似。基本出发点与拟合优度检验非常相似。检验采用检验采用F统计量。统计量。主要目的是研究回归方程中的每个解释变量与被解释变量之间是主要目的是研究回归方程中的每个解释变量与被解释变量之间是否存在显著的线性关系，也就是研究解释变量能够有效地解释被否存在显著的线性关系，也就是研究解释变量能够有效地解释被解释变量的线性变化，他们能够保留在线性回归方程中。解释变量的线性变化，他们能够保留在线性回归方程中。是围绕回归系数估计值的抽样分布展开的，由此构造服从某种理是围绕回归系数估计值的抽样分布展开的，由此构造服从某种理论分布的检验统计量，并进行检验。论分布的检验统计量，并进行检验。t t统计量：在一元线性回归分析中，回归方程显著性检验和回归统计量：在一元线性回归分析中，回归方程显著性检验和回归系数显著性检验的作用是相同的，两者可以相互代替，同时回归系数显著性检验的作用是相同的，两者可以相互代替，同时回归方程显著性检验中方程显著性检验中F Ft t2 2。但在多元线性回归中的这两种检验通常不能互相替代。但在多元线性回归中的这两种检验通常不能互相替代。残差分析所谓残差是指由回归方程计算所得的预测值与实际样本值之间的所谓残差是指由回归方程计算所得的预测值与实际样本值之间的差距。差距。残差分析是回归方程检验中的重要组成部分，其出发点是，如果残差分析是回归方程检验中的重要组成部分，其出发点是，如果回归方程能较好地反映被解释变量的特征和变化规律，那么残差回归方程能较好地反映被解释变量的特征和变化规律，那么残差序列中应不包含明显的规律行和趋势性。序列中应不包含明显的规律行和趋势性。残差分析的主要任务可大致归纳为，分析残差是否服从均值为残差分析的主要任务可大致归纳为，分析残差是否服从均值为0 0的正态分布、分析残差是否为等方差的正态分布、分析残差序列的正态分布、分析残差是否为等方差的正态分布、分析残差序列是否独立、借助残差探测样本中的异常值等。是否独立、借助残差探测样本中的异常值等。图形分析和数值分析是残差分析的有效工具图形分析和数值分析是残差分析的有效工具如何看回归结果？如何看回归结果？哪些自变量（我们选定）进入了回归方程哪些自变量（我们选定）进入了回归方程对回归方程进行检验，看方程是否有意义对回归方程进行检验，看方程是否有意义看回归效果，看回归效果，R R2 2回归分析的三个重要指标回归分析的三个重要指标方差分析：方差分析：F F检验用于检验回归模型与数据的拟合程度。若检验用于检验回归模型与数据的拟合程度。若F F值显值显著，表明预测变量与指标变量之间存在很强的线性关系，也可以著，表明预测变量与指标变量之间存在很强的线性关系，也可以说回归方程显著。说回归方程显著。回归系数的显著性检验：若回归系数的显著性检验：若b b显著，则表明预测变量与指标变量显著，则表明预测变量与指标变量之间存在强线性相关。之间存在强线性相关。R R2 2：解释回归平方和在总平方和中所占的比率，即解释回归的效：解释回归平方和在总平方和中所占的比率，即解释回归的效果。果。虚拟变量虚拟变量若某个自变量是分类变量，则须将分类变量转化为二进制虚拟变量若某个自变量是分类变量，则须将分类变量转化为二进制虚拟变量（dummy variabledummy variable），每个虚拟变量只代表），每个虚拟变量只代表2 2级（级（0 0，1 1），即某一属性出），即某一属性出现时，虚拟变量取值为现时，虚拟变量取值为1 1，否则为，否则为0 0。设虚拟变量时，以一种取值作为对比水平（基础水平），若原自变量有几设虚拟变量时，以一种取值作为对比水平（基础水平），若原自变量有几个水平，就应使用个水平，就应使用n-1n-1个虚拟变量，实则虚拟变量代表的是同一变量的不个虚拟变量，实则虚拟变量代表的是同一变量的不同取值同取值如性别变量有男或女两类如性别变量有男或女两类,可将两个类别分别以两个可将两个类别分别以两个0/10/1二值变量的二值变量的形式重新编码。设置变量形式重新编码。设置变量X X1 1表示是否男，取表示是否男，取1 1表示男，取表示男，取0 0表示不是男。再表示不是男。再设置变量设置变量X X2 2表示是否女，取表示是否女，取1 1表示是女，取表示是女，取0 0表示不是女表示不是女。产生的回归方程中各虚拟变量回归系数的含义是，相对参照类，各个类对产生的回归方程中各虚拟变量回归系数的含义是，相对参照类，各个类对解释变量平均贡献的差，进而可进一步研究各类别间对被解释变量的平均解释变量平均贡献的差，进而可进一步研究各类别间对被解释变量的平均贡献差异。贡献差异。共线共线性性诊断诊断 Collinearity diagnosticsCollinearity diagnostics复共线问题（共线性，复共线问题（共线性，collinearitycollinearity问题）：由于自变量间的相关问题）：由于自变量间的相关太高，造成回归分析之情境困扰。如果自变量间有共线性问题，表太高，造成回归分析之情境困扰。如果自变量间有共线性问题，表示一个预测变量是其他自变量的线性组合。若有严重的共线性存在，示一个预测变量是其他自变量的线性组合。若有严重的共线性存在，则模型的参数就不能完全被估计出来。则模型的参数就不能完全被估计出来。（1 1）VIF=5VIF=5，存在复共线。所以在回归分析中，存在复共线。所以在回归分析中，最好先做个相关分析，最好先做个相关分析，以探讨变量间的相关情形，以探讨变量间的相关情形，如果某些变量间的相关系数太高，可考虑挑如果某些变量间的相关系数太高，可考虑挑选一个较重要的变量投入回归分析选一个较重要的变量投入回归分析。（2 2）容忍度）容忍度tolerance=1-Rtolerance=1-R2 2 ，其中，其中R R2 2是此自变量与其他自变量间的多元是此自变量与其他自变量间的多元相关系数的平方。容忍度界于相关系数的平方。容忍度界于0 0和和1 1之间，如果一个自变量的容忍度太小，之间，如果一个自变量的容忍度太小，表示此变量与其他自变量间有共线性问题；其值若接近表示此变量与其他自变量间有共线性问题；其值若接近0 0，表示此变量几，表示此变量几乎就是其他变量的线性组合。乎就是其他变量的线性组合。（3 3）条件指针（）条件指针（condition indexcondition index，CICI），），CI CI 越大，越有共线性问题。越大，越有共线性问题。Eigenvalue condition indexEigenvalue condition index（k k）若）若k k2 2=100=100表示存在复共线，若表示存在复共线，若k k2 2=1000=1000，表示存在严重的复共线。，表示存在严重的复共线。关于复共线问题，也有说法，即认为若关于复共线问题，也有说法，即认为若torrencetorrence降至以下，而降至以下，而VIF VIF 上升上升到以上，就应检查自变量是否为自相关。到以上，就应检查自变量是否为自相关。对于对于一元回归一元回归，若散点图的趋势不呈线性分布，可以利用曲线估计，若散点图的趋势不呈线性分布，可以利用曲线估计方便地进行线性拟合方便地进行线性拟合(liner)(liner)、二次拟合、二次拟合(Quadratic)(Quadratic)、三次拟合、三次拟合(Cubic)(Cubic)等。采用哪种拟合方式主要取决于各种拟合模型对数据的等。采用哪种拟合方式主要取决于各种拟合模型对数据的充分描述充分描述(看修正看修正Adjusted RAdjusted R2 2-1)-1)二项二项Logistic回归回归利用多元回归方法分析变量之间的关系或进行预测时的利用多元回归方法分析变量之间的关系或进行预测时的一个基本要求是，被解释变量应是连续定距变量。如课一个基本要求是，被解释变量应是连续定距变量。如课题数、教育支出题数、教育支出实际实际应用中这种要求未必能够得到较好的满足。例如，应用中这种要求未必能够得到较好的满足。例如，要分析消费群体的特征要分析消费群体的特征对汽车消费对汽车消费的影响中，职业、性的影响中，职业、性别、年龄等并不是连续变量，不能满足回归分析的要求，别、年龄等并不是连续变量，不能满足回归分析的要求，且是个较普遍存在的问题且是个较普遍存在的问题。Logistic 回归回归Logistic 回归是多元线性回归方法不断发展的成果。回归是多元线性回归方法不断发展的成果。其将被解释变量设置成其将被解释变量设置成“是是”或者或者“否否”：在现实中，经常需要判断：在现实中，经常需要判断一些事情是否将要发生，候选人是否会当选？为什么一些人易患冠心一些事情是否将要发生，候选人是否会当选？为什么一些人易患冠心病？为什么一些人的生意会获得成功？此问题的特点是因变量只有两病？为什么一些人的生意会获得成功？此问题的特点是因变量只有两个值，不发生个值，不发生(0)和发生和发生(1)。这就要求建立的模型必须因变量的取值范。这就要求建立的模型必须因变量的取值范围在围在01之间。之间。Logistic回归模型回归模型Logistic 模型：在逻辑回归中，可以直接预测观测变量相模型：在逻辑回归中，可以直接预测观测变量相对于某一事件的发生概率。包含一个自变量的回归模型对于某一事件的发生概率。包含一个自变量的回归模型和多个自变量的回归模型公式和多个自变量的回归模型公式：其中其中：z=Bz=B0 0+B+B1 1X X1 1+B+Bp pX Xp p(P(P为自变量个数某一事件不发为自变量个数某一事件不发生的概率为生的概率为Prob(no event)Prob(no event)1-Prob(event)1-Prob(event)。因此。因此最主要的是求最主要的是求B B0 0,B,B1 1,B,Bp p(常数和系数常数和系数)大部分人还是说不清楚，然后可以尝试分析这些原因是否继续愿意献血与 性别之间的，这是否还有意义呢实际操作