谈调查问卷的可信度与有效度问题(6页).doc

-谈调查问卷的可信度与有效度问题-第 6 页信度与效度分析一、信度分析    信度（Reliability）即可靠性，是指采用同一方法对同一对象进行调查时，问卷调查结果的稳定性和一致性，即测量工具（问卷或量表）能否稳定地测量所测的事物或变量。信度指标多以相关系数表示，具体评价方法大致可分为三类：稳定系数（跨时间的一致性），等值系数（跨形式的一致性）和内在一致性系数（跨项目的一致性）。信度分析的方法主要有以下四种：    1、重测信度法    同样的问卷，对同一组访问对象在尽可能相同的情况下，在不同时间进行两次测量。两次测量相距一般在两到四周之内。用两次测量结果间的相关分析或差异的显著性检验方法，评价量表信度的高低。     2、折半法。折半法是将上述两份问卷合成一份问卷（通常要求这两份问卷的问题数目相等），每一份作为一部分，然后考察这两个部分的测量结果之间的相关性。    3、折半信度法    折半信度法是将调查项目分为两半，计算两半得分的相关系数，进而估计整个量表的信度。折半信度属于内在一致性系数，测量的是两半题项得分间的一致性。这种方法一般不适用于事实式问卷（如年龄与性别无法相比），常用于态度、意见式问卷的信度分析。在问卷调查中，态度测量最常见的形式是5级李克特（Likert）量表。进行折半信度分析时，如果量表中含有反意题项，应先将反意题项的得分作逆向处理，以保证各题项得分方向的一致性，然后将全部题项按奇偶或前后分为尽可能相等的两半，计算二者的相关系数（rhh，即半个量表的信度系数），最后用斯皮尔曼-布朗（Spearman-Brown）公式：    求出整个量表的信度系数。    4、信度系数法    Cronbach 信度系数是目前最常用的信度系数，其公式为：    其中，K为量表中题项的总数， 为第i题得分的题内方差，为全部题项总得分的方差。从公式中可以看出，系数评价的是量表中各题项得分间的一致性，属于内在一致性系数。这种方法适用于态度、意见式问卷（量表）的信度分析。二、效度分析    效度（Validity）即有效性，它是指测量工具或手段能够准确测出所需测量的事物的程度。效度分为三种类型：内容效度、准则效度和结构效度。效度分析有多种方法，其测量结果反映效度的不同方面。常用于调查问卷效度分析的方法主要有以下几种。    1、单项与总和相关效度分析    表面效度（Face Validity）。也称为内容效度或逻辑效度，指的是测量的内容与测量目标之间是否适合，也可以说是指测量所选择的项目是否“看起来”符合测量的目的和要求。主要依据调查设计人员的主观判断。     这种方法用于测量量表的内容效度。内容效度又称表面效度或逻辑效度，它是指所设计的题项能否代表所要测量的内容或主题。对内容效度常采用逻辑分析与统计分析相结合的方法进行评价。逻辑分析一般由研究者或专家评判所选题项是否“看上去”符合测量的目的和要求。统计分析主要采用单项与总和相关分析法获得评价结果，即计算每个题项得分与题项总分的相关系数，根据相关是否显著判断是否有效。若量表中有反意题项，应将其逆向处理后再计算总分。    2、准则效度分析    准则效度（Criterion Validity）。又称为效标效度或预测效度。准则效度是指量表所得到的数据和其他被选择的变量（准则变量）的值相比是否有意义。根据时间跨度的不同，准则效度可分为同时效度和预测效度。准则效度分析是根据已经得到确定的某种理论，选择一种指标或测量工具作为准则（效标），分析问卷题项与准则的联系，若二者相关显著，或者问卷题项对准则的不同取值、特性表现出显著差异，则为有效的题项。评价准则效度的方法是相关分析或差异显著性检验。在调查问卷的效度分析中，选择一个合适的准则往往十分困难，使这种方法的应用受到一定限制。    3、结构效度分析    建构效度（Construct Validity）。是指测量结果体现出来的某种结构与测值之间的对应程度。结构效度分析所采用的方法是因子分析。最关心的问题是：量表实际测量的是哪些特征？在评价建构效度时，调研人员要试图解释“量表为什么有效”这一理论问题以及考虑从这一理论问题中能得出什么推论。建构效度包括同质效度、异质效度和语意逻辑效度。有的学者认为，效度分析最理想的方法是利用因子分析测量量表或整个问卷的结构效度。因子分析的主要功能是从量表全部变量（题项）中提取一些公因子，各公因子分别与某一群特定变量高度关联，这些公因子即代表了量表的基本结构。通过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种结构。在因子分析的结果中，用于评价结构效度的主要指标有累积贡献率、共同度和因子负荷。累积贡献率反映公因子对量表或问卷的累积有效程度，共同度反映由公因子解释原变量的有效程度，因子负荷反映原变量与某个公因子的相关程度。谈调查问卷的可信度与有效度问题内容摘要：为了保证调查的准确性与科学性，对搜集到的问卷资料进行可信度和有效度分析已成为调查的一个必不可少的步骤，本文对调查问卷的可信度与有效度问题展开研究，并说明如何在SPSS软件上实现可信度与有效度的度量。关键词：可信度   有效度   SPSS软件   问题研究在各类调查研究中，经常需要测量一些比较抽象的量，例如“经济地位”、“传统价值观”、“现代化程度”等等。为此需要围绕研究主题设计合理的问卷，才能保证调查的准确性、统计分析结论的科学性以及研究成果的质量，这就涉及到问卷的设计及其可信度与有效度的分析问题。因此，在重要的调查研究中，对搜集到的资料进行可信度和有效度分析已成为一个必不可少的步骤。本文重点介绍调查问卷的可信度和有效度的内容、度量方法以及如何在SPSS（社会科学统计程序）软件上实现可信度与有效度的度量等问题。可信度的问题研究可信度指调查结果的一致性和稳定性，即测量工具能否稳定地测量到它要测量的事项。如一个测验对同一个人施测多次，多次测试的结果基本相同，则可认为这个测试是稳定可靠的，即可信度较高。可信度指标多以相关系数表示，大致可分为三类：稳定系数（跨时间的一致性），等值系数（跨形式的一致性）和内在一致性系数（跨项目的一致性）。调查在各种领域的研究中都必须是可信的，并且经得起反复的检验，这样的调查才有价值。可信度指测量工具的稳定性，它代表反复测量结果的接近程度，理想的完全相同测量工具在实际工作中是不存在的。可信度的度量方法主要有以下几种：（一）重测可信度采用同一个问卷在同一人群中先后测量两次，计算两次施测结果的相关系数，重测信度属于稳定系数。它考察的是经过一段时间后问卷测量结果的稳定程度，重测可信度越高，测量结果越一致，这也表明受测环境中日常随机因素的影响越小。如果某个问卷项目的可信度系数较低，就要考虑对该项目进行修改或者删除该项目。由于重测信度法需要对同一样本试测两次，被调查者容易受到各种事件、活动和他人的影响，而且间隔时间长短也有一定限制，多数学者认为以2-4周较为合适，因此在实施中有一定困难。（二）复本可信度即让同一组被调查者一次填答两份问卷复本，计算两个复本的相关系数，相关系数反映的是测量分数的等值性程度，属于等值系数。测定复本可信度也应考虑复本实施的时间间隔，一般来说，复本应当几乎在同一时间实施，以剔除时间的影响。复本可信度法要求两个复本除表述方式不同外，在内容、格式、难度和问题项的提问方向等方面要完全一致，而在实际调查中，很难使调查问卷达到这种要求，因此采用这种方法者较少。（三）折半可信度只用一个测量工具对同一组受试者实施一次测量，但将奇数题和偶数题分开计分，再计算奇数题和偶数题分数之间的相关系数（roe），即为折半可信度，实际可信度需要用斯皮尔曼-布朗公式校正后得出：也属于等值系数。（四） 可信度 问卷对每个概念的测量往往都要用一系列的条目，因而根据这些条目之间的相关性评价可信度。目前对为常用的可信度系数为Cronbachs 系数： (K为量表中问题条目数，为第i题得分的方差，为总得分的方差)，属于内在一致性系数。在可信度分析中，此种方法运用较为普遍。（五）评分者可信度有些问卷不是根据客观的记分系统记分，而是由调查者给被测者打分或评定等级，则这种测量的可靠性主要取决于调查者评分的一致性和稳定性。对于这种标准化程度较低的测量，就必须计算评分者可信度，它分为评分者间可信度和评分者内可信度。前者是用于度量不同调查者间的一致性，后者是度量同一调查者在不同的场合下(如不同时间、地点等)的一致性。可信度度量在SPSS软件中的实现在SPSS统计分析软件中分析菜单下有专门的可信度分析模块，通过对该模块的部分选项的选择可以实现大部分的问卷信度分析。从Analyze菜单进入后，其余调用过程见表1。有效度的问题研究有效度是一个测试能够测试出测试对象的程度，即测试结果与测试目标的符合程度。有效度是作为一个科学测试工具所必备的重要条件。有效度越高表示测量结果越能显示出所要测试对象的真正特征。任何测试工具，无论其它方面有多好，若有效度太低，测试的结果不是它要测试的目的(如用英语试卷测试学生的数学能力)，那么，对目前所要测试的东西，这个测试将是无价值的。（一） 有效度的度量方法有效度是个多层面的概念，可从不同角度来看，从而提出了衡量有效度的几种方法：表面有效度，是指测量结果与人们头脑中的印象或学术界形成的共识的吻合程度，吻合度高，则表面有效度高。表面有效度属专家评价的主观指标。内容有效度，是指测量内容的适合性和相符性，即测量所选题目是否符合测量目的和要求。内容有效度也属专家评价的主观指标。效标有效度，又称为“准则有效度”，是指测量结果与一些能够精确表示被测概念的标准之间的一致性程度。效标有效度是用测量分数与效标分数之间的相关系数来衡量的，减少了由于主观判断失误而产生的偏差，是一种比较实用的有效度，但不足之处在于效标的选择靠主观判断。结构有效度，指问卷所能衡量到理论上期望的特征的程度，即问卷所要测量的概念能显示出科学的意义并符合理论上的设想。评价某调查问卷的结构有效度可分为两步：首先是提出结构假设，然后对结构假设进行验证。度量结构有效度常用的统计方法是因子分析，其目的是想了解属于相同概念的不同问卷项目是否如理论预测那样集中在同一公共因子里。在进行分析以前，必须先进行因子分析适合性的评估，以确定所获得的资料是否适合进行因子分析。一般采用KMO检验来进行适合性分析，KMO越大，则所有变量之间的简单相关系数平方和远大于偏相关系数平方和，因此越适合于作因子分析。（二） 有效度度量在SPSS软件中的实现表面有效度和内容有效度属于主观指标，一般采取专家评价法。在SPSS统计分析软件中没有专门的有效度分析模块，效标有效度和结构有效度可以通过分析菜单进行，从Analyze菜单进入后，其余调用过程见表2。        可信度与有效度相互关系的分析可信度度量的是问卷测量结果是否一致的可靠程度，而不涉及结果是否正确的问题；有效度则针对问卷测量的目的，重点考察测量结果的有效性。可信度的评价指标是可信度系数，理论上可以表达为真实值方差和测量值方差的比值。若X为测量值，T表示真实值，E表示测量随机误差，真实值和测量值之间关系为X=T+E，即测量值的方差等于真实值的方差与随机误差的方差之和，所以可信度系数为：。有效度表示测量工具能够测出其所要测量的特征的正确性，采用有效度系数来衡量。        有效度系数一般规定为与测量目标值的方差在总测量值方差中所占的比例，即有效度系数为：，其中T=TX+T0，TX是想要测量的目标值，T0则是与测量目的不相关的系统性偏差。可信度的计算公式，是一部分，因此有效度高时可信度一定高，但反过来就不一定了。它们之间的差别在于所涉及的误差不同，可信度测量的是随机误差的影响，有效度是反映由于测量了与测量目的无关的变量所引起的系统误差。可信度是有效度的必要而非充分的条件，同时，测验的有效度受它的可信度制约。缺乏可信度的测量肯定是无效。