效度分析和信度分析.ppt

《效度分析和信度分析.ppt》由会员分享，可在线阅读，更多相关《效度分析和信度分析.ppt（24页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、效度分析和信度分析现在学习的是第1页，共24页一、背景准备一、背景准备1、误差公理、误差公理 误差误差(error)是指对事物某一特征的度量值偏离真实值的部分，即测定值与是指对事物某一特征的度量值偏离真实值的部分，即测定值与真实值之差，样本统计量与总体参数之差。真实值之差，样本统计量与总体参数之差。误差公理：实验结果都会有误差，误差自始至终存在于一切科学实验的过程之中误差公理：实验结果都会有误差，误差自始至终存在于一切科学实验的过程之中2、误差的种类：、误差的种类：1）随机误差包括随机测量误差和抽样误差）随机误差包括随机测量误差和抽样误差随机测量误差：没有固定的倾向，可使多次观测结果有大有小。

2、随机测量误差：没有固定的倾向，可使多次观测结果有大有小。抽样误差：由于抽样造成的样本指标与总体指标之间的差别。抽样误差：由于抽样造成的样本指标与总体指标之间的差别。现在学习的是第2页，共24页 问卷测验中测量误差通常来源于两个方面：问卷测验中测量误差通常来源于两个方面：一是产生于问卷测验过程中的误差，称为测量误差，也称为随机误一是产生于问卷测验过程中的误差，称为测量误差，也称为随机误差；差；二是由问卷的结构质量造成的误差，称为系统误差二是由问卷的结构质量造成的误差，称为系统误差2）系统误差：是由于偏倚（使研究结果按照一个方向偏离总体，）系统误差：是由于偏倚（使研究结果按照一个方向偏离总体，bi

3、as）产生的错误结）产生的错误结果，可校正和消除。果，可校正和消除。3）过失误差（）过失误差（gross error)是由于科研设计错误，或实验者的主观片面、是由于科研设计错误，或实验者的主观片面、粗心大意引起的误差。粗心大意引起的误差。现在学习的是第3页，共24页 效度（效度（validity）通常是指问卷的有效性和正确性，亦即问卷能够测量）通常是指问卷的有效性和正确性，亦即问卷能够测量出其所欲测量特性的程度。出其所欲测量特性的程度。效度是问卷调查研究中最重要的特征，问卷调查的目的就是要获得高效度效度是问卷调查研究中最重要的特征，问卷调查的目的就是要获得高效度的测量与结论，效度越高表示该问卷

4、测验的结果所能代表要测验的行为的真实的测量与结论，效度越高表示该问卷测验的结果所能代表要测验的行为的真实度越高，越能够达到问卷测验目的，该问卷才正确而有效。度越高，越能够达到问卷测验目的，该问卷才正确而有效。问卷的准确性或称为有效性是用问卷的效度加以刻划的，它反映了对问卷的系统问卷的准确性或称为有效性是用问卷的效度加以刻划的，它反映了对问卷的系统误差的控制程度。误差的控制程度。二、问卷效度分析二、问卷效度分析现在学习的是第4页，共24页 效度是指问卷测验的准确性，即测验能够反映所要测量特性的程度效度是指问卷测验的准确性，即测验能够反映所要测量特性的程度.其包括两个方面的含义：一是问卷测验的目的

5、；二是问卷对测量目标的测量精确度和真其包括两个方面的含义：一是问卷测验的目的；二是问卷对测量目标的测量精确度和真实性。效度是一个具有相对性、连续性的概念。实性。效度是一个具有相对性、连续性的概念。效度性质效度性质1.效度具有相对性：任何测验的效度是对一定的目标来说的，效度具有相对性：任何测验的效度是对一定的目标来说的，或者说测验只有用于与测验目标一致的目的和场合才会有效。或者说测验只有用于与测验目标一致的目的和场合才会有效。所以，在评价测验所以，在评价测验的效度时，必须考虑效度测验的目的与功能。的效度时，必须考虑效度测验的目的与功能。2.效度具有连续性：测验效度通常效度具有连续性：测验效度通常

6、用相关系数表示，它只有程度上的不同，而没有用相关系数表示，它只有程度上的不同，而没有“全有全有”或或“全无全无”的区别。效的区别。效度是针对测验结果的度是针对测验结果的 u常用的效度指标常用的效度指标 确定一个问卷效度的方法，通常是以答卷者的问卷得分和另一个效度标准求相关，以其确定一个问卷效度的方法，通常是以答卷者的问卷得分和另一个效度标准求相关，以其相关系数的大小来表示效度。如果相关系数高，则该问卷的效度就高。相关系数的大小来表示效度。如果相关系数高，则该问卷的效度就高。一般常用的效度指标有内容效度、结构效度。一般常用的效度指标有内容效度、结构效度。现在学习的是第5页，共24页（一）内容效度

7、（一）内容效度 内容效度是指问卷内容的贴切性和代表性内容效度是指问卷内容的贴切性和代表性,即问卷内容能否反应所要测量的特质，即问卷内容能否反应所要测量的特质，能否达到测验目的，较好地代表所欲测量的内容和引起预期反应的程度。内容效度常以能否达到测验目的，较好地代表所欲测量的内容和引起预期反应的程度。内容效度常以题目分布的合理性来判断，属于命题的逻辑分析，所以，内容效度也称为题目分布的合理性来判断，属于命题的逻辑分析，所以，内容效度也称为“逻辑效度逻辑效度”、“内在效度内在效度”。内容效度的评价主要通过经验判断进行，通常考虑内容效度的评价主要通过经验判断进行，通常考虑3方面的问题：方面的问题：其一

8、是项目所测量的是否真属于应测量的领域；其一是项目所测量的是否真属于应测量的领域；其二是测验所包含的项目是否覆盖了应测领域的各个方面；其二是测验所包含的项目是否覆盖了应测领域的各个方面；其三是测验题目的构成比例是否恰当。其三是测验题目的构成比例是否恰当。常用的内容效度的评价方法有两种：常用的内容效度的评价方法有两种：一是专家法，即请有关专家对问卷题目与原来的内容范围是否符合进行分析一是专家法，即请有关专家对问卷题目与原来的内容范围是否符合进行分析,作出判作出判断，看问卷题目是否较好地代表了原来的内容。断，看问卷题目是否较好地代表了原来的内容。二是统计分析法，即从同一内容总体中抽取两套问卷，分别对

9、同一组答卷者进行测验二是统计分析法，即从同一内容总体中抽取两套问卷，分别对同一组答卷者进行测验,两种问卷的相关系数就可用来估计问卷的内容效度。两种问卷的相关系数就可用来估计问卷的内容效度。三是计算某个问题与去掉此问题后总得分的相关性情况，分析是否需要被剔除（敏感性分析）。三是计算某个问题与去掉此问题后总得分的相关性情况，分析是否需要被剔除（敏感性分析）。现在学习的是第6页，共24页（二）结构效度（二）结构效度 建构效度：是指测量结果体现出来的某种结构与测值之间的对应程度。效度分析最理想建构效度：是指测量结果体现出来的某种结构与测值之间的对应程度。效度分析最理想的方法是利用因子分析测量量表或整个

10、问卷的结构效度。的方法是利用因子分析测量量表或整个问卷的结构效度。因子分析的主要功能是从量表全部变量（题项）中提取一些公因子，各公因子分别与某一群特因子分析的主要功能是从量表全部变量（题项）中提取一些公因子，各公因子分别与某一群特定变量高度关联，这些公因子即代表了量表的基本结构。通过因子分析可以考察问卷是否能够测量定变量高度关联，这些公因子即代表了量表的基本结构。通过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种结构。在因子分析的结果中，用于评价结构效度的主要指标有累积出研究者设计问卷时假设的某种结构。在因子分析的结果中，用于评价结构效度的主要指标有累积贡献率、共同度和因子负荷。

11、累积贡献率反映公因子对量表或问卷的累积有效程度，共同度反映由贡献率、共同度和因子负荷。累积贡献率反映公因子对量表或问卷的累积有效程度，共同度反映由公因子解释原变量的有效程度，因子负荷反映原变量与某个公因子的相关程度。公因子解释原变量的有效程度，因子负荷反映原变量与某个公因子的相关程度。现在学习的是第7页，共24页（三）其他效度指标（三）其他效度指标1、效标效度、效标效度效标效度也称为准则关联效度、经验效度、统计效度。效标效度是说明问卷得分与某种外部准效标效度也称为准则关联效度、经验效度、统计效度。效标效度是说明问卷得分与某种外部准则（效标）间的关联程度，用问卷测量得分与效度准则之间的相关系数表

12、示。则（效标）间的关联程度，用问卷测量得分与效度准则之间的相关系数表示。一般估计效标效度的主要方法有：一般估计效标效度的主要方法有：相关法，即求某问卷分数与效标间的相关，所得结果即效标效度。相关法，即求某问卷分数与效标间的相关，所得结果即效标效度。区分法，即看问卷分数是否可以区分由效标所划分的团体。区分法，即看问卷分数是否可以区分由效标所划分的团体。可以运用可以运用t检验对先后两次问卷结果平均分数进行差异性检验。若差异有统计学意义，说明问检验对先后两次问卷结果平均分数进行差异性检验。若差异有统计学意义，说明问卷是有效的；若差异无统计学意义，说明问卷是无效的。卷是有效的；若差异无统计学意义，说明

13、问卷是无效的。现在学习的是第8页，共24页2、判别效度、判别效度 判别效标也称为辨别效标，是指运用相同的问卷测定不同特质和内涵，测量结果之间判别效标也称为辨别效标，是指运用相同的问卷测定不同特质和内涵，测量结果之间不应有太大的相关性。不应有太大的相关性。3、聚合效度、聚合效度 聚合效度也称为收敛效度，是指运用不同测量方法测定同一特质所得结果的相似程度，即对聚合效度也称为收敛效度，是指运用不同测量方法测定同一特质所得结果的相似程度，即对同一特质的两种或多种测定方法间应有较高的相关性。同一特质的两种或多种测定方法间应有较高的相关性。现在学习的是第9页，共24页 Spitzer认为如果满足以下认为如

14、果满足以下5个条件就可以认为问卷由效：个条件就可以认为问卷由效：.（1）问卷有内容效度和结构效度；）问卷有内容效度和结构效度；（2）在问卷制定阶段应当请有关人员提出意见，供修正和提高内容效度；）在问卷制定阶段应当请有关人员提出意见，供修正和提高内容效度；（3）问卷经过反复使用证明了其可靠性；）问卷经过反复使用证明了其可靠性；（四）提高问卷效度的方法（四）提高问卷效度的方法（1）理论正确，解释清楚。问卷内容要适合问卷测验的目的，题目要清楚明了，易于理解，问卷）理论正确，解释清楚。问卷内容要适合问卷测验的目的，题目要清楚明了，易于理解，问卷的排列要由易到难，题目的难度和区分度要合适；的排列要由易到

15、难，题目的难度和区分度要合适；（2）操作规范以减少误差；）操作规范以减少误差；（3）控制系统误差。它主要包括仪器不准，题目和指导语有暗示性，答案安排不当）控制系统误差。它主要包括仪器不准，题目和指导语有暗示性，答案安排不当(被试可以猜测被试可以猜测)等等,控制这些因素可以降低系统误差控制这些因素可以降低系统误差,提高效度；提高效度；（4）样本适宜且要预防流失。重视问卷调查的回收率。样本容量一般不应低于）样本适宜且要预防流失。重视问卷调查的回收率。样本容量一般不应低于30；（5）适当增加问卷的长度。增加问卷的长度既可提高问卷的信度，也可以提高问卷的）适当增加问卷的长度。增加问卷的长度既可提高问卷

16、的信度，也可以提高问卷的效度，但增加问卷的长度对信度的影响大于对效度的影响；效度，但增加问卷的长度对信度的影响大于对效度的影响；（6）排除无关因素干扰。认清并排除足以混淆或威胁结论的无关干扰变量。）排除无关因素干扰。认清并排除足以混淆或威胁结论的无关干扰变量。现在学习的是第10页，共24页三、效度分析实例三、效度分析实例现在学习的是第11页，共24页1问卷的敏感性（可靠性）分析问卷的敏感性（可靠性）分析（1）操作过程）操作过程从菜单选择从菜单选择Analyze Scale Reliability Analysis Item（输入问卷的各条目或各因子包含的（输入问卷的各条目或各因子包含的条目）条

17、目）单击单击“Statistics”按钮，弹出信度分析统计量对话框按钮，弹出信度分析统计量对话框 Descriptives for:Scale if item deleted OK Scale if item deleted:去掉当前题目整个问卷的描述统计量，即敏感性分析，包去掉当前题目整个问卷的描述统计量，即敏感性分析，包括以下内容：括以下内容：Scale Mean if Item Deleted:去掉当前题目问卷合计分的均数；去掉当前题目问卷合计分的均数；Scale Variance if Item Deleted:去掉当前题目问卷合计分的方差；去掉当前题目问卷合计分的方差；Correct

18、ed Item-Total Correlation:当前题目得分与去掉当前题目问卷合计分的当前题目得分与去掉当前题目问卷合计分的Pearson相关系数；相关系数；Squared Multiple Correlation:以当前题目为因变量，其它所有题目为自变量求得的以当前题目为因变量，其它所有题目为自变量求得的决定系数决定系数R2；Alpha if Item Deleted:去掉当前题目后问卷的去掉当前题目后问卷的Cronbach 系数。系数。现在学习的是第12页，共24页一般地，在做问卷的敏感性分析时，可以将一般地，在做问卷的敏感性分析时，可以将“Alpha if Item Deleted”

19、值，作为调整题目的值，作为调整题目的一个重要参考依据。一个重要参考依据。如果如果“Alpha if Item Deleted”值越大，其相对应的题目越应是首先考虑调整的题目。值越大，其相对应的题目越应是首先考虑调整的题目。从本次问卷结果敏感性分析可以看出，量表的各个题目的从本次问卷结果敏感性分析可以看出，量表的各个题目的“Alpha if Item Deleted”值值均在均在0.97左右变化，且变化的幅度很小。所以，就左右变化，且变化的幅度很小。所以，就“Alpha if Item Deleted”值这项指值这项指标看量表各题目均可以保留，无需调整。标看量表各题目均可以保留，无需调整。2、问

20、卷的结构效度的分析问卷的结构效度的分析 因子分析不仅能够评价量表结构的相合性，还可以用共性变异（共性方差）与总变因子分析不仅能够评价量表结构的相合性，还可以用共性变异（共性方差）与总变异之比作为结构效度的衡量指标。结构效度的分析最好使用证实性因子分析，它较探索异之比作为结构效度的衡量指标。结构效度的分析最好使用证实性因子分析，它较探索性因子分析更能说明问题。性因子分析更能说明问题。现在学习的是第13页，共24页四、调查问卷的信度四、调查问卷的信度现在学习的是第14页，共24页 信度主要是指问卷是否精准信度主要是指问卷是否精准(precision)。信度分析涉及了问卷测验结果。信度分析涉及了问卷

21、测验结果的一致性和稳定性，其目的是如何控制和减少随机误差。信度是用估计测量的一致性和稳定性，其目的是如何控制和减少随机误差。信度是用估计测量误差大小的尺度，来说明问卷测验结果中测量误差所占的比率。误差大小的尺度，来说明问卷测验结果中测量误差所占的比率。信度可定义为真实分数信度可定义为真实分数(true score)的方差与测验实得分数的方差与测验实得分数(observed score)的方差的方差之比，当实得分数变异可以全部由真实分数的变异解释时，测验误差就是之比，当实得分数变异可以全部由真实分数的变异解释时，测验误差就是0，这时问卷，这时问卷测验的信度为测验的信度为1。调查问卷的信度包含两层

22、含义：一是相同的个体在不同时间，以相同的问卷测验，或以复本测验，或在不同的情景下测验，是否能得到相同的结果，即问卷测验结果是否随时间和地点等因素而变化；二是能否减少随机误差对问卷测验结果的影响，从而能够反映问卷所要测量的真实情况，即问卷测验结果是否具有稳定性、可靠性和可预测性。一个好的问卷必须是稳定可靠的，且多次问卷测验结果应前后一致。现在学习的是第15页，共24页信度的分类：信度研究的是问卷测验结果的可靠性与稳定性，可以从不同的角度来评价：（1）在相同条件下所得问卷测验结果的一致程度；（2）不同研究者用同一种问卷同时测验所得结果的一致程度；（3）同一研究者用同一种问卷在不同时间内测验所得结果

23、的一致程度。常用的信度系数常用的信度系数1）重测信度）重测信度 假定短时间内一批对象的状况并没有改变，对每个对象用同一个问卷先后测验两次，两次测验得分的相关系数就称为重测信度。重测信度是用皮尔逊积差相关系数r公式计算的。重测信度也存在着局限性：重测信度也存在着局限性：间隔时间长，环境影响；如果间隔时间短，记忆影响。现在学习的是第16页，共24页(2)复本信度复本信度 复本通常是根据相同的设计说明分别独立编制的两个平行问卷，即题目不同但是内容相似的两份问卷。复本信度也叫等值性系数（coefficient of equivalence）。两个复本间隔一定时间或同时施于同一答卷者所得分数的相关系数就

24、是复本信度。缺点：如复本编制不容易，易出现顺序效应，受练习的影响；复本信度只能反应问卷内容所造成的误差，无法反应答卷者本身所造成的误差等。(3)分半信度分半信度 当测验没有复本且测验不可避免地受到时间的影响，只适合用于一次测验时，可用分半信度。分半的方法很多，一般是将奇数题和偶数题各作为一半，而非前后分半，目的是避免顺序效应。分半信度也叫折半信度，其计算方法是将问卷的题目分成对等的两半，分别求出两半题目的总分，再计算两部分总分的相关系数。使用分半信度时要注意：问卷题目所测的应是同一种特质；二是两半题目应是等值的。对问卷题目进行分半会造成了对整个问卷信度的低估，为此需要对分半信度进行校正现在学习

25、的是第17页，共24页（4）克隆巴赫信度系数）克隆巴赫信度系数Cronbachs 系数是Cronbach于1951年创立的，用于评价问卷的内部一致性。系数取值在0到1之间，系数越高，信度越高，问卷的内部一致性越好。Cronbachs 系数不仅适用于两级记分的问卷，还适用于多级计分的问卷。其计算公式为：其计算公式为：式中n为问卷包含的题目数目为答卷者在第i题得分的方差，为答卷者问卷测验总得分的方差。低信度：0.35,中信度：0.350.70,高信度：0.70 一般地，问卷的系数在0.8以上该问卷才具有使用价值。Cronbachs 值皆达0.85以上，表明问卷信度良好。现在学习的是第18页，共24

26、页n提高信度的方法提高信度的方法（1）适当延长问卷的长度 问卷题目较多，其在一定程度上排除了偶然因素的影响，从而提高了问卷的信度。但是问卷长度的增加与问卷的信度的增加并不总是成正比的，当信度系数较小时，延长问卷长度，问卷的信度系数增加较大；而当信度系数较大时，延长问卷长度对信度系数的影响就较小。（2）问卷的难度适中当问卷题目难度太大时，问卷得分普遍过低；当问卷题目难度太小时，问卷得分普遍较高。问卷题目太难或太易都会使问卷得分差异减小，使实得分数方差减小，从而降低了问卷的信度。（3）问卷的内容尽量同质内容同质的问卷，要求答卷者具有相同的能力、知识和技能。因而为了提高问卷的信度，问卷的内容应尽量保

27、持同质。（4）测验的时间要充分一份问卷应保证绝大多数答卷者在规定的时间内能完成测验。当答卷者不能从容地回答所有题目时，问卷的得分就不能反映答卷者的真实情况。现在学习的是第19页，共24页（5）测验的程序要统一问卷题目要统一，指导语、回答问题的方式、分收试卷的方法和问卷测验的时间等都要统一，这些是问卷有较高信度的基本保证现在学习的是第20页，共24页五、效度和信度的关系五、效度和信度的关系现在学习的是第21页，共24页1、信度和效度的共同点都是以相关系数来表示其大小的。都是整个运用问卷调查技术进行科研工作的可靠性保证。2.不同点主要是：（1）研究的对象不同 信度：答卷者 效度：组卷人 （2）研究

28、的角度不同 信度：测量的质量 效度：问卷的质量（3）涉及的误差不同 信度仅考虑随机误差占测验总变异的比例；效度则还包括与测验无关但稳定的测量误差。两者存在着必然的联系，问卷的信度是效度的必要而非充分条件，信度越高，效度不一定越高，即如果问卷是完全可信的，那么问卷可能达到完全有效，也可能达不到，这种现象产生的原因是测量误差的存在。（4）数值大小不同 可以证明，问卷的效度为问卷信度所制约，且效度不会大于信度，测量理论研究发现，效度的最大值小于或等于信度的平方根。效度高的测验，信度必定高，但信度高的测验，效度未必高。现在学习的是第22页，共24页 从理论的角度来看，一份好的问卷应具有足够的效度和信度

29、。但是，从实践的观点来看，一份好的问卷还应该具有实用性，即问卷的经济性、便利性和可解释性。适当增加问卷的长度。增加问卷的长度既可提高问卷的信度，也可以提高问卷的效度，但增加问卷的长度对信度的影响大于对效度的影响。但是按经验以使答卷者在30分钟之内完成较佳。提高问卷效度的方法提高问卷效度的方法（1）理论正确，解释清楚（2）操作规范以减少误差（3）控制系统误差（4）样本适宜且要预防流失（5）适当增加问卷的长度（6）排除无关因素干扰。现在学习的是第23页，共24页 一般信度分析是针对态度、性格、爱好、兴趣类的主观问题或现象的调查，而这类的调查一般信度分析是针对态度、性格、爱好、兴趣类的主观问题或现象

30、的调查，而这类的调查问卷一般都是采用量表的形式，因此就是你看到的现象。问卷一般都是采用量表的形式，因此就是你看到的现象。而对于一般我们调查的客观类的问卷数据，不需要做信度分析。信度分析主要是考察而对于一般我们调查的客观类的问卷数据，不需要做信度分析。信度分析主要是考察数据的可靠性的，比如内部一致性系数、拆半系数、相关系数等等，而这些系数都是针对数据的可靠性的，比如内部一致性系数、拆半系数、相关系数等等，而这些系数都是针对量表那种具有一系列相关问题进行的分析，因此，如果你需要做信度分析，看看你的问卷量表那种具有一系列相关问题进行的分析，因此，如果你需要做信度分析，看看你的问卷是否适合或有必要做信度分析。通常可以对整个问卷做信度分析，也可以对问卷中一类问是否适合或有必要做信度分析。通常可以对整个问卷做信度分析，也可以对问卷中一类问题进行信度分析。题进行信度分析。现在学习的是第24页，共24页