spss量表分析1.ppt

《spss量表分析1.ppt》由会员分享，可在线阅读，更多相关《spss量表分析1.ppt（22页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 量化研究與統計分析.第十五章测验发展与信效度Test Development and Reliability and ValidityTest Development and Reliability and Validity1第十五章 测验发展与信效度 量化研究與統計分析.课程目标了解标准化测验的基本特性了解标准化测验的编制程序了解信度的意义与类型了解效度的意义与类型了解信度与效度的关系2第十五章 测验发展与信效度 量化研究與統計分析.测验发展的基本流程 文献整理与文献整理与资资料搜集料搜集发发展展测验编测验编制制计计划划试题编试题编写写预试预试施施测测项项目分析目分析建立正式量表建立正式量

2、表技技术术指指标标建立建立（信度与效度分析）量表量表维护维护（常模的建立与更新）正式施正式施测测准备阶段预试阶段正式阶段后续发展第一节3第十五章 测验发展与信效度 量化研究與統計分析.测验编制计划的内容与说明 第一节4第十五章 测验发展与信效度 量化研究與統計分析.信度(reliability)意义意义:测量的可靠性测量的可靠性 trustworthiness一致性（consistency）表示测验内部试题间是否相互符合稳定性（stability）不同的测验时点下，测验分数前后一致的程度 信度的数学原理信度的数学原理凡测量必有误差，误差由机率因素所支配，为一随机误差（random error）

3、第二节5第十五章 测验发展与信效度 量化研究與統計分析.古典测量理论的信度观点测量分数组成测量分数测量分数=真分数真分数+测量误差测量误差测验总变异量=真实分数的变异随机误差变异信度系数1-误差占测量变异百分比误差占测量变异百分比信度系数介于信度系数介于0与与+1之间，数值越大，信度越高之间，数值越大，信度越高 第二节6第十五章 测验发展与信效度 量化研究與統計分析.测量标准误 SEM（Standard Error of Measurement）信度表示测量分数的稳定与可靠性，亦表示测信度表示测量分数的稳定与可靠性，亦表示测量受到测量误差的影响程度量受到测量误差的影响程度测量分数的变异量，受到

4、测量误差影响的部分，称为测量误差变异量，开方后称为测量标准误（e）测量误差被假设呈常态分配，因此测量标准误配合常态化机率可以用来进行测量分数的区间估计rxx X特质的测验信度X分数的95的信心区间第二节7第十五章 测验发展与信效度 量化研究與統計分析.信度的类型 再测信度（再测信度（test-retest reliability）系指以同一种测量工具，对同一群受试者，前后测验两次的相关系数。又称稳定系数。复本信度（复本信度（a1ternate-form reliability）同一群受试者接受两种复本测验的得分之相关系数。折半信度（折半信度（split-half reliability）测验题

5、目依题目的单双数或其他方法分成两半，计算受测者在两半测验上的分数的相关系数。内部一致性系数（内部一致性系数（coefficient of internal consistency）反映测量工具内部同质性、一致性或稳定度。同质性越高，代表量表试题是在测量相同的特质。KR20适用于二分变量的测量，Cronbachs 适用于多元尺度变量的测量。评分者间信度（评分者间信度（inter-rater reliability）不同的评量者间分数的相关系数。第二节8第十五章 测验发展与信效度 量化研究與統計分析.常用信度折半法折半法测验题目依题目的单双数或其他方法分成两半，计算受测者在两半测验上的分数的相关系

6、数。折半方式多为odd-even split。相关系数多采史比校正系数（Spearman-Brown prophecy formula）内部一致性法原理内部一致性法原理反映测量题目的内部同质性、一致性或稳定度。原理为计算测量项目的平均相关（rij），同质性越高，代表量表试题是在测量相同的特质。内部一致性系数（coefficient of internal consistency）KR20(Kuder&Richardson,1937)适用于二分变量的测量Cronbachs 适用于多元尺度变量的测量第二节9第十五章 测验发展与信效度 量化研究與統計分析.影响信度的因素 影响信度的关键因素是测量误差

7、，可以减低误差的方法，影响信度的关键因素是测量误差，可以减低误差的方法，即能够提高信度。即能够提高信度。基本原理：中央极限定理、测量标准误、共变量的计算 影响信度的因素影响信度的因素受试者因素（如受测者的身心健康状况、动机、注意力、持久性、作答态度等变动）主试者因素（如非标准化的测验程序、主试者的偏颇与暗示、评分的主观性等等）测验情境因素（测验环境条件如通风、光线、声音、桌面、空间因素等皆有影响的作用）测验内容因素（试题取样不当、内部一致性低、题数过少）时间因素 第二节10第十五章 测验发展与信效度 量化研究與統計分析.效度(validity)效度的意义效度的意义测量的正确性，指测验或其他测量

8、工具确能测得其所欲测量的特质或功能之程度测量的效度愈高，表示测量的结果愈能显现其所欲测量对象的真正特征 测验的效度通常以测验分数与其所欲测量的特质之间的相关系数表示之评估效度的方法评估效度的方法判断法（informed judgment）测量特性与质的评估 实征法（gathering of empirical evidence）根据具体客观的量化指标来进行评估 第三节11第十五章 测验发展与信效度 量化研究與統計分析.三种不同的效度内容效度（内容效度（content validity）反映测量工具本身内容广度的适切程度，强调测量内容的广度、涵盖性与丰富性 针对测量工具的目标和内容，以系统的逻辑

9、方法来详细分析，又称为逻辑效度（1ogical validity）表面效度（face validity），指测量工具在外显形式上的有效程度 效标关联效度（效标关联效度（criterion-related validity）以测验分数和特定效标（criterion）之间的相关系数，表示测量工具有效性之高低。同时效度（concurrent validity）与预测效度（predictive validity）构念效度（构念效度（construct validity）指测量工具能测得一个抽象概念或特质的程度。多元特质多重方法矩阵法（multitrait-multimethod matrix）：聚敛效

10、度（convergent validity）及区辨效度（discriminant validity）。因素效度（factorial validity）：一个测验或理论因素结构的有效性。第三节12第十五章 测验发展与信效度 量化研究與統計分析.Multitrait-multimethod matrix多重方法多重特质矩阵多重方法多重特质矩阵以两种以上的方法（methods）测量两种以上的特质（traits）Psychometrical featuresReliability(信度)以相同方法测量相同特质（应有最高相关）Convergent validity(聚合效度)以不同方法测量相同特质（应有

11、次高相关）Discriminant validity(区辨效度)以相同或不同方法测不同特质（应有最低相关）Method bias/effects(方法偏误或方法效应)以相同方法测不同特质的相关高于以不同方法测不同特质的相关（差异应越小越好）第三节13第十五章 测验发展与信效度 量化研究與統計分析.Multitrait-multimethod matrix Method 1Teacher ratingMethod 2TestsMethod 3Observers ratingA1B1C1A2B2C2A3B3C3M1A1 诚实诚实(.89)B1 攻击性攻击性.43(.89)C1 智力智力.36.32

12、(.76)M2A2 诚实诚实.62.03.20(.93)B2 攻击性攻击性.22.70.13.40(.94)C2 智力智力.10.13.64.22.30(.84)M3A3 诚实诚实.59.11.02.60.20.21(.94)B3 攻击性攻击性.14.82-.16.13.61.23.30(.92)C3 智力智力.21.10.72.06.19.52.49.36(.85)r of same method/same trait:Convergent validityReliabilityWhen rsmdt rdmdt Method biasDiscriminant validityrdmdt of

13、 different method/different traitrsmdt of same method/different trait第三节14第十五章 测验发展与信效度 量化研究與統計分析.增益效度（增益效度（incremental validity）指某特定测验对于准确预测某一效标，在考量其指某特定测验对于准确预测某一效标，在考量其他测量分数对于效标的影响后的贡献程度他测量分数对于效标的影响后的贡献程度 某项能力测验（某项能力测验（A）在测量个体的认知能力，该）在测量个体的认知能力，该能力测验应可用以解释学生的学习成果（能力测验应可用以解释学生的学习成果（Y），），而且在将努力因素（而

14、且在将努力因素（B）排除之后，能力测验仍然）排除之后，能力测验仍然能够非常有效的解释学习成果，即可说明能力测能够非常有效的解释学习成果，即可说明能力测验具有相当程度的增益效度。验具有相当程度的增益效度。第三节15第十五章 测验发展与信效度 量化研究與統計分析.区分效度区分效度（differential validity）个别差异的鉴别除了可以从效标的回归分析来评估之外（也就是效标关联效度），亦可以从测验分数对于不同行为作业、或效标情境的表现的差异来评估 V1V2V3F1E1E2E3V4V5V6F2E4E5E6Criterion 1Criterion 2Test scores and facto

15、rs第三节16第十五章 测验发展与信效度 量化研究與統計分析.复核效化（cross-validation）定义定义指测量的结果具有跨样本或跨情境的有效性。在结构方程模式中，一个理想模型在不同样本上重复出现的程度，即称之为模型的复核效化基本程序基本程序将样本切割为两个样本，利用多样本模型分析针对同一个假设模型进行估计，一个样本称为测定样本（calibration sample），另一个样本则为效度样本（validation sample）先将一个被检验的SEM模型在测定样本上进行估计后，重复在效度样本上进行检验，检验时，参数的数值应套入先前在测定样本上所使用的模型设定或参数估计数，进行模型检验。

16、第三节17第十五章 测验发展与信效度 量化研究與統計分析.效度衡鉴技术相关分析（相关分析（Correlation）多元回归分析（多元回归分析（Multiple regression）因素分析（因素分析（Factor analysis）多重特质多重方法矩阵多重特质多重方法矩阵 (Multitrait-Multimethod matrix)结构方程模式结构方程模式 （Structural Equation Modeling）第三节18第十五章 测验发展与信效度 量化研究與統計分析.影响效度的因素 测量过程因素测量过程因素实施过程标准化实施过程标准化 样本性质样本性质选用异质性高的样本样本的代表性

17、效标因素效标因素 不适当的效标选用效标本身的测量质量 干扰变项干扰变项 第三节19第十五章 测验发展与信效度 量化研究與統計分析.信度与效度之关系 信度代表测量的稳定性与可靠性，效度信度代表测量的稳定性与可靠性，效度为测量分数的意义、价值与应用性为测量分数的意义、价值与应用性实际效度（实际效度（rxy）信度（信度（rxx）的平方根）的平方根信度的平分根是效度系数的上限。当信信度的平分根是效度系数的上限。当信度越高，效度系数即可能越大。度越高，效度系数即可能越大。第四节20第十五章 测验发展与信效度 量化研究與統計分析.效度削弱相关校正效度削弱相关校正（correction for attenuation）定义定义效度系数因为测量误差(信度不足)所造成的低估的校正实际效度（rxy）信度（rxx）的平方根 第四节21第十五章 测验发展与信效度 量化研究與統計分析.Time for restChapter 15 is done here.See you later!22第十五章 测验发展与信效度