心理测量中测验质量分析的统计原理与SPSS操作.pptx

11 真分数测量理论简介真分数测量理论的基本假设测验的项目分析测验的信度分析测验的效度分析第1页/共27页21.1 真分数测量理论的基本假设真分数的数学含义：测量上被试的真分数是观测分数（或说测量实得分数）的期望值。第2页/共27页31.1 真分数测量理论的基本假设测量实得分数与真分数之间存在线性关系：X=T+E（X：实际分数；T：真分数；E：误差分数）测量误差的期望值为零：E=0误差与真分数彼此独立：rTE=0实际分数的方差=真分数的方差+随机误差的方差：SX2=ST2+SE2第3页/共27页41.1 真分数测量理论的基本假设真分数理论模型是20世纪前期与中期的心理测量理论的主导部分，所以它也叫经典测量理论。其理论框架围绕“四度”来展开：难度（Item Difficulty）区分度（Item Discrimination）信度（Reliability）效度（Validity）项目分析（Item Analysis）第4页/共27页51.2 测验的项目分析测验的质量分析：即对测题质量的分析，包括对测题的定性分析与定量分析（即项目分析）。定性分析：需检测构成测验的每一道题目的编制是否真正符合了相应的命题原则。项目分析：即对测题质量高低的定量统计分析，使用难度与区分度两个主要技术指标。第5页/共27页61.2 测验的项目分析难度：指测验题目的难易程度。通常用得分率（或通过率）P来衡量。P的计算方法有很多，一般心理测量书籍都有介绍。在教育测验中一定要考察测题的难度；在心理测验中，除智力测验外，一般可不必计算题目难度，而主要计算题目区分度。题目难度值以0.5为最适宜。一般是使测验的平均难度控制在0.5左右，而具体每个题目的难度控制在0.20.8之间较合适。第6页/共27页71.2 测验的项目分析区分度：题目有效地区分被试某种心理特质的不同水平的程度。它反映了一个题目的鉴别能力，又称题目的鉴别度。从本质上讲，题目的区分度是测验预测效度的微观表现，是测验有效性的根本保证，它的高低是取舍和修改题目的主要依据。第7页/共27页81.2 测验的项目分析区分度主要以效标为参照标准，考察被试在每个题目上的反应与其在效标上的表现之间的相关程度。效标：是指衡量测验或题目有效性的外在标准。题总相关：在做项目分析时，一般以测验总分为效标，计算每一题目与测验总分之间的相关系数。经矫正的题总相关：计算每一题目与测验减去该题目之后的剩余题目总分之间的相关系数。第8页/共27页91.2 测验的项目分析多重相关的平方：该题目的得分与其余题目分数之间的复相关系数，也就是以该题为因变量，其他题目为自变量进行线性回归所得出的复相关系数（实际就是决定系数R2）。一般要求题总相关值在0.6以上的题目为好；如果达不到这个要求时，应再看多重相关的平方值，在0.3以上尚可以保留，而低于0.3应淘汰。第9页/共27页101.2 测验的项目分析鉴别指数（D）：即根据某种标准（测验总分）划分两个极端组（高分组和低分组）在该题上通过率的差：D=PH-PL（PH：高分组通过率；PL：低分组通过率）先按测验总分把全部被试从高到低排列，然后采取从两端各划出25%33%的被试作为极端组，在正态分布的情况下，可以27%的比例划分组。第10页/共27页111.2 测验的项目分析第11页/共27页121.2 测验的项目分析CR临界比：当采用极端组法将被试分成高分组和低分组后，还可使用CR临界比表示区分度的大小。第12页/共27页131.2 测验的项目分析CR临界比的计算方法是：其中CR表示临界比，XH和XL分别表示高分组和低分组的平均数，SH2和SL2分别表示高分组和低分组的方差。第13页/共27页141.2 测验的项目分析临界比越高，说明项目的区分能力越强。通常项目的临界比大于3.0时即可被接受。临界比不仅考虑了项目在高分组和低分组的难度，而且考虑了方差，因而更加精确地体现了项目的鉴别能力。由临界比的计算公式可知，临界比的值实际就是高分组与低分组样本均数之间的t检验值。第14页/共27页151.3 测验的信度分析信度：指测验结果的一致性程度或可靠性程度。在真分数测量理论中，信度的数学定义为真分数的方差与实际分数的方差的比值：rXX=ST2/SX2或 rXX=1-SE2/SX2第15页/共27页161.3 测验的信度分析信度的种类内在信度：指整个测验是否测量的是同一个概念，即测题之间的内在一致性程度或叫同质性信度。常用的有克伦巴赫系数和分半信度。外在信度：在不同时间进行测量、或对不同样本进行测量、或由不同评定者评定的测验结果的一致性程度。常用的有重测信度、复本信度、评分者信度。第16页/共27页171.3 测验的信度分析第17页/共27页181.4 测验的效度分析效度：指测量值和真实值的接近程度。在真分数测量理论中，假设在真分数中稳定的存在系统误差，于是重新分解实际分数X=V+I+E（X：实际分数；V：有效分数；I：系统误差分数；E：随机误差分数），而效度的数学定义为有效分数的方差与实际分数的方差的比值：rXY=SV2/SX2第18页/共27页191.4 测验的效度分析效度的种类效标效度：一个测验的总分与某个外在标准之间的相关。内容效度：一个测验的总分与各分测验量表之间的相关程度。但内容效度更主要是由专家评定获得。结构效度（构想效度）：测验结构的理论建构的合理性程度。第19页/共27页201.4 测验的效度分析第20页/共27页212 项目分析在SPSS中的实现通过可靠性分析的描述统计与内部题目统计，可直接计算经矫正的题总相关值、多重相关的平方值AnalyzeScaleReliability Analysis：ItemsModel（信度分析模型）：AlphaStatisticsDescriptives for：Item，Scale，Scale if item deleted；Inter-item：CorrelationsOk第21页/共27页223 信度分析（可靠性分析）在SPSS中的实现通过Pearsons相关系数，直接计算重测信度、复本信度AnalyzeCorrelateBivariate：VariablesCorrelation Coefficients：PearsonTest of significance：Two-tailedFlag significant correlationOptionOk第22页/共27页233 信度分析（可靠性分析）在SPSS中的实现通过可靠性分析模型，直接计算同质性信度（Cronbachs系数）、分半信度、（严格）平行信度等AnalyzeScaleReliability Analysis：ItemsModel（信度分析模型）：Alpha，Split-half，Parallel，Strict ParallelOk第23页/共27页243 信度分析（可靠性分析）在SPSS中的实现通过可靠性分析中的方差分析表，或Kappa一致性检验，直接计算评分者信度AnalyzeScaleReliability Analysis：ItemsModel（信度分析模型）：AlphaStatisticsANOVA Table：F test；Friedman chi-square；Cochran chi-squareOkAnalyzeDescriptive StatisticsCrosstabsRows，Columns：选择对应题目Statistics：KappaExact：ExactOk第24页/共27页254 用SPSS做效度分析入门通过Pearsons相关系数，直接计算效标效度、内容效度AnalyzeCorrelateBivariate：VariablesCorrelation Coefficients：PearsonTest of significance：Two-tailedFlag significant correlationOptionOk当样本超过500时，计算效标效度可使用一般线性回归分析（RegressionLinear），以测验总分为因变量，以每一个题目为自变量。如果题目全部进入回归方程，没有被剔除（Removed）的，表明测验的内容信度高不是由于样本大造成的假象，而是确实因为题目可信才高。第25页/共27页264 用SPSS做效度分析入门通过探索性因素分析，计算结构效度SPSS不能做验证性因素分析，而只能做探索性因素分析第26页/共27页27谢谢您的观看！第27页/共27页