调查问卷的信度与效度.pdf
《调查问卷的信度与效度.pdf》由会员分享,可在线阅读,更多相关《调查问卷的信度与效度.pdf(121页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、调查问卷的信度与效度whats validity?。whats reliability?o调查问卷的效度、信度Research Center of Epidemiology and Health Statistics,Capital University of Medical Science 郭秀花教授2008年5月24日Main Content二、4、Questionnaire Validity Example of Validity Questionnaire Reliability Example of Reliability五、The correlation betweenReliab
2、ility and ValidityL误差公理误差(error)是指对事物某一特征的度量 值偏离真实值的部分,即测定值与真实值之 差,样本统计量与总体参数之差。没有一项研究推论能婚达到百分之百的 真实。No study is free of errors,the inferences are never perfectly valid.误差公理:实验结果都会有误差,误差 自始至终存在于一切科学实验的过程之中。2.误差的种类出世$of error)(1)瓯机误差(random error)魔机误差是由不确定原引起的,不可避免和消 除。其偏离总体的方向 不能确定。包括瓯机测量误差和抽样误差。*随机
3、测量误差(randommeasurement error):没有定的倾E3向,可使多次观测结果有大有小。*抽样误差(sample error):由于 抽样造成的样本指标与总体指标之间 的差别。(2)系统误差(systematic error)是由于偏倚(使研究结果按照一个方 向偏离总体,bias)产生的错误结果,可 校正和消除。(3)过失误差(gross error)是由于科研设计错误,或实验者的主观片面、粗心大意引起的误差。必须避免和剔除!问卷测 验中测量误差通常来源于两个方1:1*一是产生于问 卷测 验过程 中 的 误差,称为测量误差(measurement Error),也称 为随机误差
4、(random error);*二是由问卷的结构质量造成的 误差,称为系统误差(system Error)o*measurement Error reliability*system Error validity一、调查问卷的效度*The validity of a questionnaireThe validity of measures*The question of validity is how far can we be sure that a measure really does reflect the concept to which it is supposed to be
5、referring.效度(validity)通常是指问卷的 有效性和正确性,亦即问卷能婚测量出 其所欲测 量特性的 程度。对于一个标准以|西来q特 效唐 上匕伐 度更为重要。1.效度分析的意义效度是问 卷调 查研究 中 最重要的 特 征,问卷调查的目的就是要获得高效度的 测量与结论,效度越高表示该问卷测验的 结果所能代表要测验的 行为 的 真实度越 高,越能婚达到问卷测验目的,该问卷才 正确而有效。问卷的 准确 性或称为 有效性是用 问卷 的效度加以刻划的,它反映了对问卷的系 统误差的控制 程度。2、效度的定义效度是指问卷测验的准确性,即测验 能锻反 映所要测 量特性的 程度.*其包括两个方面
6、的含义:1是问卷测验的目的;二是问卷对测量目标的测量精 确度和真实性。效度是一个具有相对性、连续性、间接性的概念。*在测量理论中,效度被定义为在一系列测量中,与测量目的有关的真变异数(即有效变异与总变异赘尧比:/V町r2yv表示测量的效度系数,S、2代表有效 xy 7 V变异数,5/代表总变异数。3.常用的效度指标确定一个问卷效度的方法,通常是以 答卷者的 问 卷得分和 另一个效度标准求相 关,以其相 关系数的大小来表示效度。如 果相关系数高,则该问卷的效度就高。一般常用的效度指标有内容效度、结 构效度。(1)内容效度(content validity)内 容效度是指问 卷内 容的 贴切 性(
7、relevance)和代表性(representativeness),即问卷内容能否反 应所要测量的特质,能否达到测验目的,较 好地代表所欲测量的内容和引 起预期反应的 程度。内容效度常以题目分布的合理性来判 断,属于命题的逻辑分析,所以,内容效度 也称为“逻辑效度”(logical validity)、“内 在效度(intrinsic Validity)”、“循环效度(circular validity)”。*内 容效度的评价主要通过进行,通常考虑3方面的问题:其一是项 目 所测量的是否真属于 应测量的领域;其二是测验所包含的项目是否覆 盖了应测领域的各个方面;其三是测验题 目 的构成比例是
8、否 恰当。常用的内容效度的评价方法有两种:一是专家法,即请有关专家对问卷题 目与原来的内容范围是否符合进行分析,作 出判断,看问卷题 目是否较好地代表了原 来的内容。二是统计分析法,即从同一内容总体 中抽取两套问卷,分别对同一组答卷者进 行测验,两种 问卷的 相 关系数就可用 来估 计问卷的内容效度。计算某个问题与去掉此问题后总得分 的相关性情况,分析是否需要被剔除(敏 感性分析)。(2)结构效度(Construct Validitv)结构效度又称构想效度,是指问卷 对某一理论概念或特质测量的程度,即 某问卷测 验的 实际得分能解释某一特质 的 程度。如果我们根据理论的 假设结 构,通过问卷测
9、验得到答卷者实际分 数,经统计检验,结果表明问卷能有效 解释答卷者该项特质,则说此问卷具有 良好的结构效度。常用的确定结构效度的方法看*根据文献、前人研究结果、实际经验等建*立假设性理论建构;*(2)对问卷题 目进行分析。主要是分析问卷的*内容,答卷者对题目 所作的反应,问卷题*目的同质性以及分项目之间的关系来判断*问卷的结构效度;*(3)根据建构的假设性理论编制适当的问卷;*(4)计算与同类权威问卷的相关;*(5)以统计检验的实证方法去考查问卷是否能*有效解释所欲建构的特质。3.效标效度(Criterion Vaii di ty)效标效度也称为 准则 关联效度(Criterion-Relat
10、ed Validity)、经验 效度(Empirical Validity)、统计效度(Statistical Validity)。效标效度是 说明问卷得分与某种外部准则(效标)间 的关联程度,用问卷测量得分与效度准则 之间的相关系数表示。一般估计效标效度的主要方法 _-*(1)相关法,即求某问卷分数与效标间的相关,所得结果即效标效度。*(2)区分法,即看问卷分数是否可以区 分由效标所划分的团体。*可以运用t检验对先后两次问卷结果平均分数进行差异性检验。若差异有统计学 意义,说明问卷是有效的;若差异无统计 学意义,说明问卷是无效的。(4)判别效度(Discriminant*判别效孤幽期挑%J效
11、标,是指运用 相 同的问 卷测 定不同 特质和 内 涵,测量结果之间不应有太大的相关 性。(5)聚合效度(Convergent Validity)聚合效度也称为收敛效度,是指运 用不同测量方法测定同一特质所得结 果的相似程度,即对同一特质的两种 或多种测定方法间应有较高的相关 性。6.效度的评价Spitz er认为如果满足以下5个条件就可以 认为问卷由效:.(1)问卷有内容效度和结构效度;(2)在问卷制定阶段应当请有关人员提出意 见,供修正和提高内容效度;(3)问卷经过反复使用证明了其可靠性;(4)如果有金标准存在,应以金标准为准;(5)天金标准时可由判别效度代替。7.提高问卷效度的方法*(1
12、)理论正确,解释清楚。问卷内容要适合问卷测验的目的,题目要清楚明了,易于 理解,问卷的排列要由易到难,题目的难度 和区分度要合适;*(2)操作规范以减少误差;*(3)控制系统误差。它主要包括仪器不 准,题目 和指导语有暗示性,答案安排不当(被试可以猜测)等,控制这些因素可以降低 系统误差,提高效度;*(4)样本适宜且要预防流失。重视问卷 调查的回收率。样本容量一般不应低于30;*(5)适当增加问卷的长度。增加问卷的 长度既可提高问卷的信度,也可以提高 问卷的效度,但增加问卷的长度对信度 的影响大于对效度的影响;*(6)排除无关因素干扰。认清并排除足 以混淆或威胁结论的无关干扰变量。*例2 对例
13、1中的问卷测验结果进行效度分析1.问卷的敏感性(可靠性)分 析*(1)操作过程*从菜单选择A nalyze Scale-Reliability A nalysis Item(输入 问卷的各条目或各因子包含的条目)f 单击“Statistics”按钮,弹出信度分析 统计量对话框 Descriptives for:x/Scale if item deleted OK Reliability Analysis*e2b3d5#c6i7h8 b9b10f1l永1 QV|Items:AOKPasteResetCancelHelpModel:Alpha一List item labelsStatistics.
14、Reliability Analysis:StatisticsDescriptives for歹 item厂 Scale厂 Scale if item deletedInter-ItemCorrelations 一CovariancesSummaries-Means一Variances一、歹 Covariances!CorrelationsANOVA TableQ None厂 F testFriedman chi-squareCochran chi-squareHotellings T-squareTukeys test of additivity一Intraclass correlation
15、 coefficientModel:(Two-Way MixedTyge:|ConsistencyConfidence|95%Test value:|0*Scale if item deleted:去掉当前题目整个 问卷的描述统计量,即敏感性分析,包括以 下内容:Scale M ean if Item Deleted:去 掉当前题 目 问卷合计分的均数;*Scale Variance if Item Deleted:去掉当 前题 目 问卷合计分的方差;*Corrected Item-Total Correlation:当前 题 目 得分与去掉当前题 目 问卷合计分的 Pearson相关系数;*
16、Squared M ultiple Correlation:以当前题 目为因变量,其它所有题目为自变量求得的 决定系数R2;A lpha if Item Deleted:去(NJ 领 UL4 口*SCL90各条目的敏感性分析结果:*Item Scale Scale Corrected*Mean Variance Item-Alpha*if Item if Item Total if Item*Deleted Deleted Correlation Deleted*A1 31.7250 1272.7173 0.6397 0.9736*E2 31.7500 1253.6282 0.8027 0.9
17、732*B3 31.8250 1261.0712 0.7408 0.9734*A4 31.7500 1259.7821 0.7557 0.9733*D5 31.7000 1278.2667 0.3872 0.9740*C6 31,8250 1300.0455 0.0596 0.9745*I7 31.9000 1279.0667 0.5320 0.9737*H8 31.5750 1255.1224 0.7590 0.9733*B9 31.2750 1259.2301 0.6572 0.9735*E86 31.1750 1272.8147 0.3764 0.9742*I87 31.9250 127
18、7.1481 0.6231 0.9736*I88 32.0500 1282.9718 0.6057 0.9737*J89 32.2000 1304,1641 0.0000 0.9741*I90 32.1750 1302.7122 0.1250 0.9741一般地,在做问卷的敏感性分析时,可以将“A lpha if Item Deleted”值,作为调 整题目 的一个重要参考依据。如果“A lpha if Item Deleted值越大,其相对应的题目越应是首先考虑调整的题 目。从本次问卷结果敏感性分析可以看出,量表的各个题目的“A lpha if Item Deleted 值均在0.97左右变
19、化,且变化的幅度很小。所以,就A lpha if Item Deleted”值这项 指标看量表各题目均可以保留,无需调整。这个结果可能与研究者所采用的SCL-90辆标 是一个经典量表有关。w Jr宜口本刊创刊于1984年9月,是中华人民共 和国卫生部主管,中国卫生信息学会原中 国卫生统计学会)和中国医科大学主办的全 国性卫生统计专业学术性双月刊,是国内 卫生统计专业的唯一学术性期刊和中国医 学类中文核心期刊及国家科技部中国科技 论文统计源期刊。本刊的任务是及时报道 我国卫生统计学科的科研成果和卫生统计 工作改革与卫生事业发展的信息。主要读 者对象为各级卫生机构的卫生统计人员、卫生技术人员和高等
20、医学院校卫生统计专 业的教学和科研人员。i论著i论著摘要小计算机应用i学术讨论于综述1新药临床试验设计与分 析1短篇报道i专题笔谈双月刊.1984年创刊.更多话进。长编任 社主主主管单位:中华人民共和国卫生部主办单位:中国卫生统计学金中国 医科大学编辑单位:中国卫生统计杂志编辑委 员含:孙高:陈芭德:孙高编辑部用户登录 用户名:!密码:厂登录地 址:沈阳市和平区北二马路92旬完成 Internet洲开始|g闻遇 雪回:句Google搜索:中|/Docl-Microsoft11为中国卫生统计辑3值8:28岁开始11|国羯嚼。回分司Google搜索:中.|旬中国卫生统讨-.|怨jCNKI题录数据库
21、 咫口 心8:24*摘 要 目的:探讨调查问卷的可靠 性。方法:对武警十五支队201名战 士,作心理卫生自评90项调查问卷资 料,利用SA S软件编程,计算A lpha可靠 性系数,进行可靠性分析。结果:有6 项被剔除达到要求后,打二0.973569,当使用标准化数据时,2二0.974102o 结论:利用可靠性分析,可以从调查问 卷表的数据中,提取真实的、可靠性的 成分。2.问卷的结构效度的分析*问卷的结构效度的评价较为复杂,可用 各个题 目与量表各银子的相 关分析和因子分析方法来反映。*(1)利用相关分析评价问卷的结构 效度*从菜单选择A nalyze ScaleReliabilityA n
22、alysisItem(输入问卷的各条 目或各因子包含的条目)Statistics弹出信度分析统计量对 话框 Inter-Item-,Correlations OK(2)利用因子分析评价问卷的结因子分析符i聚羸评价量表结构 的相 合性,还可以用共性变异(共性 方差)与总变异之比作为结构效度的 衡量指标。结构效度的分析最好使用 证实性因子分析,它较探索性因子分 析更能说明问题。*执彳亍A nalyze Data Reduction Factor.,弹出“Factor A nalysis”对 话椎:*单击 Descript ives Statistics M Initial Solution Cor
23、relation M atrix J KM O and B artletts test of sphericity Continue三、调查问卷的信度Questionnaire Reliability1.信度分析的意义*信度主要是指问卷是否精准(precision)o 信度分析涉及了问卷 测验结果的一致性和稳定性,其目的 是如何控制 和减少陶机误差。The reliability of measuresThe qu is to what e indicator m thing consis people ansquestion in different oc调查问卷的信度包含两层含义:*是相同
24、的个体在不同时间,以相同的问卷测验,或以复本测验,或在不同 的情景下测验,是否能得到相同的结 果,即问卷测验结果是否随时间和地点 等因素而变化;*二是能否减少随机误差对问卷测验结果的影响,从而能婚反映问卷所要测 量的真实情况,即问卷测验结果是否具 有稳定性、可靠性和可预测性。一个好 的问卷必须是稳定可靠的.且多次问卷2.信度的定义*信度是用估计测量误差大小的尺度,来说明 问卷测 验结果 中测量误差所 占的比率。*信度可定义为真实分数(true score)的方差与测验实得分数(observed score)的方差之比,当实得分数变异可以全部 由真实分数的变异解释时,测验误差就 是0,这时问卷测
25、验的信度为1。*若用表示问卷测验的信度,理论应有一xx-/次=1-歪*式中sj表示真实分数的方差;*S;表示实得分数的方差;S:表示误差的方差。*3.信度的分类*信度研究的是问卷测验结果的可靠性与稳定性,可以从不同的角度来评价:*(1)在相同 条件下所得问卷测验结果的 一致程度;*(2)不同研究者用同一种问卷同时测验所 得结果的一致程度;*(3)同一研究者用同一种问卷在不同时间内 测 验所得结果的一致程度。*4.常用的信度系数*(1)重测信度(test-retest reliability)*假定短时间 内一批对象的状况并没有改变,对每个对象用 同一个问卷先后测验 两次,两次测验得分的相关系数
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 调查 问卷 信度
限制150内