调查问卷的可信度和有效度分析.doc
《调查问卷的可信度和有效度分析.doc》由会员分享,可在线阅读,更多相关《调查问卷的可信度和有效度分析.doc(5页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第 20 卷第 6 期 2005 年 11 月 名家走笔 统 计 与 信 息 论 坛 调查问卷的可信度和有效度分析 * Vol. 20 No. 6 N ov. , 2005 曾五一 1 , 黄炳艺 2 ( 1 厦门大学 经济学院 ; 2 厦门大 学 管理学 院 , 福建 厦门 361005) 摘 要 : 关于调查问卷可信度和有效度的评价分析一直是国内进行问卷调查时被忽视的议题。文章对调 查问卷的可信度和有效度的内涵及其 相互关 系作一 些研究 , 并对 国际上 常用的 一些统 计评价 分析方法 及如 何在 SPSS 统计软件包上实现的问题作扼要的介绍。 关键词 : 调查问卷 ; 可信度 ; 有
2、效度 中图分类号 : C811 文献标识码 : A 文章编号 : 1007- 3116( 2005) 06- 0011- 05 在我国的统计调查和科学研究中 , 问卷调查得 到了相当广泛的应用。为了保证问卷调查结果的准 确性和科学性 , 有必要考察所设计的问卷是否符合 要求 , 调查的结果是否可信与有效。但是 , 在实际工 作中 , 人们一般只是直接运用问卷调查的结果进行 分析和 推断 , 而很少 对调 查问 卷本身 进行 可信 度 ( Reliability) 、有效度 ( V alidity ) 的评价分析 , 这就使 得调查的准确性、统计分析结论的科学性以至于研 究成果的质量不能不受到影
3、响及质疑。本文对调查 问卷的可信度和有效度的内涵及其相互关系作一些 研究 , 并对国际上常用的一些统计评价分析方法及 如何在 SPSS 统计软件包上实现的问题作扼要介绍。 一 、 可信度与有效度的概念 调查问卷的可信度 ( 亦称信度 ) 是指问 卷调查 结果所具有的一致性或稳定性的程度。所谓一致性 , 是指同一调查项目调查结果的一致程度。 较高的一 致性即意味着同一群受访者接受关于同一项目的各 种问卷调查所得到的各测量结果间显示出强烈的正 相关 ; 所谓稳定性则是指在前后不同的时间内 , 对相 同受测者重复测量所得结果的相关程度 , 如果一群 受访者在不同时空下接受同样的问卷调查时 , 结果
4、收稿日期 : 2005- 09- 02 的差异很小 , 则说明调查问卷具有较高的稳定性。以 笔记本电脑消费倾向调查问卷为例 , 如果设计的不 同问卷对同一群体的调查结果或者同样的问卷短 期 内对同一群体进行调查的结果 , 如消费者的品牌倾 向、所能接受的价位等存在高度相似 , 则认为调查问 卷具有较高的可信度。可信度的评价指标是可信度 系数 , 理论上可以表达为真实值方差和测量值方差 的比值。若 X 为测量值 , T 表示真实值 , E 表示测量 随机误差 , 则真实值和测量值之间关系为 X = T + E , X = T + E , 即测量值的方差等于真实值的方 差与随机误差的方差之和 ,
5、所以可信度系数为 : RX = T / X = 1- ( E / X ) 有效度 ( 亦 称效度 ) 通常是指测量结果的正确 程度 , 即测量结果与试图测量的目标之间的接近程 度。就调查问卷而言 , 有效度是指问卷能够在多大程 度上反映它所测量的理论概念。以关于居民收入的 调查问卷为例 , 如果问卷中的问项直接询问被调查 者的收入和缴纳所得税的情况 , 则该调查得到的收 入统计数据很可能会较大低于居民的真实收入 , 则 可以认为 , 该份问卷的效度较差。类似于可信度系数 的公式 , 有效度系数一般规定为与测量目标值的方 差在总测量值方差中所占的比例 , 即有效度系数为 : * 基金项目 : 本
6、文是国家社科基金项目 ( 01AT J001) 的系列 成果之一。 作者简介 : 曾五一 ( 1953- ) , 男 , 福建省泉州市人 , 博士 , 教授 , 博士生导师 , 中国统计学会副会长 , 研究方 向 : 经 济统计、经 济数量分析 ; 黄炳艺 ( 1977- ) , 男 , 福建省厦门市人 , 博士 , 讲师 , 研究方向 : 管理统计、金融计量经济学。 11 V X = T X / X = 1- ( T 0 + E ) / X 统计与信息论坛 其测量结果的相关程度为重测可信度 , 它考察的是 经过一段时间后问卷测量结果的稳定程度 , 重测可 其中 T = T X + T 0 ,
7、 T X 是想要测量的目标值 , T 0 则 信度越高 , 测量结果越一致 , 这也表明受测验环境中 是与测量目的不相关的系统性偏差。可信度和有效 度是问卷的两个基本 特征 , 前者度量的是问卷测量 结果是否一致的可靠程度 , 而不涉及结果是否正确 的问题 ; 后者则针对问卷测量的目的 , 重点考察测量 结果的有效性 , 它们之间的差别在于所涉及的误差 不同 , 可信度测量的是随机误差的影响 , 有效度则是 反映由于测量了与测量目的无关的变量所引起的系 统误差。对调查问卷而言 , 有效度是其首要条件 , 而 可信度是有效度不可缺少的辅助品。因此 , 有效的问 卷必是可信的问卷 , 但可信的问卷
8、未必是有效的问 卷。这其中的意义和两者的关系 , 可以用射击过程并 结合附图来说明。射手首先应学习如何射 中靶心 , 然 后进行规定发次的射击 , 子弹平均接近靶心的程度 可比喻为测量的有效度 , 而子弹相互接近的程度可 近似看成测量的可信度。理想的结果是一组射击的 子弹相对集中于靶心附近 ( 如 A 组 ) , 这样的测验既 可信又有效 , 即说明测验具有良好的可信度和有效 度。如果一组 ( 如 C 组 ) 射击一致落在远离靶心的某 个区域也说明测验结果是可信但无效的 , 这是由于 测验产生了误差。 B 组表示该组测验结果不可信但 有效 , 而 D 组表示该组测验结果不可信且无效。 附图 可
9、信度和有效度的意义图 也可以从数理 的方面来理解可信度和有效度的 关系 : 由于 X = T + E , E 是系统误差的方差 , T X X 度高 , 那么 , T / X 也较大 , 所以说可信度是有效度 的必要条件而非充分条件。 二 、 可信度的评价分析方法 对于一个调查问卷的可信度进行评价分析 , 可 从以下几个角度 进行 : ( 一 ) 重测可信度 ( T est - ret est Reliability ) 用同一调查问卷在同一人群中先后测量两次 , 日常随机因素的影响越小。计算重测可信度需要注 意两个问题 : ( 1) 如果被测者的特征随时间发生变 化 , 那么两次测量的差异就
10、不单纯由随机误差引起。 除非每个被测者都发生了同样的变化。 ( 2) 受前一 次测量的影响 , 重复测量不一定能真实反映研究对 象的特征。因此 , 重复测量间隔时间不宜过长 , 应根 据具体的调查内容而定 , 一般以 2 4 周较为合适。 对问卷重测可信度的评价分析 , 其具体评价方 法要视问卷资料的性质和评估变量而定。 1 当评估的变量是分类变量时 , 可用 K app a 系 数来评估重测可信度 。该系数是 Cohen( 1960) 提出 的一种判断一致性程度的指标。以某新产品顾客满 意度的调查问卷为例 , 若对 50 个受访者的调查结果 为 33 个满意 , 17 个不满意 , 而 2
11、周后的重测结果为 32 个满意 , 18 个不满意 , 具体重测结果如表 1 所示。 表 1 顾客满意度问卷重测结果表 测量 ! 合计 满意 + 不满 意 - 满意 + ( 30) a ( 3) b ( 33) a+ b 测量 不满意 - ( 2) c ( 15) d ( 17) c+ d 合计 ( 32) a+ c ( 18) b + d ( 50) n 可以根据表 1 中资料计算 K app a 系数 k : k = ( Pa - Pe ) / ( 1 - Pe ) = ( 0. 90 - 0. 54) / ( 1 - 0. 54) = 0. 78 P a = ( a + d ) / n
12、= 45/ 50 = 0. 90 n 50 式中 P a 为实际符合率 , Pe 为期望符合率 , k 值越大 , 问卷的重测可信度越高。 一般来 说 , 对 于 调 查 问卷 , K app a 系 数大 于 0. 75 表示重测可信度很好 , 在 0. 4 0. 75 表示较 好 , 而低于 0. 4 表示较差。如果结果表明某个问卷项 目的 K ap pa 系数低于 0. 4, 则要考虑对该项目进行 修改或者删除该项目。 2 当评估的变量是连续变 量或等级变量 , 则用 基于 方 差 分 析 的 内 部 相 关 系 数 ICC ( Intraclass Correlation Coeff
13、icient ) 来评价问卷的重测可信度 。 内部相关系数最先由 Bartko( 1966 年 ) 用于测量和 评价可信度的大小 , 其值等于个体的变异度除以总 12 2 2 2 2 2 2 2 2 2 2 2 大并不能保证 T 也大 , 也就是可信度高不能说明 2 2 有效度高。但 相对于 来说很大的话 , 即有效 2 2 1 的变异度 , 即 : I CC = ( MS 区组 - M S 误差 曾五一 , 黄炳 艺 : 调查问卷的可信度和有效度分析 调查问卷复本的调查 , 然后根据调查结果计算原本 ) / MS 区组 + 和复本的相关系数 , 就得到复本可信度。测定复本可 ( m - 1)
14、 M S 误差 + m ( MS 处理 - M S 误差 ) / n 信度也应考虑复本实施的时间间隔 , 一般来说 , 复本 其中 MS 区组 、 MS 处理 和 MS 误差 分别为随机区组 ( 即 应几乎在同一时间实施 , 以剔除时间的影响 , 同时要 被观察对象 ) 间的方差、处理组 ( 即重复次数间 ) 的 注意选择复本即题目或内容的取样问题 , 尽量减少 由于问卷内容的选择而引起的偏倚以及调查结果依 方差和误差的方差 , m 为重复次数 ( 即处理组数 ) ; n 为被观察对象的例数。由于 ICC 是一个通过样本 资料算得的统计量 , 因而存在抽样误差。为说明问卷 总体的 I CC 是
15、否等于 0, 需对样本的 I CC 进行假设 检验 , 检验使用以下检验公式 : F = M S 区组 / MS 误差 F ( n - 1) , ( n- 1) ( k - 1) 一般来说 , ICC 大于 0. 75 表示极好 , ICC 在 0. 6 0. 75 表示较好。 ( 二 ) 内 部一致 性可信 度 ( Internal Consist ency R eliabilit y) 内部一致性可信度反映的是调查问卷各个项目 ( 问项 ) 间相关的程度 , 这些项目应该反映同一独立 概念的不同侧面。当一份调查问卷包括几个互不相 关的内容 , 即几个不同的子问卷 , 则还应分别计算每 个
16、子问卷的内部一致性可信度 , 否则会降低整个问 卷的内部一致性可信度。要想提高问卷的内部一致 性可信度 , 则在问卷设计时 , 可以采取的做法有 : ( 1) 增加问卷中反映同一独立概念的问项题数。 ( 2) 舍 弃受访者回答计分平均分数趋近回答选项范围两极 端点值的问项 , 如极不同意 ( 1 分 ) 或极同意 ( 7 分 ) 。 ( 3) 舍弃受访者回答计分方差偏低的问项。 ( 4) 排除 单项总分相关系数低的问项。 内部一致性可信度通常用 Cronbach s 系数测 量 , 系数表示问卷调查结果总变异中由不同被试 者导致的比例占多少 , 即 : X 其中 S i 为所有受访者第 i 问
17、项答案的方差 ; S X 为所 有受访者、所有问项答案的方差 ; k 为问项题目数。 Cronbach s 系数值介于 0 与 1 之间 , 值越大 表示问卷项目间相关性越好 , 内部一致性可信度越 高。一般而言 , 大于 0. 8 表示内部一致性极好 , 在 0. 6 0. 8 表示较好 , 而低于 0. 6 表示内部一致性较 差。在实际应用上 , Cronbach s 值至少要大于 0. 5, 最好能大于 0. 7 ( N unnally, 1978) 。 ( 三 ) 复本可信度 ( A lternate - form Reliabilit y) 问卷的复本是针对原本而言的 , 它是原本的
18、复 制品 , 两者在形式、内容及难度上高度类似。对一项 调查的问题 , 让被调查者接受问卷测量 , 并同时接受 赖于问卷项目选择的程度。调查问卷的复本可信度 通常通过计算原本和复本测量结果间的积矩相关系 数或秩相关系数来加以度量。 ( 四 ) 折半可信度 将问卷中的 所有 项目随机分为数量相同的两 半 , 分别作为各自的复本 , 两半问卷的测量结果的积 矩相关系数或秩相关系数为折半可信度 , 对问卷进 行分拆时通常采用随机分半法或奇偶分半法。举例 来说 , 如果有一份问卷 , 其中有 10 个问题涉及到女 性歧视现象。利用折半可信度时 , 可将 10 个问题随 机或按奇偶数分成两组 , 每组有
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 调查 问卷 可信度 有效 分析
限制150内