第三章市场调查问卷的信度与效度分析.pptx

《第三章市场调查问卷的信度与效度分析.pptx》由会员分享，可在线阅读，更多相关《第三章市场调查问卷的信度与效度分析.pptx（67页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第三章第三章第三章第三章 市场市场市场市场调查问卷的信度与效度分析调查问卷的信度与效度分析调查问卷的信度与效度分析调查问卷的信度与效度分析 第一节第一节 问卷设计方法和技巧问卷设计方法和技巧 第二节第二节 态度量表设计态度量表设计 第三节第三节 信度和效度的概念信度和效度的概念 第四节第四节 信度的评价分析方法信度的评价分析方法 第五节第五节 效度的评价分析方法效度的评价分析方法 课外作业：课外作业：市场调研市场调研一、从事市场调查与咨询服务的主体一、从事市场调查与咨询服务的主体l 政府部门或从政府部门分离出来成立的公司政府部门或从政府部门分离出来成立的公司l 民营市场调查与咨询公司民营市场调

2、查与咨询公司l 国际市场研究公司国际市场研究公司二、市场调查与咨询服务的内容二、市场调查与咨询服务的内容n 数据调查为主数据调查为主n 专业化的市场调查与咨询服务专业化的市场调查与咨询服务商业调查商业调查市场调查市场调查l 盖洛普盖洛普(Gallup)公司是全球知名的民意测验、商业调公司是全球知名的民意测验、商业调查和咨询公司。在分析选民、消费者和员工的意见、态查和咨询公司。在分析选民、消费者和员工的意见、态度和行为方面取得卓越的学术和商业成果，处于全球领度和行为方面取得卓越的学术和商业成果，处于全球领先地位。中国盖洛普公司是盖洛普公司与中方投资者在先地位。中国盖洛普公司是盖洛普公司与中方投资

3、者在华合资企业，于华合资企业，于1993年成立。曾为国内几家著名的平面年成立。曾为国内几家著名的平面媒体做过市场研究，比如媒体做过市场研究，比如21世纪经济报道世纪经济报道。l A.C.尼尔森尼尔森(Nielsen)公司在全球电视收视率调查市场公司在全球电视收视率调查市场占有主导地位，全球主要国家都有其调查机构。于占有主导地位，全球主要国家都有其调查机构。于1984年开始在中国发展业务，主要提供零售研究、专项研究年开始在中国发展业务，主要提供零售研究、专项研究和媒介研究三大市场研究服务。和媒介研究三大市场研究服务。l 央视调查咨询中心（央视调查咨询中心（CVSC）：于）：于1995年成立，前身

4、是央视总年成立，前身是央视总编室观众联系组。编室观众联系组。1986年开始在全国进行收视率调查并在北京建年开始在全国进行收视率调查并在北京建立调查网；立调查网；1991年筹建全国性的电视收视率调查网络；年筹建全国性的电视收视率调查网络；1998年建年建立了报刊阅读率调查网。立了报刊阅读率调查网。l 央视央视索福瑞媒介研究有限公司（索福瑞媒介研究有限公司（CSM）：央视调查咨询中）：央视调查咨询中心与法国心与法国Taylor Nelson Sofres集团合资成立。在全国建立了调查集团合资成立。在全国建立了调查网（测量仪），样本总规模达到网（测量仪），样本总规模达到2.5万户，对全国近万户，对全

5、国近700个主要电个主要电视频道的收视情况进行全天候不间断的监测。目前，占有中国收视频道的收视情况进行全天候不间断的监测。目前，占有中国收视率研究市场视率研究市场85%90%的份额。的份额。2002年在上海办事处增设了电年在上海办事处增设了电台收听率调查业务。台收听率调查业务。l 央视市场研究股份有限公司（央视市场研究股份有限公司（CTR）：中国国际电视总公司）：中国国际电视总公司与法国与法国TNS集团合资，于集团合资，于2001年成立。从事专业媒介与市场研究，年成立。从事专业媒介与市场研究，业务包括消费者固定样组调查、保健产品调查、媒体监测、电信业务包括消费者固定样组调查、保健产品调查、媒体

6、监测、电信业、信息业和汽车业的相关调查等。业、信息业和汽车业的相关调查等。IPSOSIPSOS的市场调研业务的市场调研业务益普索集团成立于益普索集团成立于1975年，总部设在巴黎，是目前市场年，总部设在巴黎，是目前市场研究顾问行业中唯一一家独立的由专业研究顾问人员管研究顾问行业中唯一一家独立的由专业研究顾问人员管理的全球性的上市公司理的全球性的上市公司,是一个具有国际领先服务水平是一个具有国际领先服务水平的研究集团，目前为全球第三大个案研究公司。的研究集团，目前为全球第三大个案研究公司。益普索集团旗下益普索集团旗下Ipsos-ASI是世界上最大的提供广告投是世界上最大的提供广告投放前测试的专业

7、公司，在全球放前测试的专业公司，在全球35个国家拥有下属公司，个国家拥有下属公司，业务涉及业务涉及100多个国家。拥有多个国家。拥有Ipsos-ASI（品牌与广告研（品牌与广告研究）、究）、Ipsos-Insight（营销研究）、（营销研究）、Ipsos Loyalty（满（满意度和忠诚度研究）和意度和忠诚度研究）和Ipsos FMCG（预测、模型和咨（预测、模型和咨询）等询）等4个专业品牌个专业品牌。6益普索在中国益普索在中国-领先的个案研究公司领先的个案研究公司n中国市场益普索集团战略发展的重点之一 n专注于特定研究领域n全球资源与本地专家相结合 2000年正式进入中国，目前已经成为中国最

8、大的个案研究公司之一年正式进入中国，目前已经成为中国最大的个案研究公司之一 2M 样本框全球研究平台样本框全球研究平台 在线研究在线研究(IIS)600+员工员工4:北京、北京、上海、上海、广州、广州、成都成都分公司分公司380+CATI 工作站工作站 700,000+家庭家庭固定样本框固定样本框60+N 笔记本电脑笔记本电脑CAPI/CAVI10座谈会室座谈会室7在中国专注的研究领域在中国专注的研究领域广告和品牌广告和品牌 满意度和忠诚度满意度和忠诚度 营营 销销公众事务公众事务 8消费者行为研究消费者行为研究消费者行为研究消费者行为研究新产品开发新产品开发新产品开发新产品开发价格定位价格定

9、位价格定位价格定位顾客满意度顾客满意度顾客满意度顾客满意度市场细分市场细分市场细分市场细分专项研究专项研究专项研究专项研究连续性研究连续性研究连续性研究连续性研究定性定性定性定性定量定量定量定量消费者消费者消费者消费者品牌研究品牌研究品牌研究品牌研究产品研究产品研究产品研究产品研究媒体与广告研究媒体与广告研究媒体与广告研究媒体与广告研究生活形态生活形态生活形态生活形态营销环境研究营销环境研究营销环境研究营销环境研究市场营销知识市场营销知识市场营销知识市场营销知识统计知识统计知识统计知识统计知识统计软件统计软件统计软件统计软件探索性分析探索性分析因果关系因果关系预测性分析预测性分析描述性分析描述

10、性分析市场研究内容市场研究内容市场研究内容市场研究内容9描描述述性性统统计计多变量分析技术多变量分析技术市场研究模型技术市场研究模型技术数数据据挖挖掘掘技技术术频数分析频数分析交叉表分析交叉表分析T-检验检验数据探查分析数据探查分析相关分析相关分析方差分析方差分析回归分析回归分析主成分分析主成分分析因子分析因子分析聚类分析聚类分析判别分析判别分析对应分析对应分析多维尺度分析多维尺度分析结合分析结合分析离散选择模型离散选择模型多维偏好分析多维偏好分析结构方程式模型结构方程式模型分类树分类树决策与预测模型决策与预测模型分类分类预测预测细分细分关联关联序列序列统计分析方法统计分析方法统计分析方法统计

11、分析方法第一节第一节 问卷设计方法和技巧问卷设计方法和技巧一、问卷调查法一、问卷调查法运用设计的问卷向被调查者了解情况或征询意见的调查运用设计的问卷向被调查者了解情况或征询意见的调查方法。即以书面提出问题的方式搜集资料的方法。方法。即以书面提出问题的方式搜集资料的方法。提提出出问问题题的的种种类类u 背景性问题：被调查者个人的基本情况（或身份识别）；背景性问题：被调查者个人的基本情况（或身份识别）；u 客观性问题：已经发生点和正在发生的各种事实和行为；客观性问题：已经发生点和正在发生的各种事实和行为；u 主观性问题：人们的思想、情感、态度等主观问题；主观性问题：人们的思想、情感、态度等主观问题

12、；u 检验性问题：为检验回答是否真实、准确而设计的问题。检验性问题：为检验回答是否真实、准确而设计的问题。表述问题的原则表述问题的原则 具体性：内容具体，不提抽象、笼统的问题；具体性：内容具体，不提抽象、笼统的问题；单一性原则：内容单一，不要将两个或两个以上问题单一性原则：内容单一，不要将两个或两个以上问题 合在一起提；合在一起提；通俗性：语言通俗，不要使用过于专业化的术语；通俗性：语言通俗，不要使用过于专业化的术语；准确性：语义准确，防止模棱两可、含混不清、易产准确性：语义准确，防止模棱两可、含混不清、易产 生歧义的语言；生歧义的语言；客观性：态度要客观，不要有诱导性或倾向性语言；客观性：态

13、度要客观，不要有诱导性或倾向性语言；非否定性原则：一般而言，避免使用否定句形式。非否定性原则：一般而言，避免使用否定句形式。提出问题的结构提出问题的结构u 按问题的类别、性质进行排列；按问题的类别、性质进行排列；u 按问题的复杂程度进行排列，先易后难；按问题的复杂程度进行排列，先易后难；u 按问题的时间顺序进行排列。按问题的时间顺序进行排列。问卷中的提问的方式问卷中的提问的方式l 是非题（二选一题）是非题（二选一题）l 选择题：设置多个答案，从中选择一个或几个答案。选择题：设置多个答案，从中选择一个或几个答案。l 顺位题（序列题）：用量词或数量表示喜欢或满意的程度。顺位题（序列题）：用量词或数

14、量表示喜欢或满意的程度。l 赋值题（标尺法）：设置肯定程度依次递减的各个答赋值题（标尺法）：设置肯定程度依次递减的各个答 案，并将答案赋予一定分值，要求调查对象选答其一。案，并将答案赋予一定分值，要求调查对象选答其一。l 核对题（矩阵法）：列出调查问题的各项特征，征询调核对题（矩阵法）：列出调查问题的各项特征，征询调 查对象的意见和态度倾向。查对象的意见和态度倾向。l 自由回答题（开放题）自由回答题（开放题）二、问卷设计程序二、问卷设计程序1.确定调查的主题、目的、内容，确立调查资料范围确定调查的主题、目的、内容，确立调查资料范围2.明确调查对象类型，分析样本特征；明确调查对象类型，分析样本特

15、征；3.拟定并编排问卷中的问题；拟定并编排问卷中的问题；4.测试问卷，进行试问、试答；测试问卷，进行试问、试答；5.修改问卷；修改问卷；6.生成正式问卷。生成正式问卷。问卷说明信：问卷说明信：在问卷的开头给被调查者的简短信，说在问卷的开头给被调查者的简短信，说明调查的目的和要求，措辞要言简意明，亲切诚恳。明调查的目的和要求，措辞要言简意明，亲切诚恳。必要时，对填表作简要指导。必要时，对填表作简要指导。问卷设计程序问卷设计程序三、问卷中询问与设计的策略三、问卷中询问与设计的策略l 简单的问题直接问简单的问题直接问l 心理问题用间接询问（假定法、转移法、模糊法）心理问题用间接询问（假定法、转移法、

16、模糊法）l 确认事实用封闭询问确认事实用封闭询问l 了解实情用开放式询问了解实情用开放式询问l 盖洛普民意调查的准则：盖洛普民意调查的准则：“找对人，问对问题找对人，问对问题”l 不多问一个问题，不遗漏一个问题不多问一个问题，不遗漏一个问题l 编码：对每一份问卷和问卷中的每一个问题、每一个答案编定编码：对每一份问卷和问卷中的每一个问题、每一个答案编定 一个唯一的代码，并以此为依据对问卷进行数据处理。一个唯一的代码，并以此为依据对问卷进行数据处理。调查报告的内容调查报告的内容开始部分开始部分主体部分主体部分附录部分（问卷、统计图表、专业技术资料、清单等）附录部分（问卷、统计图表、专业技术资料、清

17、单等）u 标题标题u 目录目录u 概要（调查的目的、主要结果、结论和建议）概要（调查的目的、主要结果、结论和建议）u 引言（进行统计调查的背景资料和相关信息）引言（进行统计调查的背景资料和相关信息）u 调查目的调查目的u 调查过程（调研准备、调研设计和实施过程）调查过程（调研准备、调研设计和实施过程）u 结论与建议结论与建议撰写调查报告撰写调查报告调查报告的类型调查报告的类型数据型报告数据型报告：只提供调查所获得的数据。分析型报告分析型报告：针对获得的数据、资料进行 专门的定性与定量分析。咨询型报告咨询型报告：在分析型报告的基础上，提 供决策与行动的咨询方案。第二节第二节 态度量表设计态度量表

18、设计态度态度一种习惯的对给定事物的一贯好恶程度。一种习惯的对给定事物的一贯好恶程度。态度的三个特征：态度是习惯的；态度是行为的预态度的三个特征：态度是习惯的；态度是行为的预兆；态度是稳定的。兆；态度是稳定的。态度量表态度量表用于测量被调查者对某种事物的态度或意见，即测量用于测量被调查者对某种事物的态度或意见，即测量态度认识及认识程度的尺度和工具。分为：态度认识及认识程度的尺度和工具。分为：类别量表、顺序量表、等距量表、等比量表。类别量表、顺序量表、等距量表、等比量表。态度的等级态度的等级三级等级法三级等级法 七级等级法七级等级法一、态度量表一、态度量表态度测量表的种类态度测量表的种类1.类别量

19、表类别量表：用数字来识别调查对象或对调查结果：用数字来识别调查对象或对调查结果 进行分类。数字与个体（或结果）之间一一对应。进行分类。数字与个体（或结果）之间一一对应。2.顺序量表：顺序量表：指明各类别，同时还对个体给出数字表指明各类别，同时还对个体给出数字表 示其对某种特征的相对程度。示其对某种特征的相对程度。3.等距量表等距量表：不仅表示顺序，而且测量各顺序位置之：不仅表示顺序，而且测量各顺序位置之 间的差距。间的差距。4.等比量表：等比量表：同时具有类别关系、顺序关系、差距关同时具有类别关系、顺序关系、差距关 系和比率关系的态度测量。系和比率关系的态度测量。态度量表的特征态度量表的特征

20、尺度尺度允许的四则运算允许的四则运算 允许的统计计算允许的统计计算 应用范围应用范围类别量表类别量表 无无 百分比、众数、卡百分比、众数、卡方检验方检验群体的编号、行群体的编号、行业分类等业分类等顺序量表顺序量表 无无中位数、百分位、中位数、百分位、顺序符号相关检验、顺序符号相关检验、等级相关性检验等级相关性检验对产品、企业的对产品、企业的意见、态度；比意见、态度；比较品牌的喜好程较品牌的喜好程度等度等等距量表等距量表 加减加减区间、算术平均、区间、算术平均、均方差、标准差、均方差、标准差、T-检验、检验、F-检验检验利用五等级法、利用五等级法、七等级法测定态七等级法测定态度、意见度、意见等比

21、量表等比量表 加减乘除加减乘除几何平均、调和平几何平均、调和平均、变异系数均、变异系数消费者的年龄、消费者的年龄、收入、顾客数量、收入、顾客数量、销售量等销售量等二、态度的评价方法二、态度的评价方法u 单项目评分法单项目评分法 评比量表法 数值分配法u 多项目组合评分法多项目组合评分法 语义差别量表法 李克特量表(Likert Scales)沙斯通量表(Thurston Scales)、哥提曼量表(Gutlman Scales)（一）评比量表（一）评比量表是一种顺序量表，被调查者对态度的测量设置，两端是是一种顺序量表，被调查者对态度的测量设置，两端是 极端性答案，中点是中性答案的态度测量表。极

22、端性答案，中点是中性答案的态度测量表。含义含义三级等级态度量表三级等级态度量表 满意满意 无所谓无所谓 不满意不满意 3分分 2分分 1分分七级等级态度量表七级等级态度量表非常重要非常重要 很重要很重要 重要重要 无所谓无所谓 不重要不重要 不很重要不很重要 很不重要很不重要 7 6 5 4 3 2 1或或 3 2 1 0 -1 -2 -3（二）数值分配量表（二）数值分配量表含义含义由被调查者在固定的数值（由被调查者在固定的数值（10分制或分制或100分制）范围分制）范围内，对所测事物的态度评价依次分配一定数值的态度内，对所测事物的态度评价依次分配一定数值的态度测量表。测量表。例如例如：对服装

23、品牌：对服装品牌A、B、C的喜爱程度的评价：的喜爱程度的评价：品牌品牌A（60分）分）品牌品牌B（40分）分）品牌品牌C（85分）分）（三）语义差别量表（三）语义差别量表含义含义同时列出若干态度子量表，每一个态度子量表用同时列出若干态度子量表，每一个态度子量表用 评比量表法给出被调查者的态度。评比量表法给出被调查者的态度。例例：上海通用汽车公司，想了解消费者对别克车与其他：上海通用汽车公司，想了解消费者对别克车与其他 两竞争对手车：帕萨特和本田车，在产品质量上的两竞争对手车：帕萨特和本田车，在产品质量上的 态度有何不同？态度有何不同？采用语义差别量表，给出了六项评比量表的组合：采用语义差别量表

24、，给出了六项评比量表的组合：式样新颖式样新颖7654321式样保守式样保守 舒适舒适7654321 不舒适不舒适 冲力大冲力大7654321冲力小冲力小发动机发动机 性能好性能好7654321发动机发动机性能差性能差安全性能好安全性能好7654321安全性能差安全性能差售后服务优售后服务优7654321售后服务差售后服务差别克别克帕萨特帕萨特本田车本田车（四）李克特量表（四）李克特量表含义含义给出若个语句，将被调查者的态度分为多个等级，给出若个语句，将被调查者的态度分为多个等级，将单语句（项目）总体相关性强的语句选定，同将单语句（项目）总体相关性强的语句选定，同时得到被调查者对这些语句的评分（

25、态度）。时得到被调查者对这些语句的评分（态度）。步骤步骤给出询问语句（给出询问语句（40100条）条）设定被调查者的态度等级设定被调查者的态度等级设定被调查者对每个语句的正负态度（赞成或不赞成）设定被调查者对每个语句的正负态度（赞成或不赞成）给出李克特评分表给出李克特评分表 获得被调查者对每个语句的态度值获得被调查者对每个语句的态度值 计算单个语句（项目）与总体相关性计算单个语句（项目）与总体相关性 确定态度语句以及态度评分确定态度语句以及态度评分例例例例1 1 1 1 A1:广告很单调广告很单调A2:广告没有娱乐性广告没有娱乐性A3:广告能帮助消费者选购最佳商品广告能帮助消费者选购最佳商品A

26、4:广告的产品是卖不出去的东西广告的产品是卖不出去的东西A5:广告的特征不现实广告的特征不现实A6:广告没有创意广告没有创意A7:广告清楚解释了产品的优点广告清楚解释了产品的优点A8:广告很容易被记住广告很容易被记住A9:看广告完全是浪费时间看广告完全是浪费时间 ；用李克特量表法调查消费者对某商业广告的态度用李克特量表法调查消费者对某商业广告的态度第一步：第一步：给出询问语句给出询问语句 A1A9第二步：将消费者的态度分为第二步：将消费者的态度分为5个等级个等级非常同意非常同意 同意同意 中立中立 不同意不同意 非常不同意非常不同意 5分分 4分分 3分分 2分分 1分分赞成此项目，赞成此项目

27、，“非常同意非常同意”5分；分；“同意同意”4分；分；（正态度）（正态度）不赞成此项目，不赞成此项目，“非常不同意非常不同意”5分；分；不同意不同意”4分；分；（负态度）（负态度）语语句句项项目目评评分分第三、四步：第三、四步：给出李克特评分表给出李克特评分表表表1.1.李克特评分法李克特评分法 态度态度项目项目非常同意非常同意 同意同意中立中立不同意不同意非常不同意非常不同意A1（赞成）（赞成）A2（不赞成）（不赞成）A3（不赞成）（不赞成）A4（不赞成）（不赞成）A5（不赞成）（不赞成）A6（不赞成）（不赞成）A7（赞成）（赞成）A8（赞成）（赞成）A9（赞成）（赞成）5 1 1 1 1

28、1 5 5 5 4 2 2 2 2 2 4 4 4 3 3 3 3 3 3 3 3 3 2 4 4 4 4 4 2 2 2 1 5 5 5 5 5 1 1 1假设调查消费者假设调查消费者10人，对上述语句（项目）进行评分，人，对上述语句（项目）进行评分，给出态度值；再计算给出态度值；再计算9个单项目与总体的相关系数。个单项目与总体的相关系数。第五、六步：调查消费者的态度值、第五、六步：调查消费者的态度值、计算单项目总体相关系数计算单项目总体相关系数表表2.2.单项目总体相关性单项目总体相关性 项目项目应答人应答人A1A2A3A4A5A6A7A8A9总总 分分 1 2 3 4 5 6 7 8 9

29、 1053413343435424353425424252325114524251512144433453554435345523414432435454544454235353435331293725363132274028相关相关系数系数0.577-0.750.8570.7270.426-0.110.7960.7950.811 单语句（项目）与总体项目相关性强的是：单语句（项目）与总体项目相关性强的是：A3、A9 、A7、A8、A2、A4 单语句（项目）与总体项目相关性弱的是：单语句（项目）与总体项目相关性弱的是：A6、A5 、A1 问题？1.相关性弱说明了什么？相关性弱说明了什么？2.A

30、2、A6语句是负相关，说明了什么？如何重新设定语句是负相关，说明了什么？如何重新设定消费者的正负态度和李克特评分表？消费者的正负态度和李克特评分表？3.选定的语句的消费者态度值是什么？选定的语句的消费者态度值是什么？4.李克特评分法有哪些优缺点？李克特评分法有哪些优缺点？第七步：确定态度语句以及态度评分第七步：确定态度语句以及态度评分第三节第三节 信度与效度的概念信度与效度的概念研究调查问卷是否很好地反映目标总体（目标值）特征；研究调查问卷是否很好地反映目标总体（目标值）特征；检验被调查者的回答是否真实可信（一致性或稳定性）检验被调查者的回答是否真实可信（一致性或稳定性）一、一、信度信度 (R

31、eliability)问卷调查问卷调查所得结果所得结果的一致性或稳定性的程度，的一致性或稳定性的程度，也称为可靠性或精确度。也称为可靠性或精确度。u 一致性：同一群受访者关于同一项目的各种问卷调查的一致性：同一群受访者关于同一项目的各种问卷调查的 结果间显示高度相关。结果间显示高度相关。u 稳定性：同一群受访者不同时间（间隔时间较短，如两周）稳定性：同一群受访者不同时间（间隔时间较短，如两周）或不同空间下接受相同的问卷调查，结果差异很小。或不同空间下接受相同的问卷调查，结果差异很小。古典真实得分评价模型古典真实得分评价模型调查值（调查值（X）=真实值（真实值（T）+误差（误差（E）误差（误差（

32、E）=系统误差（系统误差（I）+随机误差（随机误差（R）例例2 25位被调查者对某银行的柜台服务满意度调查，评分位被调查者对某银行的柜台服务满意度调查，评分为为0-100分。前后间隔两周，进行了两次评分，评分分。前后间隔两周，进行了两次评分，评分结果如下，请问两次评价结果是否可信？结果如下，请问两次评价结果是否可信？被调查者被调查者 第一次调查评分第一次调查评分第二次调查评分第二次调查评分 真实评分真实评分 （假定）（假定）ABCDE 857768676167887060768275716862二、二、效度效度 (Validity)问卷或测量工具测出调查结果的正确程度，即问卷结果与问卷或测量工

33、具测出调查结果的正确程度，即问卷结果与 目标值之间的接近程度，反映被测特征的真实性。目标值之间的接近程度，反映被测特征的真实性。例如：关于居民收入状况的问卷调查。如果直接询问被调查者关于居民收入状况的问卷调查。如果直接询问被调查者的收入和缴纳的所得税，则调查所得收入数据很可能会的收入和缴纳的所得税，则调查所得收入数据很可能会较大地低于居民的真实收入，因而认为问卷的效度较差。较大地低于居民的真实收入，因而认为问卷的效度较差。三、信度与效度误差来源三、信度与效度误差来源（一）信度误差来源（一）信度误差来源随机误差随机误差 被调查者个人状况：身体、作答动机、情绪等被调查者个人状况：身体、作答动机、情

34、绪等 测验情境：测验程序、环境、意外事件等测验情境：测验程序、环境、意外事件等 测验本身：难易程度、题意、抽样方式等测验本身：难易程度、题意、抽样方式等 计分：主观计分、登记错误等计分：主观计分、登记错误等（二）效度误差来源（二）效度误差来源系统误差系统误差如：问卷设计有缺陷，用词含义不清，造成多种理解而如：问卷设计有缺陷，用词含义不清，造成多种理解而 提供不准确信息产生的误差；问卷中提供不准确信息产生的误差；问卷中“无回答无回答”；或或 敏感性问题调查与真实情况不一致产生的误差；等。敏感性问题调查与真实情况不一致产生的误差；等。第四节第四节 信度的评价分析方法信度的评价分析方法信度系数大致分

35、为三类：信度系数大致分为三类：稳定系数（跨时间的一致性，如重测信度、）稳定系数（跨时间的一致性，如重测信度、）等值系数（跨形式的一致性，如复本系数、）等值系数（跨形式的一致性，如复本系数、）内在一致性系数（跨项目的一致性，如折半信度、内在一致性系数（跨项目的一致性，如折半信度、克朗巴哈克朗巴哈信度、）信度、）调查值（X）=真实值（T）+随机误差（R）定义信度系数信度系数为：影响信度评价的主要因素影响信度评价的主要因素n 测验题数（测验项目越多，信度越高）；测验题数（测验项目越多，信度越高）；n 样本的同质性；样本的同质性；n 测验的难度；测验的难度；n 计分的客观性（主观题与客观题的比例）；计

36、分的客观性（主观题与客观题的比例）；n 信度的估计方法（如折半系数常比信度的估计方法（如折半系数常比系数高）系数高）信度的评价方法信度的评价方法信度的评价方法信度的评价方法（一）重测信度法（一）重测信度法（Kappa系数、系数、Spearman等级相关系数、等级相关系数、Pearson积矩相关系数）积矩相关系数）（二）内部一致性信度法（二）内部一致性信度法（Cronbach 系数）系数）（三）复本信度法（三）复本信度法（四）折半信度（四）折半信度（Spearman-Brown公式、公式、Flanagan校正公式、校正公式、Rulon校正公式）校正公式）（五）评分者信度（五）评分者信度（Kend

37、all协同系数）协同系数）（一）重测信度法（一）重测信度法用同样的问卷对同一组被调查者间隔一定时间内（一般用同样的问卷对同一组被调查者间隔一定时间内（一般为为2-4周）重复调查，考查问卷结果的稳定性程度。周）重复调查，考查问卷结果的稳定性程度。1、定类数据的重测信度定类数据的重测信度 Kappa 系数其中其中即：（卡巴系数）第一次调查第一次调查 合计 是是 否否 第二次第二次 调查调查 是是 否否 a b c d (a+b)(c+d)合计 (a+c)(b+d)n调查问卷对某一特征进行调查问卷对某一特征进行“是、否是、否”判断判断表表3 3若若重测信度的评价或检验重测信度的评价或检验一致性很好一

38、致性较好一致性较差或用标准正态分布检验：或用标准正态分布检验：检验统计量为当，认为两次调查结果在一定程度上具有可重复性。例例3 350位消费者试用两种产品位消费者试用两种产品X和和Y，并请他们回答两者中，并请他们回答两者中更喜欢哪一种产品。两周后，进行第二次测试，并同更喜欢哪一种产品。两周后，进行第二次测试，并同样回答对这两种产品的偏好。求样回答对这两种产品的偏好。求Kappa 系数？系数？第一次试用第一次试用 合计更喜欢更喜欢 X 更喜欢更喜欢 Y 第二次第二次 试用试用 更喜欢更喜欢 X更喜欢更喜欢 Y 21 5 6 18 26 24 合计 27 23 502、定序数据的重测信度定序数据的

39、重测信度Spearman 等级相关系数等级相关系数为等级项数；为等级项数；为两组测量值的等级之差。为两组测量值的等级之差。作检验统计量作检验统计量或者或者3、定量数据的重测信度定量数据的重测信度Pearson 积矩相关系数积矩相关系数为第一次调查的数值，为第二次调查的数值，为调查单位数其中：（二）内部一致性信度法（二）内部一致性信度法调查问卷各个项目间相关程度，即问卷中单个项目与全部调查问卷各个项目间相关程度，即问卷中单个项目与全部项目间的相关性、一致性。用项目间的相关性、一致性。用Cronbach 信度系数度量，信度系数度量，表示表示问问卷卷调查结调查结果果总变总变异中由不同被异中由不同被调

40、查调查者者导导致的比例。致的比例。为调查的项目（题项）总数，为调查的项目（题项）总数，为所有调查对象的第为所有调查对象的第i项目得分的方差，项目得分的方差，为所有调查对象的全部项目所得分之和（即所得总为所有调查对象的全部项目所得分之和（即所得总分）的方差。分）的方差。其中其中即：（克朗巴哈系数）表明一致性很好；表明一致性很好；表明一致性较好；表明一致性较好；表明一致性较差。表明一致性较差。系数值越大，表明问卷内部一致性越好；系数值越大，表明问卷内部一致性越好；评价评价例例4 4对前述例中的李克特量表，计算对前述例中的李克特量表，计算信度系数。信度系数。首先，将李克特量表中负相关的语句作首先，将

41、李克特量表中负相关的语句作“逆向处理逆向处理”，使其变成正相关，以保证各项目得分方向的一致性。使其变成正相关，以保证各项目得分方向的一致性。表表1 1（续）（续）李克特评分法李克特评分法 态度态度项目项目非常同意非常同意 同意同意中立中立不同意不同意非常不同意非常不同意A1（赞成）（赞成）A2（赞成）（赞成）A3（不赞成）（不赞成）A4（不赞成）（不赞成）A5（不赞成）（不赞成）A6（赞成）（赞成）A7（赞成）（赞成）A8（赞成）（赞成）A9（赞成）（赞成）5 5 1 1 1 5 5 5 5 4 4 2 2 2 4 4 4 4 3 3 3 3 3 3 3 3 3 2 2 4 4 4 2 2 2

42、 2 1 1 5 5 5 1 1 1 1表表2 2（续）单项目总体相关性（续）单项目总体相关性 项目项目应答人应答人A1A2A3A4A5A6A7A8A9总总 分分 1 2 3 4 5 6 7 8 9 1053413343431242313241424252325114524251512144433453112231321123414432435454544454235353435323233721362332233820相关相关系数系数0.4080.9150.8460.8430.5450.4430.6690.7010.933（三）复本信度法（三）复本信度法让同一组被调查者一次填答两个内容相同的

43、问卷复本，让同一组被调查者一次填答两个内容相同的问卷复本，要求两个复本除表达方式不同外，在内容、格式、难度要求两个复本除表达方式不同外，在内容、格式、难度和对应总量的提问方式等方面完全一致。根据调查结果和对应总量的提问方式等方面完全一致。根据调查结果计算两个复本的相关系数。计算两个复本的相关系数。（四）折半信度（四）折半信度将调查项目分为两半，计算两部分得分的相关系数，进而估将调查项目分为两半，计算两部分得分的相关系数，进而估计整个问卷的信度。注意，如果量表中含有反意题项，应将计整个问卷的信度。注意，如果量表中含有反意题项，应将其得分作逆向处理，以保证各题项得分方向的一致性。其得分作逆向处理，

44、以保证各题项得分方向的一致性。（1）（2）（3）其中：分别为两个分半问卷和整个问卷的方差为两个分半问卷测量值之差的方差。Spearman-Brown公式 Flanagan校正公式 Rulon校正公式（五）评分者信度（五）评分者信度不同评分者对同样对象进行评定时的一致性和稳定性。不同评分者对同样对象进行评定时的一致性和稳定性。如果两个评分者，用相关系数或等级相关系数反映；如果两个评分者，用相关系数或等级相关系数反映；如果评分者在如果评分者在3人以上，可采用人以上，可采用Kendall协同系数评价协同系数评价其一致性（仅适用于各个顺序等级评价的一致性）其一致性（仅适用于各个顺序等级评价的一致性）即

45、：其中为评分者人数或评价项目数、评价机构数；为被评的人数或作品数。为被评的第i个人的等级之和；（肯德尔协同系数）例例5 55名裁判依据名裁判依据6名歌手的演唱进行打分（名歌手的演唱进行打分（1-6分），分），试对裁判的打分是否一致进行检验。试对裁判的打分是否一致进行检验。裁判 （评分者）歌手（被评人）A B C D E G1G2G3G4G5G6 2 1 3 1 1 3 2 1 2 2 5 4 4 5 4 1 3 2 3 3 4 5 6 4 6 6 6 5 6 581022122528例例6 6有四个独立的环境评估机构分别对有四个独立的环境评估机构分别对10个城市空气质量个城市空气质量等级进行评

46、价，等级排序如下。检验：这四个评估机等级进行评价，等级排序如下。检验：这四个评估机构的评价结果是否具有一致性？构的评价结果是否具有一致性？城市 A B C D E F G H I J评估机构 1评估机构 2评估机构 3评估机构 4 9 2 4 10 7 6 8 5 3 1 10 1 3 8 7 5 9 6 4 2 8 4 2 10 9 7 5 6 3 1 9 1 2 10 6 7 4 8 5 3 十个城市的空气质量等级第五节第五节 效度的评价分析方法效度的评价分析方法调查值（调查值（X）=有效值（有效值（V）+系统误差（系统误差（I）+随机误差（随机误差（R）效度系数分为三种类型：效度系数分为

47、三种类型：内容效度、准则效度（效标效度）、内容效度、准则效度（效标效度）、结构效度结构效度定义定义效度系数效度系数为：为：即，效度系数为有效结果的方差在总方差中所占的比例。即，效度系数为有效结果的方差在总方差中所占的比例。（一）内容效度（一）内容效度问卷的内容（题项）切合研究主题或内容的程度。问卷的内容（题项）切合研究主题或内容的程度。1、逻辑分析：专家评判法，由专家评分，认为调查项、逻辑分析：专家评判法，由专家评分，认为调查项 很好地表示了调查内容的专家数很好地表示了调查内容的专家数 占专家总数占专家总数 的比例，进而计算内容效度：的比例，进而计算内容效度：2、统计分析：单项与总和的相关性分

48、析，即计算每个题项、统计分析：单项与总和的相关性分析，即计算每个题项 得分与题项总分的相关系数。得分与题项总分的相关系数。（如李克特量表（如李克特量表2（续）（续）注意：若问卷中有反意题项，应逆向处理后再计算总分。注意：若问卷中有反意题项，应逆向处理后再计算总分。表表2 2（续）单项目总体相关性（续）单项目总体相关性 项目项目应答人应答人A1A2A3A4A5A6A7A8A9总总 分分 1 2 3 4 5 6 7 8 9 1053413343431242313241424252325114524251512144433453112231321123414432435454544454235353

49、435323233721362332233820相关相关系数系数0.4080.9150.8460.8430.5450.4430.6690.7010.933（二）准则效度（效标效度）（二）准则效度（效标效度）根据已有理论，选择一种指标或测量工具为准则（效标），分析问卷题项与准则的联系，若两者相关显著，则为有效题项。主要方法：相关分析或差异显著性检验。（三）结构效度分析（三）结构效度分析调查问卷结果体现出来的某种结构与理论上期望的特征结构之间的对应程度。一个问卷有较高的结构效度，则应保证来自相同概念的问卷项目测量结果之间高度相关，而不同概念的测量结果之间相关性低。方法：因子分析法，等。因子分析法因

50、子分析法因子分析法：因子分析法：提取公共因子，代表问卷结构；评价结构效度的指标：评价结构效度的指标：累积方差贡献率、共同度、因子载荷；累积方差贡献率累积方差贡献率反映公共因子对问卷或量表的累积方差 有效程度；共同度共同度反映由公共因子解释原变量的有效程度；因子载荷因子载荷反映原变量与某个公共因子的相关程度。例例7 7某笔记本电脑销售集团对其销售业务和经营状况进行某笔记本电脑销售集团对其销售业务和经营状况进行调查，问卷中针对调查，问卷中针对16个指标进行调查。根据理论分析，个指标进行调查。根据理论分析，这这16个指标大致归为四个维度：财务状况、内部经营个指标大致归为四个维度：财务状况、内部经营管