2022年问卷调查法的应用 .pdf

问卷调查法的应用一、为何选择问卷调查法产品方对于此次用研项目提出的需求如下：初看上去，需求比较多、比较杂，似乎无法用一个方法解决所有问题。经过反复和产品方的沟通交流，就能 挖掘出他们心中最希望了解的内容。再整理 一下，就变成下面的表格：最终结果除了要展示出网易XX 用户的上述情况，还涉及对调查对象的多种分类，以及不同类别用户在具体题目上的横向比较 这可能更为重要。名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 8 页 -而问卷调查法特别适用于调查：用户的 使用目的、使用 行为习惯、态度和观点、人口学信息；不适合探索用户新的、模糊的需求。所以，此次调研项目适宜于选择问卷调查法作为主要方法（同时选用访谈法、运营数据作补充参考）。二、问卷素材的来源和依据1.二手资料（已有的理论、报告及行业资讯）2.自己的使用体验、竞品分析需要把自己培养成产品的深度用户，并且还要坚持使用竞争产品。这样有助于形成自己对产品的直觉和感性认识。而竞品分析能帮助自己对产品有更充分的理解，让我们从感性认识中提炼出理性看法，同时确保能全面地细致地审视（不会遗漏重要细节）。3.对产品设计人员、普通用户的简单访谈“三人行，必有吾师”，自学完了，再让产品设计人员、普通用户教你一些知识吧。名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 8 页 -此时的访谈采用轻松聊天的形式（半结构式），访谈的对象也是方便取样、就近选择 目的不在于得出什么结论，更多地是帮助自己进一步加深理解、穷尽多种可能性，为编写问卷做准备。而且对于产品设计人员的访谈，还能顺便获悉产品部门工作流程、组织架构、人员配置、可动用的资源等信息 看似无关紧要，其实能使我们最终调查报告的建议更有针对价值！三、问卷细节1.指示性说明社会调查类的教科书里通常要求我们写上长长的一大段说明文字，但在互联网上有多少人会认真看一大坨文字？看看don t make me think 作者如何做的：从103个单词删减到 41 个单词（该书中文第二版，P34）！非必要信息不得出现在问卷的指示性说明中。需要提及的核心信息无非就这几个：A.目的：帮助改进网易XX，也欢迎非网易用户作答 B.时间：3-5 分钟 C.匿名和保密 D.有奖：通过质量检核的完整答卷可参与抽奖2.题目编制思路3.题目设置需注意的细节1)简洁、明确：有时这两者是个矛盾，但尽量做到平衡。【例子】您使用 XX 的历史多久？简洁您第一次使用 XX 是什么时候？简洁、通俗您第一次使用 XX（不一定是目前最常用的这个）是什么时候？稍微牺牲了“简洁”，但是更“明确”！2)态度中立、无诱导性【例子】您对目前常用的 XX 满意吗？您对目前常用 XX 的满意程度为？4.选项设置需注意的细节名师资料总结-精品资料欢迎下载-名师精心整理-第 3 页，共 8 页 -1)选项互斥【例子】您平时上网较常浏览的内容为？A.热点/头条新闻 B.娱乐八卦 C.时事政治 D.游戏/动漫 选项A原本是为了对应于“每天都会看新闻头条、但对于内容领域没有特别偏好”的这样一部分人的行为；但A选项与后面选项存在着重叠，尤其A与C重叠的程度非常高。于是，删除 C选项，把 A选项改为“时事新闻”。2)包含所有的可能能否做到这一点，就反映出准备阶段的工作是否充分。当怀疑选项设置可能不全时，可以再去找产品、设计、运营人员探讨、核对。此外，可以设置【其它_】选项，以确保用户始终可以作出选择；同时，选择【其它_】选项的比例高低也反映了选项设置是否全面。3)用户易理解【例子】询问用户使用的手机操作系统时，选项“iOS（iPhone）、symbian（塞班）”就比“iOS、symbian”更容易理解，虽然前一种表达貌似不伦不类。4)变量的测量类型实际工作中，只大体区分为“类别变量”和“连续变量”两大类。就统计测量层次上来说，“连续变量”比“类别变量”级别高，包含信息丰富，也可以使用稍高级的统计方法。所以，可能的情况下，尽量让选项“变为连续变量”。【例子】想了解用户平时分享站外内容的情况，两种选项设置（后一种更好）：A.分享 B.不分享A.频繁 B.经常 C.一般 D.很少 E.从不5)态度中立、无诱导性【例子】选项“时事政治”改为“时事新闻”；“愤青”改为“热衷点评时政的普通人”6)随机顺序呈现若选项为事实性的、类别变量，而非按程度顺序递进的连续变量，那么选项应该随机顺序呈现给答题者，这样可以 排除首尾选项或中间选项更易被选择的倾向。名师资料总结-精品资料欢迎下载-名师精心整理-第 4 页，共 8 页 -5.避免反应心向反应心向是指回答问卷的人具有一种比较固定的作答倾向。有时可能是有意识的：讨好出题者；给别人留下好印象。有时可能是无意识的：习惯回答“是”、“同意”；社会赞许性 避免社会文化规范里不赞同、或负面的评价；回避、防卫敏感隐私问题或社会禁忌话题。在线下、面对面、有奖品的答题环境下，更易发生有意识的反应心向的问题。在互联网上、匿名的情况下，有意识的反应心向会减弱很多，无意识的反应心向也可以通过以下努力得到缓解。具体做法如下：1)指示性说明部分：强调匿名和保密；强调认真、如实回答才能参与抽奖。2)问卷中：非必要情况下，不要求用户填写收入状况、手机号码。即便确实是调查所需，也要说明缘由，且保留用户自主决定是否回答的权利。3)问卷中：设计一些呼应的题目互相印证；并且可以适当采用反向计分的方式。4)数据分析时：涉及自家产品和别家产品的满意度、好感度等这些态度评价的比较时，一定要小心得出结论（可能存在反应心向，用户对自己产品的评价很好）。6.建立不同问题、选项间的呼应一方面，可以互相印证，提升问卷的信度（当然，没必要仅仅为此而增加题量 得不偿失）。另一方面，便于在统计分析时采用交叉分析/列联表的方法 这会为你的调查报告在“丰富、准确、有价值”方面提升很多！【例子】“选择目前这家 XX 作为您最常用的 XX 的主要原因为？”、“您对目前最常用这个XX 主要不满之处为？”这两个题目的结果可以用来互相印证。【例子】“您在 XX 上比较关心什么类型的人？”“您在 XX 上感兴趣的内容为？”这两个题目可以用来做交叉分析，能找出“人”和“内容”最典型、最具代表性的组合。7.题目的排序名师资料总结-精品资料欢迎下载-名师精心整理-第 5 页，共 8 页 -总体的题目排序原则如上，有时也要考虑一些特殊情况，比如“接触产品时间有先后关系、操作流程有特定的顺序”，此时局部的题目则按“时间/流程先后”排序。8.问卷题量先看问卷法和量表法的区别：可以这样通俗地理解：量表是许多专家、花了大量精力在编制环节（工具本身的信效度很高）；测试时需要的样本量稍小一些，就能达到研究目的。问卷原本就需要大量代表性的样本才能实现目的，况且问卷本身的信效度还欠佳，更需要大量样本了。为了得到大量的样本，且希望数据质量较高，问卷本身就会受到限制 题量要偏少。实际工作中，将问卷总题目数控制在25题之内，平均答题时间不超过300 秒（事后统计）。四、预测试经过了这么细致和长久的准备，似乎不会再有问题，迫不及待地想要投放问卷了。且慢！智者千虑，必有一失。此时应该再找一些产品/设计人员、普通用户来预测试一下（方便取样、最好找之前没有参与过讨论的人）。依据个人经验，这个环节还是能检查出一些遗漏问题的。【例子】问卷中的一题：“您在 XX 上查找他人的方式为？”自我感觉选项中已经列举了各种常用方式，一位交互设计师在预测试时问我：为何没有“直接搜索找人”选项？原来我忽略了这个最直接、原始的查找方式。五、问卷投放除了问卷本身的质量，直接影响调查成败的因素就是样本质量（实际也就是问卷投放策略的考虑）。顺便总结一下，量表调查法最重要的是工具本身（量表的质量、常模指标）和高级统计方法；实验法最重要的是控制和操控（对无关变量的控制、对自变量的操控）；而问卷调查法最重要的是样本（样本量足够大，且具有代表性）。想要样本量大，就尽可能多地动用投放渠道，当然还有些投放小技巧（越处于操作流程结束后、入口文案的排版越独立，反馈问卷的打开率越高，详见taobaoUED 渡劫的卖家反馈的影响因素的量化研究）。名师资料总结-精品资料欢迎下载-名师精心整理-第 6 页，共 8 页 -这边着重谈一下样本代表性的问题。首先得承认，网上投放问卷不是完全随机抽样，我们无法苛求调查对象的各种特征完全匹配现实生活中的总体，但是，我们要尽可能争取覆盖到不同类别用户群，以具有更大代表性。【例子】此次调查，我们除了想知道网易XX 用户的情况，我们还希望能够了解新浪、腾讯、其它XX 用户的情况。为此，我们做了以下努力：1)除了在网易门户投放问卷，我们希望尽可能扩大站外投放渠道比例，比如：全国各大论坛、一些搜索引擎页面、视频网站页面等，甚至最好能投放到其它门户网站（当然实际上不可能花这么多代价）。2)当推广和市场部门的同事希望问卷的点击图片包含“网易 XX”的字眼（可顺便起到广告宣传的作用）。对此，我坚决反对，因为这样无疑会严重影响“新浪、腾讯、其它XX 用户”的点击。3)在论坛投放问卷链接，市场的同事采用软文帖的形式，大意是“目前XX 产品很火，大家可以去通过此问卷能了解 XX 产品”，写得幽默风趣、激发看帖人的好奇心。有同事不认可这种做法，认为不符合问卷指示说明的规范，可能会对用户作答产生影响。但我个人反而认为这是个比较好的技巧。首先，在工作中是不可能完美地遵循到所有的原则，一定要有“主要矛盾、和矛盾的主要方面”的辩证思维方式，必要的时候须权衡利弊综合考虑。比如，此时我们最重要的目标是一定要覆盖到“新浪、腾讯、其它 XX 的用户群”，且数量还不能少。其次，看那种帖的时候，用户是采用的“扫描”而非“仔细阅读”的方式，顶多动用的是瞬时记忆，等跳转了页面、再阅读正式的问卷指示说明及填写问卷时，之前的瞬时记忆的影响很小。第三，问卷中让用户表达直接态度的题目较少，更多地是事实性的问题，这些问题本身难以受到诱导出现系统性的偏差。第四，我们整理数据时，还有一系列事后的数据检核手段。4)设置自动的隐含题目，能区分来自各投放渠道的样本量（尤其是区分网易站内、站外）。六、数据整理通常数据的检核需删除不完整答卷、多选题全选的答卷、逻辑矛盾的答卷；准确且丰富的筛查手段有助于进一步提高数据的质量（这一步可以在excel或者 SPSS 上完成）。另外，还需要根据“答题时长”来筛除问卷（太短反映了不认真，太长反映了答题时受外界干扰较多）。采用 SPPS 中箱形图的分析，可以清楚地看到“答题时长”这个指标上的偏离值和极端值，及它们对映的问卷 ID编号，这样就能很方便地删除了。名师资料总结-精品资料欢迎下载-名师精心整理-第 7 页，共 8 页 -七、统计分析问卷调查法因为变量的测量类型限制，可用的统计方法比较低级，描述性统计居多，有时会用到交叉分析、卡方检验（偶尔还可以用到相关分析、方差分析）。回过头来，再次说明问卷编制阶段就要考虑好可能用到的统计方法、以及如何尽可能地让选项设置为连续型的变量。这个环节虽不像前面的环节直接关系调查的成败（因为有反复尝试的机会），但若能够合理且充分地利用统计技术，将会给最终报告的价值带来很大的提升。这与用研人员的专业素养有很大关系，需长期不断努力才能提升，此处不细谈。八、总结看似简单的问卷调查，要能做好且让它发挥最大价值，确实有很多细致的、值得推敲之处。一次用研项目（不管是不是问卷调查法），前期的准备和计划都非常重要，磨刀不误砍柴工！说明：出于对公司产品保密的考虑，隐去有关信息。人人都是产品经理（）中国最大最活跃的产品经理学习、交流、分享平台名师资料总结-精品资料欢迎下载-名师精心整理-第 8 页，共 8 页 -