第9章 可用性分析与评估.ppt

《第9章 可用性分析与评估.ppt》由会员分享，可在线阅读，更多相关《第9章 可用性分析与评估.ppt（65页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第9章 可用性分析与评估,山东大学计算机学院,Lecture 5,2,内容提要,可用性的定义 可用性工程 支持可用性的设计原则 可学习性 灵活性 鲁棒性 可用性的评估方法 用户模型法、启发式评估、认知性遍历、用户测试和用户调查法等 可用性案例,Lecture 5,3,9.1可用性与可用性工程,可用性定义（ISO9241-11） 可用性是指特定的用户在特定的环境下使用产品并达到特定目标的效力、效率和满意的程度。 其他定义 可用性意味着使用产品的人能够快速而方便的完成任务。 定义基于以下四点： 可用性是以用户为中心； 人们使用产品的目的是创造价值； 所谓用户就是那些为了完成任务而忙碌工作的人； 产

2、品是否易用由用户判定。,Lecture 5,4,可用性的五个方面,可用性反应用户对产品的需求，表现在五个方面（5E）： 有效性（Effective） 怎样准确、完整地完成工作或达到目标。 效率（Efficient） 怎样快速地完成工作。 吸引力（Engaging） 用户界面如何吸引用户进行交互并在使用中得到满意和满足。 容错能力（Error Tolerant） 产品避免错误的发生并帮助用户修正错误的能力。 易于学习（Easy to Learn） 支持用户对产品的入门使用和在以后使用过程中的持续学习。,Lecture 5,5,增强可用性的好处,提高生产率 增加销售和利润 降低培训和产品支持的成本

3、 减少开发时间和开发成本 减少维护成本 增加用户的满意度,Lecture 5,6,可用性案例,在Windows98系统的控制面板中有一项功能“添加/删除程序”，可以对系统中的应用软件进行删除或修改。 但出于某种目的，对于Internet Exploer 6.0，却只能选择“添加”或“修复”，而无法删除；用户如果真正想删除，必须借助于一些工具或手工改动注册表，这显然是非常不方便的。,可用性案例,微软的Visual Basic 5.0系统中有一个只有两个条目的列表框，而实际上使用下拉列表或选项按钮更加合适。,Lecture 5,8,可用性工程,不管系统内部实现如何复杂，产品展现给用户的应该是一个易

4、用、高效的使用界面，因为用户的最终需求在于使用产品以完成某种功能，而不是花费很大的气力去了解产品的工作原理。,Usability engineering. By Jay Simpson, from the cover of IEEE Computer, March 1992.,Lecture 5,9,可用性工程,定义 所谓可用性工程就是改善系统可用性的迭代过程。它是一个完整的过程，贯穿于产品设计之前的准备、设计实现、一直到产品投入使用。 其目的就是保证最终产品具有完善的用户界面。,Lecture 5,10,可用性工程的生命周期,了解用户 竞争性分析 设定可用性目标 用户参与的设计 迭代设计 产

5、品发布后的工作,Lecture 5,11,1）了解用户,要在工作环境中观察用户 通过实地访问，观察、了解用户的使用情况，这样可以得到第一手的资料，而不要仅仅听他们上司的描述。 了解用户的个体特征 按照用户的使用经验、受教育程度、年龄、先前接受过的相关培训等对用户进行分类。 任务分析 要想明确改善可用性的任务，就要了解用户的所有目标任务，以及用户为达到目标通常使用的方法；从中抽象出用户的任务模型，收集其它一些必备的信息。 功能分析 分析这些用户任务的功能性原因，弄清楚为了完成任务，什么是必须要做的，什么仅仅是些表面文章。,Lecture 5,12,2）竞争性分析,启发式地分析竞争产品或其交互界面

6、，并结合使用经验，了解对手系统的优缺点，针对其缺点进行改进，并借鉴其优点。 Eg:微软在WINDOWS系统开发过程中，事实上从竞争对手苹果公司的Mac系统借鉴了很多思想。,Lecture 5,13,3）设定可用性目标,预先确定可用性的评价尺度和可以量化的可用性目标水平，也就是可用性目标。 单位时间发生错误数。 完成单元任务，如航班预定，订单定制等所花费的时间。 衡量可用性工程花费的经济模型。,Lecture 5,14,4）用户参与的设计,首先要明确什么样的用户会使用我们的系统； 与这些用户广泛地沟通，理解他们的行为方式有什么不同； 根据不同种类的用户确定与软件相关的用户角色，定义这些角色的目标

7、，设定到达这些目标的特定场景；之后考虑怎样设计交互的解决方案了。,Lecture 5,15,5）迭代设计,设计、测试、再设计 设计原型系统进行迭代设计 对发现的可用性问题进行严重程度评级。 动手解决新版本交互界面中的问题。 作出修改时，要记录为什么做出改变的原因，也就是要抓住问题的原理。 评估新版本的交互界面，如果还有改进的余地，回到(1)，直到软件开发时间或经费花光。,Lecture 5,16,瀑布模型（非迭代）,需求,设计,编码和单元测试,系统集成,运行和维护,迭代模型,风险曲线比较,Lecture 5,19,6）产品发布后的工作,产品发布后继续收集重要的可用性数据，这一点非常有必要，一方

8、面可以用于进一步改善产品的可用性，另一方面也为后续版本的开发作准备。这些工作包括： 通过与用户座谈、调查、观察等手段明确可用性研究涉及的内容。 进行标准化的市场调研，特别是调研用户在新闻组、邮件列表、评论、杂志调查中对产品的评述。 使用软件日志记录，随时记录用户遇到的问题，并设法发送回公司进行分析。 认真分析用户在产品服务热线、修改要求、缺陷报告中对可用性的种种抱怨。,Lecture 5,20,9.2 支持可用性的设计原则,可学习性 新用户能否很容易地学会交互和达到最佳交互性能 灵活性 用户和系统之间信息交流的方式是否灵活多样 鲁棒性 体现为用户能不能成功达到交互目标和能不能对达到的目标进行评

9、估,Lecture 5,21,可学习性,交互系统能否让新手学会如何使用系统，以及如何达到最佳实用效果。 支持可学习性的设计原则有： 可预见性 同步性 熟悉性 通用性 一致性,Lecture 5,22,可学习性-可预见性,可预见性意味着用户利用对前面交互过程的了解就足以确定后面交互的结果。 可预见性有别于计算机系统的确定性行为。可预见性则是一个以用户为中心的概念，它取决于用户的观察，不能完全由计算机的状态决定交互的行为，还要由用户根据自己的判断来决定 操作的可预见性 Eg:窗口系统都在右上角提供三个按钮：最小化、最大化和关闭,Lecture 5,23,可学习性-同步性,同步性是指用户依据界面当前

10、状态评估过去操作造成影响的能力，也就是说用户能不能同步地知道交互操作的结果。 Eg: 文件拖动,Lecture 5,24,可学习性-熟悉性,系统的新用户在现实生活或使用其它系统时，会有一些交互过程的宝贵经验；可能这些经验与新系统的应用领域不同，但对新用户来说，如果新系统跟过去使用过的类似系统有一定相关性，那使用起来就比较方便。 Office 2003 & Office 2007,Lecture 5,25,可学习性-通用性,交互系统的通用性就是在交互中尽可能的提供一些通用的或能够从现有功能类推出来的功能。 Eg: 多窗口系统的cut/paste/copy 操作,Lecture 5,26,可学习性

11、-一致性,一致性是说在相似的环境下或执行相似的任务时，一般会执行相似的行为。 一致性与前面提到的其它交互原则有关，如熟悉性可以看作与过去现实世界经验的一致性，通用性可以看作与同一平台、同一系统中软件交互体验的一致性。,Lecture 5,27,灵活性,灵活性体现用户与系统交流信息方式的多样性，主要表现在： 可定制性 对话主动性 多线程 可互换性 可替换性,Lecture 5,28,灵活性-可定制性,可定制性是指用户或系统修改界面的能力。 用户主导：可定制-customized 系统主导：可适应-adaptive 定制能力 界面元素位置、颜色的定制 交互结构、流程的定制,Eg: 根据用户使用具体

12、功能的频繁程度来调整菜单项排列的顺序，或将一些暂时不用的菜单项隐藏起来,Lecture 5,29,灵活性-对话主动性,将人机交互双方看作是一对对话者时，重点是谁是对话的发起人。 系统主导 系统可以发起所有对话，这种情况下，用户只是简单的响应信息请求。例如，一个模式对话框就禁止用户与系统的其它窗口交互。 用户主导 用户可以自由的启动对系统的操作。 从用户角度看，系统主导的交互阻碍了灵活性，而用户主导的交互增强了灵活性。,一般而言，我们希望交互系统由用户主导，但还是有些情况需要系统来主导交互,如多用户协同图案设计中，一个用户可能试图删除或涂抹另一用户正在编辑的某一区域，这时就有必要由系统来限制这种

13、具有严重“破坏行为”的交互活动。 如飞机在着陆时，如果飞机翼襟未能同步展开，自动飞行系统应该禁止着陆以避免机毁人亡。,Lecture 5,31,灵活性-多线程,多线程的人机交互系统同时支持多个交互任务，可以把线程看作是一个特定用户任务的相关对话部分；并发的多线程允许各自独立交互任务中的多个交互同步进行；交替地执行多对话线程，允许各自独立的交互任务暂时的重叠；但在任何给定时间，对话实际上还是局限于单个任务。 窗口系统很自然地支持多线程对话。每个窗口表示一个不同任务,Lecture 5,32,灵活性-可互换性,可互换意味着任务的执行可以在系统控制和用户控制间进行转移。有可能的情况是交互一会儿由用户

14、控制，一会儿又由系统控制，交互的控制权彼此传递；或者将一个完全由系统控制的任务变成系统和用户共同完成的任务。 例如，字处理软件中的拼写检查：用户完全可以借助于字典逐字检查，但这是一项繁杂的工作，所以最好交由机器来自动执行，但机器往往对人名和无意义的重复输入的单词无法处理，这时还得靠人去处理，拼写检查最好由这种协作方式完成。 在安全性要求特别严格的应用中，任务迁移可以降低事故发生的概率。 例如，飞机飞行中的状态检查单靠人来执行太过繁琐，所以一般采用自动飞行控制，但一旦出现紧急情况，还得由飞行员凭借经验去处理。,Lecture 5,33,灵活性-可替换性,可替换性要求等量的数值可以彼此交换。 例如

15、页边距的单位，可以是英寸，也可以是厘米；在用户输入上，可以让用户在输入框中输入数值，也可以通过设定表达式的方式输入。这种可替换性提供了由用户选择适当方式的灵活性，并且通过适当方式，避免无谓的换算，可以减少错误的发生。 可替换性也体现在输出上，也就是对状态信息的不同描述方式。表示的多样性说明了对状态表达信息进行渲染时的灵活性。 例如，物体一段时间的温度可以表示为数字温度计（如果比较关心实际的温度数值），也可以表示为图表（以清晰地反映温度变化的趋势）。有时可能需要同时提供这些表示方式，以备用户适应不同任务的需要。,Lecture 5,34,鲁棒性,定义： 可观察性 可恢复性 响应性 任务规范性,L

16、ecture 5,35,鲁棒性-可观察性,可观察性允许用户通过观察交互界面的表现来了解系统的内部状态。也就是说允许用户将当前观察到的现象与要完成的任务进行比较，如果用户认为系统没有达到预定的目标，可能会去修正后面的交互动作。 可观察性涉及到五个方面的原则：可浏览性，缺省值提供，可达性，持久性和操作可见性。,Lecture 5,36,鲁棒性-可恢复性,可恢复性是指用户意识到发生了错误并进行更正的能力。 可恢复性不仅利于鲁棒性，还可大大提高用户的冒险意识，提高系统的可学习性 。,Lecture 5,37,鲁棒性-响应性,响应时间一般定义为系统对状态改变做出反应的延迟时间。 一般而言，延迟较短或立即

17、响应最好。即使需要较长的时间才有最终结果，也应该有所响应。,Lecture 5,38,关于系统响应时间的一般约定,0.1 sec.: 即时响应的极限时间. 直接操纵、虚拟场景的导航. 1 sec.: 片刻等待的操作. 若长于1sec.，显示表示系统忙的光标. 10 secs.: 使用户保持对当前交互关注的极限时间. 如果长于10sec., 应显示操作进度指示。,Lecture 5,39,鲁棒性-任务规范性,任务的规范性就是说系统为完成交互任务所提供的功能是否规范。 用户可能已经有一些交互体验，对某些交互任务已经有一些认识；如果系统提供的功能符合规范，用户就能大体知道系统对交互任务的支持，也就能

18、够比较容易理解和使用系统提供的新功能。 规范的意义：可重复性强，出错概率低,Lecture 5,40,9.3 可用性评估,软件可用性评估应该遵循以下原则： 最具有权威性的可用性测试和评估不应该针对专业技术人员，而应该针对产品的用户。 软件的可用性测试和评估是一个过程，这个过程在产品开发的初期阶段就应该开始。 软件的可用性测试必须是在用户的实际工作任务和操作环境下进行。 要选择有广泛代表性的用户。,Lecture 5,41,可用性评估方法,用户模型（User Model） 启发式评估 (Heuristic Evaluation) 认知性遍历 (Cognitive Walkthrough) 用户测

19、试 (User Testing) 用户问卷调查 (Questionnaire) 放声思考法,Lecture 5,42,用户模型法,用户模型法是用数学模型来模拟人机交互的过程。这种方法把人机交互的过程看做是解决问题的过程。它认为人使用软件系统是有目标的，而一个大的目标可以被细分为许多小的目标。为了完成每个小的目标，又有不同的动作和方法可供选择，每一个细小的过程都可以计算完成的时间，这个方法特别适合于无法进行用户测试的情形。在人机交互领域中最著名的预测模型是GOMS模型。 GOMS 是描述任务和用户执行该任务所需知识的方法，通过目标 (Goal)、操作符 (Operator)、方法 (Method

20、) 以及选择规则 (Selection rule) 四个方面进行描述。GOMS 模型可以模拟一个交互任务并以此进行评估。 关于GOMS模型的详细论述参见本书第六章。,Lecture 5,43,启发式评估,启发式评估法就是使用一套相对简单、通用、有启发性的可用性原则（即“启发”）来进行可用性评估。 具体方法是，专家使用一组称为“启发式原则”的可用性规则做为指导，评价用户界面元素（如对话框，菜单，在线帮助等）是否符合这些原则。,Lecture 5,44,可用性启发原则,1.系统状态可见性 2.系统与用户现实世界相互匹配 3.用户控制与自由 4.一致性与标准 5.错误预防 6.识别而不是回忆 7.使

21、用的灵活性与效率 8.美观而精炼的设计 9.帮助用户认识、诊断和修正错误 10.帮助和文档,认知性遍历Cognitive Walkthrough,在认知性遍历中，专家测评者从一个说明书或早期的原型出发构建任务场景，然后让用户使用此界面来完成任务，即“遍历”界面。 用户(称为典型用户)就象使用真正的界面那样对界面进行遍历，使用它们来完成任务。 仔细观察用户使用界面的每一步骤：如果界面中存在妨碍用户完成任务的地方，就表明界面中缺少某些必要的内容；完成任务的功能顺序如果繁杂反复，就表明界面需要新的功能以简化任务并修改功能的顺序。,Lecture 5,46,认知性遍历Cognitive Walkthr

22、ough,进行认知性遍历活动，需要以下四个条件： (1)对系统原型的详尽描述，这种描述不一定是完整的，但要相当详尽。诸如菜单的位置描述或措辞选择等这样的细节也可能导致相当大的差异。 (2)对用户在系统中要完成任务的描述，该任务应当是大多数用户将要执行的有代表性的任务。 (3)一个完整的、书面的操作清单，列出使用给定原型完成任务所需执行的操作。 (4）确定用户的身份，以及评估人员能够确定这些用户已具有哪一类别的知识和经验。,Lecture 5,47,认知性遍历,认知性遍历认为用户完成一个任务的过程有三步： 1.用户在交互界面上寻找能帮助完成任务的行动方案； 2.用户选择并采用看起来最能帮助完成任

23、务的行动； 3.用户评估系统作出的反馈，判断在完成任务上的进展。 评审人员可以对用户的每个交互过程模拟这三个步骤去评价，并以回答下列三个问题为基础： 1.界面上执行正确动作的控件（按钮、菜单、选项等）是否可见？ 2.用户是否知道正确动作可以到达希望的结果？ 3.根据系统对动作的反馈信息，用户是否能够知道他的动作是否正确？,网上书店买书 找书 网站上的图书分类一步一步找书， 记录:用户是否能够方便的使用网站的分类系统 网站的查询系统查询规则 系统是否支持方便的查询，以及在查询过程中及时的反馈信息都会影响用户交互任务的完成。,用户测试,用户测试就是让用户真正去使用软件系统，由试验人员对实验过程进行

24、观察、记录和测量。 用户测试可分为实验室测试和现场测试。,Lecture 5,50,实验室测试步骤,1. 前期准备工作 （1）明确测试的目的 l帮助改进交互设计 通过测试了解交互中有待改进的地方，要搞清楚为什么出错，而不仅仅是知道错了。可以在测试中收集过程数据定量的去观察发生了什么问题以及为什么会这样。 l评估交互的整体质量 根据一定的衡量指标，通过测试评估交互的水平，比如用户在某个交互任务上耗费的时间，任务是否成功，出错情况等等。也可对两个以上的可选设计针对确定的性能需求进行比较性评测。,Lecture 5,51,实验室测试步骤,（2）准备测试环境 要确保测试环境的舒适。最简单的是选一个安静

25、的房间，贴上“用户测试中请勿打扰”，关掉电话，保证房间足够的亮度，给受测试者提供饮料；如果有可能的话使用专门的可用性实验室。 （3）准备测试设备 包括记录测试过程需要的摄像机，三脚架，麦克风，耳机，单向透光的镜子，彩色监视器，录像机，录像带，电源线，扩展插座，“请勿打扰”标志，饮料，记录软件或表格等等。,注意：直面环境的干扰,学生时代，每个人都经历过大小考试。 要想使考试成绩更准确，必须降低这个过程中的干扰： 一，改良考试环境； 二，调整父母对考试期望的：学习知识才是最重要地！,测试环境 要测试的是大多数用户使用这款产品时的正常环境。 极端的环境都是相对的 测试人员也是环境中一分子 尽量减少测

26、试人员对测试用户的影响 如果你给用户一张购物卡，让Ta自己去买一样他感兴趣的东西。你躲在旁边观察，你会发现更多你想要的测试结果。,Lecture 5,54,Lecture 5,55,实验室测试步骤,（4）确定测试过程中的各种角色分配 测试负责人 负责全面控制测试，执行所有与测试用户的交谈，以及撰写任务报告等。 数据记录员 记录测试过程中的重要事件和活动。 摄像操作员 对整个测试过程进行录像，包括开始的介绍和最后的任务报告部分。 计算机操作员 负责在测试之前，为每个新的测试用户准备交互初始界面和在系统崩溃、死机时进行重新启动等处理。 测试者或测试用户-参加测试的系统实际使用者。,实验室测试步骤,

27、2测试执行的六个阶段 1.制定测试计划 计划的主要部分包括：测试目标、问题陈述、目标用户特征、测试方法、测试任务列表、需要收集的数据、测试报告内容等。 2.选择测试者 根据目标用户特征选择有代表性的用户，将他们分为几类，每一类包含若干用户；测试用户来源应该广泛，有条件的话可以建立一个测试用户数据库。,Lecture 5,56,3.准备测试材料 测试指导书，说明测试的目的，介绍测试注意事项等； 背景问卷，用来搜集用户的有关信息，以便在测试过程中更好的理解用户的表现； 训练脚本，精确描述正式测试步骤，演示测试中的各种要求； 任务场景描述，给测试用户的测试描述； 数据采集表格和测试后问卷，采集用户数

28、据和收集用户在测试中的感受、观点、建议等； 最后将要做的事情按时间顺序列成表格备查。,4. 执行引导测试 对整个测试程序执行引导测试，发现那些对测试的含糊描述和容易出错的地方。 5. 执行正式测试 执行测试，测试过程中不要给用户任何提示；测试结束，与用户做测试后面谈调查；对特别有趣的问题和发现的问题保存屏幕快照；深入了解测试笔记中记录的问题；复查测试后调查问卷；整理观察者提出的问题等。,6. 分析最终报告 汇编和总结测试中获得的数据，例如：完成时间的平均值、中间值、范围和标准偏差，用户成功完成任务的百分比，对于单个交互，用户做出各种不同倾向性选择的直方图表示等。 分析数据，找出那些发生错误的或

29、使用比较困难的交互；逐个分析它们的原因；并根据问题的严重程度和紧急程度排序。撰写最终测试报告。,实验室测试步骤,3可用性测试的评价 1）通过搜集一些客观、量化的数据进行性能评价： 完成特定任务的时间； 在给定时间内完成的任务数目； 发生的错误数目； 成功交互与失败交互的比率； 恢复错误交互所消耗的时间； 使用命令或其他特定交互特征（如快捷键）的数量； 测试完毕后用户还能记住的特定交互特征的数量； 使用帮助系统的频度； 使用帮助的时间； 用户对交互的正面评价与负面评价的比率； 用户偏离实际任务的次数。,实验室测试步骤,3可用性测试的评价 2) 如果要比较两个可选的交互设计，即对两个交互界面A和B

30、，根据某一准则做一个客观的测试决定哪个更好。可以这样做： 选择两个同等规模的测试用户群； 将用户随机分配到两个组中； 在每个组内执行同样的任务； 规定第一组只使用系统A，第二组只使用系统B，分别进行测试。,实验室测试步骤,3可用性测试的评价 3) 统计分析 使用统计学原理和手段对得到的测试数据进行进一步的统计分析。比如可以使用统计学中的假设检验，判断系统A与B有没有统计意义上的明显差别？使用统计学中的点估计、平均值等指标评价差别的大小，对结果的准确性进行判断等。,Lecture 5,63,问卷调查,1问卷调查的执行过程 用户要求分析 问卷设计 问卷实施及结果分析 2可用性调查问卷例子QUISq

31、uis，2003 表9-2 3. 问卷分析 需要用到很多的数理统计知识，如参数估计、假设检验、方差分析与回归分析等。,问卷尽量减少测试人员对测试用户的影响 如果你问：你喜欢蓝色吗？你为什么不喜欢蓝色？蓝色哪点得罪你了？ 用户大多会告诉你想听的答案：“唔，蓝色也行啦，我对颜色其实不太关心。” 这就是传说中的期望效应：说你行，你就行；说你不行，你就不行。,习题,9.1请举出你在学习和生活中遇到的成功与失败的可用性案例。 9.2请简述支持可用性的设计原则。 9.3请举例说明两种以上的可用性评估方法。 9.4利用本章介绍的可用性评估方法，分析自己在习题5.3中设计完成的系统的可用性。可以请同学担当用户进行测试，或设计一个用户调查问卷进行评估。,