非功能性测试课件.ppt
《非功能性测试课件.ppt》由会员分享,可在线阅读,更多相关《非功能性测试课件.ppt(65页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、非功能性测试第1页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-2本章内容p本章讨论与系统非功能测试相关的知识,包括本章讨论与系统非功能测试相关的知识,包括n性能测试n兼容性测试n用户界面测试n安装测试n安全性测试n文档测试第2页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-3非功能测试p系统的非功能属性系统的非功能属性n系统的非功能属性不描述系统的功能而是站在整体的角度说明系统应满足的要求,如性能、安全、易用性、可靠性等p非功能性测试非功
2、能性测试n软件测试高级话题之一n验证系统的非功能属性是否满足用户需求的过程n非功能性测试的执行(但是非功能测试的规划越早开始越好),通常在完成功能测试之后,以方便定位问题。n主要涉及 性能测试、兼容性测试、用户界面测试、安装测试、安全性测试和文档测试第3页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-4性能p性能性能n与被测系统相关的一系列度量指标。n不同的系统关心不同的性能指标,例如1.通信软件关心的性能指标有接通率、掉话率、接续容量等 2.证券系统关心下单速度、下单的数量、是否堵单等3.嵌入式软件关心的性能指标中
3、断响应、内存使用、实时性 n站在用户角度,响应时间是所有系统都关心的指标性能第4页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-5性能测试p定义定义n是一个综合性的测试活动,通常包括一系列与被测系统性能相关的互相关联互相包含的测试活动,如常规的性能测试、负载测试、压力测试、并发测试、强度测试、大数据量测试等p目的目的n在于优化最重要的应用程序性能指标,提高用户体验的满意p测试思想测试思想n借助测试工具或手工开发测试脚本,模拟执行典型的用户行为,监控关键性能测量结果以判断定义的性能指标是否达到期望的目标第5页,此课件共
4、65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-6性能测试p常规的性能测试常规的性能测试 n在正常条件下进行的测试,主要测试正常使用时系统是否满足要求,同时可能为了保留系统的扩展空间而进行一些稍稍超出“正常”范围的测试。p负载测试负载测试n通过逐步增加系统负载,测试系统性能的变化,并最终确定在满足性能指标的情况下,系统所能承受的最大负载量的测试。p压力测试压力测试n通过逐步增加系统负载,测试系统性能的变化并最终确定在什么负载条件下系统性能处于失效状态并以此来获得系统能提供的最大服务级别的测试,其目的在于发现在什么条件下系统的性能
5、会变得不可接受。第6页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-7性能测试p强度测试强度测试n迫使系统在异常的资源配置下运行以检查程序对异常情况的抵抗能力,判断系统的稳定性以及系统未来的扩展空间。p并发测试并发测试n要指测试多个用户同时访问同一个应用程序、同一个模块或者数据记录时是否存在死锁或者其它性能问题。n并发一般分两种情况:1.严格意义上的并发:所有的用户在同一时刻做同一件事情或者操作2.广义范围上的并发:指用户对系统发出的请求或者进行的操作,可以是相同的也可以是不同的。第7页,此课件共65页哦级本科软件测
6、试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-8性能测试p大数据量测试包大数据量测试包n含独立数据量测试和综合数据量测试。1.独立数据量测试是针对某些系统存储、传输、统计查询等业务进行单用户大数据量测试。2.综合数据量测试是与并发测试等相结合的在极限状态下的测试。第8页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-9性能测试过程p性能测试过程n性能测试规划n性能测试设计与开发n性能测试执行与监控n测试结果分析和系统调整性能测试过程性能测试过程第9页,此课件共65页哦级本
7、科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-10性能测试规划p目标n确定性能测试需求n制定性能测试策略n规划性能测试各类相关资源n开发并评审性能测试计划第10页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-11性能测试规划 p步骤步骤1.分析性能测试需求2.规划性能测试环境3.开发并评审性能测试计划第11页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-12性能测试规划 p步骤步骤1.
8、分析性能测试需求2.规划性能测试环境3.开发并评审性能测试计划第12页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-13分析性能测试需求 p依据依据n用户需求说明p任务任务n明确性能测试目标和范围n测试的对象n应用系统的使用模式n其它第13页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-14分析性能测试需求 p明确性能测试目标和范围明确性能测试目标和范围n用户需求不同,性能测试的目标也有所不同n依据性能目标,确定相应的性能测试活动和范围n包
9、含系统要达到的性能指标,这些指标应该以可度量的形式给出并且统一性能指标的含义第14页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-15分析性能测试需求 p测试对象测试对象n明确性能测试活动中涉及的1.功能点或功能点的组合2.用户类型、每种用户的数量、典型行为、系统行为、这些行为发生的时间和频率百分比,需要模拟哪些用户或者部门的哪些活动等内容3.明确用户任务的分布情况n方法1.分析被测系统的业务2.用户对系统地使用情况第15页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of E
10、CNU 孙海英 版权所有 9-16分析被测系统业务 p测试对象测试对象n确定系统的核心模块p核心模块:业务比较复杂或者用户使用频率较高的模块n模块间的耦合关系p为了更加清晰地了解核心模块间数据的传输方式以便更真实地模拟多用户并发时的情况n分析系统的压力点p系统压力点多是用户使用比较频繁或者数据量较大的地方p分析系统压力点是指站在全局角度来分析系统可能产生瓶颈的功能点,进而制定合适的测试方案。第16页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-17用户对系统地使用情况 p意义意义n确定用户对系统的使用情况是设计测试用
11、例的基础p方法方法n用户现场调查n分析系统日志p需要的信息包括需要的信息包括n系统有多少类典型的用户、每类用户的大概数量、不同时间段各类用户大概按照何种比例使用系统、用户的行为、系统的行为、这些行为发生的时间和比率、在系统生命周期内用户数量的变化情况如何。n可以利用任务分布图法描述上述信息第17页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-18任务分布图示例 任务图示例第18页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-19性能测试规划
12、 p步骤步骤1.分析性能测试需求2.规划性能测试环境3.开发并评审性能测试计划第19页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-20规划性能测试环境p任务任务n规划性能测试的软硬件环境n制定测试环境的维护策略1.反复使用Ghost维护一些测试环境2.利用VMware在同台电脑上构建多个测试平台3.使用备份/恢复策略维护数据库中的内容等。n性能选择测试工具第20页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-21规划性能测试环境p性能测试
13、环境规划的内容性能测试环境规划的内容n一般的分布式处理系统其性能测试环境规划包括1.网络环境设计:带宽和拓扑结构2.操作系统环境规划3.数据库环境规划4.服务器环境规划5.硬件资源环境设计规划6.客户端环境规划第21页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-22规划性能测试环境p如何规划性能测试环境如何规划性能测试环境n了解终端用户的真实部署环境n确定系统组件及各个组件的配置,掌握如下信息:1.连接到系统的用户数2.客户端计算机的配置情况3.服务器与客户端之间的通信方式4.中间件配置和应用程序服务器5.可能影响
14、相应时间的其他网络组件6.通信设备的吞吐量7.每个设备可以处理的并发用户数。第22页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-23性能测试工具 p为什么使用工具为什么使用工具n性能测试要通过模拟大量用户行才能进行,如果使用纯手工测试的方法,性能测试不仅在执行上异常困难另外成本也会变得难以让人接受。n有很多可以进行性能测试的工具,比如:1.LoadRunner2.IBM Functional Tester3.开源工具:Jmeter,Opensta.Grinder etc.第23页,此课件共65页哦级本科软件测试与质
15、量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-24性能测试规划 p步骤步骤1.分析性能测试需求2.规划性能测试环境3.开发并评审性能测试计划第24页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-25性能测试计划p内容内容n性能测试策略和测试范围n性能测试目标、方法、环境和工具n性能团队成员及其职责n测试进度安排n性能测试执行标准(开始、结束、挂起、恢复等)n性能测试中的风险n相关的培训第25页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI
16、 of ECNU 孙海英 版权所有 9-26性能测试设计和开发p目标n设计并评审性能测试用例n开发性能测试脚本n验证脚本功能的正确性第26页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-27性能测试设计和开发p主要设计内容主要设计内容n场景设计1.不同业务模式下的场景2.不同时间段内的场景3.不同时期的场景n数据设计1.并发数设计2.开发和收集反应用户实际行为的测试数据 第27页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-28并发用户数设
17、计p方法方法n极限法p取最大在线用户数作为最大并发数,可以通过日志分析,也可以使用系统已经注册的用户数量作为系统的用户数量,然后按照经验公式来估算最大并发用户数量。n用户趋势分析法p对软件生存周期内的用户未来趋势进行分析,预测系统可能达到的最大使用用户数目,从而估计系统的最大并发用户数目n经验评估法第28页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-29性能测试设计和开发p步骤步骤1.基于用户对系统的使用情况,分析出用户现实中的典型场景2.基于这些场景设计性能测试用例,确定测试中使用的具体数据3.借助性能测试工具或
18、某种编程语言开发性能测试脚本实现性能测试用例p并发用户数需要逐步提高第29页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-30性能测试执行与监控p目标n借助工具或者真实的用户,运依次执行性能测试用例,监控关键测量指标,收集相关数据第30页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-31性能测试执行p任务任务1.搭建与维护测试环境2.选择和配置关键测量指标p关键测量指标是在实际的性能测试过程中需要监控和分析的测量结果,通过观察这些测量结果来
19、确认系统是否达到定义的性能目标。3.执行测试用例4.监控测试执行5.保存测试结果第31页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-32结果分析与系统调整p目标n分析测试结果,确定系统是否存在性能问题n输出性能测试报告n如果发现存在性能问题,则由相关责任人负责修改,修改完毕后,可能引起另一个性能测试周期用以验证问题是否解决第32页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-33结果分析p原则原则n由外而内,由表及里,层层深入1.从最终用
20、户直接可以感受到的响应时间入手,如果测试结果显示满足用户对性能的期望,则系统的性能满足要求,否则说明系统存在性能问题2.确定系统瓶颈是出现在网络环节还是服务器环节pCPUp内存p磁盘3.层层推进,判断相应环节的更细组件的响应时间,直到最后找到造成性能问题的根本原因第33页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-34结果分析pCPU1.Process Time 85%2.Process Queue Length 2*处理器个数p内存内存1.Available memory 02.Pages/秒(Page in/s
21、+Page out/s)Page in的值需80p硬盘(磁盘的忙碌程度)硬盘(磁盘的忙碌程度)1.Disk Time 80%第34页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-35性能调整p步骤步骤1.确定问题2.确定原因3.确定调整目标4.测试解决方法5.分析调整结果第35页,此课件共65页哦级本科软件测试与质量保证 2008年9月-2009年01月 SEI of ECNU 孙海英 版权所有 9-36兼容性测试p定义定义 n验证被测系统是否可以在各种可能的运行环境中正常工作的测试活动p为什么需要进行兼容性测试为什
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 功能 测试 课件
限制150内