性能测试的组织.ppt

《性能测试的组织.ppt》由会员分享，可在线阅读，更多相关《性能测试的组织.ppt（63页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第3 3章章 性能测试的组织性能测试的组织3.1 3.1 性能测试工具性能测试工具3.2 3.2 性能测试团队的人员构成性能测试团队的人员构成3.3 3.3 性能测试流程性能测试流程3.1 3.1 性能测试工具性能测试工具性能测试工具的作用性能测试工具的作用性能测试脚本录制时的协议类型性能测试脚本录制时的协议类型性能测试工具的选择与评估性能测试工具的选择与评估性能测试工具的作用性能测试工具的作用 性能测试工具只能帮助你性能测试工具只能帮助你实施性能测实施性能测试试，并不能帮助你完成性能测试的需求、并不能帮助你完成性能测试的需求、设计和分析（性能测试工具能够根据你的设计和分析（性能测试工具能够

2、根据你的要求以各种方式提供报表，要求以各种方式提供报表，这些报表可以这些报表可以被用来分析系统性能状况）。被用来分析系统性能状况）。性能测试脚本录制时的协议类型性能测试脚本录制时的协议类型 一般的性能测试工具都提供了多种协议支持，一般的性能测试工具都提供了多种协议支持，但具体在什么时候使用何种协议，如何选择也是一但具体在什么时候使用何种协议，如何选择也是一个问题。性能测试工具录制的是服务端和应用之间个问题。性能测试工具录制的是服务端和应用之间的通信数据，的通信数据，因此，选择何种协议取决于应用和客因此，选择何种协议取决于应用和客户端之间的通信协议户端之间的通信协议。Web应用：应用：HTTP/

3、HTTPS协议；协议；数据库应用：协议取决于数据库本身的类型；数据库应用：协议取决于数据库本身的类型；Socket应用：应用：socket协议；协议；除了这些，还有除了这些，还有RMI、Corba、Web Service等等多种类型的协议。多种类型的协议。性能测试工具的选择与评估性能测试工具的选择与评估 对需要进行性能测试的组织来说，决定对需要进行性能测试的组织来说，决定使用哪种性能测试工具也不是一个简单的问使用哪种性能测试工具也不是一个简单的问题。这个问题通常会有两个层面的意义：题。这个问题通常会有两个层面的意义：第一，创建还是购买？第一，创建还是购买？第二，如果购买，如何选择一种商业工具？

4、第二，如果购买，如何选择一种商业工具？1 1、创建还是购买？创建还是购买？总之，总之，”购买购买“的方式可以以较低的总体成本快速获得的方式可以以较低的总体成本快速获得可用的软件，可用的软件，但如果被测试对象本身有一定的特殊需求，但如果被测试对象本身有一定的特殊需求，最最好使用好使用”创建创建“的方式构建适合的测试工具。的方式构建适合的测试工具。2.2.测试工具的评估和选择过程测试工具的评估和选择过程 测试工具的评估可被描述为测试工具的评估可被描述为“从很多可用的从很多可用的工具中选择一个工具工具中选择一个工具”，对于商业的性能测试，对于商业的性能测试工具，一般可以按照下列的过程进行评估：工具，

5、一般可以按照下列的过程进行评估：（1 1）列出需要的工具功能列表）列出需要的工具功能列表工具能支持被测系统运行的平台（软硬件环境、工具能支持被测系统运行的平台（软硬件环境、数据库环境）吗？数据库环境）吗？工具能支持被测系统使用的协议吗？工具能支持被测系统使用的协议吗？工具是否能够支持我们的特殊要求，例如防火工具是否能够支持我们的特殊要求，例如防火墙、负载均衡、动态页面生成等？墙、负载均衡、动态页面生成等？工具能够提供对我们关心的服务器、应用服务工具能够提供对我们关心的服务器、应用服务器或是数据库类型计数器的监控吗？器或是数据库类型计数器的监控吗？工具使用的脚本语言功能完善吗？工具使用的脚本语言

6、功能完善吗？（2 2）工具比较）工具比较 该步骤的主要目的是比较所有可供选择的工具，比该步骤的主要目的是比较所有可供选择的工具，比较内容包括：较内容包括：功能比较。评价各种不同工具与所需要工具的功能的符功能比较。评价各种不同工具与所需要工具的功能的符合程度，可以在列出需要工具的功能时，一并给出每个合程度，可以在列出需要工具的功能时，一并给出每个需要功能的优先级权重，这样在进行符合度评价时，可需要功能的优先级权重，这样在进行符合度评价时，可以得出每个工具的功能符合度加权值，利用该加权值进以得出每个工具的功能符合度加权值，利用该加权值进行比较。行比较。工具能获取支持的比较。这方面的比较包括：开发商

7、或工具能获取支持的比较。这方面的比较包括：开发商或是代理商对工具的支持力度如何？该产品的平均更新周是代理商对工具的支持力度如何？该产品的平均更新周期有多长？是否能方便地在应用中获取工具的使用支持期有多长？是否能方便地在应用中获取工具的使用支持？产品的支持方式包括哪些？时效性如何？产品的支持方式包括哪些？时效性如何？供应商的信誉。这方面的信息主要通过其他客户对供应供应商的信誉。这方面的信息主要通过其他客户对供应商的评价来获得。商的评价来获得。（3 3）成本分析）成本分析 工具的价格是成本的主要构成，工具的价格和产品的工具的价格是成本的主要构成，工具的价格和产品的LicenseLicense方式直

8、接相关。评估工具成本的时候，最先要弄方式直接相关。评估工具成本的时候，最先要弄清楚的就是工具的清楚的就是工具的LicenseLicense方式。方式。在了解工具在了解工具LicenseLicense方式的基础上，就可以根据需要方式的基础上，就可以根据需要选择产品部件，估算需要支付的产品价格了。选择产品部件，估算需要支付的产品价格了。工具的学习曲线和必要的培训成本也是必须考虑的一工具的学习曲线和必要的培训成本也是必须考虑的一个因素个因素。永远不要相信测试工具供应商作出的。永远不要相信测试工具供应商作出的“我们的工我们的工具非常简单易学，只需要很短时间就能让你学会具非常简单易学，只需要很短时间就能

9、让你学会”这种承这种承诺。客观来说，目前的商业工具在产品架构和界面可操作诺。客观来说，目前的商业工具在产品架构和界面可操作性方面差别不大，学习曲线主要从系统支持的脚本语言类性方面差别不大，学习曲线主要从系统支持的脚本语言类型是否被使用者熟悉，系统手册以及产品开发商或是代理型是否被使用者熟悉，系统手册以及产品开发商或是代理商是否提供培训支持等。商是否提供培训支持等。3.2 3.2 性能测试团队的人员构成性能测试团队的人员构成 要顺利开展软件性能测试，首要的条件是有要顺利开展软件性能测试，首要的条件是有一支合适的性能测试队伍一支合适的性能测试队伍。软件性能测试的组织。软件性能测试的组织和执行需要涉

10、及较多的技术和技能，因此我们在和执行需要涉及较多的技术和技能，因此我们在学习性能测试流程之前，先需要掌握性能测试团学习性能测试流程之前，先需要掌握性能测试团队的人员构成。队的人员构成。根据经验，在一个性能测试团队中应该包括根据经验，在一个性能测试团队中应该包括这样一些角色：这样一些角色：测试经理测试经理、测试设计人员测试设计人员、测试测试开发人员开发人员、测试执行人员测试执行人员、测试分析人员测试分析人员和和支持支持人员（系统、网络、数据库工程师）人员（系统、网络、数据库工程师）。3.3 3.3 性能测试流程性能测试流程测试前期测试前期准备准备测试需求测试需求&计划计划测试设计测试设计与开发与

11、开发测试测试执行执行结果分析结果分析报告报告大数据量大数据量测试测试疲劳强度疲劳强度测试测试失效恢复失效恢复测试测试负载负载&压力压力测试测试性能测试流程性能测试流程测试测试测试测试流程流程流程流程1.1.1.1.测试前期准备测试前期准备测试前期准备测试前期准备4.4.4.4.测试执行测试执行测试执行测试执行3.3.3.3.测试设计测试设计测试设计测试设计&开发开发开发开发结果分析结果分析问题定位问题定位测试报告测试报告与评估与评估保证系统稳定保证系统稳定组建测试团队组建测试团队测试需求分析测试需求分析测试计划制定测试计划制定搭建环境搭建环境部署测试场景部署测试场景执行测试执行测试测试脚本录制

12、测试脚本录制测试调试开发测试调试开发负载场景设计负载场景设计2 2 2 2.测测测测试试试试需需需需求求求求&计计计计划划划划2 2 2 2.测测测测试试试试需需需需求求求求&计计计计划划划划2 2 2 2.测测测测试试试试需需需需求求求求&计计计计划划划划2 2 2 2.测测测测试试试试需需需需求求求求&计计计计划划划划5 5 5 5.结结结结果果果果分分分分析析析析&报报报报告告告告测试流程测试流程 测试前期准备测试前期准备 性能测试一般是软件系统已经开发完成或性能测试一般是软件系统已经开发完成或是部署完成之后的测试，要求被测对象至少具是部署完成之后的测试，要求被测对象至少具有一定的稳定性

13、，在功能上基本满足了需求。有一定的稳定性，在功能上基本满足了需求。对一个很不稳定或是还处于对一个很不稳定或是还处于“半成品半成品”状态的状态的软件系统进行测试，没有太大的意义。软件系统进行测试，没有太大的意义。在这个阶段需要完成的任务主要有：在这个阶段需要完成的任务主要有：保证系统稳定保证系统稳定1组建测试团队组建测试团队2 在进行性能测试前，首先要做的工作在进行性能测试前，首先要做的工作就是验证系统基础功能，来就是验证系统基础功能，来确保当前需要确保当前需要进行性能测试的应用系统已经具备了进行进行性能测试的应用系统已经具备了进行性能测试的条件。性能测试的条件。如果性能测试本身属于验收测试的一

14、如果性能测试本身属于验收测试的一部分，只需要把性能测试安排在功能验收部分，只需要把性能测试安排在功能验收测试完成之后即可；如果性能测试不在验测试完成之后即可；如果性能测试不在验收测试阶段运行，则必须保证在收测试阶段运行，则必须保证在性能测试性能测试之前进行至少一次系统的功能覆盖测试之前进行至少一次系统的功能覆盖测试。保证系统稳定保证系统稳定1 该活动的主要目标是建立一个可以进行该活动的主要目标是建立一个可以进行性能测试的团队。性能测试的团队。在测试前期准备阶段，需要根据项目的在测试前期准备阶段，需要根据项目的大致情况，确定人员需要的技能，从而从大致情况，确定人员需要的技能，从而从组织中或是通过

15、招聘挑选合适的人员组成组织中或是通过招聘挑选合适的人员组成测试组。测试组。组建测试团队组建测试团队2测试流程测试流程 测试需求测试需求&计划计划 该阶段需要完成的主要任务有：该阶段需要完成的主要任务有：测试需求分析测试需求分析1测试计划制定测试计划制定2测试需求就是应用需求的衍生测试需求就是应用需求的衍生测试用例也必须覆盖所有的测试需求测试用例也必须覆盖所有的测试需求测试需求的来源是多方面的，如需求文档、测试需求的来源是多方面的，如需求文档、用户备忘录或系统日志等。用户备忘录或系统日志等。测试需求分析测试需求分析1测试需求分析关键内容：测试需求分析关键内容：测试的对象；测试的对象；系统配置，例

16、如系统配置，例如“预计有多少用户并发访预计有多少用户并发访问？问？”“用户客户端的配置如何？用户客户端的配置如何？”“使使用什么样的数据库？用什么样的数据库？”“服务器怎样和客服务器怎样和客户端通信？户端通信？”“网络设备的吞吐能力如何，网络设备的吞吐能力如何，每个环节承受多少并发用户的访问？每个环节承受多少并发用户的访问？”等等相关问题；相关问题；系统的使用模式；系统的使用模式；测试需求分析测试需求分析1用户的提问与我们的测试目标：用户的提问与我们的测试目标：测试需求分析测试需求分析1测试需求分析方法：测试需求分析方法：（充分分析系统有价值的信息）（充分分析系统有价值的信息）任务分布图任务分

17、布图交易混合图交易混合图用户概况分析用户概况分析测试需求分析测试需求分析1任务分布图任务分布图 测试需求分析测试需求分析1有哪些交易任务有哪些交易任务在一天的某些特定时刻系统都有哪些主在一天的某些特定时刻系统都有哪些主要操作要操作交易混合图交易混合图高峰期有哪些操作？高峰期有哪些操作？中间件操作有多少？数据库操作有多少？中间件操作有多少？数据库操作有多少？如果任务失败，那么商业风险有多少？如果任务失败，那么商业风险有多少？用户概况分析用户概况分析哪些任务是每个用户都要执行的？哪些任务是每个用户都要执行的？针对不同角色的用户，他们的任务是什么？针对不同角色的用户，他们的任务是什么？针对每个用户，

18、不同任务的比例如何？针对每个用户，不同任务的比例如何？要素：要素：测试目标测试目标测试案例测试案例测试成员测试成员测试时间测试时间测试环境测试环境 测试计划制定测试计划制定21 1、测试计划制定、测试计划制定-测试目标测试目标测试目标首先是基于需求分析抽取出用户测试目标首先是基于需求分析抽取出用户的需求的需求其次，寻找用户的性能关注点，用户对系其次，寻找用户的性能关注点，用户对系统性能的关注往往集中在少数几个业务活统性能的关注往往集中在少数几个业务活动上，如通过动上，如通过日志分析日志分析和和用户调查分析用户调查分析获获取取系统日志分析：系统日志分析：指通过应用系统的日志了解指通过应用系统的日

19、志了解用户的活动，分析出用户最关注、最常用用户的活动，分析出用户最关注、最常用的业务功能，以及达到业务功能的操作路的业务功能，以及达到业务功能的操作路径；径；用户调查分析：用户调查分析：是在不具备系统日志分析条是在不具备系统日志分析条件（例如，该系统尚未交付用户运行实际件（例如，该系统尚未交付用户运行实际的业务）时采用的一种估算方法，可以通的业务）时采用的一种估算方法，可以通过用户调查问卷、同类型系统对比的方法过用户调查问卷、同类型系统对比的方法获取用户最关注、最常用的业务功能等内获取用户最关注、最常用的业务功能等内容。容。测试目标可能描述为以下几种：测试目标可能描述为以下几种：该应用能够以该

20、应用能够以1 1秒的最大响应时间处理秒的最大响应时间处理200200个并发用户对业务个并发用户对业务A A 的访问；峰值时刻的访问；峰值时刻有有400400个用户，允许响应时间延长到个用户，允许响应时间延长到3 3秒。秒。通过性能调优测试，本系统的通过性能调优测试，本系统的A A业务和业务和B B业业务在务在200200并发用户的条件下，响应时间提高并发用户的条件下，响应时间提高到到3 3秒，此时服务器的秒，此时服务器的CPUCPU占用不能超过占用不能超过75%75%，内存使用率不超过，内存使用率不超过70%70%。2、测试计划制定测试计划制定-测试案例测试案例u设计测试案例设计测试案例好的案

21、例具有以下几个性质：好的案例具有以下几个性质：有效性：可以发现缺陷有效性：可以发现缺陷可重用性：可以重复使用的案例，保证测可重用性：可以重复使用的案例，保证测试的一致性试的一致性可维护性：当测试环境、测试数据发生变可维护性：当测试环境、测试数据发生变化后，测试案例经过简单维护，可以继续化后，测试案例经过简单维护，可以继续使用使用3 3、测试计划制定、测试计划制定-测试成员测试成员 前面已讲述。前面已讲述。4 4、测试计划制定、测试计划制定-测试时间测试时间5 5、测试计划制定、测试计划制定-测试环境测试环境测试环境的基本原则：测试环境的基本原则：符合软件运行的最低要求，不一定选择将符合软件运行

22、的最低要求，不一定选择将要部署的环境要部署的环境选用比较普及的操作系统和软件平台选用比较普及的操作系统和软件平台营造相对简单、独立的测试环境营造相对简单、独立的测试环境无毒的环境无毒的环境5 5、测试计划制定、测试计划制定-测试环境测试环境负载压力性能测试，测试环境还需要注意以下几负载压力性能测试，测试环境还需要注意以下几点：点：必须考虑测试工具的硬件和软件配置需求，比如必须考虑测试工具的硬件和软件配置需求，比如支持工具的操作系统、工具是否支持当前的应用支持工具的操作系统、工具是否支持当前的应用协议等协议等测试环境与实际生产环境有无差异，硬件配置是测试环境与实际生产环境有无差异，硬件配置是否是

23、影响性能的主要因素否是影响性能的主要因素测试环境中应该包括安装、备份及恢复过程测试环境中应该包括安装、备份及恢复过程排除网络问题给环境带来的影响排除网络问题给环境带来的影响5 5、测试计划制定、测试计划制定-测试环境测试环境好的测试环境的标准：好的测试环境的标准：一个稳定、可重复的测试环境能够保证测一个稳定、可重复的测试环境能够保证测试结果的正确试结果的正确保证达到测试执行的技术需求保证达到测试执行的技术需求保证得到可重复的和易理解的测试结果保证得到可重复的和易理解的测试结果5 5、测试计划制定、测试计划制定-测试环境测试环境测试数据：测试数据：在测试环境中需要输入一些适当的测试数据，包括：在

24、测试环境中需要输入一些适当的测试数据，包括：初始数据初始数据 系统运行所必须的初始化数据系统运行所必须的初始化数据业务数据业务数据 提供负载压力背景提供负载压力背景脚本中参数数据脚本中参数数据 脚本中参数数据真实模拟负载脚本中参数数据真实模拟负载测试流程测试流程 测试设计与开发测试设计与开发该阶段需要完成的主要任务有：该阶段需要完成的主要任务有：测试脚本录制测试脚本录制1测试调试开发测试调试开发2负载场景设计负载场景设计3 以测试工具以测试工具LoadRunnerLoadRunner为例为例测试脚本录制测试脚本录制1 作用：作用：用于设计测试活动需要使用的场景用于设计测试活动需要使用的场景测试

25、场景从不同角度的剖面模拟实际业务的运行测试场景从不同角度的剖面模拟实际业务的运行负载场景设计负载场景设计3 场景包含内容：场景包含内容：业务和业务比例业务和业务比例测试指标的目标测试指标的目标需要在测试过程中进行监控的性能计数器需要在测试过程中进行监控的性能计数器 测试场景可以是多个测试目标的体现，下表描测试场景可以是多个测试目标的体现，下表描述了一个测试场景的内容。述了一个测试场景的内容。表表 测试场景示例测试场景示例测试流程测试流程 测试执行测试执行该阶段需要完成的主要任务有：该阶段需要完成的主要任务有：搭建测试环境搭建测试环境1部署测试场景部署测试场景2执行测试和记录结果执行测试和记录结

26、果3硬件环境硬件环境 设备、网络拓扑设备、网络拓扑软件环境软件环境 应用部署、测试工具应用部署、测试工具数据环境数据环境 数据规模数据规模搭建测试环境搭建测试环境1部署脚本部署脚本场景运行时设置场景运行时设置 如循环次数、业务比例、运行时间等等如循环次数、业务比例、运行时间等等性能指标和资源监控设置（重点关注）性能指标和资源监控设置（重点关注）部署测试场景部署测试场景2 在执行测试的过程中，应该使用一些性在执行测试的过程中，应该使用一些性能指标来关注性能测试。能指标来关注性能测试。常用的性能指标常用的性能指标有以下几种：有以下几种：交易处理性能指标交易处理性能指标并发性能测试的主要监控指标并发

27、性能测试的主要监控指标执行测试和记录结果执行测试和记录结果3交易处理性能指标交易处理性能指标 交易：为了完成一个任务，用户对应交易：为了完成一个任务，用户对应用程序执行的一组操作，例如登陆一个用程序执行的一组操作，例如登陆一个WebWeb站点，搜索一个飞机票信息、在网上购买站点，搜索一个飞机票信息、在网上购买一本书等等。一本书等等。每秒交易数（每秒交易数（Transactions per second）交易响应时间（交易响应时间（Response Time）虚拟并发用户数（虚拟并发用户数（Total Virtual Users）吞吐量（吞吐量（Throughout）服务器监控资源，例如：服务器

28、监控资源，例如：Windows、Unix、Linux应用服务器监控，例如：应用服务器监控，例如：IIS、J2EE数据库资源监控：例如：数据库资源监控：例如：Oracle、SQLServer并发性能测试的主要监控指标并发性能测试的主要监控指标Windows资源监控指标资源监控指标Unix/Linux资源监控指标资源监控指标J2EE资源监控指标资源监控指标数据库数据库资源监控指标资源监控指标数据库数据库资源监控指标资源监控指标测试流程测试流程 结果分析，报告结果分析，报告 对测试结果进行分析，依据测试的目对测试结果进行分析，依据测试的目标给出测试结论标给出测试结论结果分析结果分析问题定位问题定位测试报告与评估测试报告与评估