第3章-软件性能的组织与管理课件.ppt

《第3章-软件性能的组织与管理课件.ppt》由会员分享，可在线阅读，更多相关《第3章-软件性能的组织与管理课件.ppt（72页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第3章 软件性能的组织与管理2017.4本章目录1.软件性能测试过程模型2.组件性能测试团队3.制定性能测试计划4.设计性能测试方案5.搭建性能测试环境6.执行性能测试7.分析性能测试结果8.性能测试支持环境1.软件性能测试过程模型1.1Segue性能测试过程模型1.2HP性能测试过程模型1.3PTGM性能测试过程模型1.4APTM性能测试过程模型1.5SPTM系统性能测试过程模型1.1Segue性能测试过程模型Segue公司是专注于发展并提供软件质量优化解决方案的软件企业，后被Borland公司收购。该模型是在使用Silk Performer工具进行系统性能测试时推荐使用的过程模型与工具耦合

2、度高，缺乏对测试计划、测试设计、测试执行和测试总结的支持，不具有指导通用性能测试的能力。1.3PTGM性能测试过程模型软件性能测试过程详解与案例剖析教材中，提出了一种性能测试过程通用模型PTGM（Performance Test General Model）该模型不仅刻画了性能测试的重要阶段，还对每个阶段中的活动进行了详细说明，给出了参考模板和工作指南，是一个具有实践指导意义的性能测试过程模型。1.4APTM性能测试过程模型敏捷开发近年来被越来越多的开发组织所接受，已经成为一种比较主流的软件工程开发方法。敏捷开发鼓励协作、交互，欢迎变化，通过不断迭代的方式实现小步快跑，以最快的速度向用户交付满

3、足用户需求的软件产品。敏捷测试模型APTM（Agile Performance Test Model）不仅仅适用于指导敏捷开发过程中测试工作的开展，也同样适合非敏捷环境下尽早建立性能测试，尽早发现系统中可能存在的性能问题。1.5SPTM系统性能测试过程模型系统级性能测试的过程模型系统级性能测试的过程模型SPTM（System Performance Test Model）2.1组织团队成员一个强有力的测试团队是高质量完成性能测试的重要保障。性能测试工作是一项复杂的系统工作，需要具有各种专业技能的管理人员和技术人员协调配合才能完成。性能测试团队中，需要有多种角色人员参与相关测试工作，每种角色要承

4、担相应的职责及具有专业的技能。2.1组织团队成员2.1组织团队成员作为一名优秀的测试工程师，要对测试工作有浓厚的兴趣，热爱测试工作，才更容易做好测试工作。测试人员应该具有“五心”：专心：执行测试任务时注意力高度集中。细心：执行测试工作时候要细心，认真执行测试，不可以忽略一些细节。耐心：执行测试工作有时候非常枯燥，需要很大的耐心。责任心：测试人员要具有高度的责任心，责任心是做好工作必备的素质之一。自信心：测试人员需要建立强大的自信心，面对测试过程中各种难题。作为测试人员，还需要具有良好的沟通表达能力、洞察力、好奇心、反向思维能力和记忆力。还需要具有一定的服务器技术、操作系统知识、数据库知识、中间

5、件知识、编程能力、网络基础、IT素质和测试经验。2.2安排工作分工在分配了角色后，每个团队成员需要承担的工作内容就基本明确了，每个人需要根据自己的情况开展相关工作，例如：测试负责人可以开始制定性能测试计划；性能测试设计人员可以开始了解系统情况和性能需求；性能测试配置人员可以进行工具和环境的准备工作；性能测试执行人员可以学习相关测试工具的使用方法。在性能测试负责人明确了项目进度计划后，每个团队成员按照计划开展相关工作。2.3进行技能培训性能测试团队中每个成员的工作能力对于测试项目能否取得成功具有重要的影响。性能测试人员要想完成某项目的性能测试工作，需要掌握以下几方面知识：系统功能需求和性能需求系

6、统性能相关知识性能测试基础知识性能测试工具的使用性能分析方法等3.制定性能测试计划3.1明确测试范围3.2制定进度计划3.3制定成本计划3.4制定环境计划3.5制定工具计划3.6测试风险分析3.1明确测试范围明确测试范围就是弄清楚本次性能测试的工作内容是什么，即明确工作目标，这是测试工作能够顺利开展和取得成功的前提。测试范围明确方法：需求中性能指标验证系统容量评价系统可靠性检验如果用户未对系统性能要求进行明确要求，在该环节要首先完成性能指标要求的分析。明确的测试范围必须经过双方评审，确认后作为双方安排工作和检查工作的依据。3.2制定进度计划制定进度计划就是为性能测试的关键工作进行分析，落实工作

7、责任人，并明确各工作所需时间以及各阶段的里程碑。制定进度计划的两种途径：一是根据提供软件产品的最后期限从后往前倒推安排各阶段时间时间安排受限，实际中常见二是根据项目和资源情况制定性能测试初步计划时间安排合理，完成测试工作效果能够得到保障3.2制定进度计划进度计划的表示工具：甘特图甘特图网络活动图网络活动图3.3制定成本计划项目成本指项目进展过程中所耗用的全部费用的总和。项目成本和项目收益是项目决策的重要依据，在批准的预算内完成项目是测试负责人的重要职责之一。在制定成本计划时需要根据项目人员、进度安排、环境工具要求、测试活动、日常办公等方面制定切实可行的成本预算，在项目执行过程中需要按照预算进行

8、项目费用的支出。成本计划需要经过专门的审批小组审批后方可执行。3.4制定环境计划测试环境计划中需要明确：服务器硬件环境：包括服务器数量、部署结构、配置等内容。测试客户端环境：在执行性能测试时，根据负载量的不同，可能需要1台或多台测试客户端机器，在进行环境计划时，需要根据测试的基本要求，提出测试客户机数量及配置的要求。操作系统环境：明确操作系统类型，版本号等。数据库环境：需要明确数据库类型，版本号等。中间件环境：需要明确中间件类型，版本号，配置等。数据环境：需要分析系统典型的数据量情况。3.5制定工具计划性能测试工具在性能测试项目中发挥着不可替代的作用制定测试工具计划：选择合适的工具确定测试工具

9、的使用范围规定和规范测试工具的使用方法明确工具负责人3.5制定工具计划选择性能测试工具时，从以下方面进行规划：被测系统环境测试工具功能需求建议操作系统环境测试工具是否能运行在本操作系统上？测试工具是否支持对本操作系统的监控？应用服务器环境测试工具能否支持对本应用服务器的监控？数据库环境测试工具能否支持本数据库的监控？应用使用的协议本系统使用了哪些协议？哪些协议需要在性能测试中通过工具进行录制和产生负载？测试工具能否支持我们需要进行录制和产生负载的协议？网络环境是否需要测试工具支持防火墙？是否需要测试工具支持负载均衡？测试管理支持测试工具是否能够提供方便的测试结果分析和管理？3.6测试风险分析在

10、测试风险分析中，首先要全面分析测试项目的各种影响因素，从中找出可能存在的各种风险，分析风险发生的可能性及风险发生的危害程度，整理汇总成项目风险清单针对各种风险，制定切实可行的应急措施。在项目执行过程中，要进行不间断的风险监控，一旦风险发生，按照指定的风险应急措施对风险加以应对，避免对项目造成更加严重的影响。4.设计性能测试方案4.1明确性能需求4.2设计性能测试用例4.3设计脚本录制方案4.4设计测试场景4.5设计测试结果指标4.2设计性能测试用例性能测试用例是性能测试方案设计结果的体现。性能测试用例与功能测试用例的作用是类似的，其中明确了测试内容。性能测试人员在执行性能测试时，只需要按照测试

11、用例的要求，完成具体测试就可以了。4.2设计性能测试用例用例编号唯一编号唯一编号用例名称描述该性能测试用例的名称，体现本次测描述该性能测试用例的名称，体现本次测试的主要目标试的主要目标测试性能指性能指标标描述需求中定义的性能指标要求描述需求中定义的性能指标要求前置条件此处说明进行该性能操作时该性能操作时，是否需要登录，登录用户需要具有是否需要登录，登录用户需要具有哪些权限，系统需要具有什么样哪些权限，系统需要具有什么样的数据环境等等测试脚本测试脚本此处说明测试该项指标时，需要选用系统哪些功能来进行脚本录此处说明测试该项指标时，需要选用系统哪些功能来进行脚本录制，录制脚本中哪些操作归属于一个事物

12、，脚本需要进行哪些开制，录制脚本中哪些操作归属于一个事物，脚本需要进行哪些开发工作等。发工作等。测试场景测试场景针对性能指标的要求，设计测试场景，包括场景调用的脚本、并针对性能指标的要求，设计测试场景，包括场景调用的脚本、并发用户数、系统加压方法、测试时间等发用户数、系统加压方法、测试时间等性能结果指性能结果指标标根据性能指标的要求，明确本次测试过程中需要采集的性能结果根据性能指标的要求，明确本次测试过程中需要采集的性能结果指标，以便通过结果的分析得到系统性能是否满足需求要求的指标，以便通过结果的分析得到系统性能是否满足需求要求的用例设计人张三用例审核人李四4.2设计性能测试用例用例编号DS-

13、RT-0001DS-RT-0001用例名称忙时商品查询响应时间忙时商品查询响应时间测试性能指性能指标标要求在忙时查询商品响应时间指标在要求在忙时查询商品响应时间指标在6S6S内内前置条件执行该操作不需登录，在网站首页直接执行查询操作即可执行该操作不需登录，在网站首页直接执行查询操作即可测试脚本测试脚本1 1、访问系统首页；、访问系统首页；2 2、在查询区输入、在查询区输入“软件性能测试软件性能测试”关键字；关键字；3 3、单击、单击“查询查询”按钮；注意，在以上脚本中，首页加载需要一段按钮；注意，在以上脚本中，首页加载需要一段时间，不属于商品查询事务，所以在定义事务时，需要将首页显时间，不属于

14、商品查询事务，所以在定义事务时，需要将首页显示部分定义为单独的事务，称为示部分定义为单独的事务，称为T1T1，将查询请求定义为一个事务，将查询请求定义为一个事务，称为称为T2T2。测试场景测试场景在验证该响应指标时，设置对应的在验证该响应指标时，设置对应的VUVU脚本，设置并发用户数为脚本，设置并发用户数为2020，加压过程为每，加压过程为每5 5秒增加秒增加5 5个用户，测试时间为个用户，测试时间为1010分钟。分钟。性能结果指性能结果指标标本性能测试主要关注响应时间，所以性能结果指标重点分析响应本性能测试主要关注响应时间，所以性能结果指标重点分析响应时间指标即可。结果中时间指标即可。结果中

15、T2T2事务的平均响应时间作为比较参数，与事务的平均响应时间作为比较参数，与需求指标需求指标6S6S进行比较，以检验系统是否达到了该性能指标要求进行比较，以检验系统是否达到了该性能指标要求用例设计人王欢王欢用例审核人赵红赵红4.3设计脚本录制方案脚本是性能测试中模拟用户访问系统行为的实体，是性能测试过程中非常宝贵的成果，需要进行认真的设计、精心的录制（开发）和细心的维护。脚本的设计：设计脚本操作过程、事务划分方式、运行逻辑设计、参数化设计、检查点设计、思考时间设计、关联设计、集合点设计等。脚本的录制：在工具中按照设计方案完成脚本的录制、开发、调试、回放，提供能够成功运行的脚本。脚本的维护：对脚

16、本保存路径、命名方式、内容说明、创建人、最新修改时间等进行记录4.3设计脚本录制方案脚本可以应用在多个测试用例中。所以在设计测试用例时，首先要看已有的脚本是否能够满足本次测试的要求，如果已经有可用的脚本，则不需要再进行脚本的设计；如果尚未有可用的脚本，再设计新的脚本。4.3设计脚本录制方案脚本设计遵循以下一些原则：目标明确，脚本主要为哪项测试目标服务粒度适度，不要录制过大脚本，以利于调试和维护事务的划分要合理思考时间设定灵活选择参数化等提高脚本适用范围4.4设计测试场景测试场景是每个测试用例都要设置的测试执行环境。测试场景尽量模拟软件系统实际应用的特点，包括：测试时执行的脚本每种业务执行的用户

17、数量模拟的总用户数用户执行方式执行过程中的相关参数设定测试执行中需关注或监测的资源指标等，如设备资源利用率、响应速度、吞吐量等。4.4设计测试场景4.5设计测试结果指标在性能测试过程中，测试工具可以自动化记录很多指标数据，例如事务平均响应时间、每秒通过事务总数、每秒点击次数、吞吐量、每秒HTTP响应数、每秒连接数、各种性能计数器等。通过对这些数据的分析可以得到系统的性能状况。针对某个性能测试用例，需要采集哪些性能指标，以供性能测试结果分析使用，就需要进行合理的设计。指标的选择一般与测试目标一致，如果性能指标是响应时间，则测试过程中采集事务平均响应时间指标；如果性能指标是吞吐量，则测试过程中采集

18、相应的吞吐量指标；如果对资源利用率指标有特殊要求，则在测试过程中可以采集资源利用率相关指标。5.搭建性能测试环境5.1搭建硬件环境5.2搭建软件环境5.3搭建测试工具环境5.4准备数据环境5.1搭建硬件环境搭建硬件环境指根据系统的物理部署方案，将服务器、测试机、路由器等硬件设备搭建好，为系统提供运行的物理设备环境。5.2搭建软件环境软件环境包括操作系统环境、编译环境、应用服务器中间件环境、应用程序、数据库环境等。在该步骤需要按照环境计划中指定的各种软件环境进行相应软件的安装和配置，使系统能够正常运行。5.3搭建测试工具环境性能测试一般在性能测试工具的支持下完成，所以在环境搭建阶段，需要搭建测试

19、工具环境。测试工具一般作为系统访问客户端，向被测试系统发送大量并发访问，所以需要在准备的客户端计算机上安装相应的测试工具。在并发量大的情况下，有可能需要多台安装测试工具的计算机，此时需要按照多机测试的策略，完成客户端测试环境的部署工作。5.4准备数据环境系统性能受到数据环境的制约，所以在进行性能测试时，系统中需要存在具有代表性的数据量。在制定性能测试计划阶段已经明确了性能测试所需要的数据环境，在搭建测试环境阶段，需要按照计划的要求，采用自动或手动的方式，将测试数据准备就绪。6.执行性能测试6.1脚本录制与开发6.2场景设置6.3测试执行6.4测试监控6.1脚本录制与开发VU脚本是执行性能测试时

20、自动执行的对象，所以在执行性能测试时，首先就是将VU脚本录制好，并根据测试的需要，对脚本进行再次开发。在录制脚本时，需要根据被测试系统的类型，选择对应的脚本录制协议，按照之前设计的脚本方案，在测试工具的支持下完成脚本的录制和开发工作。6.2场景设置场景设置是测试执行的前提在测试场景中需要明确本次性能测试执行的脚本、并发用户数，用户增加方案、执行时长、测试监测指标等内容。在方案设计阶段，针对每个测试用例的测试场景要求已经设计好，在执行环节，只需要在测试工具中进行相应配置即可。6.3测试执行当测试场景设置好之后，在工具中单击“执行”按钮功能，就可以触发本次性能测试的执行。性能测试工具会自动调用对应

21、的VU脚本，按照测试场景设置的参数，自动完成测试过程的模拟，完成性能指标的采集。6.4测试监控为了更加直观反映性能测试过程中系统中各种指标的表现，可以在测试工具中设置测试执行过程中需要监控的性能指标，在测试过程中随时关注指标的情况。如果出现指标劣化非常严重时，可以考虑停止本次性能测试，重新调整测试方案后，再次投入运行。7.分析性能测试结果7.1测试结果分析7.2系统瓶颈分析7.3制定优化方案7.4性能测试总结7.1测试结果分析性能测试的分析需要借助各种图表，一般的性能测试工具都提供了报表模块来生成不同的图表。报表模块同时还允许用户通过叠加、关联等方式处理和生成新的图表。测试结果分析是一项技术含

22、量非常高的工作，很多性能测试人员能够完成性能测试，获得一系列测试数据，但是这些性能数据反映了系统性能状况如何，却讲不清楚。在进行测试结果分析时，需要根据测试目标，找到与指标要求对应的测试结果数据，通过对比给出系统性能测试结果，并在此基础上完成系统性能瓶颈的定位和调优工作。7.2系统瓶颈分析对性能测试结果的分析，如果发现系统性能未达到性能需求的要求，则测试人员与开发人员和相关专家需要对系统瓶颈进行分析。系统瓶颈的分析是一项非常困难的工作，需要具有丰富的性能测试经验，才能准确分析出系统可能出现性能瓶颈的问题。性能瓶颈的定位往往需要通过更多的计数器指标才能够完成，如果之前测试中采集的指标数据不足，则

23、需要修改测试场景设置，再次执行性能测试，以得到足够的分析数据。7.3制定优化方案明确了性能瓶颈后，相关专家会根据应用经验，给出系统优化的方案。开发人员或工程实施人员根据优化方案对系统进行优化之后再次对优化完成的性能进行性能回归测试，直到系统性能满足了要求为止。7.4性能测试总结在完成了系统性能测试工作之后，需要给出一个全面的性能测试总结报告报告需要将本次性能测试的目标、方法、工具、环境、测试用例、脚本设计方案、测试场景、测试结果、测试结论等内容进行全面阐述。8.性能测试支持环境8.1评审8.2沟通8.3管理8.4支持8.1评审在性能测试开展过程中，有很多环节的输出必须经过评审后，方可进行实施。

24、需要进行评审的内容包括：性能测试计划测试设计方案8.1评审性能测试计划评审：性能测试计划制定的合理性对于整个项目能够顺利开展具有重要影响。性能测试计划需要由专门的评审小组对计划内容进行评审。评审小组需要包括性能测试项目组成员、项目开发相关人员、性能测试专家、用户代表等。经过评审的性能测试计划具有更好的可操作性，原因是：一方面，方案制定得更加合理，具体操作时难度小；另一方面是相关干系人在评审环节对计划内容都有所了解，在实际操作过程中会给予资源的保障和支持，从而使计划推进起来更加容易。8.1评审性能测试方案评审：性能设计方案是性能测试执行的依据，方案制定得是否科学对测试结果具有直接的影响。性能测试

25、设计方案需要由专门的评审小组进行评审。评审小组需要包括性能测试项目组成员、性能测试专家、项目需求分析人员、用户代表等。评审小组需要在对系统性能需求进行深入理解的基础上，对性能测试设计方案进行论证，明确按照该设计方案开展的性能测试是否能够对系统的性能指标进行充分体现，按照该方案开展的性能测试能否达到验证系统性能的效果。经过评审的性能测试设计方案具有更好的合理性，为性能测试顺利开展提供了可靠性保障。8.2沟通在软件测试过程中，沟通行为随时可能发生，建立良好的沟通机制是测试顺利开展的保障。测试中的沟通包括：测试负责人与测试设计人员的沟通测试负责人与测试执行人员的沟通测试设计人员与脚本开发人员的沟通测

26、试设计人员与需求分析人员的沟通测试负责人与用户的沟通测试负责人与其他部门沟通针对不同的目标和对象，需要建立不同的沟通方式，以达到高效、方便、准确、响应及时的沟通效果。8.2沟通会议沟通适合在与项目组外人员进行沟通时采用这种方式比较正式，沟通效率高，对于解决与会多方需要共同决定的事项是非常理想的沟通手段。注意事项：明确会议主题、明确参会人员范围、控制会议时间、把握会议议程、注意会后总结、会议纪要共享等。电话沟通适合不在一处办公的人员进行随机性沟通时采用。这种沟通方式灵活、不受时间和地点的制约，沟通效率高，需要时可以建立多方会议，以达到多人讨论的目的。在进行电话沟通时，需要注意一定要将沟通中达成的

27、共识以文字的方式进行表达，并在相关干系人之间进行共享，防止事后由于理解的偏差或记忆不准确等问题造成不必要的分歧。8.2沟通邮件沟通适合类内容发布类内容的传达，例如会议纪要、通知、临时性文档等。邮件是办公场合最常用的沟通方式，但是不适合用来进行问题的讨论和重要文档版本的发布。采用电子邮件进行问题讨论效率低，效果差；进行重要文档版本的发布容易引起版本混乱，从而造成工作上的失误。配置管理平台沟通适合对某些版本非常敏感的资料进行沟通时使用。例如计划文档、设计方案文档、设计用例文档、测试报告、缺陷记录等。8.2沟通面对面沟通适合在一处办公的人员进行随时问题讨论时采用，是一种非常高效和直接的沟通方式。面对

28、面沟通具有较好的沟通效果，而且面对面讨论更能够促进人与人的了解，加深团队成员之间的友情，对于提升集体凝聚力和战斗力是非常好的手段。应该积极鼓励这种沟通方式。即时通信软件沟通即时通信软件能够给人们提供一个随时随地沟通的方式，适合于一些非正式问题讨论时使用。由于即时通信软件传输效率方面的制约，一般情况下更多采用文本进行交流，所以容易产生理解上的歧义，是一种辅助的沟通交流方式。8.3管理软件测试项目管理对于软件测试活动的全过程进行管理，对于性能测试工作的顺利开展有着非常重要的作用。性能测试过程中需要重点开展的管理活动包括：范围控制进度计划控制项目成本控制风险的管理团队建设采购管理8.3管理范围控制工

29、作范围是性能测试开展的依据，是测试工作量的直接影响因素。在测试计划制定阶段，就需要明确测试范围。在项目进行过程中，不能随意变更工作范围。如果由于某些原因，工作范围的确发生了变化，需要建立规范的范围变更控制机制，按照流程，对范围的变更进行记录、评估，之后再开展相应的工作。8.3管理进度计划控制：在测试计划建立阶段，制定项目的进度计划，明确项目开展过程中的重要里程碑。在性能测试开展过程中，需要按照进度计划进行进度的控制，一旦由于某些原因没有按照计划完成相应工作，需要及时进行问题分析并作出计划的调整，防止项目失控，使最初制定的进度计划变成一纸空文。8.3管理项目成本控制：项目成本直接制约了项目的利润

30、，做好成本控制是项目管理的一个重要内容。对于场地、人员等固定支出成本，主要是通过做好进度控制来保障；对于餐费、交通等一些临时性成本，要通过预算决算机制，做好各项支出的合理规划，并按照规划控制实际支出，进而达到控制总成本的目标。8.3管理风险管理：性能测试过程中有可能会因为某些风险而影响项目的开展。有可能是人员风险、资金风险或技术风险。在项目开展过程中，测试负责人需要对项目风险进行分析，针对风险制定相应的应急预案，在项目执行过程中进行风险的识别和监控，一旦发生风险，采用相应方案进行应对，规避由于风险的发生给项目带来严重的影响。8.3管理团队建设：在团队组建好后，如何能够让团队成员非常愿意在团队中

31、工作，发挥个人最佳工作状态，是团队管理的一项重要内容。作为测试项目负责人，需要通过沟通思想、开展团队建设活动、建立配合机制、合理绩效奖励等来提高成员的工作积极性，进而提高团队的凝聚力和战斗力。8.3管理采购管理：在性能测试开展过程中有可能需要一些设备、工具、材料等。企业需要有专门的采购管理机制，以最合理的价格、最高的质量和最快的速度向项目提供所需的资源。8.4支持在性能测试项目开展过程中，需要公司、项目开发小组和用户各方面的支持，才能够保障在项目进展中遇到问题时，尽快解决，进而保障测试项目的顺利开展。在性能测试过程中有可能需要的支持活动包括：人力资源支持工具支持场地支持设备支持业务支持开发支持

32、8.4支持人力资源支持：由于人员流动或测试范围变动，需要更多的人员参与性能测试工作，企业需要给测试团队足够的人力资源支持，以保障各项工作的推进。工具支持：性能测试过程中需要某些专用的工具，企业需要进行采购、调配或开发，以支持项目的顺利开展。场地支持：性能测试需要专用的场地，企业需要给予办公场地的安排。8.4支持设备支持：性能测试过程中需要更多的测试设备，企业需要通过租赁、调拨或采购等方式，为项目组提供充足的测试设备。业务支持：性能测试会对业务系统带来很大的影响，为了防止性能测试对业务造成影响，也避免正常业务对性能测试结果造成影响，在性能测试执行过程中，可能需要业务系统进行业务调整，以配合相应测试工作的开展。开发支持：性能测试发现了性能瓶颈，需要相关专家、开发人员进行支持，进行快速优化，解决性能问题，为下一次性能测试做好支持。