01_第一章 测试概述.ppt
软件测试方法和技术软件测试方法和技术-软件测试概述软件测试概述杜军威杜军威内容概览内容概览软件测试的原理软件测试的原理，阐述软件测试的重要性、基本概念和方法等 软件测试的技术软件测试的技术，介绍软件测试在各个阶段（单元测试、集成测试、系统测试、验收测试和安装测试）的技术和方法，以及典型测试领域的特点和技术软件测试的实践软件测试的实践，介绍软件测试的团队和环境的建立，以及如何设计测试用例、报告软件缺陷、写测试报告、测试项目的管理机遇和挑战并存机遇和挑战并存Test Engineer目前国内软件业的弱点正是发展的前沿目前国内软件业的弱点正是发展的前沿QA/SupervisorProject/Quality ManagerSenior Engineer软件测试在人才市场日益兴旺软件测试在人才市场日益兴旺软件测试在人才市场日益兴旺软件测试在人才市场日益兴旺软件测试工程师软件测试工程师 软件测试工程师，目前IT行业极端短缺的人才，中国软件业每年新增约20万测试岗位就业机会，而企业、学校培养出的测试人才却不足需求量的1/10，这种测试人才需求与供给间的差距仍在拉大。l 软件测试软件测试产品质量的保证产品质量的保证l 软件测试软件测试控制成本的关键控制成本的关键l 软件测试软件测试软件可靠性确认软件可靠性确认l 软件测试软件测试让企业具备国际竞争的实力让企业具备国际竞争的实力人力市场的测试人员位置？4000虚位以待 Only in one web site-51job.cob课程目标本课程是计算机或软件专业课程，重在培养我们的实践本课程是计算机或软件专业课程，重在培养我们的实践能力，适应软件企业的工作环境和业界标准，并和国际先能力，适应软件企业的工作环境和业界标准，并和国际先进的软件开发理念和测试技术保持同步。进的软件开发理念和测试技术保持同步。通过本课程的学习，了解并掌握软件产品质量保证的基通过本课程的学习，了解并掌握软件产品质量保证的基本思想和科学体系、软件测试技术的基本内容，以及软件本思想和科学体系、软件测试技术的基本内容，以及软件测试的方法、技术和工具的使用，为全面掌握软件技术和测试的方法、技术和工具的使用，为全面掌握软件技术和软件项目管理打下坚实的基础软件项目管理打下坚实的基础 课程目标通过本课程的学习，我们还可以了解并掌握：通过本课程的学习，我们还可以了解并掌握：l 有效的测试策略、方法和技术有效的测试策略、方法和技术l 测试计划和测试用例的设计测试计划和测试用例的设计l 测试自动化的引入、应用测试自动化的引入、应用l 测试团队的建立和测试项目的管理测试团队的建立和测试项目的管理l 更清楚、准确地报告测试缺陷更清楚、准确地报告测试缺陷l 对软件产品质量的正确评估对软件产品质量的正确评估l 软件测试和质量保证的关系和区别软件测试和质量保证的关系和区别l 第一章 概述1.1 软件的含义软件的含义1.2 软件开发过程的特性软件开发过程的特性1.3 软件质量软件质量1.4 软件缺陷软件缺陷1.5 软件测试方法软件测试方法1.6 软件测试分类软件测试分类1.7 软件测试与软件开发软件测试与软件开发1.1 软件的含义软件的含义能够完成预定功能和性能的、可执行的指令(计算机程序)；使得程序能够适当地操作信息的数据结构；描述程序的操作和使用的文档。软件软件=程序程序+数据数据（库）（库）+文档文档+服务服务软件组成1.客户需求-Customer Requirements2.市场需求文档-MRD(Marketing Requirement Document)3.软件规格说明书-Specifications4.技术设计文档 Technical Design Docs5.测试文档 Test Documents6.在线帮助-Online help7.产品发布注释-Release Notes/Read Me8.产品软件包-Release packagesR软件产品的其他内容 帮助文件 Help files 示例 Samples and examples to illustrate points 产品支持文档 Product support information 错误信息 Error messages 安装手册 Setup and installation instructions 用户手册 User manual(s)产品标签 Label and stickers 产品广告或宣传材料 Ads and marketing material 软件特点软件则是逻辑的、知识性的产品集合，是对物理世界的一种抽象，或者是某种物理形态的虚拟化 软件是硬件的灵魂，硬件是软件的基础软件是硬件的灵魂，硬件是软件的基础 软件，是智慧和知识的结晶软件，是智慧和知识的结晶 软件不会软件不会“磨损磨损”，而是逐步完善，而是逐步完善1.2 软件开发过程的特性 1.2.1 软件开发的基本过程1.2.2 软件开发过程模型1.2.1 软件开发的基本过程软件开发过程需求分析需求分析:根据客户的要求，清楚了解客户需求中的产品功能、特性、性能、界面和具体规格等，然后进行分析，确定软件产品所能达到的目标。设计设计:根据需求分析的结果，考虑如何在逻辑、程序上去实现所定义的产品功能、特性等，可以分为概要设计和详细设计，也可分为数据结构设计、软件体系结构设计、应用接口设计、模块设计、界面设计等。编程编程:将设计转换成计算机可读的形式。测试测试:对设计、编程进行验证和用户需求确认的过程维护：维护：维持软件运行，修改软件缺陷、增强已有功能、增加新功能、升级等。1.2.2 软件开发过程模型p 瀑布模型瀑布模型p 原型模型原型模型p 快速应用开发快速应用开发(RAD)模型模型p 改进的改进的V模型模型p 螺旋模型螺旋模型p 增量模型和迭代模型增量模型和迭代模型p 构件组装模型构件组装模型p 并发模型并发模型p XP模型模型瀑布模型R原型模型原型模型Requirements AnalysisSystem DesignProgram DesignCoding Unit TestIntegration TestingSystem TestingAcceptance TestingOperation maintenancePrototypingUser/C原型+瀑布模型螺旋模型螺旋模型R快速应用开发快速应用开发(RAD)V模型RAD-V Model(改进)XP-eXtreme Programming极限编程n最简单的可能就是最有效的n极限编程适合n小团队(2-10 programmers)n“高风险”n快速变化或不稳定的需求n强调可测试性n格言n“沟通、简化、反馈、激励”Kent BXP Lifecycle-生命周期阶段开发模型增量和迭代模型增量开发增量开发迭代开发迭代开发1.3 1.3 软件质量软件质量软件质量是客户满意度的体现软件质量是客户满意度的体现客户客户+质质+量量?质量质量(Quality)质量是系统、部件或过程满足质量是系统、部件或过程满足p软件质量：软件产品具有满足规定的或隐含要求能力要求有关的特征与特征总和(ISO 8492)p软件质量：软件产品满足使用要求的程度 软件质量范围软件质量范围-3AnAccountability(可说明性可说明性)用户可以基于产品或服用户可以基于产品或服务的描述和定义进行使用务的描述和定义进行使用.(例如例如:市场需求说明书市场需求说明书,功能设计说明书功能设计说明书.)nAvailability(有效性有效性)产品或服务对于产品或服务对于99.999%客客户总是有效的户总是有效的 (例如例如:性能测试和恢复测试性能测试和恢复测试)nAccessibility(易用性易用性)对于用户对于用户,产品或服务非常产品或服务非常容易使用并且一定是非常有用的功能容易使用并且一定是非常有用的功能.(例如例如:确认测确认测试和用户可用性测试试和用户可用性测试)高质量软件标准体系高质量软件标准体系产品质量产品质量是人们实践产物的属性和行为，是可以认识，可以科学地描述的。并是人们实践产物的属性和行为，是可以认识，可以科学地描述的。并且可以通过一些方法和人类活动，来改进质量且可以通过一些方法和人类活动，来改进质量.质量模型:McCall 模型,Boehm 模型,ISO 9126 模型过程质量过程质量:软件能力成熟度模型软件能力成熟度模型 CMM(Capability Maturity Model).国际标准过程模型国际标准过程模型 ISO 9000 软件过程改进和能力决断软件过程改进和能力决断 SPICE(Software Process Improvement and Capability dEtermination)在商业过程中有关的质量内容在商业过程中有关的质量内容:培训、成品制作、宣传、发布日起、客户、风险、成本、业务等 产品质量的标准产品质量的标准-功能性功能性 Functionality-可用性可用性 Usability(简单安装;轻松使用;友好界面)-可靠性可靠性 Reliability(用户使用的根本)-性能性能 Performance-容量容量 Capacity-可测量性可测量性 Scalability-可维护性可维护性 Service manageability-兼容兼容性性 Compatibility-可扩展性可扩展性 E软件质量特征软件质量特征(ISO9126)pp 功能功能：与一组功能及其指定性质有关的一组属性，这里的功能是满足明确或隐含的需求的那些功能。p 可靠可靠：在规定的一段时间和条件下，与软件维持其性能水平的能力有关的一组属性。p 易用易用：由一组规定或潜在的用户为使用软件所需作的努力和所作的评价有关的一组属性。p 效率效率：与在规定条件下软件的性能水平与所使用资源量之间关系有关的一组属性。p 可维护可维护：与进行指定的修改所需的努力有关的一组属性。p 可移植可移植：与软件从一个环境转移到另一个环境的能力有关的一组属性。其中每一个质量特征都分别与若干子特征相对应。其中每一个质量特征都分别与若干子特征相对应。Boehm软件质量模型软件质量模型阐述性阐述性互用性互用性互用性互用性数据公开性数据公开性正确性正确性正确性正确性可靠性可靠性可靠性可靠性效率效率效率效率完整性完整性完整性完整性可用性可用性可用性可用性可维护性可维护性可维护性可维护性可测试性可测试性可测试性可测试性灵活性灵活性灵活性灵活性可移植性可移植性可移植性可移植性重复性重复性重复性重复性连贯性连贯性容错性容错性执行效率执行效率/储存效率储存效率存取控制存取控制/存取检查存取检查可训练可训练沟通良好沟通良好 简单性简单性易操作的易操作的工具工具自我操作性自我操作性扩展性扩展性一般性一般性模块性模块性软件系统独立性软件系统独立性机器独立性机器独立性通讯公开性通讯公开性正确性正确性可操作性可操作性McCall模型模型设备独立性设备独立性易更改易更改可靠性可靠性效率效率总体总体 效用效用易用易用性性可维护性可维护性可测试性可测试性人体工程学人体工程学可移植性可移植性易懂性易懂性精确性精确性完整性完整性完全性完全性可说明性可说明性 设备功效设备功效易操作性易操作性沟通良好沟通良好自我操作性自我操作性架构性架构性简明性简明性易懂性易懂性可维护性可维护性模块独立性模块独立性连续性连续性软件过程质量软件过程质量n软件能力成熟度模型 CMM(Capability Maturity Model).n国际标准过程模型 ISO 9000n软件过程改进和能力决断 SPICE(Software Process Improvement and Capability dEtermination)质量保证的策略质量保证的策略n主要分三个阶段：主要分三个阶段：以过程管理为重以过程管理为重：把质量的保证工作重点放在过程管理上，对制造过程 中的每一道工序都要进行质量控制。以新产品开发为重：以新产品开发为重：在新产品的开发设计阶段，采取强有力的措施来消灭由于设计原因而产生的质量隐患。以检测为重以检测为重：产品制成之后进行检测，只能判断产品质量，不能提高产品质量质量管理发展五个阶段质量管理发展五个阶段1900手工操作者专职检验员1920过程统计技术1931全面质量管理1960以顾客为中心阶段时间1.4 软件缺陷（bug）n1.4.1 bug由来n1.4.2 软缺陷是什么n1.4.3 软件缺陷的含义1.4.1 软件缺陷(Bug)由来故事发生在1945年9月9日，一个炎热的下午。当时的机房是一间第一次世界大战时建造的老建筑，没有空调，所有窗户都敞开着。Grace Hopper正领导着一个研究小组夜以继日地工作，研制一台称为“MARK II”的计算机，它使用了大量的继电器（电子机械装置，那时还没有使用晶体管），一台不是纯粹的电子计算机。突然，MARK II死机了 1.4.1 软件缺陷(Bug)由来41软件缺陷例子1n事件1996年6月4日，Arane5发射40秒后爆炸。n原因将一个64位浮点值转换为16位有符号整数值时，超出了16位整数的表示范围，而这个异常未得到正确解决。42软件缺陷例子软件缺陷例子2 2n事件1999年；火星气象卫星(Mars Climate Orbiter)到达火星之后不久就消失；火星极地登陆者(Mars Polar Lander)在火星上着陆时坠毁。n原因地面系统软件和飞行器上软件分别使用公制和英制两种单位。软件缺陷例子软件缺陷例子3 3奔腾芯片奔腾芯片(4195835/3145727)*3145727 4195835 0$450 million 4.5亿美元损失其他一些例子p千年虫千年虫p爱国者导弹防御系统爱国者导弹防御系统p迪斯尼的圣诞节礼物迪斯尼的圣诞节礼物pWindows2000安全漏洞安全漏洞 什么是什么是 Bug?1.4.2 软件缺陷(Bug)是什么Any problem/disfigurement/limitation in product design&development nFeature or function cant worknUnreasonable designnPartly realization in functionnData errornRun errornLimitation in featuresnDifference between actual results and expected resultsnUnfriendly UI,Low performancenOthers 任何程序、系统中的问题，和产品设计书任何程序、系统中的问题，和产品设计书任何程序、系统中的问题，和产品设计书任何程序、系统中的问题，和产品设计书的不一致性的不一致性的不一致性的不一致性，不能满足用户的需求不能满足用户的需求不能满足用户的需求不能满足用户的需求 问题出在哪里？问题出在哪里？项目没有被很好地理解；计划不周，项目没有被很好地理解；计划不周，最终导致进度拖延。最终导致进度拖延。没有充分的文档资料。没有充分的文档资料。人与人的人与人的交流交流比写程序困难得多。比写程序困难得多。软件可靠性软件可靠性缺少度量的标准，质量缺少度量的标准，质量无法保证。无法保证。软件难以维护、软件难以维护、不易升级。不易升级。解决问题的想法解决问题的想法 Better management 管理 Different team organizations 组织 Better languages&tools 语言和工具 Uniform coding conventions 编程惯例必须意识到：“软件”编程，它有自己的生命周期(life cycle)。大型软件系统的开发与其它工程项目如建造桥梁、制造飞机、轮船等的开发是同理的。实践证明：实践证明：对软件进行充分的测试对软件进行充分的测试 才能够有效的保证软件质量才能够有效的保证软件质量软件测试软件测试对软件产品进行充分测试，找出其中的缺陷(Bug),并进行修复(Fix)。缺点（defect）异常（anomy）故障（fault）失效（failure）问题（problem）矛盾（inconsistency）错误（error）毛病（incident）缺陷-B1.4.3 软件缺陷含义软件缺陷含义IEEE(1983)729 IEEE(1983)729 软件缺陷一个标准的定义：软件缺陷一个标准的定义：p 从产品内部看，软件缺陷是软件产品开发或维护过程中所存在的错误、毛病等各种问题；p 从外部看，软件缺陷是系统所需要实现的某种功能的失效或违背。软件缺陷的主要类型软件缺陷的主要类型/现象：现象：p 功能、特性没有实现或部分实现p 设计不合理，存在缺陷p 实际结果和预期结果不一致p 运行出错，包括运行中断、系统崩溃、界面混乱p 数据结果不正确、精度不够p 用户不能接受的其他问题，如存取时间过长、界面不美观 软件缺陷的产生软件缺陷的产生 技术问题技术问题：算法错误，语法错误，计算和精度问题，接口参数传递不匹配团队工作：团队工作：误解、沟通不充分软件本身：软件本身：文档错误、用户使用场景(user scenario)，时间上不协调、或不一致性所带来的问题。系统的自我恢复或数据的异地备份、灾难性恢复等问题软件缺陷构成软件缺陷构成 软件缺陷在不同阶段的分布软件缺陷在不同阶段的分布 在真正的程序测试之前，通过审查、评审会可以发现更多的缺陷。规格说明书的缺陷会在需求分析审查、设计、编码、测试等过程中会逐步发现，而不能在需求分析一个阶段发现缺陷成本缺陷成本1.5软件测试的基本方法根据G.J.Myers观点-软件测试目的软件测试目的:n 软件测试是为了发现错误而执行程序的过程n 一个好的测试能够在第一时间发现程序中存在的错误n 一个好的测试是发现了至今尚未发现的错误的测试。软件测试是质量控制的重要手段，保证客软件测试是质量控制的重要手段，保证客软件测试是质量控制的重要手段，保证客软件测试是质量控制的重要手段，保证客户拿到或用户使用高质量的软件产品户拿到或用户使用高质量的软件产品户拿到或用户使用高质量的软件产品户拿到或用户使用高质量的软件产品软件测试误区软件测试误区n误区1 调试和测试是一样的n误区2 软件测试对象就是程序 n误区3 软件测试是测试人员的事情，与开发人员无关n误区4 好的软件质量是通过测试得到的 n误区5 把不合格的开发人员安排做测试n误区6 关注于测试的执行而忽略测试的设计 n误区7 测试自动化是万能的 n误区8 测试是为了证明软件的正确性 软件测试的原则软件测试的原则所有测试的标准都是建立在用户需求用户需求之上。软件测试必须基于“质量第一质量第一”的思想去开展各项工作，当时间和质量冲突时，时间要服从质量。事先定义好产品的质量标准质量标准，只有有了质量标准，才能根据测试的结果，对产品的质量进行分析和评估。软件项目一启动，软件测试也就是开始软件项目一启动，软件测试也就是开始，而不是等程序写完，才开始进行测试。穷举测试是不可能的穷举测试是不可能的。甚至一个大小适度的程序，其路径排列的数量也非常大，因此，在测试中不可能运行路径的每一种组合。软件测试的原则软件测试的原则（2）第三方进行测试会更客观，更有效第三方进行测试会更客观，更有效。软件测试软件测试计划是做好软件测试工作的前提。测试用例测试用例是设计出来的，不是写出来的，所以要根据测试的目的，采用相应的方法去设计测试用例，从而提高测试的效率，更多地发现错误，提高程序的可靠性。对发现错误较多的程序段，应进行更深入的测试对发现错误较多的程序段，应进行更深入的测试。一般来说，一段程序中已发现的错误数越多，其中存在的错误概率也就越大。重视文档重视文档，妥善保存一切测试过程文档（测试计划、测试用例、测试报告等）软件测试的原则软件测试的原则（3）p 应当把“尽早和不断地测试”作为测试人员的座右铭p 回归测试的关联性一定要引起充分的注意，修改一个错误而引起更多错误出现的现象并不少见p 测试应从“小规模”开始，逐步转向“大规模”。p 不可将测试用例置之度外，排除随意性。p 必须彻底检查每一个测试结果。p 一定要注意测试中的错误集中发生现象，这和程序员的编程水平和习惯有很大的关系p 对测试错误结果一定要有一个确认的过程。测试方法测试方法 黑盒子和白盒子黑盒子和白盒子 静态的和动态的静态的和动态的 文档、代码审查文档、代码审查 数据输入边界条件法数据输入边界条件法 等价划分、数据流程图等价划分、数据流程图 状态变换图状态变换图 逻辑路径法逻辑路径法黑盒子和白盒子黑盒子和白盒子功能测试功能测试数据驱动测试数据驱动测试 结构测试结构测试逻辑驱动测试逻辑驱动测试 客户需求事件驱动输入输出静态的和动态的静态的和动态的主持人主持人作者记录员列席人员内审员内审员技术专业人员用户代表不正式正式互审 走读 审查会议运行程序运行程序自动测试和手工测试自动测试和手工测试手工模拟用户手工模拟用户操作操作验证和确认（验证和确认（V&VV&V）“验证（Verification）就是在每一阶段对软件进行评估，以保证它符合前一阶段所提出的要求；而确认（Validation）则是在开发工作完成时对软件及其技术指标规范进行测试，以保证软件符合总体要求。虽然验证和确认有不同的含意，但将两者结合起来看作一个整体有很多好处。”(IEEE Software杂志1989年第五期)1.6 软件测试的分类和阶段软件测试的分类和阶段开发生命周期开发生命周期.维护 需求定义应用定义应用开发 修订 建立 建立测试生命周期测试生命周期.执行.执行执行.测试计划缺陷跟踪测试开发测试设计评估软件测试分类软件测试分类方法方法目标目标/特性特性单元测试单元测试系统测试系统测试验收测试验收测试性能测试性能测试强壮性测试强壮性测试功能测试功能测试白盒测试白盒测试黑盒测试黑盒测试测试阶段或层次测试阶段或层次适用性测试适用性测试可靠性测试可靠性测试集成测试集成测试安全性测试安全性测试软件测试阶段软件测试阶段阶阶 段段输输 入入 输输 出出 需求分析需求分析需求定义需求定义,市场分析文档市场分析文档,相关技相关技术文档术文档市场需求分析会议记要市场需求分析会议记要,功能设计功能设计,技术设计技术设计设计审查设计审查 市场需求文档市场需求文档,技术设计文档技术设计文档 测试计划测试计划,测试用例测试用例功能验证功能验证 代码完成文件包代码完成文件包,功能详细设计说功能详细设计说明书明书最终技术文档最终技术文档完整测试用例完整测试用例,完备的测试计划完备的测试计划,缺缺陷报告陷报告,功能验证测试报告功能验证测试报告系统测试系统测试代码修改后的文件包代码修改后的文件包 完整测试用例完整测试用例,完备的测试计划完备的测试计划 缺陷报告缺陷报告缺陷状态报告缺陷状态报告项目阶段报告项目阶段报告确认测试确认测试代码冻结文件包代码冻结文件包确认测试用例确认测试用例缺陷状态报告缺陷状态报告缺陷报告审查缺陷报告审查版本审查版本审查版本发布版本发布 代码发布文件包代码发布文件包 测试计划检查清单测试计划检查清单当前版本已知问题的清单当前版本已知问题的清单版本发布报告版本发布报告测试阶段（测试阶段（SDLC)单元测试单元测试单元测试单元测试的对象是程序系统中的最小单元-模块或组件上，在编码阶段进行，针对每个模块进行测试，主要通过白盒测试方法，从程序的内部结构出发设计测试用例，检查程序模块或组件的已实现的功能与定义的功能是否一致、以及编码中是否存在错误。多个模块可以平行地、对立地测试，通常要编写驱动模块和桩模块单元测试一般由编程人员和测试人员共同完成 集成测试集成测试集成测试，也称组装测试、联合测试、子系统测试，在单元测试的基础上，将模块按照设计要求组装起来同时进行测试，主要目标是发现与接口有关的模块之间问题 两种集成方式：一次性集成方式和增殖式集成方式。功能测试功能测试功能测试一般须在完成集成测试后进行，而且是针对应用系统进行测试。功能测试是基于产品功能说明书，是在已知产品所应具有的功能，从用户角度来进行功能验证，以确认每个功能是否都能正常使用 系统测试系统测试系统测试是将软件放在整个计算机环境下，包括软硬件平台、某些支持软件、数据和人员等，在实际运行环境下进行一系列的测试，包括恢复测试、安全测试、强度测试和性能测试等 验收测试验收测试&安装测试安装测试验收测试验收测试的目的是向未来的用户表明系统能够像预定要求那样工作，验证软件的功能和性能如同用户所合理期待的那样安装测试安装测试是指按照软件产品安装手册或相应的文档，在一个和用户使用该产品完全一样的环境中或相当于用户使用环境中，进行一步一步的安装操作性的测试 1.7软件测试和开发的关系 软件开发与软件测试的关系软件开发与软件测试的关系n n测试与开发各阶段的关系测试与开发各阶段的关系测试的重要性“程序测试是为了发现错误而执行程序的过程程序测试是为了发现错误而执行程序的过程”。测试的目的是发现程序中的错误，是为了证明程序有错，而不是证明程序无错。在软件开发过程中，分析、设计与编码等工作都是建设性的，惟独测试是带有“破坏性”，测试可视为分析、设计和编码3个阶段的“最终复审”，在软件质量保证中具有重要地位。微软的经验微软的经验：Windows 95/98 Windows 2000 系统的稳定性有了明显改善，DEV:QA=1:2 软件测试的心理学n为了发现错误和为了证明正确的差异n测试的目标性（从理论上讲：发现错误易于证明正确；从实践上，证明正确使人不愿意发现错误）n测试的破坏性（施虐）n测试成功与否的判断性（类似医生看病）测试的经济学n软件测试是否能够发现所有错误？n黑盒测试-数据驱动的测试穷尽输入测试n穷尽输入测试的不可能性（有效于无效）n软件测试的经济学性n白盒测试逻辑驱动测试穷尽路径测试n逻辑路径的庞大n穷尽路径测试并不代表完全测试n不代表符合设计规范n不能发现缺少的路径n不能暴露敏感数据79课后作业课后作业n就本人了解某软件公司的测试状况写一篇论文 800字左右Q&A
