微软软件质量测试常用度量.ppt

《微软软件质量测试常用度量.ppt》由会员分享，可在线阅读，更多相关《微软软件质量测试常用度量.ppt（21页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、微软软件质量常用度量微软软件质量常用度量1.1.1.1.产品设计规范产品设计规范产品设计规范产品设计规范(Spec(Spec(Spec(Spec或设计文档或设计文档或设计文档或设计文档)质量状态质量状态质量状态质量状态2.2.2.2.缺陷（缺陷（缺陷（缺陷（bugbugbugbug）数据有关度量）数据有关度量）数据有关度量）数据有关度量3.3.3.3.测试案例度量测试案例度量测试案例度量测试案例度量4.4.4.4.测试规范度量测试规范度量测试规范度量测试规范度量5.5.5.5.测试过的系统数量测试过的系统数量测试过的系统数量测试过的系统数量6.6.6.6.自动化测试度量自动化测试度量自动化测试

2、度量自动化测试度量7.7.7.7.CodeCoverageCodeCoverageCodeCoverageCodeCoverage（代码覆盖）（代码覆盖）（代码覆盖）（代码覆盖）8.8.8.8.单一功能测试验收质量度量单一功能测试验收质量度量单一功能测试验收质量度量单一功能测试验收质量度量11.1.产品设计规范质量状态分类产品设计规范质量状态分类常用的五种状态常用的五种状态常用的五种状态常用的五种状态一页一页一页一页(One page)(One page)(One page)(One page)用于安排时间和分配人员用于安排时间和分配人员用于安排时间和分配人员用于安排时间和分配人员草稿草稿草稿

3、草稿(Draft)(Draft)(Draft)(Draft)用于提出疑问和初步设想以供讨论用于提出疑问和初步设想以供讨论用于提出疑问和初步设想以供讨论用于提出疑问和初步设想以供讨论审阅审阅审阅审阅(Review)(Review)(Review)(Review)有所有的设计技术细节，可以供审阅有所有的设计技术细节，可以供审阅有所有的设计技术细节，可以供审阅有所有的设计技术细节，可以供审阅提交审核会提交审核会提交审核会提交审核会(Inspection)(Inspection)(Inspection)(Inspection)所有的设计技术细节到位、所有的设计技术细节到位、所有的设计技术细节到位、所有

4、的设计技术细节到位、没有明显遗留疑问、漏洞等没有明显遗留疑问、漏洞等没有明显遗留疑问、漏洞等没有明显遗留疑问、漏洞等开始编码开始编码开始编码开始编码(Coding)(Coding)(Coding)(Coding)开发人员可以开始便写代码来开发人员可以开始便写代码来开发人员可以开始便写代码来开发人员可以开始便写代码来实现该设计功能规范实现该设计功能规范实现该设计功能规范实现该设计功能规范2产品设计规范质量到位状况产品设计规范质量到位状况五种状态中各占的五种状态中各占的五种状态中各占的五种状态中各占的%是多少是多少是多少是多少?按事先计划日程完成的比例是多少？按事先计划日程完成的比例是多少？按事先

5、计划日程完成的比例是多少？按事先计划日程完成的比例是多少？多少多少多少多少%开发人员至少有一个指派给他开发人员至少有一个指派给他开发人员至少有一个指派给他开发人员至少有一个指派给他的功能可以进行编码？的功能可以进行编码？的功能可以进行编码？的功能可以进行编码？32.2.缺陷统计数据的度量缺陷统计数据的度量(I)(I)所有缺陷数量的时间走势或趋势统计所有缺陷数量的时间走势或趋势统计所有缺陷数量的时间走势或趋势统计所有缺陷数量的时间走势或趋势统计(Bug Trends By (Bug Trends By (Bug Trends By (Bug Trends By Time)Time)Time)Ti

6、me)未被处理的缺陷按照严重程度的统计未被处理的缺陷按照严重程度的统计未被处理的缺陷按照严重程度的统计未被处理的缺陷按照严重程度的统计(Active Bugs By (Active Bugs By (Active Bugs By (Active Bugs By Severity)Severity)Severity)Severity)未被处理的缺陷按照优先程度的统计未被处理的缺陷按照优先程度的统计未被处理的缺陷按照优先程度的统计未被处理的缺陷按照优先程度的统计(Active Bugs By (Active Bugs By (Active Bugs By (Active Bugs By Prior

7、ity)Priority)Priority)Priority)未被处理的缺陷数量的时间走势或趋势统计未被处理的缺陷数量的时间走势或趋势统计未被处理的缺陷数量的时间走势或趋势统计未被处理的缺陷数量的时间走势或趋势统计 （Active Bugs Active Bugs Active Bugs Active Bugs Over TimeOver TimeOver TimeOver Time）所有的缺陷按照严重程度的统计所有的缺陷按照严重程度的统计所有的缺陷按照严重程度的统计所有的缺陷按照严重程度的统计(All Bugs By Severity)(All Bugs By Severity)(All B

8、ugs By Severity)(All Bugs By Severity)新被发现的缺陷按严重程度的统计新被发现的缺陷按严重程度的统计新被发现的缺陷按严重程度的统计新被发现的缺陷按严重程度的统计(Opened Bugs By (Opened Bugs By (Opened Bugs By (Opened Bugs By Severity)Severity)Severity)Severity)已处理的缺陷按照严重程度的统计已处理的缺陷按照严重程度的统计已处理的缺陷按照严重程度的统计已处理的缺陷按照严重程度的统计(Resolved Bugs By (Resolved Bugs By (Resol

9、ved Bugs By (Resolved Bugs By Severity)Severity)Severity)Severity)被修复的缺陷按照严重程度的统计被修复的缺陷按照严重程度的统计被修复的缺陷按照严重程度的统计被修复的缺陷按照严重程度的统计 (Fixed By Severity)(Fixed By Severity)(Fixed By Severity)(Fixed By Severity)4时间时间缺缺陷陷数数量量所有的缺陷按照严重程度的统计所有的缺陷按照严重程度的统计所有的缺陷按照严重程度的统计所有的缺陷按照严重程度的统计(All Bugs By Severity)(All B

10、ugs By Severity)52.2.缺陷统计数据的度量缺陷统计数据的度量(II)(II)已发现缺陷的数量和已修复的缺陷的数量的比率已发现缺陷的数量和已修复的缺陷的数量的比率已发现缺陷的数量和已修复的缺陷的数量的比率已发现缺陷的数量和已修复的缺陷的数量的比率 (Fixed/Found)(Fixed/Found)(Fixed/Found)(Fixed/Found)。也被称为修改率或纠错率。也被称为修改率或纠错率。也被称为修改率或纠错率。也被称为修改率或纠错率(Fix Rate)(Fix Rate)(Fix Rate)(Fix Rate)未处理的缺陷数量和已处理的的缺陷数量的比率未处理的缺陷数

11、量和已处理的的缺陷数量的比率未处理的缺陷数量和已处理的的缺陷数量的比率未处理的缺陷数量和已处理的的缺陷数量的比率 (active/resolved)(active/resolved)(active/resolved)(active/resolved)已处理的被修复的缺陷数量和已处理的缺陷数量的比率已处理的被修复的缺陷数量和已处理的缺陷数量的比率已处理的被修复的缺陷数量和已处理的缺陷数量的比率已处理的被修复的缺陷数量和已处理的缺陷数量的比率（Resolved as Fixed/resolvedResolved as Fixed/resolvedResolved as Fixed/resolved

12、Resolved as Fixed/resolved）重新被激活的已修复的缺陷数量重新被激活的已修复的缺陷数量重新被激活的已修复的缺陷数量重新被激活的已修复的缺陷数量(Bug re-activation(Bug re-activation(Bug re-activation(Bug re-activation rate)rate)rate)rate)通过测试找到的缺陷的统计通过测试找到的缺陷的统计通过测试找到的缺陷的统计通过测试找到的缺陷的统计(Bugs opened by testing(Bugs opened by testing(Bugs opened by testing(Bugs o

13、pened by testing activity)activity)activity)activity)62.2.缺陷统计数据的度量缺陷统计数据的度量(III)(III)不同语言版本缺陷数量的统计不同语言版本缺陷数量的统计不同语言版本缺陷数量的统计不同语言版本缺陷数量的统计(Bugs opened by Language(Bugs opened by Language(Bugs opened by Language(Bugs opened by Language version)version)version)version)被报告存在缺陷的各功能统计被报告存在缺陷的各功能统计被报告存在缺陷

14、的各功能统计被报告存在缺陷的各功能统计(Where your bugs were(Where your bugs were(Where your bugs were(Where your bugs were found)found)found)found)处理缺陷的平均时间的统计处理缺陷的平均时间的统计处理缺陷的平均时间的统计处理缺陷的平均时间的统计(Average Time to Resolve)(Average Time to Resolve)(Average Time to Resolve)(Average Time to Resolve)关闭缺陷的平均时间的统计关闭缺陷的平均时间的统计

15、关闭缺陷的平均时间的统计关闭缺陷的平均时间的统计(Average Time to Close)(Average Time to Close)(Average Time to Close)(Average Time to Close)被处理缺陷的不同结论统计被处理缺陷的不同结论统计被处理缺陷的不同结论统计被处理缺陷的不同结论统计(Resolved Bugs By(Resolved Bugs By(Resolved Bugs By(Resolved Bugs By Resolution)Resolution)Resolution)Resolution)7里程碑编程阶段缺陷变化趋势里程碑编程阶段缺陷

16、变化趋势83.3.测试案例度量测试案例度量运行测试案例数量和通过测试的案例数量之比运行测试案例数量和通过测试的案例数量之比运行测试案例数量和通过测试的案例数量之比运行测试案例数量和通过测试的案例数量之比不同产品开发阶段该比率变化不同产品开发阶段该比率变化不同产品开发阶段该比率变化不同产品开发阶段该比率变化测试案例包括的范围测试案例包括的范围测试案例包括的范围测试案例包括的范围运行测试案例的频率运行测试案例的频率运行测试案例的频率运行测试案例的频率有测试案例的功能数量有测试案例的功能数量有测试案例的功能数量有测试案例的功能数量94.4.测试规范度量测试规范度量测试规范数量和所有功能数量之比测试规

17、范数量和所有功能数量之比测试规范数量和所有功能数量之比测试规范数量和所有功能数量之比满足撰写要求的测试规范数量和所有测试规范数量之比满足撰写要求的测试规范数量和所有测试规范数量之比满足撰写要求的测试规范数量和所有测试规范数量之比满足撰写要求的测试规范数量和所有测试规范数量之比必要的内容遗漏的比率必要的内容遗漏的比率必要的内容遗漏的比率必要的内容遗漏的比率测试规范测试规范测试规范测试规范:微软把针对怎样测试某功能的，有细分功微软把针对怎样测试某功能的，有细分功能后的具体测试条例等细节的测试文档叫做测试规范能后的具体测试条例等细节的测试文档叫做测试规范（Test Design Specificat

18、ion 或简称或简称 TDS）。）。105.5.测试过的系统数量测试过的系统数量所支持的不同语言系统的总数与测试过的语言系所支持的不同语言系统的总数与测试过的语言系所支持的不同语言系统的总数与测试过的语言系所支持的不同语言系统的总数与测试过的语言系统数量统数量统数量统数量所支持系统的总数与测试过的系统数量所支持系统的总数与测试过的系统数量所支持系统的总数与测试过的系统数量所支持系统的总数与测试过的系统数量Windows 2000(SPx)Windows 2000(SPx)Windows 2000(SPx)Windows 2000(SPx)Windows XP(SPx)Windows XP(SP

19、x)Windows XP(SPx)Windows XP(SPx)Windows 2003 Server(SPx)Windows 2003 Server(SPx)Windows 2003 Server(SPx)Windows 2003 Server(SPx)Tablet PCTablet PCTablet PCTablet PC新的系统平台新的系统平台新的系统平台新的系统平台116.6.自动化测试度量自动化测试度量测试的可自动化程度测试的可自动化程度测试的可自动化程度测试的可自动化程度能自动化的和实现自动化的比率能自动化的和实现自动化的比率能自动化的和实现自动化的比率能自动化的和实现自动化的比率

20、运行通过的自动化脚本比率运行通过的自动化脚本比率运行通过的自动化脚本比率运行通过的自动化脚本比率不同产品开发阶段该比率变化不同产品开发阶段该比率变化不同产品开发阶段该比率变化不同产品开发阶段该比率变化127.Code Coverage7.Code Coverage（代码覆盖）（代码覆盖）代码覆盖度量定义和目的代码覆盖度量定义和目的代码覆盖度量定义和目的代码覆盖度量定义和目的代码覆盖种类代码覆盖种类代码覆盖种类代码覆盖种类代码覆盖的有效使用代码覆盖的有效使用代码覆盖的有效使用代码覆盖的有效使用开发人员：单元测试开发人员：单元测试开发人员：单元测试开发人员：单元测试(unit testing)(u

21、nit testing)(unit testing)(unit testing)测试人员：系统测试测试人员：系统测试测试人员：系统测试测试人员：系统测试(system testing)(system testing)(system testing)(system testing)和自动化测试和自动化测试和自动化测试和自动化测试13代码覆盖是什么？代码覆盖是什么？动态白盒测试评价技术动态白盒测试评价技术动态白盒测试评价技术动态白盒测试评价技术已经执行（测试）了什么（已经执行（测试）了什么（已经执行（测试）了什么（已经执行（测试）了什么（what what what what hashashash

22、as been been been been executedexecutedexecutedexecuted）没有执行的（测试）有什么没有执行的（测试）有什么没有执行的（测试）有什么没有执行的（测试）有什么 what has what has what has what has notnotnotnot been been been been executed and still remains to be tested.executed and still remains to be tested.executed and still remains to be tested.execut

23、ed and still remains to be tested.需要有源代码需要有源代码需要有源代码需要有源代码内部辅助工具内部辅助工具内部辅助工具内部辅助工具14使用代码覆盖度量的目地使用代码覆盖度量的目地经验总结：大约的经验总结：大约的经验总结：大约的经验总结：大约的20%20%20%20%代码囊括缺陷总数的代码囊括缺陷总数的代码囊括缺陷总数的代码囊括缺陷总数的80%80%80%80%目的不是要达到某个神奇的数字，而是要发现测目的不是要达到某个神奇的数字，而是要发现测目的不是要达到某个神奇的数字，而是要发现测目的不是要达到某个神奇的数字，而是要发现测试中的漏洞试中的漏洞试中的漏洞试中的

24、漏洞达到比较广泛的覆盖率相对容易，但要达到达到比较广泛的覆盖率相对容易，但要达到达到比较广泛的覆盖率相对容易，但要达到达到比较广泛的覆盖率相对容易，但要达到100%100%100%100%覆盖常需要多得多的成本覆盖常需要多得多的成本覆盖常需要多得多的成本覆盖常需要多得多的成本 平均目标平均目标平均目标平均目标 65%65%65%65%理想目标理想目标理想目标理想目标 75%75%75%75%15代码覆盖度量种类代码覆盖度量种类1.1.1.1.代码函数覆盖数量代码函数覆盖数量代码函数覆盖数量代码函数覆盖数量2.2.2.2.代码运行使用到的功能覆盖数量代码运行使用到的功能覆盖数量代码运行使用到的功

25、能覆盖数量代码运行使用到的功能覆盖数量3.3.3.3.代码数据种类覆盖数量代码数据种类覆盖数量代码数据种类覆盖数量代码数据种类覆盖数量4.4.4.4.代码函数条件覆盖数量代码函数条件覆盖数量代码函数条件覆盖数量代码函数条件覆盖数量5.5.5.5.代码通路代码通路代码通路代码通路(path)(path)(path)(path)覆盖数量覆盖数量覆盖数量覆盖数量16代码覆盖结果分析代码覆盖结果分析17使用代码覆盖度量改进测试使用代码覆盖度量改进测试代码覆盖度量只能揭示测试的漏洞，并不能直接改进代码覆盖度量只能揭示测试的漏洞，并不能直接改进代码覆盖度量只能揭示测试的漏洞，并不能直接改进代码覆盖度量只能

26、揭示测试的漏洞，并不能直接改进测试测试测试测试 为什么有些代码没有执行到？为什么有些代码没有执行到？为什么有些代码没有执行到？为什么有些代码没有执行到？脚本运行时执行到了代码不意味着测试的深度和全面脚本运行时执行到了代码不意味着测试的深度和全面脚本运行时执行到了代码不意味着测试的深度和全面脚本运行时执行到了代码不意味着测试的深度和全面性性性性先查功能代码覆盖率，再计划写自动化脚本的优先顺先查功能代码覆盖率，再计划写自动化脚本的优先顺先查功能代码覆盖率，再计划写自动化脚本的优先顺先查功能代码覆盖率，再计划写自动化脚本的优先顺序序序序撰写测试用例已覆盖所有要测试的功能行为，然后编撰写测试用例已覆盖

27、所有要测试的功能行为，然后编撰写测试用例已覆盖所有要测试的功能行为，然后编撰写测试用例已覆盖所有要测试的功能行为，然后编写自动化脚本加以验证写自动化脚本加以验证写自动化脚本加以验证写自动化脚本加以验证 添加新自动化脚本覆盖找到的漏洞添加新自动化脚本覆盖找到的漏洞添加新自动化脚本覆盖找到的漏洞添加新自动化脚本覆盖找到的漏洞18使用代码覆盖度量结果分析使用代码覆盖度量结果分析没有覆盖代码的可能原因和改进措施：没有覆盖代码的可能原因和改进措施：没有覆盖代码的可能原因和改进措施：没有覆盖代码的可能原因和改进措施：遗漏的功能行为：遗漏的功能行为：遗漏的功能行为：遗漏的功能行为：追加测试追加测试追加测试追

28、加测试程序中有程序中有程序中有程序中有死角死角死角死角代码，没有功能行为可以执行该代码，没有功能行为可以执行该代码，没有功能行为可以执行该代码，没有功能行为可以执行该代码：代码：代码：代码：删除？删除？删除？删除？很难模拟的出错条件：很难模拟的出错条件：很难模拟的出错条件：很难模拟的出错条件：可否有其他方法？可否有其他方法？可否有其他方法？可否有其他方法？过时的功能规范？过时的功能规范？过时的功能规范？过时的功能规范？-更新功能规范更新功能规范更新功能规范更新功能规范198.8.单一功能测试验收质量度量单一功能测试验收质量度量预先计划的详细测试：预先计划的详细测试：100%100%100%10

29、0%完成？完成？完成？完成？自动化测试覆盖率：自动化测试覆盖率：65%65%65%65%？自动化测试运行结果：自动化测试运行结果：0%0%0%0%失败率？失败率？失败率？失败率？发现缺陷的难易程度：发现缺陷的难易程度：4 4 4 4小时发现缺陷小时发现缺陷小时发现缺陷小时发现缺陷2222缺陷严重度和数量变化趋势：缺陷严重度和数量变化趋势：近期无高严重度缺近期无高严重度缺近期无高严重度缺近期无高严重度缺陷陷陷陷功能稳定程度：功能稳定程度：近期代码无需改变、自动化运行一直近期代码无需改变、自动化运行一直近期代码无需改变、自动化运行一直近期代码无需改变、自动化运行一直保持保持保持保持100%100%100%100%通过通过通过通过2021