2022年2022年阶段性系统测试总结报告 .pdf

《2022年2022年阶段性系统测试总结报告 .pdf》由会员分享，可在线阅读，更多相关《2022年2022年阶段性系统测试总结报告 .pdf（24页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、xxx 系统阶段性测试报告名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 24 页 - - - - - - - - - 黄锡波Page 2 of 24 Document Information Project Name: xxx 系统Document Version No: 1.0 Document Version Date: 2005-12-15 Prepared By: Preparation Date: 2005-12-18Reviewed By: Review D

2、ate: Distribution List From Date Company / Role Email / Phone To Action* Due Date Company / Role Email / Phone * Action Types: Approve, Review, Inform, File, Action Required, Attend Meeting, Other (please specify) Version History Ver. No. Ver. Date Revised By Description Filename 1.0 2005-12-16黄锡波初稿

3、名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 24 页 - - - - - - - - - 黄锡波Page 3 of 24 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 24 页 - - - - - - - - - 黄锡波Page 4 of 24 目录1.测试概要 . 51.1. 概要 . 5 1.2. 测试方案设计摘要 . 5 1.3. 测试系

4、统环境配置 . 6 1.4. 参考资料 . 6 2.测试内容、计划及完成状态. 62.1. 测试内容、计划及完成状态. 6 3.测试成果 . 83.1. 测试工作输出物. 8 4.测试脚本及工具 . 94.1. 测试脚本 . 9 4.2. 测试工具 . 11 4.3. BB 业务模拟测试工具. 13 4.4. BB 业务月终结算测试脚本 . 14 4.5. 白盒测试脚本. 14 4.6. 其它测试工具. 15 5.存在问题及建议 . 165.1. 待完成的测试工作 . 16 5.2. 已经完成的测试存在的问题及建议. 17 5.2.1. 需高度重视的问题. 17 5.2.2. 缺陷列表 . 1

5、7 5.3. 简单性能测试结果及建议 . 20 5.4. 其它问题及建议. 21 6.专题：集成测试及建议 . 217.附件 . 247.1. . 24 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 24 页 - - - - - - - - - 黄锡波Page 5 of 24 1. 测试概要1.1. 概要本报告是 xxx 系统阶段性测试工作报告，其中阶段性测试工作的时间界定是：依照xxx 功能规格说明书所描述的系统功能，对在200 x 年 12 月 15 日前已经完成的

6、测试工作。编写系统功能测试报告的目的是：把测试的完成的情况写成文档，并对测试结果进行简要分析，为纠正软件的缺陷提供依据，也为软件验收和交付打下基础。1.2. 测试方案设计摘要测试设计主要体现在如下几个方面：黑盒测试：把功能分割成多个功能点，在预置的数据输入、预置的操作输入后，得到预期的输出结果，并把实测结果与预期结果比较；灰盒测试：使用 Java 代码缺陷自动分析工具：findbugs 对 java 编译后的class （或 jar）文件进行缺陷分析；白盒测试：通过 ORACLE 提供的底层SQL 来查找性能最差的SQL；简单性能测试：在测试环境中进行，主要进行较多数据量的负载测试、压力测试及

7、数据库容量测试，并对结果进行分析，分析的指标有：高峰负载时，多用户、多线程并发进行典型业务操作的稳定性；高峰负载时，用户操作响应时间；数据库增量对其性能的影响；观察是否发生下列错误：内存泄漏（ Memory leak ）并发与同步（ Concurrency and Synchronization）通讯连接数据库连接性能测试：在生产环境进行，测试方式同简易性能测试。自动测试：根据业务特点，构造可重复使用的测试脚本，脚本一般使用HPUnix 的 Shell 编写，少量使用java 编写。脚本可以单独执行，也可以批量或并发执行。测试分析脚本：使用 HPUnix 的 Shell 编写，少量复杂的分析使

8、用java+hibernate编写。测试数据：基础数据：是在运行下列SQL 脚本后，可以支撑正确联机交易的数据truncate table saf; truncate table tlog; truncate table dlog; truncate table running_trans; truncate table Order_Actions; truncate table Order_History; 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 24 页 -

9、- - - - - - - - 黄锡波Page 6 of 24 truncate table Order_Bills; truncate table Cycle_Final_Status; truncate table Order_Settle; commit; 测试数据：在基础数据的基础上，进行一系列的联机业务测试所产生的数据其它测试：如设计文档测试，即测试实际运行的实现方法与设计文档是否一致。1.3. 测试系统环境配置服务器环境如下：服务器操作系统：HP-UX 11.11 数据库版本：ORACLE 9.2.0 JDK 版本： JDK 1.4.1 1.4.1.03-030630-22:07-

10、PA_RISC2.0 PA2.0 服务器承载作用备注10.1.132.6:7777 SC1 中心两个实例132.32.22.190:8000 SC2 10.1.132.6:6666 SD 非联机交易的系统级服务器10.1.132.6:8888 SN1( 上海 ) 10.1.132.5:6666 SN2( 北京 ) 北京有两个实例10.1.132.6:9999 SN3( 北京 ) 132.32.22.26:6666 CSN BB 联机交易CSN 10.1.132.5:dbtest2 数据库联机交易数据库132.32.22.26:utest 数据库BB 联机交易专用数据库1.4. 参考资料2. 测

11、试内容、计划及完成状态2.1. 测试内容、计划及完成状态测试阶段测试任务工作量估计(人日 ) 人员分配测试计划时间完成状态第一阶段存储转发机制优化系统5 黄锡波名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 24 页 - - - - - - - - - 黄锡波Page 7 of 24 方案设计、案例设计2005-08-17 2005-09-09 测试环境1 xxx测试数据、案例执行5 黄锡波并发压力测试10 黄锡波回归测试5 黄锡波第二阶段新告警系统方案设计、案例设计5

12、黄锡波2005-09-12 2005-09-30 测试环境1 xxx测试数据、案例执行5 黄锡波回归测试5 黄锡波第三阶段交换中心 /交换节点多实例改造系统交换中心 /交换节点拥塞控制系统方案设计、案例设计5 黄锡波2005-10-10 2005-10-28 测试环境5 xxx测试数据、案例执行3 黄锡波并发压力测试10 黄锡波回归测试5 黄锡波第四阶段基于订购关系系统方案设计、案例设计5 黄锡波2005-10-31 2005-11-18 测试环境3 xxx测试数据、案例执行5 黄锡波并发压力测试5 黄锡波回归测试5 黄锡波第五阶段多实例、拥塞控制与基于订购关系联合测试方案设计、案例设计5 黄

13、锡波2005-11-21 2005-12-09 测试环境3 xxx测试数据、案例执行5 黄锡波并发压力测试5 黄锡波回归测试5 黄锡波第六阶段多实例、拥塞控制补充功能测试方案设计、案例设计3 黄锡波2005-12-12-2005-12-15 测试环境1 xxx测试数据、案例执行5 黄锡波名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 24 页 - - - - - - - - - 黄锡波Page 8 of 24 并发压力测试5 黄锡波回归测试5 黄锡波第七阶段多实例进行日终

14、报文转储与整理方案设计、案例设计5 黄锡波2005-12-19-2005-12-23 测试环境1 xxx未完成测试数据、案例执行5 黄锡波未完成并发压力测试5 黄锡波未完成回归测试5 黄锡波未完成第八阶段一级 BOSS 扩容系统集成测试方案设计、案例设计10 黄锡波待生产新设备安装调试完毕2005-02-01-? 未完成测试环境10 xxx未完成测试数据、案例执行10 黄锡波未完成一级 BOSS 扩容系统性能测试10 黄锡波未完成性能调优、回归测试10 xxx 未完成3. 测试成果3.1. 测试工作输出物测试工作输出物存放在StarTeam的如下目录：StarTeam:boss1/Docume

15、nt/20.10.60Test_core/20.10.60.40Boss1_Upgrade目录中有如下文档：(略) 如下图所示(略) 缺陷跟踪管理缺陷跟踪记录存放在StarTeam的如下目录：StarTeam:boss1 BugManage目录中有如下文档及缺陷记录: ATS 系统、 blackberry 、存储转发机制优化系统、多实例及拥塞控制。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 24 页 - - - - - - - - - 黄锡波Page 9 of 24

16、如下图所示4. 测试脚本及工具4.1. 测试脚本基本测试脚本数据清除脚本运行下列 SQL 脚本即可， 其目的是为便于跟踪测试过程数据，测试前一般运行下列SQL 脚本：truncate table saf; truncate table tlog; truncate table dlog; truncate table running_trans; truncate table Order_Actions; 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 24 页 - -

17、- - - - - - - 黄锡波Page 10 of 24 truncate table Order_History; truncate table Order_Bills; truncate table Cycle_Final_Status; truncate table Order_Settle; commit; 大圈交易测试脚本脚本名称： test_circle 业务含义：异地存取款存放机器： 10.1.132.5 存放位置： /opt/cmcb/st_home_other/data/regression/bin 运行方式：在进入存放位置后直接运行即可脚本扩展： 只要构造一个别的大圈业

18、务xml 包， 依照本脚本格式可以扩展别的大圈业务测试脚本。简单并发：本目录下有一个小脚本a.sh ，是由多个test_circle 组合起来 ,达到简单的并发测试。通知交易测试脚本脚本名称： test_saf 业务含义：机场VIP 扣款（扣积分）存放机器： 10.1.132.5 存放位置： /opt/cmcb/st_home_other/data/regression/bin 运行方式：在进入存放位置后直接运行即可脚本扩展： 只要构造一个别的通知业务xml 包， 依照本脚本格式可以扩展别的通知业务测试脚本。简单并发：本目录下有一个小脚本b.sh ，是由多个test_saf 组合起来 ,达到简

19、单的并发测试。并发测试脚本大圈交易并发测试脚本脚本名称： sender 业务含义：异地存取款存放机器： 10.1.132.6 存放位置： /tmp/perftest/oboss 运行方式： sender 参数 1 参数 2 参数 3 参数 1：交易唯一id，由三位数字或英文组成，例如aa1 参数 2：每分钟发送交易数量参数 3：并发时间（分钟）脚本扩展：修改config.txt 及 provs.cfg, 可以扩展别的大圈交易。简单并发：本目录下有一个小脚本a.sh ，是由多个test_circle 组合起来 ,达到简单的并发测试。通知交易并发测试脚本与大圈交易并发测试脚本类似,仅修改修改con

20、fig.txt 及 provs.cfg即可。BB 联机业务测试脚本脚本名称： a.sh( 在 sender 脚本的基础上扩展) 业务含义： BB 联机业务存放机器： 10.1.132.5 存放位置： /tmp/perftest/oboss 运行方式： a.sh 参数 1 参数 2 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 24 页 - - - - - - - - - 黄锡波Page 11 of 24 参数 1：01 开户、02 销户、0301 变更为 01 类型、

21、 0302 变更为 02 类型、 04 暂停、05 恢复参数 2：交易唯一id，由三位数字或英文组成，例如aa1 缺省参数：每分钟发送交易数量1 缺省参数：并发时间（分钟）1 BB 联机业务并发测试脚本脚本名称： sender 业务含义：异地存取款存放机器： 10.1.132.5 存放位置： /tmp/perftest/oboss 运行方式： sender 参数 1 参数 2 参数 3 参数 1：交易唯一id，由三位数字或英文组成，例如aa1 参数 2：每分钟发送交易数量参数 3：并发时间（分钟）脚本扩展：修改config.txt 及 provs.cfg, 可以扩展别的BB 业务交易。4.2.

22、 测试工具性能监控工具脚本名称： perfmon.sh 工具含义：记录测试过程的cpu、mem 、diskIO 的运行状态数据存放机器： 10.1.132.5及 10.1.132.6 存放位置： /tmp 运行方式：测试前运行，测试完成后关闭输出结果：主机名字 _cpu.stat （例如 cmcbtst2_cpu.stat ）主机名字 _ disk.stat （例如 cmcbtst2_disk.stat）主机名字 _ is.stat （例如 cmcbtst2_is.stat）主机名字 _mem （例如 cmcbtst2_mem.stat）webMethods Developer辅助工具如下图所

23、示，在test 目录下，本目录可以实现：修改实例的线程占有率，使之可以在拥塞、舍弃、解除、健康状态中切换。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 11 页，共 24 页 - - - - - - - - - 黄锡波Page 12 of 24 如下图所示，在hpMTS/tool目录下，本目录可以实现：查询实例的参数、各实例的状态。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - -

24、- 第 12 页，共 24 页 - - - - - - - - - 黄锡波Page 13 of 24 4.3. BB 业务模拟测试工具如下图所示，在hpBB 目录下，可以模拟大数据量的BB 业务交易（填写Tlog 及 Dlog ），以及做BB 业务的日终处理。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 13 页，共 24 页 - - - - - - - - - 黄锡波Page 14 of 24 4.4. BB 业务月终结算测试脚本脚本名称： startup.sh 业务含义： BB

25、 业务月终结算测试脚本存放机器： 10.1.132.6 存放位置： /opt/cmcb/newSettle 运行方式：在进入存放位置后,修改 bin 目录下的 SettleConfig.xml关于清算起止日期的描述，再直接运行脚本即可。4.5. 白盒测试脚本通过 ORACLE提供的底层SQL 来查找性能最差的SQL 。SELECT * FROM ( SELECT PARSING_USER_ID EXECUTIONS, SORTS, 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 14

26、 页，共 24 页 - - - - - - - - - 黄锡波Page 15 of 24 COMMAND_TYPE, DISK_READS, sql_text FROM v$sqlarea ORDER BY disk_reads DESC ) WHERE ROWNUM设定值 20 秒则睡眠5 秒（ 需要修改程序）建议下列 SQL 要优化：（ Oracle 警告下 SQL 性能太差 ）SELECT DISTINCT BIP_NICE FROM BIP ORDER BY BIP_NICE DESC SELECT A.DISPATCHER_NAME,A.HPARTY_ID,A.H_CUR_NUM,A

27、.H_MAX_NUM,A.STOP_FLAG,B.DOMAIN_ID,B.DUNS FROM SAF_DISP_PARTIES A,PARTIES B WHERE A.HPARTY_ID!=8888 AND A.HPARTY_ID=B.PARTY_ID SELECT msisdn_area_id,prov_cd FROM msisdn_prov_vw ORDER BY msisdn_area_id ASC 注释：未处理的saf 数据容量有三级：5 万、 10 万、 30 万，【性能平均值】就是从三级数据容量的实测结果中取平均而得。BB 业务日算月结简单性能测试结果表日算月结10 万笔耗时 (秒

28、) 平均处理速度（笔 /秒）1 万笔耗时估算 (分) 平均耗内存 (M) 平均 idle_cpu(%) 平均 diskBusy(%) 日算2330.00 42.92 3.88 74.61 91.33 30.77 月结5431.00 18.41 9.05 262.864 68.19 12.12 BB 业务联机简单性能测试结果：测试案例：每分钟60 笔，连续跑30 分钟，共跑1800 笔测试结果：成功交易1115 笔， osn 拥塞舍弃 405 笔， csn 拥塞拒绝175 笔，超时交易105 笔rim 测试平台响应太慢,超时响应占8% rim 测试平台响应时间统计: 最小 3.47 秒/笔、最大

29、84.49 秒/笔、平均10.73 秒/笔建议 : 投产之前 ,rim 应提供平均并发响应值给我们根据 rim 的平均响应时间,对参数进行调优:bb 业务超时时间、拥塞门限、舍弃门限及解除门限名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 20 页，共 24 页 - - - - - - - - - 黄锡波Page 21 of 24 5.4. 其它问题及建议版本控制问题及建议前段时间对版本控制不太理想，表现出来的问题是：所测试出来的BUG 或缺陷，很多情况是版本问题。版本问题主要反映在

30、：程序（源码）版本没有很好地标识、版本所对应的必须配置没有很好地描述、数据库脚本没有形成标识、数据库所必具备的业务数据过于凌乱，业务关键数据缺少经验数据描述。建议尽快完善，理顺脚本。上线部署方案设计及建议缺少上线部署方案设计文档。建议该文档的关键描述是：方案设计（多方案比较）、应急措施及办法、上线部署过程技术要点。上线部署计划及建议缺少上线部署计划文档。建议尽快做计划，除常规的计划外，要高度重视因非技术层面的原因而造成的危害，例如每天上班后大家不知道做什么？重点是什么？完成标准是什么？如果没有清晰的头绪，必将事事脱节、前后矛盾、丢三拉四，总之是不完整、不顺畅，最要命的是：大家很努力，但就是使不

31、上劲！文档关键域建议：阶段描述：是什么阶段活动描述：活动单元描述责 任 人：责任人时间安排：什么时间开始？什么时间结束？输入：需要什么输入物入口条件：本活动所依赖的入口条件活动步骤：活动关键过程点输出 ：输出物出口条件：输出条件、标准6. 专题：集成测试及建议时常有这样的情况发生，每个模块都能单独工作，但这些模块集成在一起之后却不能正常工作。主要原因是，模块相互调用时接口会引入许多新问题。例如，数据经过接口可能丢失；一个模块对另一模块可能造成不应有的影响；几个子功能组合起来不能实现主功能；误差不断积累达到不可接受的程度；全局数据结构出现错误，等等。综合测试是组装软件的系统测试技术，按设计要求把

32、通过单元测试的各个模块组装在一起之后，进行综合测试以便发现与接口有关的各种错误。某设计人员习惯于把所有模块按设计要求一次全部组装起来，然后进行整体测试，这称为非增量式集成。这种方法容易出现混乱。因为测试时可能发现一大堆错误，为每个错误定位和纠正名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 21 页，共 24 页 - - - - - - - - - 黄锡波Page 22 of 24 非常困难，并且在改正一个错误的同时又可能引入新的错误，新旧错误混杂，更难断定出错的原因和位置。与之相反

33、的是增量式集成方法，程序一段一段地扩展，测试的范围一步一步地增大，错误易于定位和纠正，界面的测试亦可做到完全彻底。下面讨论两种增量式集成方法。自顶向下集成自顶向下集成是构造程序结构的一种增量式方式，它从主控模块开始，按照软件的控制层次结构，以深度优先或广度优先的策略，逐步把各个模块集成在一起。深度优先策略首先是把主控制路径上的模块集成在一起，至于选择哪一条路径作为主控制路径，这多少带有随意性，一般根据问题的特性确定。以下图为例，若选择了最左一条路径，首先将模块M1 ，M2 ，M5 和 M8 集成在一起，再将M6 集成起来，然后考虑中间和右边的路径。广度优先策略则不然，它沿控制层次结构水平地向下

34、移动。仍以下图为例， 它首先把 M2、M3 和 M4 与主控模块集成在一起，再将M5和 M6 和其他模块集资集成起来。自顶向下综合测试的具体步骤为：1 以主控模块作为测试驱动模块，把对主控模块进行单元测试时引入的所有桩模块用实际模块替代；2 依据所选的集成策略（深度优先或广度优先），每次只替代一个桩模块；3 每集成一个模块立即测试一遍；4 只有每组测试完成后，才着手替换下一个桩模块；5 为避免引入新错误，须不断地进行回归测试（即全部或部分地重复已做过的测试）。从第二步开始，循环执行上述步骤，直至整个程序结构构造完毕。下图中，实线表示已部分完成的结构，若采用深度优先策略，下一步将用模块M7 替换

35、桩模块S7，当然 M7 本身可能又带有桩模块，随后将被对应的实际模块一一替代。自顶向下集成的优点在于能尽早地对程序的主要控制和决策机制进行检验，因此较早地发现错误。缺点是在测试较高层模块时，低层处理采用桩模块替代，不能反映真实情况，重要数据不能及时回送到上层模块，因此测试并不充分。解决这个问题有几种办法，第一种是把某些测试推迟到用真实模块替代桩模块之后进行，第二种是开发能模拟真实模块的桩模块；第三种是自底向上集成模块。第一种方法又回退为非增量式的集成方法，使错误难于定位和纠正，并且失去了在组装模块时进行一些特定测试的可能性；第二种方法无疑要大大增加开销；第三种方法比较切实可行，下面专门讨论。2

36、 自底向上集成自底向上测试是从“ 原子 ” 模块（即软件结构最低层的模块）开始组装测试，因测试到较高层模块时，所需的下层模块功能均已具备，所以不再需要桩模块。自底向上综合测试的步骤分为：1 把低层模块组织成实现某个子功能的模块群（cluster ）; 2 开发一个测试驱动模块，控制测试数据的输入和测试结果的输出；名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 22 页，共 24 页 - - - - - - - - - 黄锡波Page 23 of 24 3 对每个模块群进行测试；4 删

37、除测试使用的驱动模块，用较高层模块把模块群组织成为完成更大功能的新模块群。从第一步开始循环执行上述各步骤，直至整个程序构造完毕。下图说明了上述过程。首先 “ 原子 ” 模块被分为三个模块群，每个模块群引入一个驱动模块进行测试。因模块群1、模块群 2 中的模块均隶属于模块Ma ，因此在驱动模块D1、D2 去掉后，模块群 1 与模块群2 直接与 Ma 接口，这时可对MaD3 被去掉后， Mb 与模块群3 直接接口，可对Mb进行集成测试，最后Ma 、Mb 和 Mc 全部集成在一起进行测试。自底向上集成方法不用桩模块，测试用例的设计亦相对简单，但缺点是程序最后一个模块加入时才具有整体形象。它与自顶向综

38、合测试方法优缺点正好相反。因此，在测试软件系统时，应根据软件的特点和工程的进度，选用适当的测试策略，有时混和使用两种策略更为有效，上层模块用自顶向下的方法，下层模块用自底向上的方法。此外，在集成测试中尤其要注意关键模块，所谓关键模块一般都具有下述一或多个特征：对应几条需求；具有高层控制功能；复杂、易出错；有特殊的性能要求。关键模块应尽早测试，并反复进行回归测试。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 23 页，共 24 页 - - - - - - - - - 黄锡波Page 24 of 24 7. 附件7.1. 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 24 页，共 24 页 - - - - - - - - -