xxx系统

阶段性系统测试报告

Document InformationProject Name: Document Version No: Prepared By: Reviewed By:xxx 系统 1.0Document Version Date: Preparation Date: Review Date: 2005-12-15 2005-12-18Distribution ListFrom Date Company / Role Email / PhoneToAction*Due DateCompany / RoleEmail / Phone* Action Types: Approve, Review, Inform, File, Action Required, Attend Meeting, Other (please specify)Version HistoryVer. No. Ver. Date 2005-12-16 Revised By Description Filename1.0黄锡波初稿黄锡波Page 2 of 24

黄锡波 Page 3 of 24

目录

1.

1.1.

1.2.

1.3.

1.4.

2.

2.1.

3.

3.1.

4.

4.1.

4.2.

4.3.

4.4.

4.5.

4.6.

5.

5.1.

5.2. 测试概要 ....................................................................................................................................... 5 概要 ....................................................................................................................................... 5 测试方案设计摘要 .................................................................................................................. 5 测试系统环境配置 .................................................................................................................. 6 参考资料 ................................................................................................................................ 6 测试内容、计划及完成状态 ........................................................................................................... 6 测试内容、计划及完成状态 .................................................................................................... 6 测试成果 ....................................................................................................................................... 8 测试工作输出物...................................................................................................................... 8 测试脚本及工具............................................................................................................................. 9 测试脚本 ................................................................................................................................ 9 测试工具 .............................................................................................................................. 11 BB业务模拟测试工具........................................................................................................... 13 BB业务月终结算测试脚本.................................................................................................... 14 白盒测试脚本 ....................................................................................................................... 14 其它测试工具 ....................................................................................................................... 15 存在问题及建议........................................................................................................................... 16 待完成的测试工作 ................................................................................................................ 16 已经完成的测试存在的问题及建议........................................................................................ 17

5.2.1. 需高度重视的问题............................................................................................................. 17

5.2.2. 缺陷列表........................................................................................................................... 17

5.3. 简单性能测试结果及建议...................................................................................................... 20

5.4. 其它问题及建议.................................................................................................................... 21 6.

7.

专题：集成测试及建议 ................................................................................................................ 21 附件 ............................................................................................................................................ 24 7.1. .................................................................................................................................................... 24

黄锡波 Page 4 of 24

1. 测试概要

1.1. 概要

本报告是《xxx系统》阶段性测试工作报告，其中阶段性测试工作的时间界定是：依照《xxx功

能规格说明书》所描述的系统功能，对在200x年12月15日前已经完成的测试工作。

编写系统功能测试报告的目的是：把测试的完成的情况写成文档，并对测试结果进行简要分析，

为纠正软件的缺陷提供依据，也为软件验收和交付打下基础。

1.2. 测试方案设计摘要

测试设计主要体现在如下几个方面：

? 黑盒测试：把功能分割成多个功能点，在预置的数据输入、预置的操作输入后，得到预期的输出

结果，并把实测结果与预期结果比较；

? 灰盒测试：使用《Java代码缺陷自动分析工具：findbugs》对java编译后的class（或jar）文

件进行缺陷分析；

? 白盒测试：通过ORACLE提供的底层SQL来查找性能最差的SQL；

? 简单性能测试：在测试环境中进行，主要进行较多数据量的负载测试、压力测试及数据库容量测

试，并对结果进行分析，分析的指标有：

? 高峰负载时，多用户、多线程并发进行典型业务操作的稳定性；

? 高峰负载时，用户操作响应时间；

? 数据库增量对其性能的影响；

? 观察是否发生下列错误：

? 内存泄漏（Memory leak）

? 并发与同步（Concurrency and Synchronization）

? 通讯连接

? 数据库连接

? 性能测试：在生产环境进行，测试方式同简易性能测试。

? 自动测试：根据业务特点，构造可重复使用的测试脚本，脚本一般使用HPUnix的Shell编写，

少量使用java编写。脚本可以单独执行，也可以批量或并发执行。

? 测试分析脚本：使用HPUnix的Shell编写，少量复杂的分析使用java+hibernate编写。

? 测试数据：

? 基础数据：是在运行下列SQL脚本后，可以支撑正确联机交易的数据

truncate table saf;

truncate table tlog;

truncate table dlog;

truncate table running_trans;

truncate table Order_Actions;

truncate table Order_History;

黄锡波 Page 5 of 24

truncate table Order_Bills;

truncate table Cycle_Final_Status; truncate table Order_Settle; commit;

? 测试数据：在基础数据的基础上，进行一系列的联机业务测试所产生的数据

? 其它测试：如设计文档测试，即测试实际运行的实现方法与设计文档是否一致。

1.3. 测试系统环境配置

服务器环境如下：

服务器操作系统：HP-UX 11.11

数据库版本：ORACLE 9.2.0

JDK版本：JDK 1.4.1 1.4.1.03-030630-22:07-PA_RISC2.0 PA2.0

1.4. 参考资料

2. 测试内容、计划及完成状态

2.1. 测试内容、计划及完成状态

黄锡波 Page 6 of 24

黄锡波 Page 7 of 24

3. 测试成果

3.1. 测试工作输出物

?

测试工作输出物存放在StarTeam的如下目录：

StarTeam:boss1/Document/20.10.60Test_core/20.10.60.40Boss1_Upgrade 目录中有如下文档： (略)

如下图所示

(略)

? 缺陷跟踪管理

缺陷跟踪记录存放在StarTeam的如下目录： StarTeam:boss1\BugManage

目录中有如下文档及缺陷记录:

黄锡波 Page 8 of 24

ATS系统、blackberry、存储转发机制优化系统、多实例及拥塞控制。

如下图所示

4. 测试脚本及工具

4.1. 测试脚本

? 基本测试脚本

? 数据清除脚本

运行下列SQL脚本即可，其目的是为便于跟踪测试过程数据，测试前一般运行下列SQL脚

本：

truncate table saf;

truncate table tlog;

truncate table dlog;

truncate table running_trans;

黄锡波 Page 9 of 24

truncate table Order_Actions;

truncate table Order_History;

truncate table Order_Bills;

truncate table Cycle_Final_Status;

truncate table Order_Settle;

commit;

? 大圈交易测试脚本

脚本名称：test_circle

业务含义：异地存取款

存放机器：10.1.132.5

存放位置：/opt/cmcb/st_home_other/data/regression/bin

运行方式：在进入存放位置后直接运行即可

脚本扩展：只要构造一个别的大圈业务xml包，依照本脚本格式可以扩展别的大圈业务测试脚本。

简单并发：本目录下有一个小脚本a.sh，是由多个test_circle组合起来,达到简单的并发测试。

? 通知交易测试脚本

脚本名称：test_saf

业务含义：机场VIP扣款（扣积分）

存放机器：10.1.132.5

存放位置：/opt/cmcb/st_home_other/data/regression/bin

运行方式：在进入存放位置后直接运行即可

脚本扩展：只要构造一个别的通知业务xml包，依照本脚本格式可以扩展别的通知业务测试脚本。

简单并发：本目录下有一个小脚本b.sh，是由多个test_saf组合起来,达到简单的并发测试。

并发测试脚本

? 大圈交易并发测试脚本

脚本名称：sender

业务含义：异地存取款

存放机器：10.1.132.6

存放位置：/tmp/perftest/oboss

运行方式：sender 参数1 参数2 参数3

参数1：交易唯一id，由三位数字或英文组成，例如aa1

参数2：每分钟发送交易数量 参数3：并发时间（分钟） ?

脚本扩展：修改config.txt及provs.cfg,可以扩展别的大圈交易。

简单并发：本目录下有一个小脚本a.sh，是由多个test_circle组合起来,达到简单的并发测试。

? 通知交易并发测试脚本

与大圈交易并发测试脚本类似,仅修改修改config.txt及provs.cfg即可。

? BB联机业务测试脚本

脚本名称：a.sh(在sender脚本的基础上扩展)

业务含义：BB联机业务

存放机器：10.1.132.5

存放位置：/tmp/perftest/oboss

黄锡波 Page 10 of 24

运行方式：a.sh 参数1 参数2

参数1：01开户、02销户、0301变更为01类型、0302变更为02类型、04暂停、

05恢复

参数2：交易唯一id，由三位数字或英文组成，例如aa1

缺省参数：每分钟发送交易数量＝1

? 缺省参数：并发时间（分钟）＝1 BB联机业务并发测试脚本

脚本名称：sender

业务含义：异地存取款

存放机器：10.1.132.5

存放位置：/tmp/perftest/oboss

运行方式：sender 参数1 参数2 参数3

参数1：交易唯一id，由三位数字或英文组成，例如aa1 参数2：每分钟发送交易数量

参数3：并发时间（分钟）

脚本扩展：修改config.txt及provs.cfg,可以扩展别的BB业务交易。

4.2. 测试工具

? 性能监控工具

脚本名称：perfmon.sh

工具含义：记录测试过程的cpu、mem、diskIO的运行状态数据

存放机器：10.1.132.5及10.1.132.6

存放位置：/tmp

运行方式：测试前运行，测试完成后关闭

输出结果： 主机名字＋_cpu.stat（例如cmcbtst2_cpu.stat ）

主机名字＋_ disk.stat（例如cmcbtst2_disk.stat）

主机名字＋_ is.stat（例如cmcbtst2_is.stat）

主机名字＋_mem（例如cmcbtst2_mem.stat）

? webMethods Developer辅助工具

如下图所示，在test目录下，本目录可以实现：修改实例的线程占有率，使之可以在拥塞、舍弃、解除、健康状态中切换。

黄锡波 Page 11 of 24

如下图所示，在hpMTS/tool目录下，本目录可以实现：查询实例的参数、各实例的状态。

黄锡波 Page 12 of 24

4.3. BB业务模拟测试工具

如下图所示，在hpBB目录下，可以模拟大数据量的BB业务交易（填写Tlog及Dlog），以及做BB业务的日终处理。

黄锡波 Page 13 of 24

4.4. BB业务月终结算测试脚本

脚本名称：startup.sh

业务含义：BB业务月终结算测试脚本

存放机器：10.1.132.6

存放位置：/opt/cmcb/newSettle

运行方式：在进入存放位置后,修改bin目录下的SettleConfig.xml关于清算起止日期的描述，再

直接运行脚本即可。

4.5. 白盒测试脚本

通过ORACLE提供的底层SQL来查找性能最差的SQL。

SELECT * FROM (

SELECT PARSING_USER_ID

EXECUTIONS,

SORTS,

黄锡波 Page 14 of 24

COMMAND_TYPE,

DISK_READS,

sql_text

FROM v$sqlarea

ORDER BY disk_reads DESC )

测试结果如下图所示：

WHERE ROWNUM<10 ; --查找前十条性能差的sql

其它SQL的白盒测试请参考《Oracle性能调方法.doc》及《Oracle_SQL性能优化.doc》

4.6. 其它测试工具

? 灰盒测试使用的工具：

使用《Java代码缺陷自动分析工具：findbugs》对java编译后的class（或jar）文件进行缺陷分析。（详见《Java代码缺陷自动分析工具介绍.doc》）

如下图的测试结果：

黄锡波 Page 15 of 24

根据不同类别来检查缺陷的选项

5. 存在问题及建议

5.1. 待完成的测试工作

所谓待完成的测试工作，是指在20xx年12月15日之后计划测试的工作。

黄锡波 Page 16 of 24

5.2. 已经完成的测试存在的问题及建议

5.2.1.需高度重视的问题

? 问题的重现测试步骤：

（1） 使用“清空”脚本清空Tlog、Dlog等等相关表数据（见上述描述的清空脚本）；

（2） 使用BB业务脚本插入BB业务数据10万条（5万用户）（Tlog、Dlog）；

（3） 使用BB业务脚本做BB业务日终处理；

（4） 查询Tlog记录＝10万条，Dlog＝20万条；

（5） 使用BB业务月终处理；

（6） 查询5万用户的费用清算记录；

（7） 查询Tlog记录＝10万条，Dlog＝0条；

?

?

?

? 问题： 做完BB业务月终处理后查询Dlog＝0条（正确是20万条）。 问题重现频率： 三次． 问题根源 原因不明。 建议：

建议开发组尽快寻找原因。

5.2.2.缺陷列表

本缺陷列表光列出截至于20xx年12月15日，还没有解决的缺陷，其它已经解决的缺陷没有列

出，详细资料请参见相关测试资料（见上述测试工作输出物）

黄锡波 Page 17 of 24

黄锡波 Page 18 of 24

黄锡波 Page 19 of 24

5.3. 简单性能测试结果及建议

①【存储转发机制优化系统】压力测试主要数据平均值

注释：未处理的saf数据容量有三级：5万、10万、30万，【性能平均值】就是从三级数据容量的实测结果中取平均而得。

②BB业务日算月结简单性能测试结果表

③BB业务联机简单性能测试结果：

测试案例：每分钟60笔，连续跑30分钟，共跑1800笔

测试结果：成功交易1115笔，osn拥塞舍弃405笔，csn拥塞拒绝175笔，超时交易105笔

? rim测试平台响应太慢,超时响应占8%

? rim测试平台响应时间统计: 最小3.47秒/笔、最大84.49秒/笔、平均10.73秒/笔

建议:

? 投产之前,rim应提供平均并发响应值给我们

? 根据rim的平均响应时间,对参数进行调优:bb业务超时时间、拥塞门限、舍弃门限及解除门

限

黄锡波 Page 20 of 24

5.4. 其它问题及建议

? 版本控制问题及建议

前段时间对版本控制不太理想，表现出来的问题是：所测试出来的BUG或缺陷，

很多情况是版本问题。

版本问题主要反映在：程序（源码）版本没有很好地标识、版本所对应的必须配置

没有很好地描述、数据库脚本没有形成标识、数据库所必具备的业务数据过于凌乱，业

务关键数据缺少经验数据描述。

建议尽快完善，理顺脚本。

? 上线部署方案设计及建议

缺少上线部署方案设计文档。

建议该文档的关键描述是：方案设计（多方案比较）、应急措施及办法、上线部署过程

技术要点。

? 上线部署计划及建议

缺少上线部署计划文档。

建议尽快做计划，除常规的计划外，要高度重视因非技术层面的原因而造成的危害，例

如每天上班后大家不知道做什么？重点是什么？完成标准是什么？如果没有清晰的头

绪，必将事事脱节、前后矛盾、丢三拉四，总之是不完整、不顺畅，最要命的是：大家

很努力，但就是使不上劲！

文档关键域建议：

阶段描述：是什么阶段

活动描述：活动单元描述

责 任 人：责任人

时间安排：什么时间开始？什么时间结束？

输入 ：需要什么输入物

入口条件：本活动所依赖的入口条件

活动步骤：活动关键过程点

输 出 ：输出物

出口条件：输出条件、标准

6. 专题：集成测试及建议

时常有这样的情况发生，每个模块都能单独工作，但这些模块集成在一起之后却不能正常工

作。主要原因是，模块相互调用时接口会引入许多新问题。例如，数据经过接口可能丢失；一个

模块对另一模块可能造成不应有的影响；几个子功能组合起来不能实现主功能；误差不断积累达

到不可接受的程度；全局数据结构出现错误，等等。综合测试是组装软件的系统测试技术，按设

计要求把通过单元测试的各个模块组装在一起之后，进行综合测试以便发现与接口有关的各种错

误。

某设计人员习惯于把所有模块按设计要求一次全部组装起来，然后进行整体测试，这称为非

增量式集成。这种方法容易出现混乱。因为测试时可能发现一大堆错误，为每个错误定位和纠正

黄锡波 Page 21 of 24

非常困难，并且在改正一个错误的同时又可能引入新的错误，新旧错误混杂，更难断定出错的原

因和位置。与之相反的是增量式集成方法，程序一段一段地扩展，测试的范围一步一步地增大，

错误易于定位和纠正，界面的测试亦可做到完全彻底。下面讨论两种增量式集成方法。

? 自顶向下集成

自顶向下集成是构造程序结构的一种增量式方式，它从主控模块开始，按照软件的控制层次

结构，以深度优先或广度优先的策略，逐步把各个模块集成在一起。深度优先策略首先是把主控

制路径上的模块集成在一起，至于选择哪一条路径作为主控制路径，这多少带有随意性，一般根

据问题的特性确定。以下图为例，若选择了最左一条路径，首先将模块M1，M2，M5和M8集成

在一起，再将M6集成起来，然后考虑中间和右边的路径。广度优先策略则不然，它沿控制层次

结构水平地向下移动。仍以下图为例，它首先把M2、M3和M4与主控模块集成在一起，再将M5

和M6 和其他模块集资集成起来。

自顶向下综合测试的具体步骤为：

1 以主控模块作为测试驱动模块，把对主控模块进行单元测试时引入的所有桩模块用实际模

块替代；

2 依据所选的集成策略（深度优先或广度优先），每次只替代一个桩模块；

3 每集成一个模块立即测试一遍；

4 只有每组测试完成后，才着手替换下一个桩模块；

5 为避免引入新错误，须不断地进行回归测试（即全部或部分地重复已做过的测试）。

从第二步开始，循环执行上述步骤，直至整个程序结构构造完毕。下图中，实线表示已部分

完成的结构，若采用深度优先策略，下一步将用模块M7替换桩模块S7，当然M7本身可能又带

有桩模块，随后将被对应的实际模块一一替代。

自顶向下集成的优点在于能尽早地对程序的主要控制和决策机制进行检验，因此较早地发现

错误。缺点是在测试较高层模块时，低层处理采用桩模块替代，不能反映真实情况，重要数据不

能及时回送到上层模块，因此测试并不充分。解决这个问题有几种办法，第一种是把某些测试推

迟到用真实模块替代桩模块之后进行，第二种是开发能模拟真实模块的桩模块；第三种是自底向

上集成模块。第一种方法又回退为非增量式的集成方法，使错误难于定位和纠正，并且失去了在

组装模块时进行一些特定测试的可能性；第二种方法无疑要大大增加开销；第三种方法比较切实

可行，下面专门讨论。

? 2自底向上集成

自底向上测试是从“原子”模块（即软件结构最低层的模块）开始组装测试，因测试到较高层模

块时，所需的下层模块功能均已具备，所以不再需要桩模块。

自底向上综合测试的步骤分为：

1 把低层模块组织成实现某个子功能的模块群（cluster）;

2 开发一个测试驱动模块，控制测试数据的输入和测试结果的输出；

黄锡波 Page 22 of 24

3 对每个模块群进行测试；

4 删除测试使用的驱动模块，用较高层模块把模块群组织成为完成更大功能的新模块群。

从第一步开始循环执行上述各步骤，直至整个程序构造完毕。

下图说明了上述过程。首先“原子”模块被分为三个模块群，每个模块群引入一个驱动模块进行

测试。因模块群1、模块群2中的模块均隶属于模块Ma，因此在驱动模块D1、D2去掉后，模块群1与模块群2直接与Ma接口，这时可对MaD3被去掉后，Mb与模块群3直接接口，可对Mb进行集成测试，最后Ma、Mb和 Mc全部集成在一起进行测试。

自底向上集成方法不用桩模块，测试用例的设计亦相对简单，但缺点是程序最后一个模块加

入时才具有整体形象。它与自顶向综合测试方法优缺点正好相反。因此，在测试软件系统时，应

根据软件的特点和工程的进度，选用适当的测试策略，有时混和使用两种策略更为有效，上层模

块用自顶向下的方法，下层模块用自底向上的方法。

此外，在集成测试中尤其要注意关键模块，所谓关键模块一般都具有下述一或多个特征：①

对应几条需求；②具有高层控制功能；③复杂、易出错；④有特殊的性能要求。关键模块应尽早

测试，并反复进行回归测试。

黄锡波 Page 23 of 24

7. 附件

7.1.

黄锡波 Page 24 of 24