商丘市睢县人民法院局域网建设工程
信息系统工程文档
系统测试验收报告
北京紫光华宇软件股份有限公司
2013-04-04
1测试概况
1.1. 项目名称:
商丘市睢县人民法院局域网建设工程
1.2. 工程情况简介
在河南省商丘市睢县人民法院的全力配合下,北京紫光华宇软件股份有限公司顺利地完成了睢县人民法院网络信息系统项目的集成工作。本文档根据北京紫光华宇软件股份有限公司为睢县人民法院所作的系统设计方案中规定的各项技术指标及技术参数及合同的要求制定,针对睢县人民法院网络信息系统项目的集成工作进行验收测试。
睢县人民法院网络信息系统设计方案如下:
为了在充分考虑技术上的合理性的基础上有效地利用投资,在我们为睢县人民法院设计的计算机网络系统中,采用了以下方案:
? 网络交换机采用1台骨干交换机iSpirit5636T作为核心交换机;
? 使用了6台交换机ISpirit2528G作为分支交换机提供办公用户的快速以
太的网络连接;
? 采用1台IBM X3850服务器和1台IBM X3650服务器分别作为数据库和
应用服务器;
? 使用1台APC 5K UPS为机房设备供电;
1.3. 设备清单列表
目前已交付给睢县人民法院用于网络信息系统建设的设备清单如下:
商丘市睢县人民法院网络信息系统验收测试报告
3
商丘市睢县人民法院网络信息系统验收测试报告
4
商丘市睢县人民法院网络信息系统验收测试报告
补充的设备清单列表如下:
5
商丘市睢县人民法院网络信息系统验收测试报告
1.4. 睢县人民法院网络系统简介
1.4.1 睢县人民法院网络系统逻辑拓朴图
6
商丘市睢县人民法院网络信息系统验收测试报告
1.4.2 睢县人民法院网络系统物理拓朴图
1.4.3 机柜主要网络设备连接拓扑图
备注:下图为网络中心机柜示意图,IBM3850数据库服务器和IBM3650应用服务器以及管理工作站分别接联想iSpirit5636T核心交换机的1-4千兆电口,办公2楼、办公5楼和审判楼配线间的分支交换机通过光纤接口连接核心交换机的光纤接口。
7
商丘市睢县人民法院网络信息系统验收测试报告
1.4.4
机房设备摆放图
上面是睢县人民法院网络机房的机柜设备的摆放位置,主要包括本项目的IBM x3850和IBM x3650服务器,联想iSpirit5636T核心交换机,以及商丘市法院三级网的设备。
根据双方所签合同的规定和睢县人民法院的的有关要求,北京紫光华宇软件股份有限公司进行睢县人民法院网络信息系统的系统集成工作的验收。
2. 测试内容和结果
根据系统验收交付计划, 睢县人民法院、北京紫光华宇软件股份有限公司双方于 年 月 日共同对系统进行了验收测试,测试项目及结果如下:
测试时间:
年 月 日
测试人员:
睢县人民法院:
测试人: 联系方式:
8
商丘市睢县人民法院网络信息系统验收测试报告
北京紫光华宇软件股份有限公司:
测试人: 联系方式 010-82622288转655
测试目的:
整个系统的集成工作是否符合合同所规定的技术规范及要求,确保设备和软件实现和提供了其相应的功能。
2.1. 主机系统
1. 主数据库服务器(IBM X3850服务器)
1)设备加电运行状况: 正常□ 不正常□
2)操作系统运行状况: 正常□ 不正常□
3)网卡配置及工作情况 正常□ 不正常□
2. 应用服务器(IBM X3650服务器)
1)设备加电运行状况: 正常□ 不正常□
2)操作系统运行状况: 正常□ 不正常□
3)网卡配置及工作情况 正常□ 不正常□
2.2. 网络系统
1.核心交换机联想iSpirit5636T核心交换机
1)设备加电运行状况: 正常□ 不正常□
2)是否符合IP规划: 是□ 否□
3)网络联通情况: 正常□ 不正常□
2.分支交换机联想ISpirit2528G(共6台联想ISpirit2528G交换机)
1)设备加电运行状况: 正常□ 不正常□
2)是否符合IP规划: 是□ 否□
3)网络联通情况: 正常□ 不正常□
9
商丘市睢县人民法院网络信息系统验收测试报告
2.3. 机柜
1)
2)
3)
4) 设备设备外包装状况: 完好□ 破损 □ 设备参数是否符合: 符合□ 不符合□ 机柜位置规划是否合理: 合理□ 不合理□ 机柜内设备布局是否合理: 合理□ 不合理□
2.4. UPS电源
1) 主机设备外观状况: 完好□ 破损 □
2) 位置安装规划是否合理: 正常□ 不正常□
3) 供电是否正常 正常□ 不正常□
2.5. 应用软件
1) 安装报告是否签署完毕: 完毕□ 未完毕□
3测试总结
在双方共同努力下,在睢县人民法院网络信息系统建设中,整套系统工作效果良好,测试结果合格。
双方确认签字
睢县人民法院 北京紫光华宇软件股份有限公司
代表签字:
年 月 日 年 月 日 代表签字:
10
XX系统测试总结报告
1 引言
1.1 编写目的
编写该测试总结报告主要有以下几个目的
1. 通过对测试结果的分析,得到对软件质量的评价
2. 分析测试的过程,产品,资源,信息,为以后制定测试计划提供参考
3. 评估测试测试执行和测试计划是否符合
4. 分析系统存在的缺陷,为修复和预防bug提供建议
1.2 背景
1.3 用户群
主要读者:XX项目管理人员,XX项目测试经理
其他读者:XX项目相关人员。
1.4 定义
严重bug:出现以下缺陷,测试定义为严重bug
ü 系统无响应,处于死机状态,需要其他人工修复系统才可复原。
ü 点击某个菜单后出现“The page cannot be displayed”或者返回异常错误。
ü 进行某个操作(增加、修改、删除等)后,出现“The page cannot be displayed” 或
者返回异常错误
ü 当对必填字段进行校验时,未输入必输字段,出现“The page cannot be displayed”
或者返回异常错误
ü 系统定义不能重复的字段输入重复数据后,出现“The page cannot be displayed” 或
者返回异常错误
1.5 测试对象
略
1.6 测试阶段
系统测试
1.7 测试工具
Bugzilla缺陷管理系统
1.8 参考资料
《XX需求和设计说明书》 《XX数据字典》
《XX后台管理系统测试计划》 《XX后台管理系统测试用例》 《XX项目计划》
2 测试概要
XX后台管理系统测试从20xx年7月2日开始到20xx年8月10日结束,共持续39天,测试功能点174个,执行2385个测试用例,平均每个功能点执行测试用例13.7个,测试共发现427个bug,其中严重级别的bug68个,无效bug44个,平均每个测试功能点2.2个bug。
XX总共发布11个测试版本,其中B1—B5为计划内迭代开发版本(针对项目计划的基线标识),B6-B8为回归测试版本。计划内测试版本,B1—B4测试进度依照项目计划时间准时完成测试并提交报告,其中B4版本推迟一天发布版本,测试通过增加一个人日,准时完成测试。B5版本推迟发布2天,测试增加2个人日,准时完成测试。
B6-B11为计划外回归测试版本,测试增加5个工作人日的资源,准时完成测试。 XX测试通过Bugzilla缺陷管理工具进行缺陷跟踪管理,B1—B4测试阶段都有详细的bug分析表和阶段测试报告。
2.1 进度回顾
版本/时间 B1 B2 B3 B4
计划开始
时间 2007.7.2 2007.7.16 2007.7.23 2007.7.28
实际开始时间 2007.7.2 2007.7.16 2007.7.23 2007.7.29
计划完成时间 2007.7.5 2007.7.19 2007.7.25 2007.7.31
实际完成时间 2007.7.5 2007.7.19 2007.7.24 2007.7.31
加班 否 否 否 1个人1天
增加资源 否 否 2个人日 2个人日
1个人2天
B5 B6 B7 B8 B9 B10 合计
2007.8.1 2007.8.9
2007.8.2 2007.8.4 2007.8.5 2007.8.9
2007.8.6 2007.8.10
2007.8.3 2007.8.4 2007.8.5 2007.8.10
否
2个人日
2个人1天 2个人日 1个人1天 1个人日 否
2个人日
1个人6天 11个人日
2.2 测试执行
此次测试严格按照项目计划和测试计划执行,按时完成了测试计划规定的测试对象的测试。针对测试计划规定的测试策略,在测试执行中都有体现,在测试执行过程中,依据测试计划和测试用例,对系统进行了完整的测试
2.3 测试用例 2.3.1 功能性
系统实现的主要功能,包括查询,添加,修改,删除。
系统实现的次要功能,包括为用户分配酒店,为用户分配权限,渠道酒店绑定,渠道RATE绑定,权限控制菜单按钮。
需求规定的输入输出字段,以及需求规定的输入限制
2.3.2 易用性
操作按钮提示信息正确性,一致性,可理解性 限制条件提示信息正确性,一致性,可理解性 必填项标识
输入方式可理解性
中文界面下数据语言与界面语言的一致性
3 测试环境
3.1.1 软硬件环境 硬件环境
硬件配置 应用
服务器
CPU:Intel(R) Celeron(R)
CPU 2.40GHz stepping
01 Memory: 1048256k
HD:ST380817AS 80G
SATA
OS:CentOS 4.2
JDK 1.5.0_06 Apache 2.2.0 Tomcat 5.5.15
10M LAN 数据库服务器 CPU:Intel(R) Celeron(R) CPU 2.40GHz stepping 01 Memory: 1048256k HD:ST380817AS 80G SATA OS:CentOS 4.2 MySQL 5.0.17 Linux 客户端 CPU:Intel(R) Celeron(R) CPU 2.40GHz stepping 01 Memory: 1048256k HD:ST380817AS 80G SATA Window 2000 Professional (SP2)IE6.0.2900.2180.xpsp_sp2 10M LAN
软件配置 网络环境
10M LAN
3.1.2 网络拓扑
应用服务器、数据库服务器
4 测试结果
4.1 Bug趋势图
此次黑盒测试总共发布11个版本,B1—B5为计划内迭代开发版本(针对项目计划的基线标识),B6-B11为进行的回归测试版本,bug版本趋势图如下图所示:
第一阶段,增量确认测试。
时间从20xx年7月2日到20xx年8月3日。从Bug趋势图中可以看出,每个版本的bug数基本维持在60个左右。
B1:从图中看到B1共有33个BUG,因为B1版本有一个功能模块在B2版本才开始测试,B1测试模块相对较少,所以B1版本bug相对较少。
B2:由于B1中的一个功能模块增加到Build 2中进行测试,这一版本除了对B1中的BUG进行验证同时对B1进行了回归测试,所以B2中的bug数相对B1出现了明显的增长趋势,
B3:B3版本因为有B2版本的bug验收测试,以及B1,B2的回归测试,共发现67个bug,和B2基本保持一致。
B4:B4版本bug数有一个下降的趋势,是因为B4版本推迟发布,新增加了测试人员参与测试,对系统不够熟悉,以及测试时间紧张,部分测试用例没有执行,测试覆盖度不够,
所以发现bug数呈下降趋势。
B5:B5版本bug数又有一个增加的趋势,主要是由于开发功能模块多,该版本需求定义不明确。
第二阶段,BUG验证和功能回归确认测试。
时间从20xx年8月4日到20xx年8月14日。B6和 B7进行了回归测试,B8没有进行回归测试,只验证了B1-B7的bug。
B6 :进行第一轮回归测试,发现的bug数为33个,遗留一个问题,为数据字典种类默认值问题
B7 :进行第二轮回归测试,第一次回归测试没有涉及到权限控制菜单按钮的测试,在本次回归测试的时候,重点进行了这个方面的测试,又发现了大量的权限相关的bug。
B8 :B8没有进行全面的回归测试,只验证了B1-B7未通过验证的bug,所以该版本的bug数明显比较少。
B9 :B9版本进行了全面的回归测试,同时重点测试了权限控制,所以发先的bug数又呈现上升的趋势。测试发现44个bug,严重级别的bug为14个,严重级别的bug集中在权限控制上,功能性严重bug没有发现,说明权限控制依旧不稳定,但是系统功能已经稳定。
B10:B10版本验证了B9版本发现得bug,没有进行全面的回归测试。B10版本在验证bug的时候,重现打开Bug6个,新增bug2个,重新打开bug有5个为严重级别bug,是关于权限控制的bug,而新发现的bug,1个为严重级别的bug,也是属于权限控制的。说明,权限控制还存在着问题,需要修改权限管理bug,重新发布版本后进行全面的回归测试。B10版本新发现的bug详细分析见遗留bug分析。
B11:B11中验证了B1—B10未验证的bug,重点测试了权限控制,同时进行了查询,添加,删除,修改的功能测试,测试过程中未发现bug。
4.2 Bug严重程度
测试发现的bug主要集中在normal和minor阶段,属于一般性的缺陷,但是测试的时候,出现了68个严重级别的bug,出现严重级别的bug主要表现在以下几个方面
ü 系统主要功能没有实现
ü 添加数据代码重复后,出现的找不到页面的错误
ü 多语言处理,未考虑非语种代码的情况
ü 数据库设计未考虑系统管理员角色,导致用系统管理员进行操作的时候出现找
不到页面错误
ü 权限控制异常
严重级别bug按版本分布如下:
由严重bug版本分布图可以看出,严重级别的bug版本趋势和bug版本趋势基本是一致的,但是,在B7和B9版本中年,严重级别的bug明显增多,主要原因是B7和B9版本测试了权限控制按钮功能,权限问题出现的严重级别的bug比较多。
权限bug主要表现:
ü 具有相应按钮操作的权限,页面无相应按钮,无法执行该功能
ü 无相应按钮操作权限,页面有相应按钮,点击按钮能出现权限异常错误
ü 有相应按钮操作权限,有相应按钮,执行该功能出现权限异常错误
4.3 Bug引入阶段
由上图可以看出,主要为前台编码和页面设计方面的bug,占到了全部bug的2/3。
4.4 Bug引入原因
由上图可以看出,主要为前台编码和易用性方面的bug,占到了全部bug的2/3。
4.5 Bug状态分布
由bug状态图可以看出,未解决的bug有4个,主要是B8中新提交的bug,是关于用户管理的bug,因为用户权限管理需要重新设计所以,该部分的bug暂时没有解决。 5 测试结论
5.1 功能性
系统正确实现了通过数据字典管理基础数据的功能,实现了数据内容的多语言功能,实现了中英文界面。实现了基础数据管理,酒店集团管理,酒店基础信息管理,渠道管理,代理管理,用户管理的查询,添加,修改,删除的功能,系统还实现了将权限控制细化到菜单按钮的功能。
系统在实现用户管理下的权限管理功能时,存在重大的缺陷,权限控制不严密,权限设计有遗漏。
5.2 易用性
现有系统实现了如下易用性:
ü 查询,添加,删除,修改操作相关提示信息的一致性,可理解性
ü 输入限制的正确性
ü 输入限制提示信息的正确性,可理解性,一致性
现有系统存在如下易用性缺陷:
ü 界面排版不美观
ü 输入,输出字段的可理解性差
ü 输入缺少解释性说明
ü 中英文对应的正确性
ü 中英文混排
5.3 可靠性
现有系统的可靠性控制不够严密,很多控制是通过页面控制实现的,如果页面控制失效,可以向数据库插入数据,引发错误。
现有系统的容错性不高,如果系统出现错误,返回错误类型为找不到页面错误,无法回复到出错前的状态
5.4 兼容性
现有系统支持window下的IE浏览器和傲游浏览器,支持linux系统下的IE浏览器和火狐浏览器。
现有系统未进行其他兼容性测试
5.5 安全性
现有系统控制了以下安全性问题:
ü 把某一个登录后的页面保存下来,不能单独对其进行操作不进行登录 ü 直接输入某一页面的Url能否打开页面并进行操作不应该允许。
现有系统未控制以下安全性问题:
ü 用户名和密码应对大小写敏感
ü 登陆错误次数限制
6 分析摘要
6.1 覆盖率
此次测试,所有测试用例都是在中文界面下执行,未在英文界面下执行,测试不包括英文界面下的测试,也不包括正对英文翻译的测试。
此次测试,部分页面需求描述无明确的定义,对输入限制无详细定义,无明确的测试依据,在测试过程中,测试是根据输入字段含义,测试人员理解,以及和项目经理,开发人员沟通获得测试依据,无法保证测试依据的正确性和完整性,因此,没有进行完整的,正确的无效数据的测试,测试覆盖率不够,无法保证测试的有效性和正确性
下面为此次测试测试用例覆盖率分析图:
6.2 遗留缺陷的影响
1. 缺陷描述:酒店娱乐项添加页面, “距离”字段无单位,建议增加单位
缺陷影响:距离字段无单位说明,无衡量标准,用户易用性不好
推迟原因:需求定义无单位定义,统一在升级版本中解决
2. 缺陷描述:酒店基础信息管理模块,默认语言设置不一致。用中文查询酒店,进入酒店
基础信息模块后,如下模块,语言显示为“请选择” 列表页面 添加页面
取消政策
停留政策 担保政策
而其他模块语言显示“中文语言”
缺陷影响:相同功能模块默认语言设置不一致,一致性不好
推迟原因:默认语言设置,目前无统一标准,升级版本中统一
3. 缺陷描述:tomcat日志有乱码,日志无项目名称,查看不方便
缺陷影响:其他项目日志都有项目名称,日志无项目名称,查看不方便
推迟原因:目前的日志为了调试方便,显示了很多其它信息,在项目正式发布时会统一处理的。
4. 缺陷描述:取消政策管理要么,取消时间“天/小时”缺少单位补充字段
缺陷影响:该处因为是两个不同的单位时间,需要有另外一个单位补充字段补充所所填写内容的单位
推迟原因:该缺陷单位补充字段本来存在,翻译不够准确,不能理解为补充单位的字段,需要等翻译完毕后再确认。
5. 缺陷描述:数据字典种类修改,默认值设置后,在调用该数据字典种类的数据字典,默
认值无显示
缺陷影响:数据字典种类的默认值设置后,不能显示设置的默认值,相当于数据字典种类默认值设置功能未实现
推迟原因:该功能暂时不好实现,需要和和系统的默认语种一起处理。
6. 缺陷描述:担保政策管理页面,“Edposit Due”缺少解释行输入描述信息
缺陷影响:缺少解释性输入描述信息,用户不理解应该输入什么内容
推迟原因:需求没有描述,需要解释性说明文字由项目经理整理后,在升级版本中添加
7. 缺陷描述:多媒体添加,文件上传功能未实现
缺陷影响:文件上传功能未实现
推迟原因:该功能暂时不好完成,在下个版本中完成
8. 缺陷描述:参照点添加权限和修改权限单独控制出现权限异常错误
缺陷影响:用户执行添加,修改时,出现权限异常,无法完成任务
推迟原因:B9版本发现该权限,B10版本未通过验证,目前该模块开发人员调休,无法修改bug,
9. 缺陷描述:酒店渠道绑定关系权限控制出现权限异常错误
缺陷影响:a>权限控制易用性不好,会引起用户误操作;
b>权限控制错误 机场 参照点 会议室详情 打包促销 服务 Rate
推迟原因:B9版本发现该权限,B10版本未通过验证。该模块后台无insert权限,只有Update权限,与其他模块不同,需要重新设置权限控制方式。
10.缺陷描述:酒店Rate绑定关系权限控制出现权限异常错误
缺陷影响:a>权限控制易用性不好,会引起用户误操作;
b>权限控制错误
推迟原因:B9版本发现该权限,B10版本未通过验证。该模块后台无insert权限,只有Update权限,与其他模块不同,需要重新设置权限控制方式。
11.缺陷描述:新建业务管理员权限用户,进入打包促销页面出现权限异常错误
缺陷影响:除系统管理员外,其他用户无法进行打包促销操作
推迟原因:B10版本发现该bug,目前该模块开发人员调休,无法修改bug
6.3 建议
ü 在项目开始的时候应该制定编码标准,数据库标准,需求变更标准,开发和测
试人员都严格按照标准进行,可以在后期减少因为开发,测试不一致而导致的问题,同时也可以降低沟通成本。
ü 发布版本的时候,正确布置测试环境,减少因为测试环境,测试数据库数据的
问题而出现的无效bug。
ü 开发人员解决bug的时候,填写bug原因以及解决方式,方便bug的跟踪。 ü 开发人员在开发版本上发现bug,可以通知测试人员,因为开发人员发现的bug
很有可能在测试版本上出现,而测试人员和开发人员的思路不同,有可能测试人员没有发现该bug,而且,这样可以保证发现的bug都能够被跟踪。
7 度量
7.1 资源消耗 测试时间
测试人力 20xx年7月2日至20xx年8月6日共35天 1人×7天+1人×35天=42人天
服务器:PC 2台
硬件资源
客户端:PC 2台
7.2 缺陷密度
8 典型缺陷引入原因分析
测试过程中发现的缺陷主要有以下几个方面:
1. 需求定义不明确
需求文档中,存在功能定义错误,输入输出字段描述错误,输入输出字段限制定义错误,输入输出限制定义缺失这几种类型的缺陷。使得开发人员根据需求进行设计时,没有考虑相关功能的关联性,以及需求错误的地方,在测试过程中,需求相关的问题表现出来。需求做改正,设计必须跟着做改动,浪费时间和影响开发人员的积极性,降低开发人员对需求的信任,可能会导致开发人员不按照需求进行设计而根据自己的经验来进行设计。
2. 功能性错误
ü 功能没有实现,导致无法进行需求规定的功能的测试。主要是无法进入酒店
设施管理,会议室管理页面,酒店安全项管理无法保存信息,地区,房型删除功能缺失。
ü 功能实现错误,实现了需求未定义的功能,执行需求定义的功能时系统出现
错误。主要是角色拥有不属于自己的权限,酒店联系人删除页面跳转错误等。
3. 页面设计和需求不一致
页面设计没有根据需求进行,输入,输出字段文字错误,用户无法理解字段含义。页面设计没有完成需求规定的输入限制验证,导致用户可以输入错误的或者无效的数据,这些数据有可能会引起功能性错误。
4. 多语言数据问题
ü 系统中很多输入字段是通过调用数据字典的方式输入,但是现有系统中,很
多数据字典的多语言信息没有完成,导致使用多语言的时候,显示空白字段。 ü 系统中很多地方使用多语言,由于多语言编码不统一导致页面设计和数据设
计使用语言编码不一致,由此引起的多语言数据无法显示的缺陷。
5. 页面设计易用性缺陷
ü 页面设计不友好,系统中很多页面的输入字段无明确的输入提示,用户无法
理解何种输入是正确的,但是用户输入错误后,系统提示出错,增加用户负担。
ü 提示信息错误,不同模块相同结果的提示信息不一致,用户操作后,相应的
提示信息不明确,引起用户误解。
ü 提示信息一致性,用户在不同页面执行相同的操作,提示信息不同。
6. 开发人员疏忽引起的缺陷
因为开发人员的疏忽,导致系统需要验证的地方,调用了错误的验证,系统需要进行输入控制的地方没有进行相应的控制。
密级内部公开文档编号NTTTSYSCSBG版本号V10验收测试报告惠州市新中新电子技术开发有限公司惠州市新中新电子技术开发有限公司…
惠普国际人才中心CRM测试项目作者XXX软件验收测试报告目录1文档信息3111213142核实文档版本3修改记录3文档批准3分发3…
商丘市睢县人民法院局域网建设工程信息系统工程文档系统测试验收报告北京紫光华宇软件股份有限公司20xx04041测试概况11项目名称…
监控系统测试报告监控报警系统验收测试报告有限公司2年月日第1页监控系统测试报告目录12345678引言3测试标准3测试时间地点参与…
NoG10400201测试报告样品名称广东省公路基础数据管理系统生产单位委托单位广东省公路局测试类型验收测试报告日期20xx年11…
项目功能测试验收报告验收报告文件编号ltRHXYDXZQYSBG01gt版本号lt10gt编制人李建霞编制日期20xx年02月11…
惠普国际人才中心CRM测试项目作者XXX软件验收测试报告目录1文档信息3111213142核实文档版本3修改记录3文档批准3分发3…
火灾自动报警及消防联动控制系统检测验收参考规范10适用范围本参考规范规定了火灾自动报警及消防联动控制系统的检测内容方法和验收要求等…
文档编号编写批准XX项目用户验收测试报告文档名称XX项目用户验收测试报告审核批准日期文件修改记录目录文件修改记录211概述411测…
网站项目功能测试验收报告文档管理信息表文档修改记录表目录1测试范围及目的网站首页展会中心资讯中心展商中心参展服务111213141…
XXXX软件系统验收实施办法(征求意见稿)目前,国内软件的验收没有可参照的强制性标准,就软件测试和评价来说,参照的标准是GB/T1…