iOS XX.XX版本测试报告
Encompass中国研发中心
目录
目录 .................................................................................................................................................. 2
1版本概述........................................................................................................................................ 3
2测试过程描述 ................................................................................................................................ 3
3测试内容及结果 ............................................................................................................................ 4
3.1功能测试............................................................................................................................. 4
3.1.1 Task测试 .................................................................................................................. 4
3.1.2基本功能测试 .......................................................................................................... 4
3.1.3多语言测试 .............................................................................................................. 5
3.2安装测试............................................................................................................................. 5
3.3同步测试............................................................................................................................. 5
3.4兼容性测试 ......................................................................................................................... 5
4缺陷描述........................................................................................................................................ 5
4.1 Bug汇总 ............................................................................................................................. 5
4.2遗留问题............................................................................................................................. 6
5版本质量评估 ................................................................................................................................ 6
5.1转测试质量 ......................................................................................................................... 6
5.2发布质量............................................................................................................................. 6
7风险分析........................................................................................................................................ 6
1版本概述
描述该版本的相关信息,包括 计划发布日期、主要实现的功能(可分项目描述)等。
Mobile Sales
WMS
Information
UI(若没有UI的修改可删除此项)
详情请见iOS XX.XX Release Notes.doc 在此插入对象iOS XX.XX Release Notes.doc
2测试过程描述
分项目描述各阶段的测试周期、测试人员、工作量等信息。以表格形式展示。
3测试内容及结果
3.1功能测试 3.1.1 Task测试
分项目按照Task类型统计该版本所测试的Task总数量、通过数量、未通过数量、被打回过的Task数量、通过率等数据。以表格形式展示。
? 计划外Task
Feature:数量 Bug:数量
展示Task列表(Task较多时可插入文件对象)
3.1.2基本功能测试
测试内容:
分项目描述该版本都进行了哪些基本功能的测试,如:
Sales:Load Sheet; Invoice; Print; Price; Customer; Product; Oversold Product
WMS:Inventory Count; Move; Receiving; Voice Picking; Loadsheet Load/Return; Scanning; Printing
Information:Survey; Knowledge; eChat; Message; Mobile Task
测试结果:
统计禅道用例的执行数据,包括 项目 执行用例总数 通过 未通过 通过率。
3.1.3多语言测试
分项目描述多语言测试的页面或功能模块,以及对应的测试结果。
3.2安装测试
描述安装测试的设备、操作步骤及结果
3.3同步测试
描述同步测试的设备、数据库、测试步骤及结果
3.4兼容性测试
4缺陷描述
4.1 Bug汇总
4.2遗留问题
只列出严重问题,详细Bug列表以附件形式展示。
5版本质量评估
5.1转测试质量
根据版本整个测试过程中发现的所有bug分析版本转测试前的开发质量
5.2发布质量
根据测试结束后仍存在的遗留问题分析最终发布的版本质量
截止到目前,该版本仍遗留XX个问题未解决,其中严重问题有XX个。主要包括:
以上都是严重影响功能使用的问题,建议待这些问题全部解决后再发布iOS XX.XX版本。 7风险分析
从测试时间、测试覆盖度、版本质量等角度分析版本发布之后的一系列风险。
如:
1. 目前整合测试还未使用禅道进行管理,所以存在某些功能测试不全面的可能。
2. 项目发布计划及Task转测试的计划不是太明确,目前仍有Task不断转到测试组,所以截至目前仍有未完成测试的Task。
3. 截止到目前,遗留的严重问题较多,此时发布存在用户投诉风险。
第二篇:XX学校测试报告
XX学校网络系统性能测试报告
作者:Jason
日期:2008-4-23
目录
1.系统概述..........................................................................................................................................2
1.1系统简介..............................................................................................................................2
1.2目前存在的问题..................................................................................................................2
2.测试目的..........................................................................................................................................3
3.测试方法..........................................................................................................................................3
3.1测试环境搭建......................................................................................................................3
3.2Loadrunner脚本...................................................................................................................5
3.3Loadrunner场景设计...........................................................................................................5
4.测试结果..........................................................................................................................................6
4.1虚拟用户数运行情况..........................................................................................................6
4.2平均响应时间分析..............................................................................................................7
4.3点击数分析..........................................................................................................................9
4.4吞吐量分析........................................................................................................................10
4.5页面下载时间分析PageDownloadTimeBreakdown.....................................................11
4.6WebPageBreakdown..........................................................................................................14
4.7平均每分钟事务数分析TransactionsPerSecond...........................................................15
4.8每分钟错误数ErrorPerSecond......................................................................................16
5.结果总结........................................................................................................................................16
1.系统概述
1.1系统简介
名称:XX学校的校园网系统
用途:为浦东浦西两个校区师生提供上网服务
网络架构:网络—IPS—防毒墙—packteer—负载均衡—代理服务器—用户端
结构图:
1.2目前存在的问题
?
?
?上网速度较慢部分网页在部分电脑上可以打开,另一部分电脑打不开代理服务器不够稳定
2.测试目的
找出导致网速变慢的系统瓶颈
找出造成代理服务器不稳定的因素
测试给出的网址列表是否可用
3.测试方法
3.1测试环境搭建
在每一层网络设备后面接上一台测试机,通过Loadrunner的Vuser模拟真实用户对网络进行24小时的访问。测试机网络结构如图:
机器配置:
由于本次测试不是压力测试,所以不用了解测试机的详细配置,所有测试机均可以正常运行Loadrunner的Agent
3.2Loadrunner脚本
#include"web_api.h"
Action()
{
//web_add_cookie("PREF=ID=8968645d8b7e6ec2:NW=1:TM=1207619464:LM=1207619464:S=IunC7pMWoGX47VlQ;DOMAIN=");lr_think_time(120);
lr_rendezvous("rendezvous");
lr_start_transaction("Transaction");
web_url("{Url}",
"URL=http://{Url}/",//参数化网站列表
"Resource=0",
"RecContentType=text/html",
"Referer=",
"Snapshot=t1.inf",
"Mode=HTTP",
EXTRARES,
//"Url=/intl/zh-
CN/images/toolbar_animation_20070919.png","Referer=/",ENDITEM,
LAST);
lr_end_transaction("Transaction",LR_AUTO);
return0;
}
3.3Loadrunner场景设计
按照上面的测试网络结构图,将9台主机分别对应一个Group,每个Group设置1个Vuser,运行相同脚本,通过代理服务器上网的测试机需在runtimesettings中设置proxy,然后连续运行时间24小时。
4.测试结果
4.1虚拟用户数运行情况
在13分29秒时,sastest_rising即瑞星防毒墙后的测试机上的虚拟用户退出,其他测试机虚拟用户正常运行至测试结束。
4.2平均响应时间分析
从上图可以看出所有用户组总的平均响应时间没有超时
根据上图表格计算出各个节点测试机的平均响应时间差
与前一测试机平均测试机平均响应时间与Direct时间差响应时间差
Direct2.75100
IPS2.7950.0440.044
rising3.1970.4020.446
Packteer2.593-0.604-0.158
User13.2010.6080.45
User24.2461.6531.495
PD3.9721.3791.221
US3.6531.060.902
FL3.9351.3421.184
现象:
从与前一测试机平均响应时间差的数值可以看出User2的时间差最长,从与Direct(直接连外网的测试机)时间差的数值可以看出User2的时间差最长在代理服务器直接的三台设备连接的测试机的时间差中瑞星防毒墙所消耗的时间最长
分析:
User2和其他四台用户机使用的不同的代理服务器,因此判断问题有可能出在User2使用的代理服务器上
代理服务器前面的三台设备中,瑞星防毒墙所消耗的时间最长,可能存在性能上的问题
4.3点击数分析
上图是IPS、防毒墙、packeteer的24小时点击数变化图
4.4吞吐量分析
分析:
由上图可见,User2的平均吞吐量最大,甚至超过了直连外网的测试机,这里判断是由于代理服务器2起到了cache的作用,将部分网页内容缓存在cache里,User2再次访问相同的网页时,会直接从代理服务器2的Cache里读取而不是从服务器读取。而同样使用代理服务器1的PD、US、FL、User1四台测试机和IPS、Packteer的差别很小,因此判断代理服务器2比较繁忙,有较多用户使用因此Cache的命中率比较高
4.5页面下载时间分析PageDownloadTimeBreakdownDNS解析时间分析
由于Direct、IPS、Packteer、防毒墙不是通过代理服务器上网,所以每次访问页面都会做DNS解析,而通过代理服务器上网的几台测试机只是在第一次访问时
作解析,所以DNS解析的时间几乎可以忽略。
从Direct、IPS、Packteer和防毒墙的DNS解析时间上看,防毒墙所花的时间远远高于其他三个,因此从DNS解析的时间可以判断防毒墙对造成网络速度慢有
一定的影响
绿色表示接收数据时间,蓝色表示Firstbuffer时间
Firstbuffer是指从发出第一个http请求到收到第一个字节返回的时间
FL、PD、US、User1、User2这四台用户机的Firstbuffer的时间远大于接收数据的时间,将在TimetoFirstbufferbreakdown中分为网络时间和服务器时间来分析
绿色表示网络时间,蓝色表示服务器时间
网络时间是从发出第一个http请求到收到ACK的时间服务器时间是从收到ACK到第一个字节返回的时间
4.6WebPageBreakdown
从这张图可以看出,在各个时间段,网络带宽的速度情况
测试从下午2点06分开始,至下午4点止,运行了2个小时,从这里可以看出在上班时间网页的平均下载时间是比较久的。从第6个小时到第10个小时较为繁忙,时间大概是晚上8点到12点。从第12个小时至第19个小时下载页面的时间比较短,是网络比较空闲的时间,是凌晨2点至早上9点。
4.7平均每分钟事务数分析TransactionsPerSecond除了瑞星防毒墙由于运行14小时后虚拟用户退出而造成该值偏小外,其他的测试机值基本相同
4.8每分钟错误数ErrorPerSecond
从Rawdata里面可以看到错误的详细信息,可知错误都是由于地址无法解析、部分网站连接超时造成的,是所访问的网站本身原因,因此可以排除测试过程中由于设备或者测试机不稳定而造成错误的可能。
5.结果总结
1)瑞星防毒墙的性能存在问题,导致系统整体速度变慢;
2)IPS的性能不佳,因为访问SSL的网页时效率较低;
3)代理服务器2存在问题,不稳定且负荷过大,判断有可能是代理服务器本身问题或者是负载均衡器的设置有问题,使得代理服务器2的负荷过大。