软件自动化测试工具介绍
一、功能测试工具
1、QTP测试工具
全名HP QuickTest Professional software ，最新的版本为HP QuickTest Professional 11.0 QTP是quicktest Professional的简称，是一种自动测试工具。使用QTP的目的是想用它来执行重复的手动测试，主要是用于回归测试和测试同一软件的新版本。因此你在测试前要考虑好如何对应用程序进行测试，例如要测试那些功能、操作步骤、输入数据和期望的输出数据等
QuickTest针对的是GUI应用程序，包括传统的Windows应用程序，以及现在越来越流行的Web应用。它可以覆盖绝大多数的软件开发技术，简单高效，并具备测试用例可重用的特点。其中包括：创建测试、插入检查点、检验数据、增强测试、运行测试、分析结果和维护测试等方面。
2、WinRunner
Mercury Interactive公司的WinRunner是一种企业级的功能测试工具，用于检测应用程序是否能够达到预期的功能及正常运行。通过自动录制、检测和回放用户的应用操作，WinRunner能够有效地帮助测试人员对复杂的企业级应用的不同发布版进行测试，提高测试人员的工作效率和质量，确保跨平台的、复杂的企业级应用无故障发布及长期稳定运行。
企业级应用可能包括Web应用系统，ERP系统，CRM系统等等。这些系统在发布之前，升级之后都要经过测试，确保所有功能都能正常运行，没有任何错误。如何有效地测试不断升级更新且不同环境的应用系统，是每个公司都会面临的问题。
3、Rational Robot
是业界最顶尖的功能测试工具，它甚至可以在测试人员学习高级脚本技术之前帮助其进行成功的测试。它集成在测试人员的桌面IBM Rational Test Manager上，在这里测试人员可以计划、组织、执行、管理和报告所有测试活动，包括手动测试报告。这种测试和管理的双重功能是自动化测试的理想开始。
4、AdventNet QEngine
AdventNet QEngine是一个应用广泛且独立于平台的自动化软件测试工具，可用于Web功能
测试、web性能测试、Java应用功能测试、Java API测试、SOAP测试、回归测试和Java应用性能测试。支持对于使用HTML、JSP、ASP、.NET、PHP、JavaScript/VBScript、XML、SOAP、WSDL、e-commerce、传统客户端/服务器等开发的应用程序进行测试。此工具以Java开发，因此便于移植和提供多平台支持。
5、SilkTest
是业界领先的、用于对企业级应用进行功能测试的产品，可用于测试Web、Java或是传统的C/S结构。SilkTest提供了许多功能，使用户能够高效率地进行软件自动化测试。这些功能包括：测试的计划和管理；直接的数据库访问及校验；灵活、强大的4Test脚本语言，内置的恢复系统(Recovery System)；以及具有使用同一套脚本进行跨平台、跨浏览器和技术进行测试的能力。
6、QA Run
QARun的测试实现方式是通过鼠标移动、键盘点击操作被测应用，即而得到相应的测试脚本，对该脚本可以进行编辑和调试。在记录的过程中可针对被测应用中所包含的功能点进行基线值的建立，换句话说就是在插入检查点的同时建立期望值。在这里检查点是目标系统的一个特殊方面在一特定点的期望状态。通常，检查点在QARun提示目标系统执行一系列事件之后被执行。检查点用于确定实际结果与期望结果是否相同
7、Test Partner
是一个自动化的功能测试工具，它专为测试基于微软、Java和Web技术的复杂应用而设计。它使测试人员和开发人员都可以使用可视的脚本编制和自动向导来生成可重复的测试，用户可以调用VBA的所有功能，并进行任何水平层次和细节的测试。TestPartner的脚本开发采用通用的、分层的方式来进行。没有编程知识的测试人员也可以通过TestPartner的可视化导航器来快速创建测试并执行。通过可视的导航器录制并回放测试，每一个测试都将被展示为树状结构，以清楚地显现测试通过应用的路径。
8、Holodeck-强大的故障植入软件测试工具
Holodeck is an advanced fault-injection tool that gives you the power to attack an application while it monitors and logs everything your application does - every function call, registry entry, piece of data read or written.
9、Telelogic TAU
TAU第二代包含三个最新的、最强大的技术用来加速大规模软件开发和测试：统一建模语言(UML)及它的许多最新修订版本中的特性，UML2.0；功能强大的测试语言TTCN-3和新
的构造系统的方法：Model Driven Architecture(模型驱动构架)。这三个新的业界标准结合成TAU的已经过认可的软件开发平台，形成了一个系统，一个一流的稳定可靠的工具解决方案。TAU第二代是系统与软件开发解决方案的一个突破，它把业界从使用了太长时间的手工、易出错、以代码为中心的方法中释放出来，自然而然地迈向下一步，一个更加可视化、自动化及可靠的开发方法。
Telelogic TAU/Tester是基于通用测试语言TTCN-3,用于自动化的系统和集成测试的强大工具。TAU/Tester以现代化的开发工具为基础，提供高层测试功能，支持整个测试生命周期，加速自动化测试。TAU/Tester可使用户特别关注于测试的开发，因为TTCN-3语言是独立于开发语言或测试设备的，且是抽象和可移植的。
二、性能自动化测试工具
1、主流负载性能测试工具
QA Load：Compuware公司的QALoad是客户/服务器系统、企业资源配置（ERP）和电子商务应用的自动化负载测试工具。QALoad是QACenter性能版的一部分，它通过可重复的、真实的测试能够彻底地度量应用的可扩展性和性能。QACenter汇集完整的跨企业的自动测试产品，专为提高软件质量而设计。QACenter可以在整个开发生命周期、跨越多种平台、自动执行测试任务。
SilkPerformer：一种在工业领域最高级的企业级负载测试工具。它可以模仿成千上万的用户在多协议和多计算的环境下工作。不管企业电子商务应用的规模大小及其复杂性，通过SilkPerformer，均可以在部署前预测它的性能。可视的用户化界面、实时的性能监控和强大的管理报告可以帮助我们迅速的解决问题，例如加快产品投入市场的时间，通过最小的测试周期保证系统的可靠性，优化性能和确保应用的可扩充性。
LoadRunner：一种较高规模适应性的，自动负载测试工具，它能预测系统行为，优化性能。LoadRunner强调的是整个企业的系统，它通过模拟实际用户的操作行为和实行实时性能监测，来帮助您更快的确认和查找问题。此外，LoadRunner 能支持最宽范的协议和技术，为您的特殊环境，量身定做地提供解决方案。
WebRunner：是RadView公司推出的一个性能测试和分析工具，它让web应用程序开发者自动执行压力测试；webload通过模拟真实用户的操作，生成压力负载来测试web的性能，用户创建的是基于javascript的测试脚本，称为议程agenda，用它来模拟客户的行为，通过执行该脚本来衡量web应用程序在真实环境下的性能。
2.资源监控工具
资源监控作为系统压力测试过程中的一个重要环节，在相关的测试工具中基本上都有很多的集成。只是不同的工具之间，监控的中间件、数据库、主机平台的能力以及方式各有差异。而这些监控工具更大程度上都依赖于被监控平台自身的数据采集能力，目前的绝大多数
的监控工具基本上是直接从中间件、数据库以及主机自身提供的性能数据采集接口获取性能指标。
首先，不同的应用平台有自身的监控命令以及控制界面。比如UNIX主机用户可以直接使用topas，vmstat,iostat了解系统自身的健康工作状况。另外，weblogic以及websphere平台都有自身的监控台，在上面可以了解到目前的JVM的大小、数据库连接池的使用情况以及目前连接的客户端数量以及请求状况等等。只是这些监控方式的使用对测试人员有一定的技术储备要求，需要自己熟练掌握以上监控方式的使用。
第三方的监控工具相应的对一些系统平台的监控进行了集成。比如Loadrunner对目前常用的一些业务系统平台环境都提供了相应的监控入口，从而可以在并发测试的同时，对业务系统所处的测试环境进行监控，更好的分析测试数据。
但Loadrunner工具其提供的监控方式还不是很直观，一些更直观的测试工具能在监控的同时提供相关的报警信息，类似的监控产品如QUEST公司提供的一整套监控解决方案包括了主机的监控、中间件平台的监控以及数据库平台的监控。QUEST系列监控产品提供了直观的图形化界面，能让测试者尽快进入监控的角色。
3. 故障定位工具以及调优工具
技术的不断发展以及测试需求的不断提升，故障定位工具应运而生，它能更精细的对负载压力测试中暴露的问题进行故障根源分析。在目前的主流测试工具厂商中，都相应地提供了对应的产品支持。尤其是目前.NET以及J2EE架构的流行，测试工具厂商纷纷在这些领域提供了相关的技术产品，比如Loadrunner模块中添加的诊断以及调优模块、Quest公司的PerformaSure、Compuware的Vantage套件以及CA公司收购的Wily的Introscope工具等等，都在更深层次上对业务流的调用进行追踪。这些工具在中间件平台上引入探针技术，能捕获后台业务内部的调用关系，发现问题所在，为应用系统的调优提供直接的参考指南。
在数据库产品的故障定位分析上，Oracle自身提供了强大的诊断模块，同时，Quest公司的数据库产品也在数据库设计、开发以及上线运行维护都提供了全套的产品支持。
三、白盒测试工具
白盒测试工具的选择在于对开发语言的支持、代码覆盖的深度、嵌入式软件的测试、测试的可视化等
白盒测试工具是对源代码进行的测试，测试的主要内容包括词法分析与语法分析、静态错误分析、动态检测等
目前测试工具主要支持的开发语言包括：标准C、C＋＋、Visual C＋＋、Java、Visual J＋ 等
Parasoft白盒测试工具集
Jtest Java 代码分析和动态类、组件测试
Jcontract Java 实时性能监控以及分析优化
C++ Test C,C++ 代码分析和动态测试
CodeWizard C,C++ 代码静态分析
Insure++ C,C++ 实时性能监控以及分析优化
其它公司
test .Net 代码分析和动态测试
logiscope c/c++ Verlog公司的静态、动态分析工具
还有testbed、Cantata c/c++等
Rational工具集中的puricoverage和purify、quantify
Compuware白盒测试工具集
BoundsChecker C++,Delphi API和OLE错误检查、指针和泄露错误检查、内存错误检查TrueTime C++,Java,Visual Basic 代码运行效率检查、组件性能的分析
FailSafe Visual Basic 自动错误处理和恢复系统
Jcheck M$ Visual J++ 图形化的纯种和事件分析工具
TrueCoverage C++,Java,Visual Basic 函数调用次数、所占比率统计以及稳定性跟踪 SmartCheck Visual Basic 函数调用次数、所占比率统计以及稳定性跟踪
CodeReview Visual Basic 自动源代码分析工具
Xunit白盒测试工具集
Aunit Ada http://www.libre.act-europe.fr
CppUnit C++
ComUnit VB,COM
Dunit Delphi
DotUnit .Net
HttpUnit Web http://c2.com/cgi/wiki?HttpUnit
HtmlUnit Web
Jtest Java
JsUnit(Hieatt) javascript 1.4以上
PhpUnit Php
PerlUnit Perl
XmlUnit Xml
DUnit .net
JUnit java
四、测试管理工具
1、TD TestDirector TestDirector是全球最大的软件测试工具提供商Mercury Interactive公司生产的企业级测试管理工具，也是业界第一个基于Web的测试管理系统,它可以在您公司内部或外部进行全球范围内测试的管理。通过在一个整体的应用系统中集成了测试管理的各个部分，包括需求管理，测试计划，测试执行以及错误跟踪等功能，TestDirector极大地加速了测试过程。 2、QC HP-Mercury Quality Center
Quality Center是一个基于Web的测试管理工具，可以组织和管理应用程序测试流程的所有阶段，包括指定测试需求、计划测试、执行测试和跟踪缺陷。此外，通过Quality Center还可以创建报告和图来监控测试流程。
Quality Center是一个强大的测试管理工具，合理的使用Quality Center可以提高测试的工作效率，节省时间，起到事半功倍的效果
3、我们公司用的缺陷管理工具
我们公司用的是禅道管理工具；
现在还有免费的TC、testlink等免费的管理软件；
第二篇：手机软件自动化测试研究报告
手机软件自动化测试研究报告
由安博测试空间技术中心/提供
一、引言
由于最近一些事务好久没有更新博文了，望关注我博客的网友们谅解，正好最近一段时间着手自动化测试的研究特将我的一些思路及想法写出来与网友们分享，也算是20xx年新年贺礼了。前段时间我也有一篇关于自动化测试的文章《手机软件自动化测试探索》相对较浅显，本文在此基础上进行了更进一步的研究探索，希望大家能得到更进一步的了解。手机软件的自动化测试一直困扰着手机软件测试从业人员，本文将最近的一些研究新发现及具体思路作详尽阐述，希望能给予大家更多的参考萌发新的思路。 通过长期的手工测试得出如下可以以自动化测试来解决的问题：
1. 压力测试：一些连续不断的操作，比如反复切换歌曲播放及联网操作等；
2. 极限临界测试：一些极限条件的构造（创建多个列表）及输入字符个数等；
3. 兼容及中断：比如在播放或下载歌曲的时候来电话或者信息；
4. 基本功能回归测试：这样大大的节约了时间和人力成本。
对于以上的测试很多也是可以通过手工来完成，但部分测试采用手工测试是不可靠的，比如最近发现一个Bug（在联网的一瞬间如果来一个信息等中断操作出现死机），类似这种Bug出现条件非常苛刻和临界的情况在手工测试中是很难发现和构造这种测试环境的，即使发现了在很大程度上也属于一种偶然，同时给开发人员定位这个问题也带来了很大的困难。【文章来源：张元礼的博客 /vincetest】 面对诸多因素，我们不得不重视手机软件的自动化测试研究。其实如果掌握了一些自动化测试要领，从简单入手，逐步实现和突破，相信一定能够解决手机软件自动化测试的难题。
二、自动化测试原理
【自动化测试原理图】
1. TestAgent
TestAgent为嵌入在手机软件系统中的一个测试代理模块，解决PC端与手机端交互处理及互联消息通讯问题，这是区别于其他桌面软件自动化测试的关键点，也是嵌入式软件自动化测试的主要特征之一。通过串口或蓝牙设备与PC端中的TestTool建立通讯，其具备的主要功能如下：
1) 接收TestTool发送的消息并向手机端软件系统分发消息及任务
2) 监控手机端软件运行情况并根据相应的约束反馈给PC端的TestTool
3) 被测软件的功能（接口）封装及消息响应
2. TestTool
TestTool自动化测试工具在PC端用于测试控制及测试操作实体，与TestAgent对应，该工具与常规的自动化测试软件一样，其具备的主要功能如下：
1) 向手机端TestAgent发送可识别的消息及任务
2) 接收来自手机端TestAgent的反馈结果
3) 对来自手机端TestAgent的反馈进行测试业务的处理
4) 将测试业务的处理结果呈现给测试人员
三、测试业务
1. 主动式测试
TestTool主动式测试是根据我们的测试需求比如（压力、性能、极限）在TestTool中编写测试脚本控制手机端软件进行测试，或者构造一些手工很难实现的测试场景，通过运行脚本向TestAgent发送消息及任务，TestAgent再向被测软件分发消息及任务，并将结果原路返回给TestTool，TestTool再通过数据处理分析得出测试结果。关键点：发送和分发消息、接收及处理反馈结果（结果判断）。
2. 回归式测试
基本功能的回归测试最为简单的方法就是录制和回放机制，通过运行录制的测试脚本达到按照先前的操作顺序、步骤、输入数据等再次测试被测软件以此达到回归测试的目的。
1) 录制：就是在执行手工测试时将手工测试的任何操作及返回结果（预期正确的结果）通过TestAgent在TestTool中保存下来，并进行分析处理形成一个可执行的脚本。录制的关键点：按键或触屏消息、坐标、响应结果（GUI界面）。
2) 回放：与录制相对应，运行录制时产生的脚本，与主动式测试方式不同的是回归式测试是事先要录制脚本，通过录制脚本来代替人工编写脚本。回放关键点：发送和分发消息、接收及处理反馈结果（结果判断）。
四、关键技术
1. 消息传送机制
利用手机Modem中提供的AT Command通过串口向手机端建立命令消息通讯，目前手机厂商提供了常用的AT Command，基本满足普通的自动化测试需求，另外厂商还提供了用户自定义AT Command的功能，当标准的AT Command不能满足自动化测试需求时，我们可以利用自定义AT Command来实现我们自动化测试中所需要的消息通讯。如下为MTK平台上实现自定义AT Command的关键样例代码：
view plaincopy to clipboardprint?
//customer_at_command.c
#include "kal_non_specific_general_types.h"
#include "stdio.h"
#include "string.h"
#define CUSTOM_SYMBOL '^' // '+' and '/' and ' \ 'is NOT allowed
#define MAX_UART_LEN 128
/*****************************************************************************
* customer command
*****************************************************************************/
#define PLAY "play"
#define STOP "stop"
kal_uint8 custom_get_atcmd_symbol(void);
void custom_command_hdlr(char *full_cmd_string);
extern void rmmi_write_to_uart(kal_uint8 * buffer, kal_uint16 length, kal_bool stuff);
/***************************************************************************** * FUNCTION
* custom_command_hdlr()
* DESCRIPTION
* This function should parse the custom AT command and do correspondent action.
* Customer should maintain and modify the code.
* PARAMETERS
* kal_uint8 * cmd_string
* RETURNS
* none
*****************************************************************************/ void custom_command_hdlr(char *full_cmd_string)
{
char buffer[MAX_UART_LEN];
char cmd_name[15];
kal_uint8 index = 3; // we start parsing index after the CUSTOM_SYMBOL
kal_uint8 tmp_idx = 0;
while ((full_cmd_string[index] != '=' ) && //might be TEST command or EXE command (full_cmd_string[index] != '?' ) && // might be READ command
(full_cmd_string[index] != 13 )) //carriage return
{
cmd_name[tmp_idx] = full_cmd_string[index] ;
tmp_idx ++;
index ++;
}
cmd_name[tmp_idx] = '\0' ;
/* just a very basic example : customer can implement their own */
if (strcmp(cmd_name, PLAY) == 0)
{
/* BEGIN: do the following parsing and correspondent action */
/* */
/* */
/* */
/* END: do the following parsing and correspondent action */
/* generate final result code: "OK" */
//Todo 实现消息分发或功能调用
sprintf(buffer, "Hello Play");
printf("%s\n", "Hello Play");
rmmi_write_to_uart((kal_uint8*)buffer, (kal_uint16)strlen(buffer), KAL_TRUE);
}
else if (strcmp(cmd_name, STOP) == 0)
{
/* BEGIN: do the following parsing and correspondent action */
/* */
/* */
/* */
/* END: do the following parsing and correspondent action */
/* generate final result code: "OK" */
//Todo 实现消息分发或功能调用
sprintf(buffer, "Hello Stop");
printf("%s\n", "Hello Stop");
rmmi_write_to_uart((kal_uint8*)buffer, (kal_uint16)strlen(buffer), KAL_TRUE);
}
else
{
/* unrecognized command */
/* generate final result code: "ERROR" */
sprintf(buffer, "ERROR");
printf("%s\n", "ERROR");
rmmi_write_to_uart((kal_uint8*)buffer, (kal_uint16)strlen(buffer), KAL_TRUE);
}
return;
}
kal_uint8 custom_get_atcmd_symbol(void)
{
return (CUSTOM_SYMBOL);
}
2. 图像识别
图像识别主要通过抓取LCD屏幕显示图像进行智能识别来模拟测试工程师的双眼辨识文字或图像信息，以此判断测试结果。主要涉及图像的获取和对比分析，智能识别是一个比较专业的研究领域，更进一步的研究需要进行调研，目前我们可以考虑是否能够通过第三方工具来实现，比如借助目前已经成熟的测试工具QTP等。对于图像获取在手机平台上应该具备这样的接口，或者自行开发这个接口。
3. 录制回放
录制的信息及相应的实现方式如下：
1) 按键消息：由TestAgent捕获该消息并同步给PC端的TestTool
2) 笔点消息：由TestAgent捕获该消息并同步给PC端的TestTool
3) 坐标：由TestAgent捕获该坐标信息并同步给PC端的TestTool
4) 响应结果（GUI界面回放的预期结果）：通过图像抓取接口抓取图像并同步给PC端的TestTool（如果做到极致的话在PC端所呈现的GUI界面与实际手机GUI界面同步一致，等同于PC机上的显示为手机GUI的一个镜像）
5) 时钟同步：操作步骤的时间点、操作的先后顺序、输出结果响应时间
6) 录制脚本组装：TestTool将所有的录制信息进行处理并组装成一套可运行的测试脚本，要求运行该脚本后能够与录制时的操作完全一样，并能将回放时的实际结果与预期结果进行比较从而得出执行结果。
7) 回放：主要是运行组装好的测试脚本，将回放时的实际结果与预期结果进行比较从而得出执行结果，关键点还是图像识别。
4. 测试管理
1) 脚本语言：可以选用Python、TCL作为脚本语言，用一些开源的工具进行脚本文件的管理维护。
2) 测试数据：需要建立一个数据仓库管理数据，比如录制时产生的消息、坐标、GUI图像信息等。
3) 测试结果管理：主要涉及测试报告的呈现及保存。
五、 辅助工具及设备
1. 串口线
2. 超级终端（PC机自带）或者手机厂商提供的配套工具
3. 脚本编写、调试、维护及管理工具（开源的比较多）