工程硕士学位论文选题报告
及论文工作计划
课题名称 基于ERP 系统的自动化测试
学 号 0296170018
姓 名 孙建中
专业领域 软件测试
所在院、系 软件学院
校内导师 杜庆峰/马思丰
校外导师 许金水
选题时间 2003 年 12 月 5 日
同济大学研究生院
年 月 日
一、立论依据
课题来源、选题依据和背景情况、课题研究目的、工程应用价值
1. 来源
经济的全球化，技术变革的日新月异，已经使全世界的经济环境发生了深刻的变化。作为社会经济活动基本单元的企业，尤其是大型企业，需要什么样的管理来适应这一切？企业竞争和全球市场一体化带来的国际竞争更加重了企业的困难，如何解决产品积压、进行成本控制和提高用户满意度等等许多问题摆在当前企业领导人的的面前，要想有效地解决这些问题，其根本出路是在企业与市场之间建立起有效的闭环系统。实施ERP是提高大型企业竞争力的有利手段。但是我国大量企业还处在信息化的起步阶段，有些制造业企业连ERP还没有实现，甚至连ERP的基本概念都没有，所以未来十年，ERP软件系统将会在我国得到长足发展，以适应经济全球化的市场竞争,所以挖掘和完善基于ERP系统的软件设计和测试方法将是未来中国的一个发展点。
ERP已经成为近年来IT界的一个热点，应用ERP能够有效改善管理，全面提升企业竞争能力已是不争的事实。然而，作为大型企业，如何在众多的ERP产品中选择适合自身特点和管理要求的ERP软件？同时，ERP的应用和实施是一个系统工程，有其固有的规律和完善的流程。企业惟有充分认识这些因素，才能做到科学决策和有效控制，规避风险，保障ERP系统的成功应用。ERP软件是企业活动与计算机软件技术结合而产生的产品。作为一种软件工程产业，计算机软件生产和工业生产具有共性和特性，产品质量是生产过程的最重要的关注点。而软件生产包括六个环节：软件开发（需求分析/设计/实现）、软件生产管理、软件质量控制、软件配置管理、软件测试、软件维护。第一个环节加工软件产品，后五个环节决定软件生产的质量和软件产品的质量。
根据我在参与的几项物流软件的分析、设计和测试工作(包括上海东昌物流管理系统的分析和设计，奇胜进销存管理系统的测试等)，还有目前我在公司实习阶段参与的大型ERP系统的自动化回归测试项目所获得的经验，针对ERP实施的各种要素以及目前和未来该系统将要面临的各种问题，结合测试理论和方法的研究，我构思了这篇论文，目的是对ERP系统的测试规范化、通用化和自动化。
2. 背景情况
ERP (Enterprise Resource Planning企业资源计划) 是一个以会计导向的咨询系统用来接受制造、运输和结算客户订单所需的整个企业资源的确认和规划。ERP系统的主要功能是整合企业整体作业流程及资源，提供即时而正确的咨询，以缩短反映市场需求时间。完整的ERP软件根据企业日常运作的几项重要作业，而有Materials Management、Sales and Distribution、Human Resources、Financial Accounting、Production Planning等几项主要大模块。各个模块可以整合运作，也可以独立作业。ERP基本整合了生产、销售、人事、财务、产品计划等五大管理功能于一个系统中，ERP不仅要整合五大管理功能，也整合了位于不同地理位置的跨地区、跨国企业。
企业实施ERP系统，必须科学地编制和应用物料编号、客户编号、销售订单编号、合同编号、发票编号和文档编号等具有特殊意义的字符和数字组成的序列，为企业管理带来极大的方便。在开发或者推广应用ERP系统时，要根据企业的具体情况及其特点，建立企业的代码体系，制定一系列的代码编制标准，为代码设计以及输入/输出/核对提供依据。所以数据的完整和正确性是我们关注的ERP软件和测试的重点。对于如此复杂的系统和庞大海量的数据，如果通过人工进行测试是那将是不可思意和几乎很难实现的(比如不断重复一个Create Contract过程100次，或输入Customer数据1000条)，而测试自动化将会使我们脱离这些烦恼和痛苦。
3. 选题依据
ERP系统是个多联系、多环节的复杂系统。系统中的各个子系统通过物资实体的运动将它们联系在一起，一个子系统的输出就是另一个子系统的输入。合理组织物流活动，就是各个环节相互协调，根据总目标的需要适时、适量地调度系统内的基本资源。ERP系统中的相互衔接是通过信息予以沟通的，基本资源的调度也是通过信息的传递来实现，因此信息和数据在ERP活动中起着神经系统的作用，而神经系统的反应即系统的性能又是重中之重。这篇论文所提的针对大型ERP系统的软件自动化测试正是在这样的背景下产生的，使用先进和实用的测试及自动化测试理论和方法，使现代大型ERP系统的功能和性能质量得到保证。
因为ERP系统的复杂性和高要求性使得软件测试的工作量很大（占50%左右的总开发时间），而其中又有很大部分适于测试自动化，因此，自动化测试的设计和改进会对整个开发工作的质量、成本和周期带来非常显著的效果。ERP商业软件项目工程正面临的时间、人员和资源紧缩的挑战。软件企业都试图用最低的成本做更多的测试工作，而且希望测试速度也尽可能的快。实现这样的目的采用规范化的自动测试是明智的选择。
(1) ERP 系统PR (Purchase Order) 框架图
因为商务逻辑决定了商务流(图中1，2，3是一个顺序不可跨越过程)，一个模快的输出数据将是下一个模快的输入数据。在验证了数据的有效性之后，我们可以把这些过程自动化，不但可避免麻烦的手工测试过程和看错输入输出数据而且还能重用测试用例进行重复测试。
4. 课题研究目的
随着软件功能越来越强,复杂性也越来越大。这就使软件的质量保证，可靠性保证面临巨大的挑战。特别是诸如通讯、交通医疗、航空航天、银行、工业生产等行业，软件的微小瑕疵就可能造成对生命安全、天文数字的巨额财产的严重威胁。例如，1999年底月，火星气象轨道人造卫星的使命，在经过41周4.16亿英里的成功飞行之后，终于失败了。这颗卫星在就要开始进入火星轨道时消失了。卫星的缺陷本来可以通过测试查出:洛克希德.马丁太空科学家使用的是英制(磅) 加速度数据，而喷气推进实验室采用公制 (牛顿) 加速度数据进行计算。NASA宣布了一项5万美元的计划调查出现这种问题的原因，浪费了大量人力物力和时间。
现代ERP软件应用的广泛应用，使得对该领域的研究更加突出。我希望通过测试的角度、软件质量保证的角度对ERP系统的自动化测试方法的分析和研究深入到其他软件测试领域，使基于ERP系统的软件测试方法也能应用到其它软件系统中。并且从软件企业角度来说，如果对当今流行的测试软件、测试理论和方法有了深入的研究和理解，在此基础上就能够帮助企业有效地、有步骤地调整其现有软件生产过程，帮助企业通过ISO9001认证，提高开发和测试队伍的CMM等级，最终达到提高软件产品质量，加强企业竞争力促进企业发展的目的。
5. 工程应用价值
软件质量的重要性是肯定的，但同时要对软件质量的重要经济意义要有清醒认识，一个软件组织应该把软件质量和经济效益结合才能取得实质性进展的。获取经济效益对每一个渴望生存和发展的公司来说都是至关重要的，但是很多公司不愿投入成本在改进或增加测试的方法研究上，通过提高产品质量来提高利润的方法通常被忽视。
对许多软件公司来说，不良质量的成本非常可观，这种成本不仅包括测试和维护等明确应计入的成本，而且还包括各种人员等身上未能够明确计入的成本，因质量的失败他们不得不耗费大量的时间，如重新计划、改变设计等等。研究表明，在现场修改错误的费用比缺陷预防工作（如代码审查、测试等）的总费用多出近18倍。而且，对产品特性的错误编码将导致销售上的损失，或导致顾客转向竞争对手的产品。经验表明，系统地采取提高质量的措施，增加自动化测试方法研究的投入，在无需进一步投资的情况下，每两年可以使质量缺陷成本减少一半，达到利润翻番的目标。
作为一个软件企业来讲，必须制定一个有效的质量改进计划，也就是说，单有较好质量的产品和更有效的开发进程是不够的，而且必须能使测试过程更加合理，增加测试的速度和有效性。一个软件测试方法的改进计划最重要的东西是它切实可行，它必须同时致力于减少缺陷率、削减服务费用、提高顾客满意度以及提高生产率和收入。测试越来越成为软件工程中的重中之重。
二、文献综述
国内外研究现状、发展动态
国外软件测试发展情况
由于近几年来国内外越来越发现软件测试的重要性，于是对软件测试有了较深入的研究并得到长足发展。软件测试从原来软件开发瀑布模型中的一个小阶段，变成V模型，再成长到现在的X模型。而且近一步的出现针对测试的测试工具的研究和开发，使得工具测试代替人力测试，把测试人员从繁重的重复的工作中解放出来。所以软件测试的自动化也是软件领域一次不小的革命。
要知道进行自动化测试的前提必须要有测试工具去支持。
1. 针对结构性测试工具一般是针对代码进行测试，测试中发现的缺陷可以定位到代码级，根
据测试工具原理的不同，又可以分为静态测试工具和动态测试工具。
a) 静态自动测试工具
静态测试工具直接对代码进行分析，不需要运行代码，也不需要对代码编译链接，生成可执行文件。静态测试工具一般是对代码进行语法扫描，找出不符合编码规范的地方，根据某种质量模型评价代码的质量，生成系统的调用关系图等。静态测试工具的代表有Telelogic公司的Logiscope软件、PR公司的PRQA软件。
b) 动态自动测试工具
动态测试工具与静态测试工具不同，动态测试工具的一般采用“插桩”的方式，向代码生成的可执行文件中插入一些监测代码，用来统计程序运行时的数据。其与静态测试工具最大的不同就是动态测试工具要求被测系统实际运行。动态测试工具的代表有Compuware公司的DevPartner软件、Rational公司的Purify系列。
2. 针对功能性测试工具适用于功能性测试的场合，功能性测试工具包括功能测试工具和性能测试工具。功能性测试工具的一般原理是利用脚本的录制(Record)/回放 (Playback) ，模拟用户的操作，然后将被测系统的输出记录下来同预先给定的标准结果比较。黑盒测试工具可以大大减轻功能性测试的工作量，在迭代开发的过程中，能够很好地进行回归测试。功能性测试工具的代表有Rational公司的TeamTest、Robot，Compuware公司的QACenter，另外，专用于性能测试的工具包括有Radview公司的WebLoad、Microsoft公司的WebStress等工具。
3. 针对大型ERP软件的功能和性能的测试工具的代表有Mercury Interactive公司的QuickTest Professional6.0和QuickTest Professiona7.31。
4. 测试管理工具用于对测试进行管理。一般而言，测试管理工具对测试计划、测试用例、测试实施进行管理，并且，测试管理工具还包括对缺陷的跟踪管理。测试管理工具的代表有Rational公司的Test Manager、Copperware公司的Track Record等软件。
在国外，而且对于基于ERP系统的软件测试也有不少成功的案例，并且软件的自动化测试已经有了比较成熟的一套理论。尽管软件测试及自动化的好处已经引起国内许多软件企业的重视，但实施的并不多，更多的企业是在观望和考虑。而虽然有些软件企业开发了自己的测试软件，但是都是功能范围比较小、只适合自己企业的自动化测试工具。ERP和软件测试自动化在国内市场的缺乏使得在基于ERP软件的自动化测试上有了广阔被看好的前景。
三、研究内容
1. 主要研究内容及拟关键技术
当前社会上出现很多关于自动化测试的方法叫自动化测试生命周期方法学(The Automated Testing Lifecycle Methodology，ATLM) ，如下图。
ATLM图
随着软件开发技术和工具的提高，软件工程和软件过程实践的推广，软件测试日益得到重视和专业化。在此并不对整个测试体系做研究，而是研究基于ERP软件测试方面最值得分析和研究的部分：ERP的集成与系统测试自动化。对它的测试如何的自动化做出分析和研究。
自动化测试就是希望能够通过自动化测试工具或其他手段，按照为测试所预定计划进行自动的测试，目的是减轻手工测试的劳动量，并且防止不必要的由于人力原因造成的数据输入错误，从而达到提高软件质量的目的。自动化测试的目的在于发现老缺陷。而手工测试的目的在于发现新缺陷。
测试自动化涉及到测试计划、测试体系、自动化化编译、持续集成、连续系统测试以及自动化测试等方面整合。也就是说要让测试能够自动化，不仅是技术、工具的问题，更是一个公司和组织的文化问题。首先公司从资金、管理上支持您，其次要有专门的测试团队去建立适合自动化测试的测试计划、测试体系；其次就是进行自动化的单元测试、自动化的功能测试和性能测试的过程。
a) 自动化测试的优点
· 对新版本执行回归测试
对于ERP软件，每发布一个新的版本，其中大部分功能和界面都和上一个版本相似或完全相同，这部分功能特别适合于自动化测试， 从而可以让测试达到测试每个特征的目的。只是要特别注意一些录入数据的唯一性，还有时间数据等。
· 替代更多更频繁的测试
对于ERP软件来说，一个系统的功能点至少有上万个甚至几十万，无论从新开发的系统还是系统升级来说，测试期最多只有几个月，而在测试期间是每几天都要发布一个版本供测试人员测试，人工测试是非常的耗时和繁琐，这样必然会使测试效率低下。而且模拟几百个用户有些非功能性方面的测试：压力测试、并发测试、大数据量测试、崩溃性测试，用人来测试是不可能达到的。 在没有引入自动化测试工具之前，为了测试并发，几百号人只能在统一的口令中同时按下同一个按钮。
· 具有一致性和可重复性
由于每次自动化测试运行的脚本是相同的，所以每次执行的测试具有一致性，人是很难做到的. 由于自动化测试的一致性，很容易发现被测软件的任何改变，进一步增加了软件信任度。
· 更好的利用资源
理想的自动化测试能够按计划完全自动的运行，在测试人员不可能实行整日整夜的情况下，自动化测试可以胜任这个任务，完全可以在周末和晚上执行测试。这样充分的利用了公司的资源, 也避免了开发和测试之间的等待。
· 解决测试与开发之间的矛盾
通常在开发的末期,进入集成测试阶段, 由于每发布一个版本的初期,测试系统的错误比较少,这时开发人员有等待测试人员测试出错误的时间. 事实上在叠代周期很短的开发模式中，存在更多的矛盾， 但自动化测试可以解决其中的主要矛盾。
总之，自动化测试的好处和收益是很明显的，但也只有顺利事实了自动化测试才能从中获得它的益处。
b) 自动化测试局限
误区、限制自动化化测试好处很多，但也有很多的局限，也正因为很多老板对自动化测试的期望太高，所以有很多执行自动化测试失败的例子。
· 期望自动化测试能取代手工测试
不能期望自动化测试来完全取代手工测试，测试主要还是要靠人工的。并且很多数据是否具有一致性必须要测试人员根据经验去判断，自动化测试只能提供测试结果。
· 期望自动测试发现大量新缺陷
同样不能期望自动化测试去发现更多新的缺陷，事实证明新缺陷越多，自动化测试失败的几率就越大。发现更多的新缺陷应该是手工测试的主要目的。对于自动化测试的工具来说本身不是很完美的，工具自身也许会造成测试的结果错误而误认为是系统本身的错误。测试专家James Bach总结得 85%的缺陷靠手工发现，而自动化测试只能发现15％的缺陷。其实自动化测试对发现老缺陷的功能比较强。
· 工具本身不具有想象力
工具毕竟是工具，出现一些需要思考、体验、GUI美观方面的测试，自动化测试工具无能为力。
· 技术问题、组织问题、脚本维护
自动化测试的推行，有很多阻力，比如组织是否重视， 是否成立这样的测试团队，是否有这样的技术水平，对于测试脚本的维护工作量也挺大的，是否值得维护等等问题都必须考虑。
2. 拟采取的研究方法、技术路线、实施方案及可行性分析
为了更好更有效的进行自动化测试，我们需要根据要测试的ERP软件特性，按步骤的为每个测试环节制定测试方法和实施方案。
(1) 自动化测试脚本录制工作的准备，脚本测试用例（test scenarios/test case）的生成和测试数据的准备
当了解了ERP系统的Business logic和workflow后，用测试录制工具自动生成测试用例并且进一步用人工编程语言或更方便的剧本语言（VB script language等）写出短小的程序来产生大量的测试输入（包括输入数据与操作指令）。或同时也按一定的逻辑规律产生标准输出。输入与输出的文件或字段按规定进行配对，以便控制自动化测试及结果核对的程序易于操作。
(2) 不断的提高和完善自动测试脚本用例
· 增加检查点（checkpoint）
· 脚本参数化
· 增加输出值
· 手工增添有用脚本代码
(3) 测试的执行写控制
对于单个的测试运行，挖潜的机会在测试的设置及开始运行和结果的对比及显示。有时候，需要反复修改程序，重新汇编和重新测试。这样，每一个循环的各种手工键入的设置与指令所花费的时间，加起来就非常可观。利用软件工具的循环控制来帮助，就能节省大量的时间。
对于ERP系统的测试或回归测试这涉及大量测试个案运行的情况，挖潜的的机会除了利用软件工具来实现自动化之外，就是怎样充分利用一切硬件资源。往往，就算是在白天的工作时间内，每台计算机的负荷都没有被充分利用。能够把大量测试个案分配到各台机器上去同时运行，就能节省大量的时间。另外，把大量的系统测试及回归测试安排到夜间及周末运行，更能提高效率。
软件自动测试工具必须能够有办法方便地选择测试用例库中的全部或部分来运行，也必须能够自由地选择被测试的产品或中间产品采作为测试对象。
(4) 测试结果与标准输出的对比
在设计测试用例的时候，必须考虑到怎样才能够易于对此测试结果和标准输出。输出数据量的多少及数据格式对比较的速度有直接影响。而另一方面，也必须考虑到输出数据与测试用例的测试目标的逻辑对应性及易读性，这将会大大有利于分析测试所发现的不吻合，也有利于测试用例的维护。
(5) 不吻合的测试结果的分析、分类、记录和通报
用于对测试结果与标准输出进行对比的特殊软件，往往也同时担任对不吻合的测试结果进行分析、分类、记录和通报的任务。“分析”找出不吻合的地方并指出错误的可能起因。“分类”包括各种统计上的分项，例如，对应的源程序的位置，错误的严重级别（提示、警告、非失效性错误、失效性错误；或别的分类方法），新发现的还是已有记录的错误，等等。“记录”，是按分类存档。“通报”，是主动地对测试的运行者及测试用例的“负责人”通报出错的信息。
“负责人”是用以指定一个测试用例运行时发现的缺陷，由哪一个开发人员负责分析（有时是另外的开发人员引进的缺陷而导致的错误）及修复。在设立测试用例库时，各用例均应有指定的负责人。
产品缺陷的记录及跟踪工具能够建立一个完善的Bug跟踪体系，包括报告Bug、查询Bug记录并产生报表、处理解决。例如，共享的免费工具Bugzilla是作为一个产品缺陷的记录及跟踪工具。
(6) 总测试状况的统计，报表的产生
这些都是自动测试工具所应有的功能。目的是提高过程管理的质量，同时节省用于产生统计数据的时间。产生出来的统计报表，最好是存放到一个约定的路径位置，以便任何有关人员都知道怎样查阅。同时，可按需要用电子邮件向适当的对象（如项目经理，测试经理和质量保证经理）寄出统计报表。
3. 预期目标
通过对基于ERP系统的自动化测试方法论和体系的建立，将能达到如下几个目标：
a) 通过对大型ERP软件的测试方法和体系的研究和工作，我们能够对热门领域的业务流程和商务逻辑有了较为清楚的认识。对将来ERP系统的设计或者是测试工作打下坚实的基础。
b) 测试方法和用例的可重复性使我们将来对类似的系统测试进行用例/代码重用，减少不必要的重复工作，形成一定的知识积累。
c) 自动化测试的出现本身的目的就是为了节省时间和劳动复杂度，以及可以不受时间（白天黑夜）的限制。建立好ERP系统自动化测试体系，就可以测试使工程师从繁重的测试工作中解脱出来。
此外，软件工程的总目标是充分利用有限的人力和物力资源，高效率、高质量地完成测试。为了降低测试成本，选择测试用例时应注意遵守“经济性”的原则。测试量会随时间的推移发生改变。在一个竟争很激烈的市场里，争取时间可能是制胜的关键。所以一个高效较为完善的自动化测试体系的建立有利于公司在激烈的市场竞争中生存。
四、研究基础
理论基础
(1) 自动化软件测试的生命周期
测试主要依据是被试系统的研制任务书和技术规格书，是对软件整体功能和性能的综合测试与评估。测试原理是软件测试活动的理论基础，测试方法是测试原理的实际应用和获得测试数据的手段。基于软件的共性，对于软件的测试要遵循一般软件的测试原理和方法。同时，针对软件的特性，必须找到合适的测试方法。针对自动化测试的特点，建立自动化测试用例的合理性对于软件的测试与评估具有关键作用，而如何使设计的用例合情、合理并且典型有效并不容易。所以应该与软件的研制人员以及最终用户一起，有针对性地研究实际操作环境并加以描述，形成合理的测试用例集。另一方面，软件运行环境的复杂程度对软件评估具有重要作用，所以应产生尽量逼真的运行背景以便于研究。软件测试的周期如图1所示。
图1 自动化软件测试的生命周期
在软件测试生命周期内，错误在软件开发的每个阶段都可能被带入，有些是本身系统错误，有些是自动化测试工具引入的脚本错误并不是系统的错误。在软件测试中，某些错误被发现、分类、隔离，最终被纠正。由于软件不断被修改，所以这个过程是一个反复进行的过程。
(2) 测试方法和流程
测试用例（包括自动化测试用例）实际上是对软件运行过程中所有可能存在的目标、运动、行动、环境和结果的描述，是对客观世界的一种抽象。设计测试用例即设计针对特定功能或组合功能的测试方案，并编写成文档。测试用例应该体现软件工程的思想和原则。测试用例的选择既要有一般情况，也应有极限情况以及最大和最小的边界值情况。因为测试的目的是暴露应用软件中隐藏的缺陷，所以在设计选取测试用例和数据时要考虑那些易于发现缺陷的测试用例和数据，结合复杂的运行环境，在所有可能的输入条件和输出条件中确定测试数据，来检查应用软件是否都能产生正确的输出。
软件测试所得到的数据经过处理以后，可以用来作为评估软件系统是否满足用户需求的依据。软件测试阶段的信息流如图2所示：
图2 软件测试信息流
实践基础
有基于ERP系统的测试研究或工作经验，设计过基于ERP系统的自动化测试用例子。按照软件工程及CMM质量保证体系的要求执行对ERP软件的自动化测试过程。
五、工作计划
六、评审意见
