加快回归测试的步伐：累积测试分析和目标测试入门

　　本文内容包括:

　　不能达到的目标

　　自动化陷阱

　　停止运行测试，开始寻找缺陷

　　心理转变

　　注释

　　本文来自于 Rational Edge：通常所说的“累积测试分析(Cumulative Test Analysis)”技术向软件测试团队提供了对自动化测试更合理的方法，特别是在回归测试集的领域内。理解 CTA 如何提高您的测试效率。

　　您的测试团队已经非常成功了。您已经对自动化大量投资，并且因生成大型且全面的测试集而著称 —— 您可以无可非议地为之自豪!在整个开发过程和多个环境中，这些组合为您很好地服务。因此现在是您休息一会，并且收获您所劳动的好处的时候了，对吗?或者，您将成为您自己的自动化测试集的牺牲品?

　　也许，像许多团队一样，您已经达到饱和点，现在您有太多的测试，以至于不能说明。也许运行测试的团队已经不再是撰写它们的团队了，并且知识是稀少的。或者也许您受困于对大量所支持的环境和代码流不断地重复运行同样的测试的工作。对于那些您不能运行的测试，或者您没有时间运行的，您对您所带来的风险进行过观察吗?

　　无疑地，如果您只运行少量的测试，并且仍旧在代码中找到一样的缺陷，这是更好的。通过运行可能的测试尽可能快地找到第一次出现的缺陷不同样是更好的吗?

　　不能达到的目标

　　甚至是出于一片好心，每个测试人员在他或她的工作生涯中，都将撰写一个根本不测试所打算测试内容的测试。这可能是由于缺乏经验，对产品功能设计的变更，因为测试人员做出关于产品或其预期使用价值的无效假设，或者只是因为测试人员用尽了时间。总而言之，最终结果是由于与产品缺陷不相关的原因而失败的测试。

　　这些失败测试的累积效应创造了回归套件中的灰色区域，您的回归测试的 5% 到 15%是困难的、不可靠的或不可能成功地运行完成的。这些阻塞的或不可靠的测试消耗了宝贵的测试时间，并且混淆了测试人员对真实的产品缺陷的观察，这导致了在回归测试循环末尾的测试进度中的指数的缩小。虚幻的所有可用测试的100% 的运行目标常常看起来非常接近，但是却难以达到。

　　自动化陷阱

　　也许您已经落入了严重依赖于您的测试自动化基础架构的陷阱了。这里有一些您可能考虑的问题。您是：

　　缺少用于测试您所期望的每样东西的资源吗?

　　陷入无休止的测试循环吗?

　　在没有找到任何新的缺陷的情况下，运行成千上万的测试吗?

　　在不了解那些测试的价值的情况下，花费您大部分的时间来确定坏掉的测试吗?

　　瞄准 100% 运行您所有的测试的目标吗?在质量和风险方面您了解此目标吗?

　　您可能需要的是，不再瞄准任意数量的测试，而着眼于从上次测试以来在产品中实际变更的功能是什么，以及测试此变更所需要的是什么。总而言之，您需要转移到更深思熟虑的“目标”测试的方法。

　　停止运行测试，开始寻找缺陷

　　通常所说的累积测试分析(Cumulative Test Analysis，CTA)方法是基于五个基本原则的：

　　定期地运行自动化的测试。

　　了解现有测试材料的实际覆盖和质量。

　　运行尽可能少的测试。将测试关注在只运行那些覆盖了发生变更的功能的测试。

　　在做出评估时考虑所有的测试活动。

　　由四个较早的步骤所节省下来的时间可以用于增加测试套件的质量，或者执行额外的测试。

　　让我们按顺序讨论这些原则。

　　原则 1：定期地运行自动化的测试

　　CTA 方法着重于通过在整个的开发循环中运行自动化的测试将“发生缺陷的时间” 1 最小化。任何回归类型的缺陷都可以很早发现，并且与在循环的末尾运行单个的长期回归运行相比使用了最小量的测试。

　　此测试的目标是提供对所有驱动程序的功能质量的一个观察，作为进一步测试和最终向市场发布的基础。此回归测试减少了进入最终产品的缺陷数量，以及在这期间，减少可能防止新特性的更复杂的测试的基础功能问题。由此可见，这些回归类型的缺陷需要在其最方便确定的时候尽可能快速地清理掉。

　　原则 2：了解回归测试套件中现有测试材料的质量和覆盖

　　如早先讨论的，包含于回归套件中的许多测试在任何规模的测试操作中可能不能生成可靠的结果。为了完全了解产品的质量，事实上，根据潜在的产品缺陷，您在观察的结果意味着什么，您必须首先了解测试实际上测试的功能是什么。

　　为此，我们求助于代码覆盖的使用。对于外行来说，这实际上是所有方法、类和测试从开始到结束所经过的代码途径的细微痕迹。这种在一个测试接一个测试的基础上的运行时度量提供了对测试做什么的观察，并且比起在实际的测试运行过程中的运行时收集信息时依赖于测试计划或测试文档来说，是一种了解要测什么内容的更精练的方法。当然，对于此途径存在着由，例如，寻找缺陷并执行异常路径的测试引起的偏差。总的来说，尽管，如果代码覆盖数据是在成功的测试运行过程中收集的，那么此信息可以存储起来随后作为测试的功能的指示。

　　有许多可用的工具可以提供代码覆盖率。它们都典型地使用被测代码的某种形式的装置，这将钩子(hooks )加入了产品代码中。当测试材料遇到这些钩子时，代码覆盖工具使用这些钩子来记录每个测试在其执行时所经历的过程。最终结果是一个表示与特定的产品驱动程序冲撞的所有测试的完全覆盖的数据库。因为回归测试材料随着时间的推移变化得不大，那么此数据仍旧相对静态。然而，如果产品或测试材料随着时间的推移变化很大，那么就需要重复实施装置。

　　原则 3：尽可能少地运行：关注于您的测试

　　该标题可以等同于这样措辞，“不要浪费时间运行您与先前的驱动程序冲撞的测试，除非它们测试的功能已经变更了。”减少测试运行的数量可能对那些使用回归套件作为获取回归安全网的许多团队来说需要信仰上的飞跃，但是这种飞跃将节省数不尽的不必要的回归测试时间。

　　实际上，实现确定目标的测试需要两件事：1)了解在测的产品驱动程序中确切变更了什么，以及 2)了解您的测试材料(如前面部分中讨论的)。

原文转自：http://www.ltesting.net