累积测试分析和目标测试入门[7] 软件测试
从此结果数据中看,第一件要注意的事情是采用了较少的测试 —— 实际上,相比使用传统方法的 3000 个,运行了大约 1700 个测试。这在图 5 中显示为较少的“新的”或“重新运行的”测试,这可以折合为相对短的时间间隔内的重要的时间节省。
图 5 和 3 中第二个明显的差别是构建 3 之后没有橙色的“遗漏”条了。在这种情况下,测试团队利用许多构建来测试构建 1 中引入的所有变更,而在很短的一段时间内,运行了所有确定的测试。即使有这一点延迟,确定缺陷的时间比传统方法减少了。更重要的是,在测试循环中出现的测试中,不再存在对最终构建质量上的观察的 11 天的延迟。这极大地降低了一个已被交付的未测试的变更风险。
图 6 中还说明了效率,这显示出更少量的从一次构建到下一次的未测试的或“带过来的”变更。通过在引入了缺陷的构建中找到这些缺陷,可以尽可能低成本地进行确定,并且减少了相互依赖的缺陷修复的复杂链的风险。对一次构建启动测试,并在随后的构建中偿还债务的方法,只要在后继的构建中相同的功能没有变更时都会有效。
最后的重点是相同的缺陷 —— 也就是,图 5 中的失败测试 —— 用新的和旧的方法都找到了。
图 6:利用目标测试方法,每个构建的变更和完成的测试
原则 4:考虑对所有构建执行的所有测试
CTA 的第四个基本原则依赖于这样的事实,每个对软件的测试都提供一个质量指数。该测试可能延伸到基本的产品安装、单元测试、简单的配置,或正式的 FVT 或 SVT 活动。类似的,如果在不同的环境中运行同样的或相似的测试(举例来说,在不同的操作系统上),那么结果应该包含于质量说明中。
此原则的一个扩展是这样一个事实,对一个没有变更的功能执行的测试可能仍旧认为是有效的。如图3 和 图5 中所示,允许收集累积的结果。同样的,如果新的区域内的后继测试提供了一个存在测试问题的指示,那么这也应该包含于质量评估中。因此在提供已知构建的质量投影的时候,工具考虑了所有测试。
原则 5:利用节省的时间来提高质量、撰写新的测试
利用 CTA 和目标测试意味着您不再有 100% 执行的目标了。确切地说,目标随着对产品做出的变更日复一日的改变。问题出来了:人们如何知道什么时候回归测试完成了?回答很简单:直到所有变更都停止了,并且覆盖所有的变更 —— 那些由分析过程所确定的 —— 的测试都运行了,测试才完成。在这一点上,团队利用回归套件几乎完成了每件可能的事情,以确保不会引入额外的缺陷。