探索式测试(exploratory testing)是一种自由的软件测试风格,强调测试人员同时开展测试学习、测试设计、测试执行和测试结果评估等活动,以持续优化测试工作。考虑到它所具备的即兴发挥、快速实验、随时调整等特征,其思维方法可以追溯到软件开发的最初岁月。作为一个特定的技术术语,它是由测试专家Cem Kaner博士在1983年提出的,并受到语境驱动的软件测试学派(context driven testing school)的支持。测试专家James A. Whittaker曾是Cem Kaner在佛罗里达工学院(Florida Institute of Technology)的同事,后来担任过微软测试架构师和Google测试总监。基于在微软的工作经历和积累,他撰写了《Exploratory Software Testing》一书,进一步扩展了探索式测试的概念和方法。
探索式测试有丰富的内涵,Kaner博士用一页幻灯片的篇幅介绍了探索式测试的核心。
首先,探索式测试是一种软件测试风格(style),而不是一种具体的软件测试技术(如等价类划分、边界值分析、组合测试等)。作为一种思维方法,探索式测试强调依据当前语境(context)选择合适的测试技术,而不局限于特定的测试技术。虽然James A. Whittaker将他的书命名为《探索式软件测试》,该书所提出的方法集仍旧属于软件测试技术(基于系统化错误猜测和测试隐喻),而不代表整个探索式测试。Whittaker的工作是很有意义的,本文指出它不是探索式测试的全部,是为了强调:当你和别人讨论”探索式测试“时,你们得达成共识。你们是在讨论一种思考方法,还是在讨论这种思考方法指导下的测试技术。
然后,探索式测试强调独立测试人员(individual tester)的个人自由和责任(personal freedom and responsibility),其目的是为了持续优化其工作的价值(value)。测试人员应该为个人和团队负责,调动所有能量,发挥人的灵活性,在整体上持续优化个人和团队的产出。这段描述和精益生产(lean production)、敏捷软件开发的理念高度一致,这也是探索式测试受到敏捷团队欢迎的原因之一。
最后,探索测试建议在整个项目过程中(throughout the project),将测试相关学习(test-related learning)、测试设计(test design)、测试执行(test execution)和测试结果解读(test result interpretation)作为相互支持的活动(mutually supportive activities),并行地(parallel)执行。实际上,人脑难以并行地执行多项任务。探索式测试旨在将测试学习、测试设计、测试执行和测试分析做为一个循环快速地迭代,在较短的时间内(如1个小时)完成多次循环,以不断收集反馈、调整测试、优化价值。该思路再次与敏捷软件开发小步快跑、持续反馈的理念不谋而合。
探索式测试与即兴测试(ad-hoc testing)有何区别?
探索式测试与即兴测试的都强调”即兴发挥“,利用直觉和经验,快速地试验被测试应用,并不停地调整测试策略。开发大师Andy Hunt在《Pragmatic Thinking and Learning》中指出,直觉是非显性知识的代名词,是大脑富(Rich)模式的杰出能力。如果我们只使用大脑的线性模式(语言可表达的显性知识、逻辑思维),而漠视富模式的能量,我们将浪费自身的巨大潜力。
然而人是不完美的,某些直觉可能是认知偏见或错误。这就引出了探索式测试与即兴测试的关键不同:探索式测试是带着”反思“的学习和优化过程。在探索式测试中,测试人员不断地提出假设,用测试去检验假设,通过解读测试结果来证实或推翻假设。在这个过程中,测试人员不断完善头脑中被测试应用的模型,然后利用模型、技能、经验去驱动进一步的测试。相比即兴测试不注重测试计划和设计,探索式测试在不停地优化测试模型和测试设计。因为测试设计和测试执行的切换速度很快,许多人误以为探索式测试没有测试计划和设计。实际上,这些活动是被切分到细微的时间片中,并被反复执行。
如何实施探索式测试?
探索式测试是一种测试风格,它鼓励测试人员依据当前语境选择合适的测试实施方法。我个人认为SMART原则为探索式测试提供了一些很好的建议。
Specific(具体的):测试需要一个具体的目标。
Measurable(可度量的):有明确的度量可以评估目标是否达成。
Achievable(可实现的):当前的目标应该是可实现的。这潜在地要求将一个大的目标分解为多个小目标,每个小目标也是具体的、可度量的。此外,跟踪小目标的完成情况也提供了整体进度的可度量性。
Relevant(相关的):目标要切合当前语境,符合团队利益,且不忘企业愿景(vision)。
Time-boxed(有时间限制的):为每个目标设定一个合理的最后期限。这是帮助测试人员在固定的时间窗口(time window)中排除不相关干扰、专注工作。
依据SMART原则,测试人员可按如下描述逐步展开探索式测试。
首先,测试人员制定测试计划。他分析被测试应用,确立若干个具体的测试任务,每个任务针对一个可能的风险。
然后,他将测试任务分解为一系列子任务,每个子任务都有明确的退出条件和时间限制。
在短暂的测试计划之后,测试人员根据优先级选择一个小任务,在一个固定的时间窗口中执行探索式测试。我建议时间窗口的长度是50分钟,因为这是人脑可以专注工作的极限时间。再这段时间里,他设计测试,执行测试,评估测试结果,获得知识,然后为了获得新知再设计测试。
在时间窗口结束后,测试人员应该适当休息,放松思维。
随后,他会反思当前的测试进展,并优化测试计划。也许他会为当前任务追加一个时间窗口;也许他会再增加一个新的任务以弥补当前测试计划的不足;也许他会精简一些任务以反映他对测试对象的最新认知。
这时,他会更有自信地开始新一轮探索式测试。
再次重申,以上只是一种可能的探索式测试实施方法。负责任的测试人员一定会选择他自己的方式展开测试,因为只有作为领域专家的他,才能做出最符合语境的决策。当然,集合整个团队的能量,进行伙伴评审、头脑风暴、结对测试等活动,有助于产生更好的测试结果。