关于测试设计的基本原则和用例的质量标准

关于测试设计的基本原则和用例的质量标准       软件测试

一、测试用例设计的基本原则

在测试用例设计时，除了需要遵守基本的测试用例编写规范外，还需要遵循些基本的原则。

?

  1尽量避免含糊的测试用例

?  含糊的测试用例给测试过程带来网难，甚至会影响测试的结果。在测试过程。}一，测试用例的状态是惟一的，通常情况下，在执行测试过程。}J，良好的测试用例一般会有二种状态：通过(PAss)、未通过(Failed)以及未进行测试(Not Done)，如果测试术通过，一般会有测试的错误(bug)报告进行关联：如未进行测试，则需要说明原因(测试用例本身的错误、测试用例目前不适用、环境因素等)，因此，清晰的测试用例使测试人蚰在测试过程中小会出现模棱两可的情况，不能说这个测试用例部分通过，部分未通过，或者是从这个测试用例描述中小能找到问题，但软件错误应该出现在这个测试用例巾。这样的测试用例将会给测试人员的判断带来团难，吲时也不利于测试过程的跟踪。

    例如，还用上断的例子来说明，对J：Ij户登录的页面校验测试进行测试用例鼓计：

??    ·  输入JF确的用户和密码，所有程序工作上【=常。  ．  输入错误的用户和密码，程序_：|二作小正常，井弹出对话框。

??    在L而这样的测试用例设计，未能清楚地描述什么样是程序正常工作状态，什么样是程序不正常工作状态，这样含糊不清的测试用例必然会导致测试过程‘{1问题的遗漏。

2尽量将具有相类似功能的测试用例抽象并归类

一直强调软件测试过程是无法进行穷举测试的，因此，对相类似的测试用例的抽象过程显得尤为重要，一个好测试用倒应该足能代表组或者一系列的测试过程。

    3尽量避免冗长和复杂的测试用例

这样做的主要目的是保证验证结果的惟一性。这也是和第一条原则相一致的，为的是在测试过程执行过程th确保测试用例的输出状态惟性，从而便于跟踪和管理a在一些很长和复杂的测试用例设讨过程中，需要将测试用例进行合理的分解，从而保证测试用例的准确性。在某些时候，rj测试用例包含很多不I司类型的输入或者输乩或彳}测试过程的逻辑复杂而币连续，此时需要对测试用例进行分解。张实际的测试用例设计中，需要将前述的基本原则和考虑凶素结台起来，遵循基本的测试用例编写规范。按照实际测试的需求灵活地组织设计测试用倒。 在测试Hj例设计rh E监考虑白盒测试用例年u黑盒测试用例。

二、如何定义测试用例的质量标准

在定义测试用例的质量标准之前，先要了解设计测试用例的目的。测试用例是测试工作中最重要的元素或测试件（test ware）之一，是测试执行的基础。测试用例不仅能有效地帮助实施后继的回归测试、知识的传递和测试的管理等，而且更重要的是能更快、更有效地发现缺陷，确保测试的系统性和全面性，在测试的深度和广度达到所期望的目标。也就是说，测试用例的质量就是满足测试目标的程度，体现在 “测试覆盖率和测试执行效率”两个方面。所以，测试用例最基本的质量标准就是：

达到已定义的或所要求的测试覆盖率，如大于98％。

使测试执行的效率达到最好的水平，如最有效的途径并使60％以上的测试用例被测试工具执行。

      但是，按照这样的标准，很难在测试执行前或执行过程中评估测试用例的质量，而不得不在执行完这些测试用例之后进行度量，特别是测试覆盖率。所以，理想的情况要求在测试用例设计过程中，可以按照某种特定的质量标准对测试用例进行复审（review）、实施评估。那么，这种特定的质量标准是什么呢？

      根据多年的实践经验，测试用例的标准不能局限于一个层次，因为测试用例设计类似于软件设计，软件设计有架构设计（结构设计/概要设计）和详细设计，所以对于测试用例的质量标准，也应分为两个层次来考虑：

(1)高层次——满足某一个测试目标或测试任务来整体看测试用例，衡量一组测试用例的结构、设计思路和覆盖率等指标。

       (2)低层次——从单个测试用例看，衡量其描述的规范性、可理解性和可维护性等指标。

朱少民－软件测试和质量专栏 版权所有

1．高层次（high-level）标准

高层次标准是从满足某一个特定的测试目标出发来进行定义，分析一组测试用例的设计思路、设计方法和策略，包括测试用例的层次、结构等。从高层次看，测试用例设计的关键点是：始终从客户需求的角度（出发）想，始终围绕测试的覆盖率和执行效率不断思考，最终通过有效的技术方法完成测试用例的设计。

对于一整套的测试用例组（集合），可定义如下的质量标准：

(1) 测试用例的目标清楚，并能满足软件质量的各个方面，包括功能测试、性能测试、安全性测试、故障转移测试、负载测试等。

        (2) 设计思路正确、清晰。例如，通过序列图、状态图、工作流程图、数据流程图等来描述待测试的功能特性或非功能特性。

        (3) 在组织和分类上，测试用例层次清楚、结构合理。测试用例的层次与产品特性的结构/层次相一致，或者与测试的目标/子目标的分类/层次相一致，并具有合理的优先级或执行顺序。

        (4) 测试用例覆盖所有测试点、覆盖所有已知的用户使用场景（User scenario），也就是说每个测试点都有相应数量的测试用例来覆盖，而且将各种用户使用场景通过矩阵或因果图等方式列出来，找到相对应的测试用例。

        (5) 测试手段的区别对待。在设计测试用例时，就要全面考量测试的手段，哪些方面可以通过工具测试，哪些方面不得不用手工测试，对不同手段的测试用例区别对待。

        (6) 有充分的负面测试。作为测试用例，不仅要测试正确的输入和操作，还要测试各种各样的例外情况，如边界条件、不正确的操作、错误的数据输入等。

        (7) 没有重复、冗余的测试用例，满足相应的行业标准等。

2．低层次(low-level) 标准

低层次标准是考察单个测试用例是否满足测试的需求，是否能被更有效地执行。测试用例设计的结果就是交付测试用例，使测试用例被执行，所以除了覆盖率，执行的效率也是测试用例的一个重要属性。测试用例越清楚，越容易被理解和执行。执行效率越高就说明测试用例越好，如果测试用例能被机器（computer）执行，当然执行效率得到体现。

对于具体的某个测试用例，不妨可定义如下的质量标准：

    (1) 测试用例的出发点是发现缺陷，即单个测试用例在“暴露缺陷”上具有较高的可能性。

    (2) 测试用例的单一性。一个测试用例面向一个测试点，不要将许多测试点揉在一起。例如，通过一个测试用例发现1～2个缺陷，而不能发现5～10个缺陷甚至更多的缺陷。

    (3) 符合测试用例设计规范或测试用例模板，见下面附表所示。

    (4) 描述清楚，包括特定的场合、特定的对象和特定的术语，没有含糊的概念和一般性的描述。例如，测试用例名称为“登录功能使用正常”，就是一个描述不清楚的例子，而这样的描述“登录功能中用户名大小写不敏感性验证”、“登录功能中用户名唯一性验证”和“用户帐号被锁定后再进行登录操作”等就比较好。

    (5) 操作步骤的准确性，按照步骤的操作得到唯一的测试结果。

    (6) 操作步骤的简单性。操作步骤不应该太复杂，过于复杂的操作步骤意味着测试用例需要被分解为多个测试用例或者分解为多个环节进行验证。

    (7) 所期望的测试结果是可验证的，即能迅速、明确地判断测试的实际结果是否与所期望的结果相同或相匹配。例如，在测试用例中描述期望结果为“登录成功”，这实际是不可验证的。要使这个期望结果具有可验证性，我们就应该这样描述所期望的结果——“‘退出（log out）’按钮出现”。

    (8) 测试环境的正确性、测试数据的充分性。

    (9) 前提条件、依赖性被完全识别出来。

    这样，测试用例具有很好的可理解性和可维护性，可以提高测试执行的效率。并能保证不同的人员执行相同的用例能获得统一的结果。步骤的准确性和期望结果的可验证性，非常有助于测试执行的自动化实现。也只有实现了测试执行的自动化，测试执行的效率才是最高的，而且测试人员才有更多的时间去思考、去设计更优秀的测试用例，进入良性循环，相互促进，不断地提升测试的质量和效率。

附表 测试用例模板

原文转自：http://www.ltesting.net