|
六、测试用例设计的误区 ·能发现到目前为止没有发现的缺陷的用例是好的用例； 首先要申明，其实这句话是十分有道理的，但我发现很多人都曲解了这句话的原意，一心要设计出发现“难于发现的缺陷”而陷入盲目的片面中去，忘记了测试的目的所在，这是十分可怕的。我倾向于将测试用例当作一个集合来认识，对它的评价也只能对测试用例的集合来进行，测试本身是一种“V&V”的活动，测试 需要保证以下两点： 程序做了它应该做的事情 ·测试用例应该详细记录所有的操作信息，使一个没有接触过系统的人员也能进行测试； 不知道国内有没有公司真正做到这点，或者说，不知道有国内没有公司能够将每个测试用例都写得如此详细。在我的测试经历中，对测试用例描述的详细和复杂程度 也曾有过很多的彷徨。写得太简单吧，除了自己没人能够执行，写得太详细吧，消耗在测试用例维护（别忘了，测试用例是动态的，一旦测试环境、需求、设计、实 现发生了变化，测试用例都需要相应发生变化）上的时间实在是太惊人，在目前国内大部分软件公司的测试资源都不足的情况下，恐怕很难实现。但我偏偏就能遇到 一些这样的老总或者是项目负责人，甚至是测试工程师本身，全然不顾实际的资源情况，一定要写出“没有接触过系统的人员也能进行测试”的用例。 在讨论这个问题之前，我们可以先考虑一下测试的目的。测试的目的是尽可能发现程序中存在的缺陷，测试活动本身也可以被看作是一个Project，也需要在 给定的资源条件下尽可能达成目标，根据我个人的经验，大部分的国内软件公司在测试方面配备的资源都是不足够的，因此我们必须在测试计划阶段明确测试的目 标，一切围绕测试的目标进行。 除了资源上的约束外，测试用例的详细程度也需要根据需要确定。如果测试用例的执行者、测试用例设计者、测试活动相关人对系统了解都很深刻，那测试用例就没有必要太详细了，文档的作用本来就在于沟通，只要能达到沟通的目的就OK。在我担任测试经理的项目中，在测试计划阶段，一般给予测试设计30% - 40%左右的时间，测试设计工程师能够根据项目的需要自行确定用例的详细程度，在测试用例的评审阶段由参与评审的相关人对其把关。 ·测试用例设计是一劳永逸的事情； 这句话摆在这里，我想没有一个人会认可，但在实际情况中，却经常能发现这种想法的影子。我曾经参与过一个项目，软件需求和设计已经变更了多次，但测试用例 却没有任何修改。导致的直接结果是新加入的测试工程师在执行测试用例时不知所措，间接的后果是测试用例成了废纸一堆，开发人员在多次被无效的缺陷报告打扰 后，对测试人员不屑一顾。 这个例子可能有些极端，但测试用例与需求和设计不同步的情况在实际开发过程中确是屡见不鲜的，测试用例文档是“活的”文档，这一点应该被测试工程师牢记。 ·测试用例不应该包含实际的数据； 测试用例是“一组输入、执行条件、预期结果”、毫无疑问地应该包括清晰的输入数据和预期输出，没有测试数据的用例最多只具有指导性的意义，不具有可执行 性。当然，测试用例中包含输入数据会带来维护、与测试环境同步之类的问题，关于这一点，《Effective Software Test》一书中提供了详细的测试用例、测试数据的维护方法，可以参考。 ·测试用例中不需要明显的验证手段； 我见过很多测试工程师编写的测试用例中，“预期输出”仅描述为程序的可见行为，其实，“预期结果”的含义并不只是程序的可见行为。例如，对一个订货系统， 输入订货数据，点击“确定”按钮后，系统提示“订货成功”，这样是不是一个完整的用例呢？是不是系统输出的“订货成功”就应该作为我们唯一的验证手段呢？ 显然不是。订货是否成功还需要查看相应的数据记录是否更新，因此，在这样的一个用例中，还应该包含对测试结果的显式的验证手段：在数据库中执行查询语句进行查询，看查询结果是否与预期的一致。 七、从用例中生成测试用例
例如，下图中经过用例的每条不同路径都反映了基本流和备选流，都用箭头来表示。基本流用直黑线来表示，是经过用例的最简单的路径。每个备选流自基本流开始，之后，备选流会在某个特定条件下执行。备选流可能会重新加入基本流中（备选流 1 和 3），还可能起源于另一个备选流（备选流 2），或者终止用例而不再重新加入某个流（备选流 2 和 4）。
遵循上图中每个经过用例的可能路径，可以确定不同的用例场景。从基本流开始，再将基本流和备选流结合起来，可以确定以下用例场景：
注：为方便起见，场景 5、6 和 8 只描述了备选流 3 指示的循环执行一次的情况。 生成每个场景的测试用例是通过确定某个特定条件来完成的，这个特定条件将导致特定用例场景的执行。 例如，假定上图描述的用例对备选流 3 规定如下： “如果在上述步骤 2‘输入提款金额’中输入的美元量超出当前帐户余额，则出现此事件流。系统将显示一则警告消息，之后重新加入基本流，再次执行上述步骤 2‘输入提款金额’，此时银行客户可以输入新的提款金额。” 据此，可以开始确定需要用来执行备选流 3 的测试用例：
注：由于没有提供其他信息，以上显示的测试用例都非常简单。测试用例很少如此简单。 下面是一个由用例生成测试用例的更符合实际情况的示例。
一台 ATM 机器的主角和用例。 下表包含了上图中提款用例的基本流和某些备用流：
可以从这个用例生成下列场景
注：为方便起见，备选流 3 和 6（场景 3 和 7）内的循环以及循环组合未纳入上表。 对于这 7 个场景中的每一个场景都需要确定测试用例。可以采用矩阵或决策表来确定和管理测试用例。下面显示了一种通用格式，其中各行代表各个测试用例，而各列则代表测试用例的信息。本示例中，对于每个测试用例，存在一个测试用例 ID、条件（或说明）、测试用例中涉及的所有数据元素（作为输入或已经存在于数据库中）以及预期结果。 通过从确定执行用例场景所需的数据元素入手构建矩阵。然后，对于每个场景，至少要确定包含执行场景所需的适当条件的测试用例。例如，在下面的矩阵中，V（有效）用于表明这个条件必须是 VALID（有效的）才可执行基本流，而 I（无效）用于表明这种条件下将激活所需备选流。下表中使用的“n/a”（不适用）表明这个条件不适用于测试用例。
在上面的矩阵中，六个测试用例执行了四个场景。对于基本流，上述测试用例 CW1 称为正面测试用例。它一直沿着用例的基本流路径执行，未发生任何偏差。基本流的全面测试必须包括负面测试用例，以确保只有在符合条件的情况下才执行基本流。这些负面测试用例由 CW2 至 6 表示（阴影单元格表明这种条件下需要执行备选流）。虽然 CW2 至 6 对于基本流而言都是负面测试用例，但它们相对于备选流 2 至 4 而言是正面测试用例。而且对于这些备选流中的每一个而言，至少存在一个负面测试用例（CW1 - 基本流）。 每个场景只具有一个正面测试用例和负面测试用例是不充分的，场景 4 正是这样的一个示例。要全面地测试场景 4 - PIN 有误，至少需要三个正面测试用例（以激活场景 4）：
注：在上面的矩阵中，无需为条件（数据）输入任何实际的值。以这种方式创建测试用例矩阵的一个优点在于容易看到测试的是什么条件。由于只需要查看 V 和 I（或此处采用的阴影单元格），这种方式还易于判断是否已经确定了充足的测试用例。从上表中可发现存在几个条件不具备阴影单元格，这表明测试用例还不完全，如场景 6 - 不存在的帐户/帐户类型有误和场景 7 - 帐户余额不足就缺少测试用例。 一旦确定了所有的测试用例，则应对这些用例进行复审和验证以确保其准确且适度，并取消多余或等效的测试用例。 测试用例一经认可，就可以确定实际数据值（在测试用例实施矩阵中）并且设定测试数据
以上测试用例只是在本次迭代中需要用来验证提款用例的一部分测试用例。需要的其他测试用例包括：
在将来的迭代中，当实施其他事件流时，在下列情况下将需要测试用例：
在确定功能性测试用例时，确保满足下列条件：
八、从补充规约中生成测试用例并不是所有的测试目标需求都将在用例中有所反映。非功能性需求（如性能、安全性和访问控制）以及配置要求等将会说明测试目标的其他行为或特征。补充规约是为其他行为生成测试用例的主要来源。 关于如何生成这些其他测试用例的指南说明如下：
为性能测试生成测试用例性能测试用例的主要输入是补充规约，补充规约中包含了非功能性需求（请参见工件：补充规约）。为性能测试生成测试用例时，请使用下列指南：
与功能性测试的测试用例类似，通常对于每个用例/需求都会存在不止一个测试用例。常见的情况是：存在一个低于性能阈值的测试用例、一个处于阈值上的测试用例，还有一个测试用例高于阈值。 除了以上性能标准以外，确保已确定影响响应时间的特定条件，包括：
将用于性能测试的测试用例记录在类似于功能测试所使用的矩阵中。 以下是各种性能测试的一些示例： 对于负载测试：
对于强度测试：
为安全性/访问控制测试生成测试用例主角和用例一同说明系统外部用户与系统所执行的动作之间的交互，以便为特定主角生成测试结果。复杂系统包含许多主角，所以我们编制测试用例时必须确保只有指定执行用例的主角可以进行此操作，这一点非常关键。在基于主角类型的用例事件流存在差别时，尤其如此。 例如，在 ATM 用例中，如果主角“银行客户”的卡和帐户有的属于拥有这个 ATM 机的银行，有的是竞争银行的银行卡（和帐户），或是企图使用该 ATM 不支持的银行卡，则将对该主角“银行客户”执行不同的用例事件流。 对于功能性测试用例，请同样遵循上面列举的指南。 关于安全性和访问控制测试用例的示例：
为配置测试生成测试用例在典型的分布式系统中，允许存在许多种受支持的硬件和软件组合。为了核实测试目标在不同的配置情况下（如不同的操作系统、浏览器或 CPU 的速度）能否正常工作或执行，应该对此进行测试。此外，测试还应涵盖构件的组合，以便检测在不同构件的交互中产生的缺陷。例如，确保由应用程序安装的 DDL 版本不会与另一个应用程序需要的相同 DDL 的版本发生冲突。 采用下列指南来生成用于配置测试的测试用例：
为安装测试生成测试用例安装测试需要核实测试目标可以在所有可能的安装情况下安装。安装情况可以指首次安装测试目标，或是在装有较早版本的机器上安装测试目标的某个较新的版本或工作版本。安装测试还应确保在遇到异常情况时（如磁盘空间不足），测试目标的执行情况仍可接受。 测试用例应包含以下各种软件的安装情况：
客户机服务器软件的安装程序具备一组特定的测试用例。不同于基于主机的系统，服务器和客户机上的安装程序是有所不同的。因而，安装测试应执行构成测试目标的所有构件的安装，包括客户机、中间层以及服务器，这一点至关重要。 为其他非功能性测试生成测试用例理论上,应找到所有必需的输入来生成测试用例模型、设计模型以及补充规约工件的测试用例。不过，如果此时您需要补充已有的输入，那也不足为奇。 示例如下：
大多数情况下，您可以通过先前所确定的测试用例生成的某些测试用例来构建其变体或聚合关系体，借此来查找测试用例。
九、为单元测试生成测试用例 单元测试要求既测试单元的内部结构同时还要测试其行为特征。测试内部结构要求了解实施单元的方式，基于这种了解的测试被称为白盒测试。对单元行为特征的测试侧重于从外部可观察的单元行为，而不需要了解或考虑其实施方式。基于这种方法的测试称为黑盒测试。基于这两种方法所生成的测试用例的说明如下。 白盒测试 理论上，应通过代码测试每一条可能的路径。在所有这些非常简单的单元内实现这样的目标是不切实际或几乎是不可能的。作为最基本的测试，应将每个决定到决定路径（DD 路径）测试至少一次，这样可确保将所有语句至少执行一次。决定通常是指 if 语句，而 DD 路径是两个决定之间的路径。 要达到这种程度的测试覆盖，建议您在选择测试数据时应使每个决定都可以用每种可能的方法来评估。为达到上述目标，测试用例应确保： 每个布尔表达式的求值结果为 true 和 false。例如，表达式 (a<3) OR (b>4) 的求值结果为 true/false 的四种组合 示例： 假设您对类 Set of Integers 中的 member 函数执行结构测试。该测试在二进制搜索的帮助下，将检查该集合是否包含了某个指定的整数。
成员 (member) 函数以及相应的流程图。虚线箭头指示出如何通过采用两个测试用例将所有语句至少执行一次。 理论上，对于彻底测试的某个操作，测试用例应遍历代码内路径的所有组合情况。在 member 函数的 while-loop 中存在三个可选择的路径。测试用例可以多次遍历该循环，或是根本就不遍历。如果测试用例根本就没有遍历循环，则在代码中只能找到一条路径。如果遍历循环一次，您将发现有三条路径。如果遍历两次，则您将发现存在六条路径，如此类推。因而，路径的总数应该是：1+3+6+12+24+48+...，在实际情况中，这个路径组合总数根本无法无法处理。这就是为什么必须选择所有这些路径的子集的原因。本示例中，可以采用两个测试用例来执行所有的语句。其中一个测试用例中，您可以选择 Set of Integers = {1,5,7,8,11}，而且测试数据 t = 3。在另一个测试用例中，您可以选择 Set of Integers = {1,5,7,8,11}，且 t = 8。 黑盒测试 黑盒测试的目的是为了在不了解单元将如何实施指定行为的情况下，对指定行为进行验证。黑盒测试侧重并依赖于单元的输入和输出。 等价类划分是一种用来减少所需测试数量的技术。对于每一个操作都应确定参数和对象状态的等价类。等价类是一组值的集合，对这组值来说，对象的行为应类似。例如，一个集合可有三个等价类：空、若干元素以及满。 可使用代码覆盖工具来确定白盒测试未测试到的代码。在进行黑盒测试的同时应进行可靠性测试。 接下来的两个小节说明了如何通过选择特定参数的测试数据来确定测试用例。 基于输入参数的测试用例 每个等价类的正常值。 基于输出参数的测试用例 每个等价类的正常值。 如果对象受状态控制（根据对象的状态产生不同的反应），您应利用状态矩阵，如下图所示：
用于测试的状态矩阵。您可以在此矩阵的基础上测试激励和状态的所有组合。 十、为产品验收测试生成测试用例 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
文章来源于领测软件测试网 https://www.ltesting.net/
版权所有(C) 2003－2010 TestAge（领测软件测试网）|领测国际科技（北京）有限公司|软件测试工程师培训网 All Rights Reserved
北京市海淀区中关村南大街9号北京理工科技大厦1402室 京ICP备10010545号-5
技术支持和业务联系：info@testage.com.cn 电话：010-51297073