日志文件分析
日志文件用于记录完成 wrksuite 测试后测试用例的运行状态。有两个日志文件：suite.log 和 failed.log。
suite.log 文件记录所有测试用例的状态。包括三部分：日志头、主体和统计结果。
如表 1 和表 2 所示。表 1. suite.log 文件结构
| 项目 | 内容 | 说明 |
|---|---|---|
| header | tapi Version 3.3 starting Thu Feb 28 10:34:40 EST 2008 Suite root is C:/cqe/wrk/notes This screen output is captured in C:/cqe/wrk/notes/suite.log Failures are also logged to C:/cqe/wrk/notes/failed.log Individual case logfile is {case-dir}/case.log Running nmake -f mswin32.mak -e excl --- Skipping UI tests. |
suite.log 日志文件的头部记录了 tapi 版本、测试用例根目录、日志文件路径等信息。 |
| body | … ./formula/compend......BUILD ok...TEST passed ./formula/compile......BUILD ok...TEST failed … |
suite.log 的主体部分记录了每个测试用例的运行状态。每个用例有三种状态：{BUILD ok...TEST passed}、{BUILD ok...TEST failed} 和 {BUILD failed}。 |
| statistic | Done Thu Feb 28 10:58:12 EST 2008 0 builds failed out of 490. 6 tests failed out of 490. 1 known failures out of a total of 6 failed tests. 5 total unknown failures. |
统计数据部分记录了总体运行结果。用户可以在这里看到测试用例的统计信息。 |
表 2. failed.log 文件结构
| 项目 | 内容 | 说明 |
|---|---|---|
| header | tapi Version 3.3 starting Thu Feb 28 10:34:40 EST 2008 | failed.log 的头部记录了 tapi 版本和测试用执行时间等信息。 |
| body | ./aaafirst/showinfo......BUILD ok...TEST passed -------------------------------------------------------- Compiled with Notes C API Release = Notes/Domino 8.0.1 Client test platform = NT 3.x Client notes build | date = Build V801_01062008|January 06, 2008 Current test user name = CN=Jack Tester/O=toolkit API test server = LGCToolkit/toolkit -------------------------------------------------------- ./adminp/reqmhier......BUILD ok...TEST failed see also: SPR#YQR06W6A5F can not rename user when i call ADMINReqMoveUserInHier ./formula/compile......BUILD ok...TEST failed … |
suite.log 主体部分记录了每个失败测试用例的运行状态，以及成功通过的测试用例的输出信息。测试人员可以了解测试失败的情况，分析失败的用例。 |
  |
|
插件测试
在上述自动测试框架中，插件测试就是测试人员用插件的方式增加新的部件（测试用例）。Lotus C API 工具箱随着新版本 Lotus Notes and Domino 的推出将增加新的功能（子例程和数据结构）。工具箱中的所有 API 在交付之前必须经过全面测试。
图 4 显示了自动测试框架中的插件测试。Lotus Notes and Domino 7.0.2 中，Lotus C API 工具箱增加了一系列的 Multipurpose Internet Mail Extensions (MIME) API。我们设计了 MIME 组件，创建了它的子组件（mimedir、cd2mime 等），并插入到测试框架中进行自动测试。它表明自动测试框架为新特性的测试提供了一种有效的方式。
图 4. 插件测试
结束语
Lotus C API 工具箱自动测试框架是一种有效的 API 自动化测试方法。本文介绍了自动测试框架的设计及其重要意义，可以帮助读者了解如何为自己的产品开发自动 API 测试工具。
延伸阅读
文章来源于领测软件测试网 https://www.ltesting.net/
