图 27. 测试套件执行结果
(查看图 27 大图)
自动化测试报告的生成与分析
Rational Quality Manager 提供了丰富的分析报告,包括需求结果分析报告,测试结果分析报告,缺陷分析报告,等等。对于自动化测试来说,我们关注自动化测试结果分析报告,和自动化测试与手动测试的对比分析报告。
自动化测试结果分析报告,展示了自动化测试的权重(以点数为单位)执行情况,包括未启动(Not Started),已尝试(Attempted),无定论(Inconclusive),已阻塞(Blocked),已失败(Failed),以及已通过(Passed)六种情况。
在报告列表中选择 Execution Status using Weight 类型,如图 28。
图 28. 选择报告类型
在条件选择页面的测试计划列表里面,以自动化测试计划作为过滤条件,如图 29。如果没有为自动化测试单独创建计划,那可以选择其他的选项作为过滤条件,比如测试用例、测试机、测试用例类型等等。
图 29. 设置过滤条件
(查看图 29 大图)
点击运行,即可生成自动化测试结果分析报告,如图 30,在报告中可以清晰的观察到自动化测试的总权重,以及执行的详细情况。
图 30. 自动化测试结果分析报告
自动化与手动测试对比分析报告,展示了自动化测试用例与手动测试用例的详细信息,对于自动化测试和手动测试又详细分为执行失败(Failed),执行成功(Passed),未执行 (Not Run) ,以及未完成(Incomplete)四种情况。
在报告列表中选择 Execution Status by Machine using TER Count 类型。
以机器作为过滤条件,选择自动化测试机器和手动测试机器,点击运行。
自动化与手动测试的对比分析报告如图 31,报告清晰地展示了自动化测试用例和手动测试用例的个数,通过这两个数据,测试人员可以很方便的计算出项目中的自动化覆盖率(Automation Coverage = Num of Automation Test Cases / (Num of Automation Test Cases + Num of Manual Test Cases)。
图 31. 自动化与手动测试对比分析报告