测试手段之探索性测试(6)(3)

　　这里的结论是：ET在严重程度较小的上面有比较大的优势，其他无较大差别。

　　(3) 错误bug的报告

　　这里的结论是：相比较ST而言，ET报告了较少的错误bug。

　　看到了如上的结果，我想我们很多人都会有很多问题，研究者也想到了以下问题：

　　问题一：已经写好了的测试用例是怎样影响发现bug的数量呢?

　　之前说的条件，还有个重要的条件，细心的人肯定可以看出，那就是做ST的那些实验者花了7个小时用在编写测试用例上面了，而做ET的实验者根本没有花时间在这上面，这可以看出，当没有时间写测试用例的时候，ET明显更高效。

　　问题二：已经写好了的测试用例是怎样影响发现bug的类型呢?

　　我们已经从3个维度(严重程度，类型，发现难度)来说明了，认为测试人员不需要测试用例就可以发现很多User interface和Usability 相关的问题，但考虑到严重程度，测试人员不需要测试用例会发现严重程度较低的问题。

　　尽管我们得到了这些结果，但仍然有其局限性，实验者的测试经验会影响其测试用例的质量和做ET测试执行时候的质量。

　　以上我们可以看到仅仅关注与测试设计技术并不能覆盖很多重要的方面，而这些方面只有在手工测试执行的时候发现的。还有一个方面就是ET方法更能提高测试人员在测试执行的时候的创造性和能力。

　　本人使用Freestyle ET方法实践了2个项目，其数据还是比较匹配上面的结果的，只是个人认为在Wrong function 的bug类型上面ET反而会发现较少的bug，而不是更多。还有就是误报bug 这方面，个人认为ET之后会产出很多疑问而并非是bug，只是嫌疑bug，而需要与相关的人进行确认，这样就会减少误报率(详见ET项目实践结果分析)。

　　参考Juha ltkonen, Mika V. Mantyla and Casper Lassenius 《Defect Detection Efficiency: Test Case Based vs. Exploratory Testing》

原文转自：http://www.ltesting.net