之前我们说了很多ET的过程以及怎么去做ET,也说过ET和ST的关系,是怎么来用在我们的项目过程中的,但很多人对于ET能发现的bug类型有很大的好奇,认为ET能发现什么样的bug,是不是很严重,是不是很难发现,是不是效率很高,这次我们就来说说,ET和ST之间的生产率比较。
首先说明的是这个生产率比较是某个大学的研究成果,有一些基本的条件,比如实验者,选择的实验的产品,实验者的经验等等。这里不详细说明这个,也不说明过程(其中遇到很多的挑战),只说下结果,让大家了解下。
说一个关键的条件(对于bug,研究方之前就分开了已知和未知bug)总体过程:
Phase | Group 1 | Group 2 |
Preparation | 对于feature A写测试用例 | 对于feature B写测试用例 |
Testing Session 1 | 对于feature A做ST | 对于feature A做ET |
Testing Session 2 | 对于feature B做ET | 对于feature B做ST |
对于Testing Session 再说明下:
Phase | 时间 | 描述 |
Session Setup | 15 min | 看产品的介绍和指导书或做些基本准备工作 |
Functional Testing | 90 min | 专注于ET或ST和报bug |
bug report | 10 min | 对于所报bug和log写report |
(1) 发现的bug总数
Testing approach | Feature set | Bug 总数 |
ET |
A |
44 |
B | 41 | |
Total | 85 | |
ST |
A |
43 |
B | 39 | |
Total | 82 |
这里面的结论是:对于已知bug(研究者故意注入在产品中的bug)来说,使用ET或ST方法在发现bug总数上没有区别;但ET却可以发现更多的未知bug。
(2) Bug发现难度,类型和严重程度
Mode | ET | ST | ET/ST | Bug 总数 |
0=easiest123=hardest |
120 |
93 | 129% | 213 |
327 | 320 | 102% | 647 | |
89 | 75 | 119% | 164 | |
20 | 15 | 133% | 35 | |
Total |
556 |
503 | 111% | 1059 |