正在提高?
除了测试开发比外,亚马逊确实提高了。我知道质量保证团队团结起来并积极沟通。亚马逊公司里第评论一:
Seth,这是一篇非常好的文章,为了解亚马逊和微软不同的测试方法,得先了解修复bug的代价,这是基本的。
我想说,亚马逊没有投入更多测试的重要原因,是“呼叫文化”。亚马逊的开发们知道,他们的寻呼机也许会在半夜就报警,他们因此不得不排查问题并发布修复。虽然这也是代价,但仍然不能与微软著名的为盒装软件产品发布补丁的代价相比,
盒装软件的问题修复,代价是非常巨大的。它意味着要把更新推送到所有正在运行软件的客户端。这就是为什么微软在windows操作系统上的测试耗费巨大。即使这样,windows仍每月向我的电脑发送大量的热点修复。当考虑到世界上有多少台电脑正在运行windows操作系统时,每一个修复都耗费了微软公司大量的财力,这是显而易见的。因此,聘用多少测试人员取决于使公司消耗最小的商业决策。
而“服务性软件”,替代了将软件安装到每一个客户的电脑上,大部分软件都能由你控制。修复一个bug,只要简单地修补服务后就完成了。这样的消耗要比向每一个客户端发送更新少多了。最终结果就是:亚马逊文化与微软文化相比,更能容忍bug。
Rob
评论二:
Hi Seth,
我认为,仍有其它重要因素决定投资测试的最优方案。
你们之前讨论过:修复bug是多么简单,并且修复这些bug因其在产品类型方面不同而不同。
另一个非常重要的问题是:检测到bug有多容易?如果一个bug引起服务当机,这个是非常容易由监控系统监测和报告。如果bug从一个银行帐户中错减了金额,你能在发布前检测出么,或者能写出专门的测试用例来发现类似的bug么?
另一可变因素,是当这些bug出现时,系统行为如何。当用户刷新页面时,页面不能正常展现的bug与将数据库破坏掉的bug相比,前者相对更能被容忍。
如果一个系统从开始就能够容易某些类型的失效或bugs,那么为使系统达到需求,这点将深刻影响最终测试预算