图1 某项目针对关键因子一的告警处理流量试验数据图
图2 某项目修改了协议参数后的告警处理吞吐率图
二、主观判断的结果有说服力吗?
这个案例是黑带项目《降低异常代码故障率》，它从CQ分析的主要故障类型之一：异常代码故障率居高不下而来，这体现出负责人主动从失误中学习和进步的精神，也给很多仍然为找不到合适项目的同事一个启示：CQ库是一个很方便的项目宝库。
此项目对于故障分类的测量系统分析，是离散数据做测量系统分析的典型。在研发过程中，我们经常遇到“只可意会不可言传”的情形，大家都是主观判断“拍脑袋”，这样的分析如何具有说服力?主观判断不等于拍脑袋，这个项目可以作为参考，感觉上的东西通过制定一定的准则，能够将大家的主观判断达到基本一致和准确的标准。以下摘自此项目负责人的总结文章：
在确定了故障的分类规则后，对于故障进行分类，对于同一个故障不同的研发人员分类可能出现不同的结果。出现这种问题可能是有两个原因：(1)故障分类的标准还不够明确，参加故障分类的研发人员对于故障理解不同。(2)参加故障分类的研发人员没有能力按分类标准对故障进行分类。解决的办法是在故障分类前进行测量系统分析，确认故障分类标准是否已经明确，参加分类故障的研发人员是否具备了故障分类能力。
对于故障分类进行的测量系统分析可采用离散测量系统分析。进行离散测量系统分析的基本步骤为：
1、 在需要分析的故障中随机抽取30个故障。
2、 多个开发经理按故障分类标准共同确定每个故障的分类结果。(作为“真值”——本文作者)
3、 让参加故障分类的研发人员按故障分类标准进行分类。(作为“测量值”——本文作者)
4、 一周后，让参加故障分类的研发人员重新按故障分类。
5、 进行离散测量系统分析，确定故障分类的准确性、重复性和再现性。
如果通过测量系统分析，发现故障分类的重复性有问题，同一个研发人员对于同一个故障的判定结果不相同，则一般是研发人员自身素质的问题，采取的措施是需要加强对分类标准的学习。如果不同研发人员之间的再现性有问题，则一般是由于分类标准不明确造成，需要进一步明确分类标准。若重复性、再现性都符合要求通过，基本可以保证故障分类的标准定义是明确的，参加故障分类的研发人员的技能已经符合要求。
文章来源于领测软件测试网 https://www.ltesting.net/
