所以,对于挖掘结果的契合度测试,应该从直接人工分析挖掘结果的泥沼中抽身出来,直接着眼于设计测试数据,将整个数据库作为测试用例,设计出一个结果比较客观的数据库供挖掘系统分析,再将挖掘系统自动生成的结果与设计数据时得到的预先结果进行对比.这样得到的评测结果是针对整个系统的挖掘结果契合度,这胜过对某一次挖掘结果的契合度的评测。
4 评测实例分析与总结
具体将这种思想运用到实践中来,不妨以测试案例作为分析对象。在年中的某一次测试中,客户开发的某系统运用数据挖掘算法,对几千条新闻数据进行采集和分析,并将新闻数据按关键词分为不同的主题,再将新闻按主题分别列出。但是特殊之处在于系统的数据源不可以自行控制,只能进行人工的局部修改。而客户要求我们对整个系统的结果契合度都进行评价。
因此,在分析整个数据关系后,我们将契合度评价的指标列出两个:
主题信息完全度:评价同一主题中是否包含所有符合该主题中关键词条件的新闻。
关键词契合度:评价同一主题中的新闻是否都与该主题的关键词密切相关。在实际测试过程中,我们也审时度势,针对无法控制数据源的客观情况,对测试方法做了调整。
对于主题信息完全度,我们采用修改数据的方法,而不是人工查看所有中是否含有某个主题,那是不现实的。首先我们找到几个在测试当前的数据库中没有的冷僻词条作为关键词,在若干条新闻中穿插地插入这些词条。然后交给系统分析,计算系统得出的该关键词的主题中含有已修改的新闻的数量,再除以总的修改新闻数,这个比率就是主题信息完全度。
对于关键词契合度,最科学的方法应该是完全采用自定制的数据库,将系统测试结果与预设数据的结果进行比对。但是受限于数据源无法控制,我们采用了最直接的人工分析挖掘结果的方法。虽然比较辛苦,而且要力求客观,但好在这个数据库的规模在人工可以承受的范围内。将系统生成结果与人工分析的结果相比,得出的就是关键词契合度。
总结这次测试任务,我们得出了本文的主题结论:在对数据挖掘结果的契合度进行评测时,最好能够自己设计测试数据,将整个数据库作为测试用例进行设计,再将系统自动生成的结果与预设数据的结果进行比较。当受制于数据无法控制时,再考虑与人工分析数据进行比较的方法,但一定要注意力求客观,亦不失为一个务实有效的测试方法。
延伸阅读
文章来源于领测软件测试网 https://www.ltesting.net/