SEWM-2004中文Web检索测试指南

1 背景与目标
在中文信息检索领域中，缺乏大规模测试数据集是制约我们研究和技术
发展的重要因素。参考TREC多年的成功经验，本届SEWM2004会议开始包
含一个中文Web检索竞赛项目。我们希望为这个领域的研究人员，用户，企
业提供一个交流的机会，希望在国内外各个研究小组的共同参与下建立并完
善以中文为主的Web测试集CWT100g(Chinese Web Test collection with 100
GB web pages)，一起推动中文Web信息检索技术的发展。
依据TREC在Web Search评测方面多年的成功经验，主题提取(topic
distillation)和导航搜索(homepage/named page search)能够较好反映Web
Search中用户搜索需求，是现在评估Web Search系统的主要内容[1]。
本届SEWM-2004中文Web检索竞赛基本参照TREC-2003 Web Track的
模式[2][3]。包含两个具体目标：
1) 研究有效的主题提取方法：针对用户给定的广泛查询，找到一组最佳
的主页。
2) 研究有效的导航搜索方法(包括主页和指定页面查询)：找到用户需要的
特定页面。
2 文档集
文档集，根据天网搜索引擎截止2004年2月1日发现的中国范围内提供
Web服务的1,000,614个主机，从中采样17,683个站点，在2004年6月搜集
获得5,712,710个网页，包括网页内容和Web服务器返回的信息，容量为
90GB。其中每个网页对应的服务器返回信息中的MIME类型都是"text/html"或
者"text/plain"。
文档集数据格式参见[4]。
3 主题提取任务
主题提取目的是对于一个特定主题发现一组关键资源。在今年的任务中我
们将只注重以站点作为资源的查询。要求是在前十个结果中寻找尽可能多的不
同站点（用它们的网站首页面表示）。
对于主题'linux'，CWT100G中的下面站点可能被认为是关键资源：
http://www.oldlinux.org/ linux org
http://www.mhdn.net/os/29/ 明辉开发者网络 linux区
http://www.redflag-linux.com/ 红旗Linux
被判断为是一个关键资源，返回页面应该是一个站点的好的首页面。判断
是否一个好的首页面,考查三个方面:
1)是否大部分切合主题；
2)提供主题的可靠的信息；
3)不是一个更大的切合主题站点的一部分。
对于'linux'这一主题，页面'www.mhdn.net' 不符合第一个条件，而页面
'http://www.redflag-linux.com/chanpin/Desktop/index.html'不符合第三个条件。
提供主题格式和TREC一致，实例为：
<top>
<num> Number:
<title> linux
<desc> Description：
找到和linux主题相关的站点.
</top>
只有<title>可以用作系统的查询条件。
将根据在前十个结果(通常在的Web搜索系统返回的第一个页面)中有几
个正确的答案来判断系统的性能。使用前10个结果的精确率和前10个结果的
平均精确率(P@10)来评判。
4 主页/指定页面查询
用户有时候会用名称来查询特定的网页。在这种情况下，一个有效的搜索
系统将在第一个或前几个返回结果中给出那个网页。
今年的任务包括两个任务的组合：主页查询和指定页面查询。这两种情况
下，查询结果只有一个并且用户的查询需求常常是页面的名称。不同的是主页
查询的目标是一个特定的主页，而指定页面查询所找到的可以不是一个主页，
而是满足用户需求的特定页面。例如，主页查询时，查询词“内蒙古民族大学
”对应的查询结果是“www.mzdx.com”；而指定页面查询时，查询词“2001
年中国十大并购人物”对应的查询结果是“www.mergerschina.
com/top10/index-7.asp”。
一些查询/排序策略对两种类型的查询都有效，而有的只对其中一种有效。
我们提供混和的查询集合。评判为：判断参与者返回文档的URL是否为
最初选定文档的URL。当然，如果页面有两个不同的URL，那么这两个都将
被认为是正确的答案。
通过第一个正确答案的位置对系统进行比较。以第一个正确答案出现位置
的倒数平均值(MRR)为评估准则。
在这项工作中，不允许人工的或者交互的修改查询。
5 索引限制
没有索引限制。你可以随意索引每篇文档的全部内容，或者部分内容。
6 提交和判断
1) 所有的结果在2004.11.1之前，提交给北大网络实验室(邮箱地址：
yhf@net.pku.edu.cn)。
2) 提交信息：
主题提取：提交5组运行结果。对于每个查询，列出结果不超过1000个。
主页/指定网页查询：提交5组运行结果。对于每个查询，列出结果不超过
50个。
结果的格式如下（一个结果一行）：
topic-id rank sim url
topic-id ：topic主题的编号
rank ：在返回结果中文档的位次
sim ：主题与文档的相似度计算值
url ：结果的url。(为文档数据中的URL字段内容)
3) 我们针对每个任务，接受每个参赛队的5组正式提交结果，但是否能够全
部被评测依赖于提交数目、重叠度和可获得的判断资源。希望对于每个任务(主
题提取和两个主页/指定网页查询)， 每个参赛队提交的运行结果中有2组被
评估。
4) 所有的评测工作将由我们的评估人员完成。
5) 评估的标准是二元的：是关键资源或者非关键资源，是主页/指定网页或者
非主页/指定网页。
6) 评估是基于文档内容完成的，此外，文档的URL也是评估的依据。特别的，
对于主题提取，文档中包含的链接(特别是在同一个网站上)所指向的文档也
是评估的依据。
7 参考文献
[1] Very Large Scale Retrieval and Web Search
http://es.csiro.au/pubs/trecbook_for_website.pdf
[2] TREC-2003 Web Track Guidelines.
http://es.csiro.au/TRECWeb/guidelines_2003.html
[3] TREC-2003 Web Track指南
http://net.pku.edu.cn/~webg/cwt/041020TREC-
2003WebTrackGuidelines_CN.pdf
[4] 网页信息存储的天网格式http://net.pku.edu.cn/~webg/cwt/TWFormat.pdf

原文转自：http://www.ltesting.net