用户有时候会用名称来查询特定的网页。在这种情况下，一个有效的搜索
系统将在第一个或前几个返回结果中给出那个网页。
今年的任务包括两个任务的组合：主页查询和指定页面查询。这两种情况
下，查询结果只有一个并且用户的查询需求常常是页面的名称。不同的是主页
查询的目标是一个特定的主页，而指定页面查询所找到的可以不是一个主页，
而是满足用户需求的特定页面。例如，主页查询时，查询词“内蒙古民族大学
”对应的查询结果是“www.mzdx.com”；而指定页面查询时，查询词“2001
年中国十大并购人物”对应的查询结果是“www.mergerschina.
com/top10/index-7.asp”。
一些查询/排序策略对两种类型的查询都有效，而有的只对其中一种有效。
我们提供混和的查询集合。评判为：判断参与者返回文档的URL是否为
最初选定文档的URL。当然，如果页面有两个不同的URL，那么这两个都将
被认为是正确的答案。
通过第一个正确答案的位置对系统进行比较。以第一个正确答案出现位置
的倒数平均值(MRR)为评估准则。
在这项工作中，不允许人工的或者交互的修改查询。
5 索引限制
没有索引限制。你可以随意索引每篇文档的全部内容，或者部分内容。
6 提交和判断
1) 所有的结果在2004.11.1之前，提交给北大网络实验室(邮箱地址：
yhf@net.pku.edu.cn)。
2) 提交信息：
主题提取：提交5组运行结果。对于每个查询，列出结果不超过1000个。
主页/指定网页查询：提交5组运行结果。对于每个查询，列出结果不超过
50个。
结果的格式如下（一个结果一行）：
topic-id rank sim url
topic-id ：topic主题的编号
rank ：在返回结果中文档的位次
sim ：主题与文档的相似度计算值
url ：结果的url。(为文档数据中的URL字段内容)
3) 我们针对每个任务，接受每个参赛队的5组正式提交结果，但是否能够全
部被评测依赖于提交数目、重叠度和可获得的判断资源。希望对于每个任务(主
题提取和两个主页/指定网页查询)， 每个参赛队提交的运行结果中有2组被
评估。
4) 所有的评测工作将由我们的评估人员完成。
5) 评估的标准是二元的：是关键资源或者非关键资源，是主页/指定网页或者
非主页/指定网页。
6) 评估是基于文档内容完成的，此外，文档的URL也是评估的依据。特别的，
对于主题提取，文档中包含的链接(特别是在同一个网站上)所指向的文档也
是评估的依据。
延伸阅读
文章来源于领测软件测试网 https://www.ltesting.net/
