搜索引擎的信息覆盖率.ppt

搜索引擎的信息覆盖率评测模型研究孟涛 09808049指导教师：李晓明教授2002年6月引言n互联网信息资源数量的指数级增长、网络信息博物馆对网页资源的要求n需要一套有效的办法评测搜集系统的搜集性能，本文的工作由此展开网页搜集的不完全性nWWW有向图结构n结构本身所致（入度为0或不存在路径）n优先排序、搜集系统资源所限导致n不断出现的新网页无法搜集三类重要的信息覆盖率n数量覆盖率n质量覆盖率n可视信息覆盖率模型建立n覆盖率=搜集网页数/实际WWW网页数n覆盖率=样本覆盖数/样本容量n模型图示数量覆盖率：随机IP法模型修正与误差分析n结果：5.72%n缺点：无法区别该IP地址的网站大小，存在大量的无效IP地址n改进方法：利用链接关系作链接扩展，减小上述的不利影响n修正结果：23.5%数量覆盖率：广度优先法试验结果与误差分析n局部角度，利用网页间链接关系n结果：选取5组样本求覆盖率均值41.6%n误差修正：大约10%的网页无法通过链接到达，对结果乘以90%处理得37.4%误差修正原理网页重要性评价因素n网页URL属性：域名长短，目录深度n网页作为有向图的节点：链接表示着认可度的传递，通常入度越大越重要n网页本身的内容：与查询用户宽主题查询词的匹配程度两类重要的权值算法之一：PageRankn学术论文引用统计原理在WWW上的扩展nPR(A)=两类重要的权值算法之二：HITS（Hyperlink-Induced Topic Search）n权威型权值n目录型权值nA(p)=H(p)=质量覆盖率：广度优先法nPageRank算法需要与WWW相近的链接结构，采用广度优先遍历取样初始样本n对得到的数十万网页用PageRank算法计算权值，得到前面约5%的网页作为重要网页样本n选取5组样本，计算均值得到结果为47%n对其中的两组样本，改变重要性标准（百分比），分析覆盖率的变化情况（5%平缓）图示质量覆盖率：主题查询法n递交若干查询词给搜索引擎，返回的结果集，进行链接扩展（目的）n用HITS算法分别计算目录型权值和权威型权值在前列的网页集合作为样本n八组查询词得样本均值：42.9%和53%模型修正与误差分析n缺点：对所有的链接一视同仁n改进方法:考察导向词与查询词的匹配度，实现扩展HITS算法n修正结果：46.2%和50.3%两类质量覆盖率评测方法评价n两种评测方法的结果很好的吻合n它们分别从客观与主观的角度着手n证明此评测模型是有效的n得到WebInfoMall有效信息覆盖率数据我的主要工作（1）n实现通过HTTP1.0协议抓取网页n实现从网页中提取所有的URL链接n实现随机IP产生器，IP扫描器n实现反向域名两级解析（DNS、DB）我的主要工作（2）n实现PageRank算法n实现HITS算法n旨在改进天网系统的网页权值排序问题我的主要工作（3）n实现多播程序对Webinfomall服务器群验证URL是否已被覆盖n实现“多生产者多消费者”的多进程运行模型进行巨量Web信息处理总结n提出了质量覆盖率概念，建立了一个有效的网络信息质量覆盖率评测模型n依据该模型，对“天网”搜索引擎及“燕穹”Web信息博物馆的网页数据进行了有效评估n所做的网页权值计算工作为天网的进一步改进打下重要基础谢谢！