基于Nutch的垂直搜索引擎的设计和实现

关于搜索的论文

计算机工程与设计ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＤｅｓｉｇｎ

２０１１，Ｖ０１．３２，Ｎｏ．２

５３９

基于Ｎｕｔｃｈ的垂直搜索引擎的设计和实现

邵秀丽，

刘

彬，

张

涛

（南开大学信息技术科学学院，天津３０００７１）

摘要：为了提高搜索引擎的主题倾向性和准确率，在Ｎｕｔｃｈ平台上实现了带有中文分词插件的垂直搜索引擎，给出了改进后引擎的系统功能和体系结构，并从用例角度分析了系统的功能，介绍了基于该体系结构实现的港口物流信息垂直搜索引擎以及和一般引擎运行情况的比较．实验结果表明，这些改进提高了主题判别的准确度和效率，使信息的定位和查找更加精确，减少了不相关信息的干扰，并提高了系统对于互联网复杂环境的处理能力．关键词：Ｎｕｔｃｈ平台；垂直搜索；体系结构：用例分析；主题搜索中图法分类号：ＴＰ３１１．５２

文献标识码：Ａ

文章编号：１０００．７０２４（２０１Ｉ）０２．０５３９．０４

Ｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｖｅｒｔｉｃａｌｓｅａｒｃｈｅｎｇｉｎｅｂａｓｅｄ

ＳＨＡＯＸｉｕ．１ｉ．

ＬＩｕＢｉｎ，

ＺＨＡＮＧＴａｏ

ｏｎ

Ｎｕｔｃｈ

（ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｉｃａｌＳｃｉｅｎｃｅ，ＮａｎｋａｉＵｎｉｖｅｒｓｉｔｙ，Ｔｉａｎｊｉｎ３０００７１，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅ

ｓｕｂｊｅＣｔｔｅｎｄｅｎｃｅａｎｄ

ｃｏｒｒｅｃｔｒａｔｅ

ｏｆｓｅａｒｃｈｅｎｇｉｎｅ，ｖｅｒｔｉｃａｌ

ｓｔｒｕｃｔｕｒｅ

ｓｅａｒｃｈｅｎｇｉｎｅｗｉｔｈＣｈｉｎｅｓｅｐｌｕｇ—ｉｎｂａｓｅｄ

ａｎｄ

Ｏｉｌ

Ｎｕｔｃｈｉｓｉｍｐｌｅｍｅｎｔｅｄ．Ｔｈｅｅｎｇｉｎｅ’Ｓｉｍｐｒｏｖｅｄｓｙｓｔｅｍｆｕｎｃｔｉｏｎａｎｄｓｙｓｔｅｍｕｓｉｎｇｉｓａｎａｌｙｚｅｄ．Ｉｔａｌｓｏｉｎｔｒｏｄｕｃｅｓｇｅｎｅｒａｌｅｎｇｉｎｅ’Ｓｒｕｎｎｉｎｇ

ｉｓ

ｇｉｖｅｎｔｈｅｓｙｓｔｅｍｆｕｎｃｔｉｏｎｆｒｏｍｔｈｅｐｏｉｎｔｏｆ

ｓｔｒｕｃｔｕｒｅ

ｔｈｅｐｏｒｔｌｏｇｉｓｔｉｃｓｉｎｆｏｒｍａｔｉｏｎｖｅｒｔｉｃａｌｓｅａｒｃｈｅｎｇｉｎｅｂａｓｅｄｏｎｔｈｉｓｓｙｓｔｅｍａｎｄｃｏｍｐａｒｅｓ

ｗｉｔｈ

ｃｏｎｄｉｔｉｏｎｓ．ＴｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｈｏｗｓｔｈｅｓｅｉｍｐｒｏｖｅｍｅｎＢｒｅｄｕｃｅｔｈｅｉｎｔｅｒｆｅｒｅｎｃｅ

Ｉｎｔｅｍｅｔ．

ｓｅａｒｃｈ；ｓｙｓｔｅｍｓｔｒｕｃｔｕｒｅ；ｃａｓｅａｎａｌｙｓｅ；ｓｕｂｊｅｃｔｓｅａｒｃｈ

ｏｆｉｒｒｅｌｅｖａｎｔ

ｉｎｆｏｒｍａｔｉｏｎ

ａｎｄ

ｉｍｐｒｏｖｅｔｈｅｓｙｓｔｅｍａｂｉｌｉｔｙｔｏｄｅａｌｗｉｔｈｃｏｍｐｌｅｘｅｎｖｉｒｏｎｍｅｎｔｏｆ

Ｋｅｙｗｏｒｄｓ：ｎｕｔｃｈ

ｐｌａｔｆｏｒｍ；ｖｅｒｔｉｃａｌ

０引言

索引擎ｏＩ。只要对其一些功能根据需要进行功能改进就可以获得效果提升。因此，本文对其几个主要功能做了改进，例如，在Ｎｕｔｅｈ平台上增加了中文分词插件，从而使Ｎｕｔｃｈ具有中文信息处理能力：此外，在系统实现中采用了基于向量空间模型Ⅲ的主题相似度判别算法，并对该算法进行改进．加入元数据判别机制和重要标签所包含关键词的加权处理。分析了“隧道现象”的成闪和日前的处理方式。在Ｎｕｔｃｈ原有的爬虫部分源代码加入“隧道处理”机制，以处理主题网页分离的问题，并且修改了检索结果排序的源代码，在原有的基于链接相似度评分的基础ｔ加入了根据贞面主题相似度评分，使其更适应垂直搜索引擎的要求”１。本文主要就改进的Ｎｕｔｃｈ体系结构、用例分析功能模块、从系统用户和主要功能流程之间的关联等方面进行分析。并给出了运行效果，给出了基于Ｎｕｔｃｈ构建的港口物流信息垂直搜索引擎Ⅲ，从而实现了多个港口物流信息的快捷查询和共享。

垂直搜索引擎是针对某一行业或组织，以构筑某行业或组织的网络信息资源库为目标来满足行业专业需求或者组织某项业务需求，智能地在瓦联网卜搜集符合某一专题需要的信息资源。是通用搜索引擎的细化和延伸…．它对网页库中的某类争业信息进行整合，分字段抽取出用户需要的数据，处理后以某种形式返【ｎｌ给用户。能够为包括学科信息门户、专业信息机构、特定行业领域、公司信息中心、行业专家等等在内的信息用户．提供整套的网络信息资源开发力．案。由此可见垂直搜索引擎是更有针对性的搜索引擎．它只搜索特定主题的信息“１。在国内外，关于垂直搜索引擎的研究成为一个新的热点，出现了许多有具有代表性的应用系统科学搜索引擎Ｓｃｉ．ｍｓ、Ｂｅｒｋｅｌｅｙ的Ｆｏｃｕｓｅｒｏｊｅｃｔ等。而港口物流信息都集中 …… 此处隐藏：8244字，全部文档内容请下载后查看。喜欢就下载吧 ……