当前位置:主页 > 科技论文 > 搜索引擎论文 >

基于多级Hash分词的全文搜索引擎的研究

发布时间:2016-09-21 12:08

  本文关键词:基于多级Hash分词的全文搜索引擎的研究,由笔耕文化传播整理发布。


《北京邮电大学》 2008年

基于多级Hash分词的全文搜索引擎的研究

苏亮  

【摘要】: 中文分词作为现代搜索引擎技术的重要基础,一直以来是人们研究的热点和难点。Lucene是一个成熟、开源的软件项目,是一个高性能的信息检索和查询工具,通过对Lucene源代码的分析和编程实验,让我们领略到了Lucene的精髓。由于其提供了一套简单却十分强大的核心API,使得我们可以快速得将它集成到我们自己应用程序中。但是,Lucene的核心包和扩展包对中文分词采取类似英文的机械式切分方法。然而由于中英文之间在形式上存在着巨大的差异,这种切分方法的分词效果是非常低效的。本文在通过对Lucene分词的结构的分析,设计出了一种基于Hash的Lucene的高效机械分词方法。 目前信息处理用的词典机制主要有整词二分、TRIE索引树、逐字二分等几种方法,其中TRIE索引树和逐字二分机制查询效率较高。这几种词典机制都是以排序的线性表来提高查询效率,数据结构比较复杂且查询速度较慢。本文主要工作是分析了几种常用词典构造方法的优缺点,针对分词中特定的查询条件,设计并实现了基于Hash的分词词典,同时分析了基于Hash的分词词典的性能。 本文在此研究基础上开发出了个人桌面搜索引擎系统,索引和搜索部分利用Lucene引擎架构,实现了比Lucene自带的中文分词更有效的中文分词。文章最后在系统设计和实现的基础上,对中文分词进行了速度和准确率的测试,并在此基础上提出了今后努力的方向。

【关键词】:
【学位授予单位】:北京邮电大学
【学位级别】:硕士
【学位授予年份】:2008
【分类号】:TP391.1
【目录】:

  • 摘要4-5
  • ABSTRACT5-9
  • 第一章 绪论9-11
  • 1.1 课题背景和意义9-10
  • 1.2 主要工作和贡献10
  • 1.3 本论文的组织10-11
  • 第二章 中文分词算法11-22
  • 2.1 中文分词的研究进展11-13
  • 2.1.1 主要的几种分词方法11-13
  • 2.1.2 基于 Hash的机械分词13
  • 2.2 常用的三种分词词典13-19
  • 2.2.1 整词二分的分词词典机制14-15
  • 2.2.2 TRIE索引树的分词词典机制15-17
  • 2.2.3 基于逐字二分的词典机制17
  • 2.2.4 三种分词词机制的实验结果17-19
  • 2.3 多级 Hash的词典机制19-21
  • 2.4 本章小结21-22
  • 第三章 基于 Lucene的分词技术研究22-42
  • 3.1 Lucene概述22-28
  • 3.1.1 全文检索22
  • 3.1.2 Lucene的特点22-23
  • 3.1.3 Lucene的结构23-24
  • 3.1.4 Lucene的工作流程24
  • 3.1.5 Lucene的与索引相关的类24-27
  • 3.1.6 Lucene的与查询相关的类27-28
  • 3.2 Lucene的分析器28-31
  • 3.2.1 Lucene分析器的结构28-29
  • 3.2.2 Lucene的分析器29-30
  • 3.2.3 Lucene的查询30-31
  • 3.3 Lucene的分析器的研究31-34
  • 3.3.1 分析器的结构分析31-32
  • 3.3.2 新的分析器的实现32-34
  • 3.4 基于 Hash的机械分词34-36
  • 3.4.1 Hash算法34-35
  • 3.4.2 词典的格式35-36
  • 3.5 多级 Hash分词的实现36-41
  • 3.5.1 分词模块36-38
  • 3.5.2 索引模块38-40
  • 3.5.3 搜索模块40-41
  • 3.6 本章小结41-42
  • 第四章 桌面搜索引擎系统的设计和实现42-58
  • 4.1 系统总体结构42-43
  • 4.2 开发环境介绍43
  • 4.2.1 硬件环境43
  • 4.2.2 软件资源43
  • 4.3 桌面搜索引擎系统 CoSou的实现43-52
  • 4.3.1 索引建立模块44-49
  • 4.3.2 查询模块49-52
  • 4.4 实验设计与结果分析52-57
  • 4.4.1 测试环境搭建52-53
  • 4.4.2 分词的衡量因素53
  • 4.4.3 实验过程53-57
  • 4.5 本章小结57-58
  • 第五章 总结和展望58-59
  • 5.1 总结58
  • 5.2 下一步工作58-59
  • 参考文献59-61
  • 致谢61-62
  • 攻读学位期间发表的论文62
  • 下载全文 更多同类文献

    CAJ全文下载

    (如何获取全文? 欢迎:购买知网充值卡、在线充值、在线咨询)

    CAJViewer阅读器支持CAJ、PDF文件格式


    【相似文献】

    中国期刊全文数据库 前10条

    1 刘兆伟;黄永峰;;面向主题搜索引擎的实现与优化[J];数据通信;2011年04期

    2 周拴龙;;Lucene.net中文分词算法分析[J];郑州大学学报(理学版);2011年03期

    3 付光;;面向招聘信息主题搜索引擎的研究与设计[J];广西教育;2011年18期

    4 ;李彦宏论搜索引擎三个定律[J];新电子;2001年02期

    5 相春雷;;2009年中国搜索引擎市场趋势分析[J];软件世界;2010年02期

    6 ;揭秘搜索引擎收录网站的秘密[J];计算机与网络;2010年Z1期

    7 马玥;;王小川:绝境之外[J];中国经济和信息化;2011年12期

    8 魏蕾如;;基于搜索引擎的网络中文信息检索工具评价[J];数字技术与应用;2011年06期

    9 ;创新工业搜索引擎[J];中国制造业信息化;2011年12期

    10 邹燕飞;于成尊;赵亮;;基于Lucene的文本搜索引擎的设计和实现[J];计算机与现代化;2011年09期

    中国重要会议论文全文数据库 前10条

    1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

    2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

    3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年

    4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

    5 刘凡平;高艳华;于炯;张伟;;基于关键决策方法的站内搜索研究与实现[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年

    6 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年

    7 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年

    8 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

    9 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年

    10 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

    中国重要报纸全文数据库 前10条

    1 清华大学IT可用性实验室;[N];计算机世界;2005年

    2 姜蕊;[N];中国商报;2006年

    3 主持人 陈建栋;[N];光明日报;2005年

    4 本报记者 陈建栋;[N];光明日报;2005年

    5 曾正乐;[N];经济日报;2005年

    6 本报记者 秦海波;[N];经济日报;2005年

    7 FN记者 柳立;[N];金融时报;2005年

    8 闫辉;[N];计算机世界;2005年

    9 本报记者 李剑;[N];通信信息报;2005年

    10 华夏;[N];江苏科技报;2008年

    中国博士学位论文全文数据库 前10条

    1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

    2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

    3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

    4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年

    5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

    6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

    7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年

    8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

    9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年

    10 杨传耀;中文信息检索索引模型及相关技术研究[D];复旦大学;2007年

    中国硕士学位论文全文数据库 前10条

    1 刘琨;搜索引擎的研究与实现[D];西安电子科技大学;2004年

    2 高磊;基于LUCENE的搜索引擎研究与实现[D];武汉理工大学;2007年

    3 谢骋超;基于语义的数据库全文检索系统[D];浙江大学;2006年

    4 闫继钢;搜索引擎的研究与实现[D];兰州大学;2009年

    5 苏亮;基于多级Hash分词的全文搜索引擎的研究[D];北京邮电大学;2008年

    6 冯斌;基于Lucene小型搜索引擎的研究与实现[D];武汉理工大学;2008年

    7 全俊林;面向OA系统的个性化搜索引擎设计与实现[D];武汉理工大学;2007年

    8 刘宏伟;搜索引擎中中文WEB文本自动分类研究[D];暨南大学;2007年

    9 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年

    10 张彬;基于lucene的搜索引擎[D];上海师范大学;2010年


      本文关键词:基于多级Hash分词的全文搜索引擎的研究,,由笔耕文化传播整理发布。



    本文编号:119432

    资料下载
    论文发表

    本文链接:https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/119432.html


    Copyright(c)文论论文网All Rights Reserved | 网站地图 |

    版权申明:资料由用户d85fb***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com