《华中科技大学》2004年硕士论文

发布时间：2016-07-15 00:05

  本文关键词：中文搜索引擎的设计与实现，，由笔耕文化传播整理发布。

《华中科技大学》 2004年

中文搜索引擎的设计与实现

王军  

【摘要】：搜索引擎是Web信息检索的主要工具,Crawler是搜索引擎的核心组件,用于搜集Web页面。实现一个可扩展、高性能、大规模的中文搜索引擎,核心是设计一个可扩展、高性能、大规模的Crawler。 考虑到Web的容量以及增长速度,设计了并行Crawler系统,该系统由多个Crawler进程组成,每个Crawler进程运行在一台机器上,一台机器只运行一个Crawler进程。Crawler进程有自己的本地页面库和本地索引库,它下载的页面以及对页面建立的索引分别保存在本地页面库和本地索引库中。 为了在各个Crawler进程之间进行协调,避免并行Crawler系统下载页面重叠,设计了URL服务器。它运行在单一机器上,用于在各个Crawler进程之间分配URL,以及存放Crawler进程新发现的URL。考虑到数据库的负载,实现了多数据库并行存取技术。 每个Crawler进程就是一个小型搜索引擎,这些搜索引擎一起组成了一个大规模搜索引擎,为了在多个Crawler上进行检索,设计了检索服务器,它将用户的检索请求提交给各个Crawler,由Crawler查询自己的索引库,并将检索结果返回给检索服务器,检索服务器对结果排序输出。 为了减少页面集批量更新的巨大开销,研究了增量式Crawler。它用于对页面集中某些页面进行更新以便达到刷新整个页面集的目的。但是增量式Crawler需要知道页面集中哪些页面发生了变化,为此使用人工神经网络建立了页面变化模型,该模型可以预测页面下一次变化的时间,从而确定对Web上实际页面进行重访来完成页面集的刷新任务。

【关键词】：
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2004
【分类号】：TP391.3
【目录】：

摘要4-5

Abstract5-6

目录6-8

1 绪论8-19

1.1 课题背景8-9

1.2 国内外概况9-18

1.3 课题主要研究工作18-19

2 系统设计19-31

2.1 系统结构19-23

2.2 并行Crawler系统23-26

2.3 URL服务器26-28

2.4 检索服务器28-29

2.5 小结29-31

3 关键技术31-46

3.1 优化技术31-33

3.2 URL通信接口33-38

3.3 检索接口38-43

3.4 实验数据比较43-45

3.5 小结45-46

4 Crawler扩展46-55

4.1 增量式Crawler46-48

4.2 页面变化模型48-53

4.3 模型应用53-54

4.3 小结54-55

5 总结与展望55-58

5.1 全文总结55-57

5.2 展望57-58

致谢58-59

参考文献59-64

附录 攻读学位期间发表学术论文目录64

下载全文 更多同类文献

CAJ全文下载

(如何获取全文？ 欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式

【引证文献】

中国硕士学位论文全文数据库 前2条

1 郭海燕;搜索引擎中网络爬虫技术研究[D];西安电子科技大学;2009年

2 岳舜;搜索引擎检索技术研究[D];西安电子科技大学;2008年

【参考文献】

中国期刊全文数据库 前1条

1 曹元大,贺海军,涂哲明;中文Web文档全文检索系统的设计及实现[J];北京理工大学学报;2002年01期

【共引文献】

中国期刊全文数据库 前10条

1 谢涛,蒋泽中;边坡系统稳定性多模型综合评价[J];四川建筑科学研究;2004年02期

2 孙全玲;基于粗集和神经网络的建模方法研究[J];安徽建筑工业学院学报(自然科学版);2005年02期

3 孙虹;方敏;;基于Rough集和RBF网络的车牌字符识别方法[J];安徽建筑工业学院学报(自然科学版);2006年04期

4 孙虹;龚雪;;一种基于Rough集和RBF网络的模拟电路故障诊断方法[J];安徽建筑工业学院学报(自然科学版);2012年03期

5 胡凤莲;刘宏;;安康市烟草病害预测系统研究[J];安徽农学通报(上半月刊);2012年03期

6 方惠敏;张守涛;丁文珂;;基于BP神经网络的玉米区试产量预测研究[J];安徽农业科学;2007年34期

7 高艳萍;于红;尹祥贵;綦孝姬;王春永;赵志强;;基于双数组Trie树的渔业领域分词研究[J];安徽农业科学;2008年11期

8 陈绘画;朱寿燕;周泽华;;基于遗传神经网络混合模型预测马尾松毛虫发生量的研究[J];安徽农业科学;2009年12期

9 项云飞;陈绘画;张建薇;;马尾松毛虫危害程度分级预报的研究[J];安徽农业科学;2009年17期

10 汪斌;张云伟;刘健;陈晶;;一种面向农业信息主题网络爬虫的设计[J];安徽农业科学;2009年20期

中国硕士学位论文全文数据库 前10条

1 王浩锋;基于BP神经网络的航段安全评估研究[D];中国工程物理研究院;2010年

2 代宏伟;布里渊散射水下探测目标的自动识别[D];南昌航空大学;2010年

3 滕景忠;智能瓦斯传感器的研制[D];山东科技大学;2010年

4 陈少华;基于Hopfield神经网络控制系统的研究[D];山东科技大学;2010年

5 徐小任;基于BP神经网络的城镇网络地价评估模型研究[D];广西师范学院;2010年

6 范不井;某地区电网短期负荷预测研究[D];郑州大学;2010年

7 阎明;蒸汽发生器故障预报方法研究[D];哈尔滨工程大学;2010年

8 翁岩青;网页抓取策略研究[D];哈尔滨工程大学;2010年

9 刘洋;基于本体的医保审计知识库构建研究[D];哈尔滨工程大学;2010年

10 高利坤;感知器算法和BP算法的性能对比分析[D];大连理工大学;2010年

【同被引文献】

中国期刊全文数据库 前2条

1 刘智浓;张永利;;搜索引擎技术简析[J];电脑知识与技术;2006年02期

2 刘晨曦;吴扬扬;;一种基于块分析的网页去噪音方法[J];广西师范大学学报(自然科学版);2007年02期

中国硕士学位论文全文数据库 前5条

1 吴东华;Web信息获取技术研究[D];南京理工大学;2004年

2 陈鑫;中文智能搜索引擎[D];四川大学;2004年

3 吴宝贵;搜索引擎中索引技术研究与实现[D];西安电子科技大学;2008年

4 王启户;面向远程教育的搜索引擎系统设计与实现[D];西安电子科技大学;2008年

5 岳舜;搜索引擎检索技术研究[D];西安电子科技大学;2008年

【二级引证文献】

中国硕士学位论文全文数据库 前4条

1 郭海燕;搜索引擎中网络爬虫技术研究[D];西安电子科技大学;2009年

2 徐小乐;搜索引擎个性化检索及用户推荐功能的设计与实现[D];重庆交通大学;2011年

3 张哲雨;山东圣翰财贸职业学院图书馆WEB系统的设计与实现[D];山东大学;2011年

4 张春昭;中国的“人肉搜索”引擎现状研究[D];山东大学;2009年

【相似文献】

中国期刊全文数据库 前10条

1 孙桂荣;从网络信息检索工具的现状看其发展特点[J];现代情报;2004年12期

2 谢红侠;惠正运;;一种面向文档的XML的索引查询方法[J];微机发展;2005年12期

3 赵红梅;互联网实时信息搜索引擎[J];大众标准化;2004年12期

4 张磊;;搜索引擎综述[J];泰州科技;2008年08期

5 刘正春,蒋福坤;搜索引擎定量评价模型研究[J];大学数学;2004年04期

6 刘飞;高红艳;;基于数据挖掘的Web信息检索的研究[J];江西科学;2008年02期

7 戴建中;GnetFtp搜索引擎的算法设计与实现[J];汕头大学学报(自然科学版);2005年03期

8 孟晓明;;浅谈搜索引擎及其发展趋势[J];福建电脑;2006年03期

9 张婕;袁力田;;搜索引擎在网络信息挖掘中的应用[J];电脑与电信;2006年07期

10 程彩凤;杜友福;;搜索引擎技术分析[J];科技信息;2007年01期

中国重要会议论文全文数据库 前10条

1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

5 张健沛;徐泼;杨静;;一种轻量级个性化搜索引擎系统[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

6 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年

7 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年

8 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

9 李贺华;付鹤岗;;多Agent Web信息检索应用研究[A];2008年计算机应用技术交流会论文集[C];2008年

10 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年

中国重要报纸全文数据库 前10条

1 李一鑫;[N];财经时报;2007年

2 周文林;[N];经济参考报;2007年

3 惠正一;[N];第一财经日报;2005年

4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;[N];中国计算机报;2005年

5 陈珊;[N];人民邮电;2005年

6 赵法忠;[N];中国经营报;2005年

7 金朝力;[N];北京商报;2006年

8 本报记者　 赵晓辉 孟昭丽;[N];中国证券报;2006年

9 孙琎;[N];第一财经日报;2006年

10 姜蕊;[N];中国高新技术产业导报;2006年

中国博士学位论文全文数据库 前10条

1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年

5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年

8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院（遥感应用研究所）;2003年

10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年

中国硕士学位论文全文数据库 前10条

1 王军;中文搜索引擎的设计与实现[D];华中科技大学;2004年

2 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年

3 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年

4 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年

5 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年

6 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年

7 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年

8 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年

9 李建平;智能化WEB信息搜索引擎的研究与实现[D];大庆石油学院;2003年

10 田生伟;基于涉农词典的搜索引擎的研究与实践[D];新疆大学;2004年

  本文关键词：中文搜索引擎的设计与实现，由笔耕文化传播整理发布。

本文编号：71205