《北京林业大学》2012年硕士论文

发布时间：2016-06-28 06:02

  本文关键词：木材垂直搜索引擎设计与实现，由笔耕文化传播整理发布。

《北京林业大学》 2012年

木材垂直搜索引擎设计与实现

张行  

【摘要】：互联网上丰富的信息资源给人们的工作和生活带来巨大效益和便利的同时,也带来了巨大的信息冗余。我们在使用传统的通用搜索引擎时,经常会遇到这样的问题,为了搜索到一些专业的基础知识,不得不在众多的网站中,花费大量的时间去寻找,而垂直搜索引擎的出现为解决这类问题提供了很好的方法。本文对垂直搜索的主题爬虫设计和主题词库建立进行了研究,并基于这些技术设计实现了一个木材垂直搜索引擎。 本论文首先介绍了搜索引擎的历史、现状、面临的问题,以及垂直搜索引擎的优势和现状；在了解搜索引擎结构、整体工作流程的基础上,分析了垂直搜索实现的关键技术,重点探讨了基于Shark算法的主题爬虫技术和主题词库建立。其次,基于木材行业,采用从专业书籍提取和领域专家建议的方式构建了一个木材主题词库,为后续的分词,主题相关性判断、建立索引提供了支持。接着,设计并实现了一个木材垂直搜索引擎,给出了系统的总体结构图。整个系统的实现采用了定制和扩展网络爬虫Heritrix来抓取木材主题相关的网页信息,利用Lucene这个开源的搜索引擎框架为系统提供快速、全面的全文索引和检索服务等一系列技术 最后,对系统进行测试,将搜索结果与Google、百度的搜索结果进行了比较。总结了木材垂直搜索引擎的研究和开发经验,并展望了垂直搜索的应用前景。

【关键词】：
【学位授予单位】：北京林业大学
【学位级别】：硕士
【学位授予年份】：2012
【分类号】：TP391.3
【目录】：

下载全文 更多同类文献

CAJ全文下载

(如何获取全文？ 欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式

【参考文献】

中国期刊全文数据库 前10条

1 刘菁菁;林鸿飞;赵晶;;基于PageRank和锚文本的网页排序研究[J];计算机工程与应用;2007年10期

2 杨仁广;宋宇;孟祥增;;一种改进Shark-Search的多媒体主题搜索算法[J];计算机工程与应用;2010年14期

3 曹红,袁津生;林业主题搜索引擎研究[J];计算机应用;2004年S2期

4 郑国良;叶飞跃;林国俊;耿冬;;基于领域本体的主题信息采集方法[J];计算机应用;2008年12期

5 白坤;耿国华;;基于Lucene/Heritrix的垂直搜索引擎的研究与应用[J];计算机应用与软件;2009年01期

6 杨贞;杜习英;;基于本体的主题爬虫的设计与实现[J];科技情报开发与经济;2008年02期

7 苏祺;项锟;孙斌;;基于链接聚类的Shark-Search算法[J];山东大学学报(理学版);2006年03期

8 陈军;陈竹敏;;基于网页分块的Shark-Search算法[J];山东大学学报(理学版);2007年09期

9 刘汉兴;刘财兴;;主题爬虫的搜索策略研究[J];计算机工程与设计;2008年12期

10 林泓;刘朋;李晶晶;龙振海;;基于概率的PageRank改进算法[J];武汉理工大学学报;2009年03期

中国硕士学位论文全文数据库 前10条

1 郭艳芬;林业主题搜索引擎的设计与实现[D];北京林业大学;2011年

2 曹红;林业主题搜索引擎研究[D];北京林业大学;2005年

3 王晓伟;垂直搜索引擎若干关键技术的研究[D];浙江大学;2007年

4 姜华;基于Lucene面向主题搜索引擎的研究与设计[D];华东师范大学;2007年

5 肖亮;垂直搜索引擎的研究与实现[D];北京交通大学;2008年

6 李副铭;垂直搜索引擎的研究与设计[D];电子科技大学;2009年

7 曹铁峰;基于内容的个性化Web信息检索系统的设计与实现[D];吉林大学;2010年

8 张楠;面向汽车主题的垂直搜索引擎研究与实现[D];西南交通大学;2010年

9 林碧霞;基于领域本体的主题爬虫研究及实现[D];西南交通大学;2010年

10 蔡岳;一种应用于搜索引擎的文本聚类算法[D];北京林业大学;2010年

【共引文献】

中国期刊全文数据库 前10条

1 兰富军;李春霆;高海忠;;农业主题垂直搜索引擎过滤技术研究[J];安徽农业科学;2010年09期

2 时贵英;吕洪涛;;可扩展数据库搜索引擎的研究和实现[J];长江大学学报(自然科学版)理工卷;2010年01期

3 张福泉;;人工智能在主题搜索策略中的应用[J];重庆科技学院学报(自然科学版);2009年04期

4 赵洋;滕桂法;张玉新;何冬梅;;基于Internet的农业信息垂直搜索引擎的设计[J];河北农业大学学报;2009年06期

5 杨仁广;孟祥增;;网络多媒体教学资源主题搜索研究[J];电化教育研究;2009年05期

6 张东振;张明;;基于XML的站内检索系统[J];电脑知识与技术;2010年02期

7 张丽敏;;垂直搜索引擎的主题爬虫策略[J];电脑知识与技术;2010年15期

8 宋永生;;基于Android的商品比价系统的设计与实现[J];电脑知识与技术;2011年18期

9 卿秀华;;基于Lucene和Heritrix的全文检索引擎的研究与应用[J];电脑知识与技术;2012年13期

10 张黎烁;李鑫;徐猛;;基于PageRank的网页主题相关性算法研究[J];光盘技术;2008年12期

中国重要会议论文全文数据库 前1条

1 吴晨生;刘彦君;张鲁冀;董晓晴;;科普搜索的研究与实现[A];数字博物馆研究与实践（2009）[C];2010年

中国博士学位论文全文数据库 前7条

1 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

2 田俊华;基于本体知识库的教学资源自动采集技术研究[D];南京师范大学;2011年

3 王珂;矿井无线传感器网络节点部署关键技术的研究[D];中国矿业大学;2011年

4 寇月;Deep Web实体搜索的关键技术研究[D];东北大学;2009年

5 陈竹敏;面向垂直搜索引擎的主题爬行技术研究[D];山东大学;2008年

6 李庭波;森林资源经营决策本体知识库技术研究及应用[D];福建农林大学;2009年

7 米杨;基于顶级本体整合的医学领域语义标注研究[D];吉林大学;2012年

中国硕士学位论文全文数据库 前10条

1 岳广飞;基于二次搜索的搜索引擎技术研究[D];山东科技大学;2010年

2 雷斌;基于Java技术的智能化搜索引擎的研究与设计[D];哈尔滨工程大学;2010年

3 刘文辉;基于链接结构的网页排序算法研究[D];哈尔滨工程大学;2010年

4 李永春;主题搜索引擎的研究与实现[D];哈尔滨理工大学;2010年

5 樊春雷;基于语义分析的糖尿病健康教育系统研究与实现[D];华东理工大学;2011年

6 张卓;基于分层需求的领域本体构建及语义标注方法研究[D];东北财经大学;2010年

7 王振华;档案领域垂直搜索技术的研究与实现[D];东华大学;2011年

8 陈志刚;网络Flash资源爬行器的设计与实现[D];山东师范大学;2011年

9 孙华昱;Lucene在医学影像资源检索平台中的应用[D];沈阳工业大学;2011年

10 戴雪梅;面向购物的聚类搜索引擎的研究与实现[D];北京交通大学;2011年

【二级参考文献】

中国期刊全文数据库 前10条

1 邓志鸿,唐世渭,张铭,杨冬青,陈捷;Ontology研究综述[J];北京大学学报(自然科学版);2002年05期

2 曹元大,贺海军,涂哲明;中文Web文档全文检索系统的设计及实现[J];北京理工大学学报;2002年01期

3 黄堃;林旭云;;基于个性化信息服务技术的研究[J];大众科技;2006年02期

4 杨坚争;李朝平;;垂直搜索引擎及其应用[J];电子商务;2006年10期

5 张黎烁;李鑫;徐猛;;基于PageRank的网页主题相关性算法研究[J];光盘技术;2008年12期

6 黄建莲;中国搜索引擎服务市场的现状及发展[J];华北科技学院学报;2005年03期

7 刘挺,吴岩,王开铸;最大概率分词问题及其解法[J];哈尔滨工业大学学报;1998年06期

8 燕辉,叶震,董泽浩,高柯俊;报文摘要算法MD5分析[J];合肥工业大学学报(自然科学版);2002年01期

9 张晨彧;穆斌;;语义Web中的语义度量与本体映射[J];合肥工业大学学报(自然科学版);2006年03期

10 韩利凯;;一种快速Web中文分词算法的研究[J];航空计算技术;2007年06期

中国博士学位论文全文数据库 前1条

1 陈竹敏;面向垂直搜索引擎的主题爬行技术研究[D];山东大学;2008年

中国硕士学位论文全文数据库 前10条

1 常晓燕;基于Java的新闻搜索引擎的设计与实现[D];西南交通大学;2004年

2 聂颂;具有自动分类功能的主题搜索引擎的研究[D];天津大学;2004年

3 曹红;林业主题搜索引擎研究[D];北京林业大学;2005年

4 陈杰;主题搜索引擎中网络蜘蛛搜索策略研究[D];浙江大学;2006年

5 陈建;领域本体的创建和应用研究[D];对外经济贸易大学;2006年

6 蒋科;基于领域概念定制的主题爬虫系统的设计与实现[D];西安电子科技大学;2007年

7 王晓伟;垂直搜索引擎若干关键技术的研究[D];浙江大学;2007年

8 姜华;基于Lucene面向主题搜索引擎的研究与设计[D];华东师范大学;2007年

9 杜超华;基于本体的省情网垂直搜索引擎研究[D];华中师范大学;2007年

10 张囡囡;面向语义网的领域本体半自动构建方法的研究[D];大连海事大学;2008年

【相似文献】

中国期刊全文数据库 前10条

1 顾鹏尧;;让搜索引擎更好地服务于教育教学[J];科学24小时;2003年Z1期

2 陈新颜;垂直搜索引擎辨析[J];现代情报;2004年09期

3 胡文胜;;垂直搜索助号码百事通与商务领航[J];每周电脑报;2006年32期

4 胡洁;丁宁;关静;曹福年;张磊;;基于“PUBMED+PDF”的医学垂直搜索引擎的实践[J];信息系统工程;2009年05期

5 一林;;垂直搜索:前进路上的喜与忧[J];互联网天地;2010年02期

6 牟思;;基于垂直搜索引擎的学校网站的研究与建设[J];中国教育技术装备;2011年21期

7 田野;垂直搜索火热为哪般[J];中国计算机用户;2005年37期

8 胡文胜;;垂直搜索助号码百事通与商务领航[J];每周电脑报;2006年31期

9 边凯;;你会搜索吗?[J];中国计算机用户;2007年23期

10 宿建光;;指点通:移动垂直搜索的创新者[J];通信世界;2007年03期

中国重要会议论文全文数据库 前10条

1 王上;于海;王钲旋;;Deep Web垂直搜索引擎设计与实现[A];第26届中国数据库学术会议论文集（B辑）[C];2009年

2 林欢欢;王文杰;史忠植;;移动环境下垂直搜索引擎[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

3 王旭;杜军平;;质检总局互联网舆情监控系统中聚焦爬虫的研究[A];中国电子学会第十七届信息论学术年会论文集[C];2010年

4 曹红;袁津生;;多领域主题搜索引擎研究[A];第一届全国Web信息系统及其应用会议（WISA2004）论文集[C];2004年

5 王琦;唐世渭;杨冬青;王腾蛟;;基于DOM的网页主题信息自动提取[A];第二十一届中国数据库学术会议论文集（研究报告篇）[C];2004年

6 何莉;林鸿飞;;分布式检索中基于主题的语言模型集合选择策略[A];2009年全国开放式分布与并行计算机学术会议论文集(下册)[C];2009年

7 吐尔根·依布拉音;艾尔肯·伊米尔;;英—维Internet在线翻译系统开发的初探[A];机器翻译研究进展——2002年全国机器翻译研讨会论文集[C];2002年

8 吴筱媛;邓红素;顾宁;邱君瑞;耿亦兵;;一种支持信息发现的元数据描述方法[A];第十八届全国数据库学术会议论文集（技术报告篇）[C];2001年

9 黄天航;;面向数字城市规划的数据仓库构建中主题信息的组织与提取研究——以大北京区域规划为例[A];规划创新：2010中国城市规划年会论文集[C];2010年

10 詹海生;王启户;;一种自适应字长的中文词库的构建方法[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

中国重要报纸全文数据库 前10条

1 电子工业出版社 董娅　工业和信息化部电子科学技术情报研究所 周峻松;[N];计算机世界;2010年

2 王艳;[N];中国旅游报;2000年

3 赛迪网 方刚;[N];中国计算机报;2000年

4 王靖;[N];人民日报海外版;2000年

5 记者 王浒;[N];中国旅游报;2009年

6 本报记者 王宏;[N];中国计算机报;2001年

7 徐瑾　张玉;[N];人民邮电;2009年

8 本报记者 王晓雁;[N];法制日报;2009年

9 记者 吴德群;[N];深圳特区报;2009年

10 本报记者 胡钰;[N];华夏时报;2009年

中国博士学位论文全文数据库 前10条

1 王晔;垂直搜索引擎若干问题研究[D];复旦大学;2011年

2 吴羽;面向时间敏感对象的垂直搜索引擎关键技术研究[D];浙江大学;2011年

3 胡宜敏;农业垂直搜索引擎语义化若干问题的研究与实现[D];中国科学技术大学;2012年

4 吴永辉;面向专业领域的网络信息采集及主题检测技术研究与应用[D];哈尔滨工业大学;2010年

5 唐颖军;基于语义主题模型的图像场景分类研究[D];北京交通大学;2010年

6 徐盛;基于主题模型的高空间分辨率遥感影像分类研究[D];上海交通大学;2012年

7 吴丽英;词项装配与合并的最简研究[D];上海外国语大学;2008年

8 蒲强;基于独立分量分析的语义聚类技术在信息检索中的应用研究[D];电子科技大学;2010年

9 张长利;面向特定领域的互联网舆情分析技术研究[D];吉林大学;2011年

10 黎新;面向问答系统的段落检索技术研究[D];中国科学技术大学;2010年

中国硕士学位论文全文数据库 前10条

1 李春燕;企业信息垂直搜索引擎的研究与实现[D];中国地质大学（北京）;2010年

2 陈高维;基于垂直搜索引擎的旅游线路评价推荐系统的设计与实现[D];电子科技大学;2010年

3 黄胜根;智能垂直搜索引擎的研究与设计[D];重庆大学;2010年

4 李海升;垂直搜索引擎的研究与实现[D];西安电子科技大学;2009年

5 刘邵斌;专家信息垂直搜索引擎关键技术研究与实现[D];中南大学;2010年

6 陈可钦;基于垂直搜索引擎的主题爬虫算法的研究[D];中南林业科技大学;2009年

7 齐鹏;垂直搜索引擎分类索引系统的设计与实现[D];大连海事大学;2010年

8 张楠;面向汽车主题的垂直搜索引擎研究与实现[D];西南交通大学;2010年

9 陈向东;宠物用品垂直搜索引擎研究与设计[D];西北农林科技大学;2010年

10 周佳庆;实时垂直搜索引擎数据抓取调度研究[D];浙江大学;2010年

  本文关键词：木材垂直搜索引擎设计与实现，由笔耕文化传播整理发布。

，

本文编号：62633