基于hadoop和hbase的分布式索引集群研究

发布时间：2017-08-29 13:28

  本文关键词：基于hadoop和hbase的分布式索引集群研究

  更多相关文章： 分布式索引 Hadoop 倒排索引 分词 Hbase

【摘要】：随着互联网的发展,搜索引擎要处理的数据量越来越大,为提高信息检索效率,避免传统索引的创建和维护效率不高的情况,设计了一种基于Hadoop分布式索引集群和Hbase分布式查询数据库的解决方案。利用Hadoop的分布式计算和存储框架,采用分布式倒排索引算法,分词并建立索引表,最后存储到Hbase中。通过实验证明了基于Hadoop的分布式索引集群在数据处理方面的优势。
【作者单位】： 武汉理工大学计算机学院;
【关键词】： 分布式索引 Hadoop 倒排索引 分词 Hbase
【分类号】：TP391.3;TP311.13
【正文快照】： WAN Yi XIANG Guang-li*武汉理工大学计算机学院湖北武汉430070由于通信技术和移动互联网的发展,互联网用户不断增强,在互联网中查找到自己真正需要的信息变得越来越困难。为了解决人们在使用互联网中查找信息的困难,搜索引擎系统应运而生。Google在这方面的研究处于领先地位,

【相似文献】

中国期刊全文数据库 前10条

1 ;本期广告商索引表[J];电子与电脑;2000年01期

2 ;本期编辑内容产品索引表[J];电子与电脑;2000年02期

3 ;本期广告商索引表[J];电子与电脑;2000年02期

4 ;本期编辑内容产品索引表[J];电子与电脑;2000年04期

5 ;本期广告商索引表[J];电子与电脑;2000年04期

6 ;本期编辑内容产品索引表[J];电子与电脑;2000年11期

7 ;本期广告商索引表[J];电子与电脑;2000年11期

8 ;本期编辑内容产品索引表[J];电子与电脑;1999年05期

9 ;本期编辑内容产品索引表[J];电子与电脑;1999年08期

10 ;本期编辑内容产品索引表[J];电子与电脑;1999年09期

中国重要会议论文全文数据库 前9条

1 石玮峰;杨冬青;唐世渭;关涛;;COBASE的索引管理技术[A];第十二届全国数据库学术会议论文集[C];1994年

2 王彦祥;王广林;;“索引之星”的研制和索引编制[A];2004年辞书与数字化研讨会论文集[C];2004年

3 王晓辉;王柏;;通过有效使用索引优化Oracle应用系统性能[A];第九届全国青年通信学术会议论文集[C];2004年

4 孙云峰;陈渝;史元春;张宝鹏;张曦;江文峰;;基于高精度室内定位系统的移动物体轨迹索引[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

5 王先胜;乔健;汪卫;何震瀛;;AX-Tree:基于RDBMS的粒度自适应XML数据索引[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

6 邵雄凯;卢炎生;程学先;;用建立本地广播索引表的方法改善移动客户机的性能[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

7 薛巍;李维佳;穆飞;舒继武;;PDPI：一种面向多核的可扩展并行索引算法[A];全国网络与信息安全技术研讨会论文集（下册）[C];2007年

8 王鹏飞;洪晓光;;基于XML大文档的动态索引[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

9 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

中国博士学位论文全文数据库 前3条

1 张帆;搜索引擎中索引表求交和提前停止技术优化研究[D];南开大学;2012年

2 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

3 余利华;分布式数据存储和处理的若干技术研究[D];浙江大学;2008年

中国硕士学位论文全文数据库 前10条

1 王健;DWMS中索引选择策略的研究与实现[D];东华大学;2010年

2 胡玉乐;列存储DWMS中的索引关键技术研究[D];东华大学;2011年

3 张慧;一种基于位立方体的XML索引方式[D];山东大学;2007年

4 王学;面向SaaS应用交付平台的多租户数据索引研究[D];山东大学;2012年

5 石有滴;XML索引关键技术研究[D];华南理工大学;2011年

6 张雁;面向全文检索的在线索引关键技术研究[D];哈尔滨工业大学;2010年

7 陈坚强;DB2数据库索引性能调整与优化[D];上海交通大学;2011年

8 葛付江;面向动态文档集的大规模文本索引构建技术的研究[D];哈尔滨工业大学;2008年

9 肖袁;基于索引的XML查询技术研究[D];南京师范大学;2007年

10 邱泽令;关系-XML双引擎数据库管理系统CoSQLRX中XML数据索引的研究与实现[D];东北大学;2010年

，

本文编号：753539