基于ElasticSearch的大日志实时搜索的软件集成方案研究

发布时间：2017-07-08 16:26

  本文关键词：基于ElasticSearch的大日志实时搜索的软件集成方案研究

  更多相关文章： ElasticSearch 大数据 Hbase 实时搜索 软件集成方案

【摘要】：现代企业每天生成很多日志文件,如果能实时处理日志数据,企业能获取更大的商业价值,但管理这个大日志数据是一个巨大的挑战,因为传统的技术用来处理庞大的数据不够高效.Hadoop生态系统提供一种新的方式来处理大数据,ElasticSearch技术是基于云环境的实时搜索引擎.本文提出了基于ElasticSearch实时进行大日志数据搜索的软件集成方案,采用基于硬件创建虚拟机环境,根据搜索条件使用ElasticSearch得到需要的rowkey列表,Hbase用这些rowkey直接从数据库中得到数据.实验证明,随着日志事件搜索量的增加,搜索反应时间不线性增加,基于ElasticSearch的大日志实时搜索的软件集成方案设计具有可行性.
【作者单位】： 北京京北职业技术学院机电工程系;
【关键词】： ElasticSearch 大数据 Hbase 实时搜索 软件集成方案
【基金】：国家自然科学基金项目(60973011)
【分类号】：TP391.3
【正文快照】： 0引言巨头公司们每天有数以十亿计的日志事件产生,从事大日志挖掘商业价值是一个极大的挑战,因为传统技术不能处理这么大规模的数据.例如,如果载入数万亿的日志事件到Oracle数据库,那么Oracle必须有集群.如果Oracle集群扩展,那么性能会降低,一些传统SQL的功能也会丢失[1].时间

【参考文献】

中国期刊全文数据库 前5条

1 王俊生;施运梅;张仰森;;基于Hadoop的分布式搜索引擎关键技术[J];北京信息科技大学学报(自然科学版);2011年04期

2 杨寒冰;赵龙;贾金原;;HBase数据库迁移工具的设计与实现[J];计算机科学与探索;2013年03期

3 吕增辉;陶振凯;唐静;;基于Lucene.net的对象持久化的实现[J];吉林师范大学学报(自然科学版);2009年01期

4 杨泽民;王文军;郭显娥;;基于协同微粒群的股票数据关联规则挖掘[J];吉林师范大学学报(自然科学版);2012年03期

5 赵春雷;乔治·纳汉;;“大数据”时代的计算机信息处理技术[J];世界科学;2012年02期

【共引文献】

中国期刊全文数据库 前10条

1 谌超;强保华;石龙;;基于Hadoop MapReduce的大规模数据索引构建与集群性能分析[J];桂林电子科技大学学报;2012年04期

2 成静静;喻朝新;;基于云计算的大数据统一分析平台研究与设计[J];广东通信技术;2013年01期

3 陈云海;黄兰秋;;大数据处理对电子商务的影响研究[J];电信科学;2013年03期

4 傅中力;张煌;李坡;;大数据时代的国家安全与军事战略选择[J];国防科技;2013年02期

5 张媛;;基于Hadoop云平台的数据传输保护研究[J];甘肃联合大学学报(自然科学版);2013年05期

6 廖锋;成静静;;大数据环境下Hadoop分布式系统的研究与设计[J];广东通信技术;2013年10期

7 冯潇婧;;“大数据”时代背景下计算机信息处理技术的分析[J];计算机光盘软件与应用;2014年05期

8 姚永春;;出版企业掘金大数据的两个层面[J];出版广角;2014年04期

9 翁钢民;李维锦;;基于智慧旅游的城市旅游创新发展研究[J];商业研究;2014年09期

10 申鹏;;“大数据”时代的计算机信息处理技术初探[J];计算机光盘软件与应用;2014年21期

中国博士学位论文全文数据库 前3条

1 黄兰秋;基于云计算的企业竞争情报服务模式研究[D];南开大学;2012年

2 黄越岭;虚拟中的交互：网络学习情境性评价研究[D];西南大学;2014年

3 张捷;进化算法及智能数据挖掘若干问题研究[D];西安电子科技大学;2013年

中国硕士学位论文全文数据库 前10条

1 曾欢;数据库全文检索方法研究及其应用[D];大连理工大学;2011年

2 王长忠;消防领域搜索引擎系统的设计与实现[D];电子科技大学;2011年

3 徐璐;基于Lucene和文本图像的全文检索系统的研究与应用[D];北京邮电大学;2012年

4 张路;基于云计算平台的海量图片存储系统设计与实现[D];北京邮电大学;2012年

5 林雪;面向电信行业的数据分析平台的方案设计与实施[D];北京邮电大学;2012年

6 黎飞君;Antnest:一种支持多计算模型的分布式计算系统[D];华中科技大学;2012年

7 林园;分布式视频转码系统设计[D];华中科技大学;2012年

8 麦迪乃·热合木江;基于Hadoop的分布式Web文本检索系统的研究与开发[D];新疆大学;2013年

9 毛严奇;社交云平台下用户行为分析的研究[D];湖南师范大学;2013年

10 皮靖;主题搜索引擎的研究与实现[D];湖北工业大学;2013年

【二级参考文献】

中国期刊全文数据库 前6条

1 王学伟;马明栋;;Dot Net框架下实现对象持久化的基本原理[J];电脑知识与技术;2005年36期

2 曾理;王以群;;Hadoop集群和单机数据处理的耗时对比实验[J];硅谷;2009年19期

3 汪廷华;程从从;;一种元规则指导的股票联动关联规则挖掘算法[J];计算机工程;2006年05期

4 贺广宜,罗莉;分布式搜索引擎的设计与实现[J];计算机应用;2003年05期

5 汪赫瑜;王伟;;股票间关联规则的挖掘算法[J];中国科技信息;2008年05期

6 谭华;谢赤;罗长青;江洲;;基于模糊粗糙集挖掘方法的证券价格预测研究[J];运筹与管理;2008年04期

中国硕士学位论文全文数据库 前5条

1 赵燕;基于神经网络的股票预测分析和研究[D];长安大学;2006年

2 姚培福;人工神经网络在股票预测中的应用与研究[D];昆明理工大学;2007年

3 王文明;基于P2P的分布式搜索引擎的研究[D];天津大学;2007年

4 黄正鹏;分布式搜索引擎的设计与实现[D];华东师范大学;2008年

5 赵国顺;基于时间序列分析的股票价格趋势预测研究[D];厦门大学;2009年

【相似文献】

中国期刊全文数据库 前10条

1 何明祥,李冠,刘冰;软件集成新技术[J];电脑;1996年03期

2 辛明军,李伟华;基于黑板决策模型的工程软件集成开发平台研究[J];西北工业大学学报;2001年02期

3 王文,于戈,胡少鹏;电力市场运营系统中的软件集成[J];电力系统自动化;2002年06期

4 郑培余,姚绍文;一种基于进程外窗口挂钩回调的软件集成方法[J];计算机应用;2004年05期

5 陈章;基于重用的教学软件集成研究[J];福建电脑;2005年10期

6 周津慧;光学应用软件集成系统[J];光子学报;1998年01期

7 韩庆兰,杨柳;从领域研究探求软件集成途径[J];计算技术与自动化;1998年03期

8 张旭之 ,高学武;工程设计集成新思路[J];中国计算机用户;1998年50期

9 S.奇斯曼,马垣,苏悦;软件集成[J];国外金属矿山;2000年02期

10 刘清芝,胡仰栋;面向对象的软件集成技术研究[J];计算机应用研究;2004年08期

中国重要会议论文全文数据库 前6条

1 蔡涛;;核磁、色谱-质谱数据处理软件集成系统的应用[A];中国化学会第八届天然有机化学学术研讨会论文集[C];2010年

2 王雷雨;孙瑞志;;一种电力软件协同集成实现方法[A];中国农业工程学会电气信息与自动化专业委员会、中国电机工程学会农村电气化分会科技与教育专委会2010年学术年会论文摘要[C];2010年

3 郭春雨;惠跃荣;董智力;陈岱林;;施工项目管理软件集成系统[A];计算机技术在工程建设中的应用——第十一届全国工程建设计算机应用学术会议论文集[C];2002年

4 晋娟茹;;建筑行业CAD软件集成技术研究[A];计算机技术在工程建设中的应用——第十一届全国工程建设计算机应用学术会议论文集[C];2002年

5 晋娟茹;魏文郎;;基于CORBA技术的建筑软件集成[A];计算机在土木工程中的应用——第十届全国工程设计计算机应用学术会议论文集[C];2000年

6 乔良;刘松伟;王炜;;基于Teamcenter的PDM系统在整车企业中的实际应用[A];第八届河南省汽车工程科技学术研讨会论文集(下)[C];2011年

中国重要报纸全文数据库 前10条

1 赛迪顾问软件与信息服务业研究中心 戴铭;制造与服务融合驱动软件集成应用[N];中国计算机报;2013年

2 赛迪顾问软件与信息服务业研究中心 戴铭;制造与服务深度融合驱动软件集成应用[N];中国信息化周报;2013年

3 本报记者 曹旭;中德合作软件集成技术[N];中国高新技术产业导报;2002年

4 记者华凌;中德软件集成技术联合实验室正式挂牌[N];科技日报;2002年

5 记者　刘路沙;中德软件集成技术联合实验室成立[N];光明日报;2002年

6 记者 田学科;中国引进以色列软件集成平台技术[N];科技日报;2005年

7 本报记者 张晔邋通讯员 周以欣 张晓闽;沟壑变通途[N];科技日报;2008年

8 ;心诚若如此 功成乃自然[N];中国教育报;2006年

9 记者 王冠 北京;SAP推NetWeaver2004 合作伙伴卷入竞争[N];电子资讯时报;2004年

10 本报记者 薛斐;办公软件集成[N];计算机世界;2003年

中国博士学位论文全文数据库 前1条

1 黄靖;分布式实时应用环境中的软件合成与软件集成研究[D];华中科技大学;2006年

中国硕士学位论文全文数据库 前10条

1 王锋;软件集成开发平台的设计与评价[D];国防科学技术大学;2008年

2 刘清芝;化学化工软件集成技术研究[D];中国海洋大学;2004年

3 毛品素;广东软件集成公司人力资源管理系统的研究与分析[D];云南大学;2015年

4 郑泽华;化学化工软件集成技术及应用研究[D];中国海洋大学;2005年

5 周欣;多学科虚拟样机工具软件集成技术研究与实现[D];南京航空航天大学;2010年

6 吴永斌;道路车辆软件集成开发环境设计与实现[D];哈尔滨工业大学;2011年

7 王亚丽;TSM盆地模拟软件集成系统的设计与实现[D];苏州大学;2004年

8 成琦;面向构件服务的软件集成框架研究[D];合肥工业大学;2005年

9 程俊春;基于构件的软件集成研究[D];武汉大学;2004年

10 黄江海;PLC软件集成开发平台的设计与实现[D];北方工业大学;2004年

，

本文编号：535377