ElasticSearch分布式搜索引擎在天文大数据检索中的应用研究

发布时间：2017-06-19 15:04

  本文关键词：ElasticSearch分布式搜索引擎在天文大数据检索中的应用研究，由笔耕文化传播整理发布。

【摘要】：天文观测数据是天文研究的基础,但传统的集中式数据检索方法已难以满足日益增长的海量天文数据的高性能检索和查询需求.提出了一种基于Elastic Search分布式搜索引擎,通过River机制对现有的海量FITS(Flexible Image Transport System)数据进行索引构建,从而实现海量FITS数据高效检索的方法,并讨论了其中的近实时检索和查询的关键技术.实测结果表明,在百万到千万级的天文数据量下,该方法可获得极高的检索性能,并能够很方便地集成到现有的天文数据归档系统中,完全可以满足当前国内各类望远镜系统天文数据的归档要求.
【作者单位】： 昆明理工大学云南省计算机技术应用重点实验室;中国科学院云南天文台;
【关键词】： 方法 数值 解析 天文数据库 其他诸多方面
【基金】：国家自然科学基金项目(U1231205,11303011,11263004,11463003,11163004) 云南省应用基础基金重点项目(2013FA013,2013FA032)资助
【分类号】：P111
【正文快照】： 1引言FITS(Flexible Image Transport System)[1]是国际天文学联合会(IAU)于1982年确定的用于各天文台之间数据传输、交换的统一标准格式,是天文学界常用的数据格式.目前,大量的天文数据都以FITS格式进行存储.随着天文观测技术和数据获取及处理技术的逐渐成熟,各天文观测站获

  本文关键词：ElasticSearch分布式搜索引擎在天文大数据检索中的应用研究，，由笔耕文化传播整理发布。

本文编号：462849