基于HBase的QAR数据存储设计与实现

发布时间：2024-04-19 02:12

　　为解决传统关系数据库存储QAR数据可扩展性低、可用性差的问题,设计一种基于HBase的QAR数据分布式存储方法。根据QAR数据的特点,设计HBase表结构,将QAR参数划分为安全、航迹、燃油、发动机、预测、飞行员操作及其它共七大主题,构建基于航班号、航班日期、参数主题三者组合的MD5散列值行键结构,根据行键散列值对QAR数据值表预分区,通过行键散列机制和预分区技术相结合的两级优化策略实现QAR数据文件分布式存储。真实QAR数据集上的实验结果表明,该QAR数据存储模式能使数据均衡分布在集群中,避免了写热点和数据倾斜问题,有较高的存取性能。

【文章页数】：8 页

【部分图文】：

图6实验2结果

图5实验1结果图7实验3结果

图7实验3结果

图6实验2结果3.4查询对比实验

图1Value表行键结构

根据QAR参数的主题划分及2.2.1节HBase表结构设计对Value表的行键结构进行了设计，其结构如图1所示。Value表的行键设计中包含了以下信息：航班号、航班日期、参数及参数所属主题、参数取值对应的时间。由于在设计行键时应保证行键的长度应尽量短，尽可能占用较少的存储空间，本....

图2行键计算

现以2017年7月19日的某航班的名为GROUNDSPEED的参数在4∶46分的数据为例说明Value表行键结构及数据存储形式。该航班的fid为0018，参数的pid为0179，将时间4∶46以0446表示，将一分钟内的数据存入Value表，其存储形式如图2所示。2.2.3预....

本文编号：3958075