开源软件中的大数据管理技术

发布时间：2024-03-17 16:18

　　随着谷歌文件系统和宽表结构为代表的技术打破依赖关系数据库管理海量数据的限制,以Apache Hadoop为代表的开源大数据管理系统软件新技术与系统不断涌现,并快速成熟应用。针对Apache开源社区中面向在线事务处理和在线分析处理场景的大数据管理软件,介绍了大数据管理中的数据存储、数据分区、副本机制、分布式协议等,并比较分析了分布式文件系统、键值库、时序数据库等典型分布式数据管理系统的优缺点。

【文章页数】：12 页

【文章目录】：
1 大数据存储引擎关键技术
    1.1 系统负载管理
    1.2 LSM结构
    1.3 列式文件格式
2 数据分区技术分析
3 副本机制设计
    3.1 副本一致性问题
    3.2 副本与纠删码
4 分布式协议
    4.1 法团（Quorum）协议
    4.2 共识算法
5 Apache社区中的大数据管理系统
    5.1 分布式文件系统Apache Hadoop
    5.2 键值数据管理系统
    5.3 时序数据管理系统
6 结论



本文编号：3931296