基于Hadoop海量数据存储仿真平台的研究与设计

发布时间：2024-02-22 04:33

　　随着全球信息化网络化发展和变革的推进,信息处理工作的客观环境已发生了根本性变化。目前随着各国信息化步伐的加快,要处理的来源数据发生了明显变化,最主要的特点就是数据的传输速率越来越快,信息量越来越大,如何及时有效地存储和处理海量数据,并在大量的数据中准确定位目标数据是摆在当前和将来的信息处理工作中的一道难题,成为信息化建设中的一大瓶颈。 有鉴于此,海量数据存储一直都是热门的研究点,对其研究的课题层出不穷,既包括大文件的存储,也包括系统可靠性、可扩展性和运行速度、管理等,在这些课题推动下,海量数据存储系统也从集中式发展到了分布式,以及后来的网格存储与云存储。Hadoop是一个可靠、高效、可伸缩的分布式系统基础架构,并且是开源、跨平台的,其出现大大推动了云技术、云存储的研究,例如IBM[1]的新研究课题就是在Hadoop上建立新的存储架构。Hadoop还是一种新生的架构,虽然基于其的应用已经有不少,但是却还远远算不上成熟,所以对其存在的不足的研究和优化也存在巨大的空间。对Hadoop的研究对于企业和机构来说,在设计初期需要一个对研究和设计成果进行测试的平台,而这些,显然是不适合在实际的平台上...

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

图2-1云存储服务与用户接口虽然组成云的部件可能非常复杂，包括服务器、计算机、交换机、路由器、防火墙

图2-1云存储服务与用户接口云的部件可能非常复杂，包括服务器、计算机、交换机、路由器、成员的型号、性能、接口和传输协议等都不一样，但是对于用户来，无关紧要的。用户只需获得这个云得使用权限，然后连接上这个既不需要刻意去建立容灾备份系统，也不需要关心软件、硬件的升期的监视和维护硬....

图2-2云结构四层模型

图2-1云存储服务与用户接口部件可能非常复杂，包括服务器、计算机、交换机、路的型号、性能、接口和传输协议等都不一样，但是对于关紧要的。用户只需获得这个云得使用权限，然后连接需要刻意去建立容灾备份系统，也不需要关心软件、硬监视和维护硬件的状态，这些全部都可以交给云服务提型也是非....

图2-3GFS架构图

华南理工大学硕士学位论文上只有一个，是整个集群的控制中心，存放了整个系统的元数据，并且所有元数据在内存中，所以读写速度非常快；ChunkServer是系统数据的实际存放点，负责了的存储工作，其数量也就是系统的规模；Client是一组专用的接口，以库的形式封提供给应用程序，用....

图2-4HDFS架构图

图2-4HDFS架构图在HDFS中使用了副本策略，提高了系统的容灾能力和性能。默认情况下，HDF个数据块准备了3个副本，一个副本存放在本节点上，另外两个副本分别存放在点同一机架的另一个节点上以及不同机架的另一个节点上。虽然理论上将副本均散在集群中可以简单的实现负载均....

本文编号：3906400