基于云计算的数据存储研究

发布时间：2017-08-01 00:19

  本文关键词：基于云计算的数据存储研究

  更多相关文章： 云计算 数据存储 Hadoop

【摘要】：云计算是一种大规模的分布式计算技术,是分布式计算和网格计算的延伸,近年来发展迅速,对IT行业产生了巨大影响。Hadoop是云计算技术中针对数据存储进行分布式处理的技术。Hadoop框架应用广泛,它可以通过云计算集群来实现海量数据存储和应用程序运行。实现云计算服务的基本条件是实现高性能的云存储,它通过应用软件将网络中的各类存储设备进行整合后协同工作,对外提供数据存储功能和业务访问功能。本文首先深入理解现有的分布式计算和存储技术、Hadoop的核心组件分布式文件系统HDFS、分布式计算模型MapReduce和分布式数据库HBase的工作流程,在数据文件处理、安全加密处理、小文件处理和非结构化数据处理等几方面进行分析和设计,采用Linux集群技术结合并行分布式技术和Hadoop集群技术,应用Eclipse、Tomcat等开发工具整合虚拟机搭建基于Hadoop的云计算平台,以HDFS和MapReduce作为处理海量数据的方法,建立基于Hadoop的云存储模型,实现了海量数据的存储和分布式处理。通过对基于云计算的数据存储研究,对云计算环境下的数据存储体系结构、分布式文件系统进行了分析,建立的云存储模型可以为企业创建基于云计算的数据中心提供具有较高可用性、扩展性和安全性的解决方案。将该模型应用于海量数据的存储中,可以在日志处理、搜索引擎和文件索引等领域得到更好的性能。
【关键词】：云计算 数据存储 Hadoop
【学位授予单位】：天津大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要4-5
• ABSTRACT5-8
• 第一章 绪论8-12
• 1.1 研究背景和意义8-9
• 1.2 研究内容和研究现状9-10
• 1.3 组织结构10-12
• 第二章 相关技术综述12-22
• 2.1 分布式系统12
• 2.2 云计算12-17
• 2.3 Hadoop17-20
• 2.4 开发工具20-22
• 第三章 云存储平台的分析22-27
• 3.1 可行性研究22
• 3.2 平台整体分析22-24
• 3.2.1 整体分析22-23
• 3.2.2 性能需求23
• 3.2.3 平台特点23-24
• 3.3 功能需求分析24-27
• 3.3.1 数据文件处理24
• 3.3.2 安全加密处理24-25
• 3.3.3 小文件处理25-26
• 3.3.4 非结构化数据处理26-27
• 第四章 云存储平台的设计27-37
• 4.1 设计目标27
• 4.2 整体设计方案27-29
• 4.3 数据文件处理29-30
• 4.4 安全加密处理30-33
• 4.5 小文件处理33-35
• 4.6 非结构化数据处理35-37
• 第五章 云存储平台的搭建37-52
• 5.1 平台技术架构37-38
• 5.2 开发环境的配置38-39
• 5.3 平台的配置39-47
• 5.4 平台功能的实现47-49
• 5.4.1 平台功能模块47
• 5.4.2 文件浏览功能47-48
• 5.4.3 文件上传功能48-49
• 5.4.4 文件共享功能49
• 5.4.5 文件下载功能49
• 5.5 平台的测试49-52
• 第六章 总结与展望52-54
• 6.1 总结52
• 6.2 展望52-54
• 参考文献54-56
• 致谢56-57

【相似文献】

中国期刊全文数据库 前10条

1 郑士贵;数据存储的全面管理[J];管理科学文摘;1997年09期

2 相晓明;网上存储:X:Drive[J];互联网周刊;2000年30期

3 王宇葳;谁来吞吐你的数据[J];互联网周刊;2000年30期

4 袁胜,冯毅,伍显峰,涂春明,盛云川;移动计费营业系统中数据存储的考虑[J];电信技术;2001年01期

5 杨向东;数据存储——深化金融电子化的奠基之石[J];华南金融电脑;2002年03期

6 李子臣,王振光,王文静;外包数据存储——经济、安全、高效[J];现代情报;2002年11期

7 杨向东;数据存储——金融电子化的基石[J];中国金融电脑;2002年03期

8 黄重讯;企业的数据存储[J];乡镇企业研究;2003年06期

9 李婕;;医院信息化促进数据存储中心的建立[J];医学信息;2006年09期

10 夏欢;熊前兴;冯樱;;数据存储的探讨[J];科技信息;2006年S4期

中国重要会议论文全文数据库 前10条

1 孙峥皓;汪宏f;阎岩;岑小锋;邓志均;;浅谈信息化战争对大数据存储与分析的要求及对策[A];2013第一届中国指挥控制大会论文集[C];2013年

2 张沁川;王厚军;;基于大容量闪存的数据存储与管理[A];2008中国仪器仪表与测控技术进展大会论文集（Ⅲ）[C];2008年

3 霍跃华;;IP SAN在煤炭企业数据存储的应用研究[A];煤矿自动化与信息化——第20届全国煤矿自动化与信息化学术会议暨第2届中国煤矿信息化与自动化高层论坛论文集[C];2010年

4 盛磊;李美华;程林;;一种轧钢过程数据存储方法[A];全国冶金自动化信息网2014年会论文集[C];2014年

5 王文峰;李佳;;刍议信息系统数据存储与备份系统的构建方式[A];2011年云南电力技术论坛论文集（入选部分）[C];2011年

6 张艳秋;李建中;杨艳;张兆功;;混合负载多媒体服务器的数据存储和数据提交[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

7 王淑江;;烟台日报传媒集团存储体系规划[A];中国新闻技术工作者联合会五届一次理事会暨学术年会论文集（上篇）[C];2009年

8 ;Wallstor网络数据存储的新技术应用[A];江苏省微型电脑应用协会产学研成果交流会会议资料[C];2010年

9 韦大伟;;分布式数据存储中的机密性保护[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

10 韩德志;;内网数据存储安全关键技术的研究与实现[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

中国重要报纸全文数据库 前10条

1 中国惠普公司网络存储事业部技术顾问 周志峰;数据存储面临七大挑战[N];计算机世界;2001年

2 本报记者 郭涛;中兴通讯打造安全高效的大数据存储[N];中国计算机报;2013年

3 本报记者 陈巍巍;数据存储 进化正当时[N];计算机世界;2013年

4 本报记者 黄锐;绿源巢:大数据存储弄潮儿[N];东莞日报;2014年

5 毛玲玲 吴非;数据存储 安全为重[N];解放军报;2014年

6 本报记者 郭涛;华为存储：高端存储、大数据存储齐头并进[N];中国计算机报;2013年

7 本报记者 方慧玲;纠删码技术：大数据存储的“安全卫士”[N];江苏科技报;2014年

8 ;培养皿中的数据存储[N];网络世界;2007年

9 ;2010年中小企业数据存储市场六大趋势[N];网络世界;2010年

10 本报实习记者 陈勋燕;数据存储网络凸现商机 上海邮通转型前景看好[N];通信信息报;2002年

中国博士学位论文全文数据库 前3条

1 付松龄;分布式在线社交网络数据存储及优化技术研究[D];国防科学技术大学;2014年

2 张杰;一种高速数据存储方法的研究[D];中国科学技术大学;2013年

3 付永忠;基于AFM和硫系相变材料的超高密度数据存储机理研究[D];江苏大学;2010年

中国硕士学位论文全文数据库 前10条

1 葛佳;P2P网络信誉数据存储与恢复方法的研究与实现[D];昆明理工大学;2015年

2 潘阳;基于Hadoop技术在分布式数据存储中的应用研究[D];大连海事大学;2015年

3 秦峥惠;基于Leveldb的企业级大数据集群化存储设计与实现[D];辽宁科技大学;2015年

4 吉瑛;基于MongoDB的团队协作数据存储方案研究与实现[D];中国科学院大学(工程管理与信息技术学院);2015年

5 姜威灵;CT仿真数据存储与高速传输装置设计[D];东北大学;2014年

6 方颀;基于行数据存储的CBCT图像重建FPGA电路的优化与设计[D];哈尔滨工业大学;2015年

7 张路路;基于MongoDB的大数据存储方法研究与应用[D];成都理工大学;2015年

8 张磊;基于Hadoop分布式数据存储传感设备平台的描述[D];南京邮电大学;2015年

9 贾新宇;基于云计算的GIS栅格数据存储与算法研究[D];吉林大学;2015年

10 李青;科技云平台的数据存储管理技术研究[D];北方工业大学;2016年

，

本文编号：601757