基于Cassandra与Spark的降水量统计算法的设计与实现

发布时间：2021-03-16 18:24

　　文中对Spark大数据处理框架进行了深入剖析,采用Scala+Hadoop+Spark软件,搭建了Spark大数据处理框架,Cassandra分布式数据库集群,根据计算降水量的应用需求,设计了数据库的分区以及列存储的对应关系。使用Spark连接Cassandra获取了长时间序列的降水量数据到RDD（弹性分布式数据集）,设计算法成功进行了长时间序列小时降水量的统计。结果表明这种计算方法在计算海量数据时,较关系型数据库和传统计算方法显著提高了计算效率和正确率,符合气象大数据的计算要求,为气象服务提供了大数据算力支撑。 

【文章来源】：信息技术. 2020,44(07)

【文章页数】：5 页

【部分图文】：

Spark框架的搭建流程

Spark集群运行情况

Spark分布式计算流程图

【参考文献】：
期刊论文
[1]一种面向Hadoop中间数据存储的混合存储系统[J]. 赵南雨,陈莉君.  信息技术. 2017(11)
[2]基于Spark的并行K-means气象数据挖掘研究[J]. 李莉,王小刚.  信息技术. 2017(09)
[3]基于Spark的大数据计算模型[J]. 王磊,时亚文.  电脑知识与技术. 2016(20)
[4]基于Spark的大数据混合计算模型[J]. 胡俊,胡贤德,程家兴.  计算机系统应用. 2015(04)
[5]大数据处理模型Apache Spark研究[J]. 黎文阳.  现代计算机(专业版). 2015(08)
[6]支持大数据管理的NoSQL系统研究综述[J]. 申德荣,于戈,王习特,聂铁铮,寇月.  软件学报. 2013(08)
[7]一种Hadoop小文件存储和读取的方法[J]. 张春明,芮建武,何婷婷.  计算机应用与软件. 2012(11)
[8]架构大数据:挑战、现状与展望[J]. 王珊,王会举,覃雄派,周烜.  计算机学报. 2011(10)
[9]基于Cassandra的可扩展分布式反向索引的构建[J]. 唐李洋,倪志伟,李应.  计算机科学. 2011(06)
[10]Cassandra数据库安全性分析与改进[J]. 刘欣.  电脑知识与技术. 2010(35)



本文编号：3086406