气象装备数据立方体建模与存储优化技术研究
发布时间：2021-02-16 04:13
气象装备作为气象服务的基础设施,其种类丰富、数量庞大,被广泛应用在各个领域,气象服务已惠及各行各业。在研制、生产、使用等环节产生的大量气象装备数据资源,增加了气象装备的管理和维护成本,给气象装备的改进带来了极大的挑战。伴随着大数据技术的普及与应用,这些海量数据成为价值度很高的资源,为气象装备的改进和管理提供决策支撑。因此充分挖掘和利用这些数据,对新型气象装备的研发与管理有着重要的影响。本文从气象装备的分类展开研究,将各类气象装备属性进行分层次归纳合并,最终归纳出属性集,包括基本信息、功能指标、技术性能指标、主要技术;根据归纳出的属性集确定气象装备数据立方体的维和概念分层;同时,根据用户从不同视角关注的主题确定事实,构建了气象装备数据立方体模型,并设计了该模型在数据库中的存储结构。在完成气象装备数据立方体模型创建的基础之上,本文从提高数据立方体OLAP操作效率的角度出发,提出了基于用户搜索行为习惯分析的数据立方体压缩存储方案和缓存策略。首先,对采集上报的用户搜索行为数据进行语义分析,并结合搜索关键词出现的频率,计算出用户行为之间的关联度;其次,将关联度作为BUC算法中的阈值条件,压缩数据...
【文章来源】：国防科技大学湖南省 211工程院校 985工程院校
【文章页数】：70 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 研究背景
1.2 国内外研究进展
1.2.1 数据立方体模型
1.2.2 缓存策略
1.3 论文主要工作与创新点
1.3.1 论文主要工作
1.3.2 论文的创新点
1.4 论文组织结构
第二章 相关理论及关键技术介绍
2.1 数据立方体技术
2.1.1 数据立方体模型及相关概念
2.1.2 数据立方体的存储方式
2.1.3 数据立方体中的基本操作
2.2 缓存技术
2.2.1 缓存应用场景
2.2.2 缓存存储介质
2.2.3 缓存更新和缓存淘汰机制
2.2.4 缓存数据转换
2.3 本章小结
第三章 气象装备数据立方体建模技术
3.1 气象装备分类及属性集归纳
3.1.1 气象装备概述
3.1.2 气象装备属性集归纳
3.2 气象装备数据立方体模型
3.2.1 气象装备数据立方体主题域分析
3.2.2 维度及维层次的逻辑设计
3.2.3 数据立方体模型构建
3.3 数据立方体存储结构
3.4 本章小结
第四章 数据立方体存储优化与缓存策略研究
4.1 用户检索数据过程描述
4.1.1 用户检索数据采集
4.1.2 用户行为关联度计算
4.2 基于BUC算法思想压缩存储数据立方体
4.3 缓存策略设计
4.3.1 基于Redis内存数据库的缓存存储设计
4.3.2 C&T缓存算法
4.3.3 仿真设计
4.3.4 仿真结果分析
4.4 本章小结
第五章 气象装备数据立方体应用系统
5.1 系统概述
5.2 系统总体设计
5.2.1 系统整体架构
5.2.2 系统高可用性设计
5.3 系统详细设计
5.3.1 微服务模块设计
5.3.2 系统核心模块详细设计
5.4 系统实现效果
5.4.1 移动客户端
5.4.2 桌面客户端
5.5 本章小结
第六章 总结与展望
6.1 论文总结
6.2 前景展望
致谢
参考文献
作者在学期间取得的学术成果
附录A C&T数据立方体缓存算法伪代码
【参考文献】：
期刊论文
[1]面向Redis的数据序列化算法研究[J]. 孙杜靖,李玲娟. 计算机技术与发展. 2017(05)
[2]移动云环境下船舶逻辑规则的查询裁剪优化策略[J]. 刘丹. 舰船科学技术. 2017(04)
[3]基于DUBBO+ZOOKEEPER计量服务平台研究[J]. 冉勇,曹东升,杨婧孜,马宁,赵华一. 计量与测试技术. 2017(01)
[4]统一用户与单点登录实现应用系统集成方法研究[J]. 蔡芳. 电脑知识与技术. 2016(27)
[5]基于Dubbox的分布式服务架构设计与实现[J]. 谢璐俊,杨鹤彪. 软件导刊. 2016(05)
[6]语义OLAP缓存技术研究[J]. 游进国,董朋志,胡宝丽,王洋,丁家满,贾连印. 小型微型计算机系统. 2015(07)
[7]大数据时代信息分析的关键问题、挑战与对策[J]. 官思发,朝乐门. 图书情报工作. 2015(03)
[8]以新视角解析公众气象服务的用户需求差异[J]. 梁晓妮,雷俊,万贵珍. 气象与减灾研究. 2014(03)
[9]移动计算中语义缓存的改进研究[J]. 龚玉利,冷文浩. 计算机应用与软件. 2014(02)
[10]移动终端离线电子地图应用框架研究[J]. 李锋,明镜,王昌翰. 测绘科学. 2013(06)
博士论文
[1]移动自组网环境下协作缓存一致性维护机制研究[D]. 黄宇.中国科学技术大学 2007
硕士论文
[1]本地存储技术在跨平台实时数据监控中的应用[D]. 柏伟.南京大学 2015
[2]面向高性能计算的分布式内存文件缓存系统[D]. 徐越.华中科技大学 2013
[3]MySQL复制技术的研究与改进[D]. 刘腾.浙江大学 2011
[4]基于切片地图Web服务的地理信息发布技术研究[D]. 彭杰.浙江大学 2011
[5]多维模型中渐变维度的研究与应用[D]. 杨进.华中科技大学 2009
本文编号：3036134
【文章来源】：国防科技大学湖南省 211工程院校 985工程院校
【文章页数】：70 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 研究背景
1.2 国内外研究进展
1.2.1 数据立方体模型
1.2.2 缓存策略
1.3 论文主要工作与创新点
1.3.1 论文主要工作
1.3.2 论文的创新点
1.4 论文组织结构
第二章 相关理论及关键技术介绍
2.1 数据立方体技术
2.1.1 数据立方体模型及相关概念
2.1.2 数据立方体的存储方式
2.1.3 数据立方体中的基本操作
2.2 缓存技术
2.2.1 缓存应用场景
2.2.2 缓存存储介质
2.2.3 缓存更新和缓存淘汰机制
2.2.4 缓存数据转换
2.3 本章小结
第三章 气象装备数据立方体建模技术
3.1 气象装备分类及属性集归纳
3.1.1 气象装备概述
3.1.2 气象装备属性集归纳
3.2 气象装备数据立方体模型
3.2.1 气象装备数据立方体主题域分析
3.2.2 维度及维层次的逻辑设计
3.2.3 数据立方体模型构建
3.3 数据立方体存储结构
3.4 本章小结
第四章 数据立方体存储优化与缓存策略研究
4.1 用户检索数据过程描述
4.1.1 用户检索数据采集
4.1.2 用户行为关联度计算
4.2 基于BUC算法思想压缩存储数据立方体
4.3 缓存策略设计
4.3.1 基于Redis内存数据库的缓存存储设计
4.3.2 C&T缓存算法
4.3.3 仿真设计
4.3.4 仿真结果分析
4.4 本章小结
第五章 气象装备数据立方体应用系统
5.1 系统概述
5.2 系统总体设计
5.2.1 系统整体架构
5.2.2 系统高可用性设计
5.3 系统详细设计
5.3.1 微服务模块设计
5.3.2 系统核心模块详细设计
5.4 系统实现效果
5.4.1 移动客户端
5.4.2 桌面客户端
5.5 本章小结
第六章 总结与展望
6.1 论文总结
6.2 前景展望
致谢
参考文献
作者在学期间取得的学术成果
附录A C&T数据立方体缓存算法伪代码
【参考文献】：
期刊论文
[1]面向Redis的数据序列化算法研究[J]. 孙杜靖,李玲娟. 计算机技术与发展. 2017(05)
[2]移动云环境下船舶逻辑规则的查询裁剪优化策略[J]. 刘丹. 舰船科学技术. 2017(04)
[3]基于DUBBO+ZOOKEEPER计量服务平台研究[J]. 冉勇,曹东升,杨婧孜,马宁,赵华一. 计量与测试技术. 2017(01)
[4]统一用户与单点登录实现应用系统集成方法研究[J]. 蔡芳. 电脑知识与技术. 2016(27)
[5]基于Dubbox的分布式服务架构设计与实现[J]. 谢璐俊,杨鹤彪. 软件导刊. 2016(05)
[6]语义OLAP缓存技术研究[J]. 游进国,董朋志,胡宝丽,王洋,丁家满,贾连印. 小型微型计算机系统. 2015(07)
[7]大数据时代信息分析的关键问题、挑战与对策[J]. 官思发,朝乐门. 图书情报工作. 2015(03)
[8]以新视角解析公众气象服务的用户需求差异[J]. 梁晓妮,雷俊,万贵珍. 气象与减灾研究. 2014(03)
[9]移动计算中语义缓存的改进研究[J]. 龚玉利,冷文浩. 计算机应用与软件. 2014(02)
[10]移动终端离线电子地图应用框架研究[J]. 李锋,明镜,王昌翰. 测绘科学. 2013(06)
博士论文
[1]移动自组网环境下协作缓存一致性维护机制研究[D]. 黄宇.中国科学技术大学 2007
硕士论文
[1]本地存储技术在跨平台实时数据监控中的应用[D]. 柏伟.南京大学 2015
[2]面向高性能计算的分布式内存文件缓存系统[D]. 徐越.华中科技大学 2013
[3]MySQL复制技术的研究与改进[D]. 刘腾.浙江大学 2011
[4]基于切片地图Web服务的地理信息发布技术研究[D]. 彭杰.浙江大学 2011
[5]多维模型中渐变维度的研究与应用[D]. 杨进.华中科技大学 2009
本文编号：3036134
本文链接：https://www.wllwen.com/projectlw/qxxlw/3036134.html
