面向模型的数据质量管理系统的设计与实现
发布时间：2021-11-18 14:24
随着我们的社会迈入大数据时代,社会中的数据呈现指数级增长,根据国际数据公司（IDC）的发布的数据统计白皮书,在2016年全球大约产生了16.1ZB数据。报告指出到了2025年,全球数据量将达到163ZB。在这个高度信息化的社会,数据作为一种重要的战略资产,对组织领导决策的制定有着至关重要的影响。在这海量增长的数据中,夹杂着各式各样的问题数据。由于低质量的数据做出的错误决策,每年都会给组织造成难以衡量的损失。数据质量问题已经成为现代社会各个组织必须要面临解决的问题。信息化组织需要一种能够对系统每年增长的大量数据进行检测的管理系统。本课题设计的系统中,包含数据模型解析管理、检测模型管理、调度任务管理、数据资产管理、订阅监控管理、可视化展示六大模块。数据模型解析管理,可以帮助用户将模型中的数据字段解析出来,与云平台中的字段进行匹配,为模型设置准备字段。检测模型管理模块,让用户创建符合业务逻辑的检测模型。调度任务管理模块,让用户能够控制模型的执行时间。数据资产管理,让用户可以注册自己需要管理的数据。订阅监控管理模块,使用户能够对检测结果进行监控。在本系统利用Spring Boot作为系统的框架...
【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校
【文章页数】：76 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
1 绪论
1.1 研究背景与意义
1.2 国内外研究概况
1.3 论文的主要研究内容
1.4 论文的主要结构
2 相关技术研究
2.1 数据质量管理
2.1.1 数据质量管理概述
2.1.2 数据质量管理流程
2.1.3 数据质量的评价体系
2.1.4 数据质量可视化管理
2.2 WEB技术
2.2.1 MVC模式
2.2.2 SpringBoot开发框架
2.2.3 Quartz调度管理框架
2.3 分布式大数据技术
2.3.1 Spark概述
2.3.2 Livy概述
2.4 本章小结
3 数据质量系统的需求分析
3.1 目标用户分析
3.2 系统功能需求分析
3.2.1 数据模型解析功能
3.2.2 数据质量检测功能
3.2.3 调度任务管理功能
3.2.4 信息可视化展示功能
3.2.5 数据资产注册功能
3.2.6 订阅监控功能
3.3 系统非功能性需求
3.4 本章小结
4 数据质量系统的设计
4.1 系统概要设计
4.1.1 系统总体框架
4.1.2 数据质量管理系统技术体系
4.1.3 数据质量管理平台功能架构
4.1.4 数据质量管理平台主业务流程
4.2 系统详细设计
4.2.1 数据模型解析模块
4.2.2 检测模型模块
4.2.3 调度任务模块
4.2.4 信息可视化模块
4.2.5 数据资产管理模块
4.2.6 订阅监控模块
4.3 数据库设计
4.3.1 概述
4.3.2 关键表设计
4.4 本章小结
5 数据质量系统的实现
5.1 系统实现的软硬件环境
5.2 系统实现的逻辑分层
5.3 检测模型管理模块的实现
5.4 调度任务管理模块的实现
5.5 可视化管理模块的实现
5.6 本章小结
6 系统测试
6.1 系统运行环境
6.2 系统功能测试
6.3 本章小结
结论
参考文献
致谢
【参考文献】：
期刊论文
[1]国内外数据治理研究进展:内涵、要素、模型与框架[J]. 刘桂锋,钱锦琳,卢章平. 图书情报工作. 2017(21)
[2]大数据环境下的数据质量管理策略[J]. 刘金晶,曹文洁. 软件导刊. 2017(03)
[3]Spring Boot研究和应用[J]. 王永和,张劲松,邓安明,周智勋. 信息通信. 2016(10)
[4]面向实体识别的聚类算法[J]. 孙琛琛,申德荣,寇月,聂铁铮,于戈. 软件学报. 2016(09)
[5]关联数据质量评价方法研究述评[J]. 赵文轩,李春旺. 情报理论与实践. 2016(02)
[6]大数据质量管理:问题与研究进展[J]. 王宏志. 科技导报. 2014(34)
[7]电网调度数据资源的主数据管理[J]. 罗洪,严伟峰,杨世兵. 云南大学学报(自然科学版). 2013(S2)
[8]基于DMAIC流程改进数据质量[J]. 商广娟. 质量与可靠性. 2009(06)
[9]信息系统建设中的数据质量管理体系研究[J]. 谷斌. 情报杂志. 2007(05)
[10]信息系统中的数据质量评价方法研究[J]. 向上. 现代情报. 2007(03)
博士论文
[1]实体识别关键技术的研究[D]. 黎玲利.哈尔滨工业大学 2015
硕士论文
[1]基于Spark的情报大数据可视化分析[D]. 李筱川.山东大学 2017
[2]基于MES的质量管理系统数据可视化研究[D]. 宋宇.东南大学 2017
[3]数据中心的数据质量管理工具设计与实现[D]. 刘中超.华中科技大学 2013
本文编号：3503065
【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校
【文章页数】：76 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
1 绪论
1.1 研究背景与意义
1.2 国内外研究概况
1.3 论文的主要研究内容
1.4 论文的主要结构
2 相关技术研究
2.1 数据质量管理
2.1.1 数据质量管理概述
2.1.2 数据质量管理流程
2.1.3 数据质量的评价体系
2.1.4 数据质量可视化管理
2.2 WEB技术
2.2.1 MVC模式
2.2.2 SpringBoot开发框架
2.2.3 Quartz调度管理框架
2.3 分布式大数据技术
2.3.1 Spark概述
2.3.2 Livy概述
2.4 本章小结
3 数据质量系统的需求分析
3.1 目标用户分析
3.2 系统功能需求分析
3.2.1 数据模型解析功能
3.2.2 数据质量检测功能
3.2.3 调度任务管理功能
3.2.4 信息可视化展示功能
3.2.5 数据资产注册功能
3.2.6 订阅监控功能
3.3 系统非功能性需求
3.4 本章小结
4 数据质量系统的设计
4.1 系统概要设计
4.1.1 系统总体框架
4.1.2 数据质量管理系统技术体系
4.1.3 数据质量管理平台功能架构
4.1.4 数据质量管理平台主业务流程
4.2 系统详细设计
4.2.1 数据模型解析模块
4.2.2 检测模型模块
4.2.3 调度任务模块
4.2.4 信息可视化模块
4.2.5 数据资产管理模块
4.2.6 订阅监控模块
4.3 数据库设计
4.3.1 概述
4.3.2 关键表设计
4.4 本章小结
5 数据质量系统的实现
5.1 系统实现的软硬件环境
5.2 系统实现的逻辑分层
5.3 检测模型管理模块的实现
5.4 调度任务管理模块的实现
5.5 可视化管理模块的实现
5.6 本章小结
6 系统测试
6.1 系统运行环境
6.2 系统功能测试
6.3 本章小结
结论
参考文献
致谢
【参考文献】：
期刊论文
[1]国内外数据治理研究进展:内涵、要素、模型与框架[J]. 刘桂锋,钱锦琳,卢章平. 图书情报工作. 2017(21)
[2]大数据环境下的数据质量管理策略[J]. 刘金晶,曹文洁. 软件导刊. 2017(03)
[3]Spring Boot研究和应用[J]. 王永和,张劲松,邓安明,周智勋. 信息通信. 2016(10)
[4]面向实体识别的聚类算法[J]. 孙琛琛,申德荣,寇月,聂铁铮,于戈. 软件学报. 2016(09)
[5]关联数据质量评价方法研究述评[J]. 赵文轩,李春旺. 情报理论与实践. 2016(02)
[6]大数据质量管理:问题与研究进展[J]. 王宏志. 科技导报. 2014(34)
[7]电网调度数据资源的主数据管理[J]. 罗洪,严伟峰,杨世兵. 云南大学学报(自然科学版). 2013(S2)
[8]基于DMAIC流程改进数据质量[J]. 商广娟. 质量与可靠性. 2009(06)
[9]信息系统建设中的数据质量管理体系研究[J]. 谷斌. 情报杂志. 2007(05)
[10]信息系统中的数据质量评价方法研究[J]. 向上. 现代情报. 2007(03)
博士论文
[1]实体识别关键技术的研究[D]. 黎玲利.哈尔滨工业大学 2015
硕士论文
[1]基于Spark的情报大数据可视化分析[D]. 李筱川.山东大学 2017
[2]基于MES的质量管理系统数据可视化研究[D]. 宋宇.东南大学 2017
[3]数据中心的数据质量管理工具设计与实现[D]. 刘中超.华中科技大学 2013
本文编号：3503065
本文链接：https://www.wllwen.com/guanlilunwen/zhiliangguanli/3503065.html
