基于评价模型的基金数据质量管理平台的设计和实现

发布时间：2021-11-28 04:23

　　在信息时代,数据在信息化建设中扮演着越来越重要的作用。然而随着应用系统产生的数据量的不断增多,各种数据问题也随之产生,数据缺失、错误、不一致等数据问题给企业带来了巨大的损失。本文在分析现有质量评估模型的基础上,从当前基金数据存在的主要问题出发,选择完整性、有效性、唯一性三个指标建立了基金数据质量评估模型。从定量的角度对基金数据质量进行评估,可以帮助使用这些数据的用户或系统了解当前基金数据质量的情况,对是否采用这些数据或进行进一步处理提供决策依据。在此基础上,本文提出了针对各种业务场景的数据质量提高方法。基于评估模型和当前存在的基金数据质量问题,本文从提高数据质量的需求出发,利用重复数据检测、异常数据处理、缺失数据处理等相关数据质量提高技术以及Spring、 Hibernate等相关技术,设计并实现了基金数据质量管理平台。本文最后通过具体的实例数据,首先使用基金数据质量评估模型对其进行了质量评估,然后使用基金数据质量管理平台解决了原始数据中数据重复、异常、缺失等问题。通过对比前后数据质量得分和基金数据可视化系统展示效果可以看出,基金数据质量确实得到了提高,并为用户做出正确的判断提供了依据... 

【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校

【文章页数】：71 页

【学位级别】：硕士

【部分图文】：

图２．１ＭＶＣ框架图??模型层中是各种数据和业务逻辑，它处理来自视图层的请求（通过控制层），??然后将处理结果通过控制层返回给视图层

。??４．１基于评价模型的基金数据质量管理方法简介??数据生命周期包括数据收集、数据处理、数据存储、数据提供，本章在此基??础上，结合数据质量评价模型，提出了如下图４．１所示的数据质量管理方法。??■■—－??

（２）表结构说明??表名：ａｐ＿ｅｔｌ＿ｃａｔｅｇｏｒｙ??说明：保存基金运作方式相关信息??表名；ａｐ＿ｅｔｌ＿ｐｏｒｔｆｏｌｉｏ＿ｔｙｐｅ??说明：保存基金类型相关信息??表名：ａｐ＿ｅｔｌ＿ｐｏｒｔｆｏｌｉｏｓ??说明：保存基金基本信息??４０??

【参考文献】：
期刊论文
[1]基于可变阈值的无线传感网络异常值检测[J]. 翟小超.  电子科技. 2015(02)
[2]基于标记的不一致数据查询处理框架[J]. 吴爱华.  上海海事大学学报. 2013(01)
[3]缺失数据统计处理方法的研究进展[J]. 帅平,李晓松,周晓华,刘玉萍.  中国卫生统计. 2013(01)
[4]基于实体描述属性技术的XML重复对象检测方法[J]. 李亚坤,王宏志,高宏,李建中.  计算机学报. 2011(11)
[5]一种基于相关性的分布式异常检测算法[J]. 王进强,吕建华,张柏礼.  计算机研究与发展. 2010(S2)
[6]数据质量研究综述[J]. 韩京宇,徐立臻,董逸生.  计算机科学. 2008(02)
[7]多指标综合评价方法及权重系数的选择[J]. 王晖,陈丽,陈垦,薛漫清,梁庆.  广东药学院学报. 2007(05)
[8]信息系统建设中的数据质量管理体系研究[J]. 谷斌.  情报杂志. 2007(05)
[9]数据流上异常数据的在线检测与修正[J]. 王永利,徐宏炳,董逸生,钱江波,刘学军.  应用科学学报. 2006(03)
[10]评价指标选取方法研究[J]. 刘丽莉.  河北建筑工程学院学报. 2004(01)

博士论文
[1]数据集成技术若干问题的研究[D]. 王欣.上海交通大学 2010

硕士论文
[1]数据仓库数据质量管理的研究[D]. 卢本新.大连理工大学 2013
[2]异常数据挖掘算法研究与应用[D]. 孟静.江南大学 2013
[3]云计算环境下分布式数据不一致的研究[D]. 曹颖.中国海洋大学 2013
[4]XML重复对象检测系统的设计与实现[D]. 王巍.华中科技大学 2011
[5]政府统计数据质量及其管理研究[D]. 张芳.湖南大学 2004



本文编号：3523697