基于贝叶斯网络的大数据因果关系挖掘

发布时间：2017-08-15 10:31

  本文关键词：基于贝叶斯网络的大数据因果关系挖掘

  更多相关文章： 大数据 贝叶斯网络 最小描述长度 因果关系 数据挖掘

【摘要】：2010年,全球的数据量跨入了ZB时代,根据IDC预测,至2020年全球将拥有超过35ZB的数据量,海量数据将直接或者间接的影响我们的日常工作、生活,乃至国家经济以及社会的发展[1]。大数据时代已经到来。随着大数据的快速发展,以概率统计为基础的机器学习在近年来受到工业界和学术界的极大关注,并在互联网、金融、自然语言、生物等领域获得很多重要的应用,其中贝叶斯网络在过去多年也得到了快速发展,并且成为非常重要的一类机器学习方法[2]。贝叶斯网络是描述随机变量之间因果关系图的模型,是概率理论、因果推理与图形理论的结合,也是传统的基于数据的统计方法和强调知识的人工智能方法的统一[3],其重要应用之一是随机变量之间的因果知识表示和推理。贝叶斯网络由结构和参数两部分构成,分别用于定性与定量描述变量之间的因果关系,它具有多功能性、有效性和开放性等特征,能够有效的将数据转化成知识,然后利用这些转化后的知识进行推理,来解决现实世界中的不确定性方面的问题,其有效性已在金融风险分析、信息安全、DNA分析、软件智能化、医疗诊断、系统分析和控制等许多领域得到验证。目前,对于非时序的常规数据,通常采用贝叶斯网络来挖掘其中的因果关系;而时序的常规的单时间序列一般采用格兰杰方法来挖掘其中特定的因果关系[4],但是这种方法存在诸多问题。随着大数据时代的来临,大数据技术为我们分析问题和解决问题提供了新的思路和方法。与常规数据集相比,在大数据环境下进行数据挖掘将得到更多更全面的信息。未来从大数据中发现因果关系以及在常规数据中挖掘一般因果关系将是一种趋势。为了改善传统格兰杰模型在时间序列因果关系挖掘中出现的弊端,改进并完善因果关系挖掘模型,本文提出了在大数据环境下使用二阶贝叶斯网络模型进行因果关系挖掘。该模型采用最小描述长度(Minimum Description Length,MDL)[5]原理来进行打分。通过对期货样本数据分析,并对原始时间序列进行离散化、属性约简、重构等处理后进行二阶贝叶斯网络模型训练,不仅可以挖掘节点与节点之间的因果关系而且可以发现因果关系之间的联系。本文的主要工作和主要研究成果如下:1.分析对比现有因果关系挖掘模型和贝叶斯网络结构学习方法,选择基于MDL打分原理的贝叶斯网络模型作为本文的研究方法;2.提出了一种新型的贝叶斯网络模型:二阶贝叶斯网络模型。设计出了新型模型构建的方法,并实现了相关算法。3.利用二阶贝叶斯网络推理模型对期货时间序列进行仿真实验,实验不仅得到了单个期货时间序列内部节点之间的因果关系,而且得到了多个时间序列边与边之间的因果关系。
【关键词】：大数据 贝叶斯网络 最小描述长度 因果关系 数据挖掘
【学位授予单位】：云南财经大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP18;TP311.13
【目录】：

• 摘要3-5
• abstract5-10
• 第一章 引言10-14
• 第一节 研究背景及意义10-11
• 第二节 国内外研究综述11-12
• 一、大数据国内外发展动态11-12
• 二、贝叶斯网络研究现状12
• 第三节 研究内容及安排12-14
• 一、论文的主要工作及创新点12-13
• 二、论文的结构安排13-14
• 第二章 大数据概述14-25
• 第一节 大数据的产生和发展14-16
• 第二节 大数据的定义16-17
• 第三节 大数据环境下的数据挖掘算法17-21
• 一、特征选择17-18
• 二、大数据分类18-20
• 三、大数据聚类20-21
• 第四节 大数据处理流程21-23
• 一、数据收集22
• 二、数据预处理22
• 三、数据挖掘与分析22-23
• 四、数据解释23
• 第五节 大数据的应用23-24
• 第六节 小结24-25
• 第三章 贝叶斯网络基本概念25-38
• 第一节 贝叶斯网络模型25-26
• 第二节 参数学习26-29
• 一、极大似然估计27-28
• 二、贝叶斯估计28-29
• 第三节 结构学习29-34
• 一、基于评分的方法29-33
• （一）基于贝叶斯统计的评分算法30-31
• （二）基于信息论的评分算法31-32
• （三）搜索策略32-33
• 二、基于条件独立检验方法33-34
• 第四节 贝叶斯网络推理34-36
• 一、变量消元算法34-35
• 二、联接树算法35-36
• 三、随机抽样算法36
• 四、变分近似算法36
• 第五节 小结36-38
• 第四章 时间序列数据获取与预处理38-45
• 第一节 期货时间序列数据的来源38-40
• 第二节 编程语言及相关包介绍40-41
• 一、Python简介40
• 二、Pandas和NumPy包简介40-41
• 第三节 原始数据的降维、缺失值处理及离散化41-44
• 一、数据降维41
• 二、数据缺失值填充41-42
• 三、数据离散化42-43
• 四、贝叶斯网络数据集的构建43-44
• 第四节 小结44-45
• 第五章 基于贝叶斯网络的因果关系挖掘45-57
• 第一节MDL打分算法46-47
• 第二节 构建贝叶斯网络模型47-53
• 一、一阶贝叶斯网络模型48-51
• 二、二阶贝叶斯网络模型51-53
• 第三节 贝叶斯网络模型实验结果及解释53-56
• 一、单时间序列53-54
• 二、多时间序列54-56
• 第四节 小结56-57
• 第六章 总结与展望57-59
• 第一节 总结57
• 第二节 展望57-59
• 参考文献59-62
• 致谢62-63
• 在学期间研究成果和已发表的论文63

【相似文献】

中国期刊全文数据库 前10条

1 干红华;潘云鹤;;一种基于事件的因果关系的结构分析方法[J];模式识别与人工智能;2003年01期

2 金锡谟;;关于因果不当(上)[J];新闻与写作;1988年08期

3 贺乐天，，孙永强;刻划分布式计算中的因果关系[J];计算机工程;1996年02期

4 杨伯淑;关于因果关系的标准、辨识及测试的一些探索[J];河北大学学报(哲学社会科学版);2003年01期

5 田树军;;采用合并贮能元法处理微分因果关系[J];机床与液压;1990年04期

6 黄建业;张艳霞;;平衡计分卡应用方法研究[J];物流技术;2005年12期

7 赵建康;因果关系与档案违法行为[J];中国档案;1994年06期

8 张万寅;试论档案犯罪中因果关系的确立原则[J];档案学通讯;2002年02期

9 欧福永;;论欧盟反补贴调查中补贴与损害之间因果关系的认定——以欧盟对中国铜版纸反补贴案为例[J];传播与版权;2013年07期

10 黄鸿森;“由于”三议[J];新闻通讯;1995年02期

中国重要会议论文全文数据库 前10条

1 魏刚;;试论溺爱式家庭与子女心理问题的关系[A];中国首届心理咨询师大会暨心理危机干预研讨会论文集[C];2008年

2 简泽;;经济学中的因果关系[A];首届上海青年经济学者论坛论文集[C];2006年

3 胡月军;;再论假定因果关系的认定[A];当代法学论坛（2011年第4辑）[C];2011年

4 肖祥云;;渎职犯罪因果关系研究[A];当代法学论坛（2006年第4辑）[C];2006年

5 刘凤英;;类别因果关系对基于类别的特征推理任务的影响研究[A];第十一届全国心理学学术会议论文摘要集[C];2007年

6 简泽;;经济学中的因果关系[A];上海市经济学会学术年刊（2006）[C];2007年

7 ;第三十章 货币一产出的因果关系和影响关系检验[A];21世纪数量经济学（第2卷）[C];2001年

8 冷英;莫雷;;隐含因果关系对不同阅读者确定代词意义影响的实验研究[A];第九届全国心理学学术会议文摘选集[C];2001年

9 李伟;张怀金;;颅脑外伤与精神障碍的因果关系鉴定研究[A];中国法医学会全国第十五次法医临床学学术研讨会论文集[C];2012年

10 石峰;李群;朱一凡;王维平;;基于槽约束的行为因果关系追溯方法[A];2006中国控制与决策学术年会论文集[C];2006年

中国重要报纸全文数据库 前10条

1 柴秉升;法医学鉴定中伤害赔偿的因果关系判定[N];甘肃经济日报;2005年

2 韩 疆;民事侵权因果关系判断[N];人民法院报;2003年

3 李玉璧 刘 锐;民事侵权因果关系的认定[N];人民法院报;2005年

4 福建省厦门市中级人民法院 陈朝阳;证券侵权责任因果关系之法理分析[N];人民法院报;2002年

5 余红蔓　蒋海英;车辆溜坡后致人死亡 责任依因果关系而定[N];人民法院报;2011年

6 清华大学法学院副教授、法学博士 周光权;因果关系的判断[N];人民法院报;2003年

7 马栩生;因果关系推定研究[N];人民法院报;2004年

8 上海海事法院海事庭 汪洋;滞留单证与退税损失之间有无因果关系？[N];国际商报;2007年

9 浙江省宁波市鄞州区人民法院 郭敬波;“因”与“果”的距离[N];人民法院报;2011年

10 杨素娟;“举证责任倒置”与“因果关系推定”[N];中国环境报;2002年

中国博士学位论文全文数据库 前10条

1 周彬彬;美国侵权法中因果关系不确定的解决进路研究[D];山东大学;2015年

2 王小艳;隐含因果关系中的自我服务偏向研究[D];华东师范大学;2016年

3 葛洪涛;论侵权法中的因果关系[D];山东大学;2008年

4 丁小斌;特征间因果关系在归类中的作用[D];天津师范大学;2009年

5 韩强;法律因果关系理论学说史述评[D];华东政法大学;2007年

6 张雪莹;俄语中的因果关系研究[D];黑龙江大学;2012年

7 裘江南;汉语文本中突发事件因果关系抽取方法研究[D];大连理工大学;2012年

8 干红华;基于事件的因果关系可计算化分析研究[D];浙江大学;2003年

9 郭水霞;Granger因果关系的理论及其在系统生物学中的应用[D];湖南师范大学;2009年

10 金洲;基于约束学习的观测数据因果关系发现研究[D];中国科学技术大学;2014年

中国硕士学位论文全文数据库 前10条

1 栾兰;因果关系的逻辑解析及其科学价值[D];燕山大学;2009年

2 袁俊龙;浅论法律因果关系[D];山东大学;2014年

3 李燕;环境侵权责任因果关系推定研究[D];河北大学;2015年

4 张齐家;药品缺陷责任研究[D];内蒙古大学;2015年

5 姜伯宁;渎职罪的因果关系研究[D];中国青年政治学院;2014年

6 胡玲玲;侵权法中可预见性规则研究[D];新疆大学;2015年

7 董鑫园;医疗损害侵权因果关系问题研究[D];华东政法大学;2015年

8 罗洋洋;医疗损害案件中之存活机会丧失[D];华东政法大学;2015年

9 陈庆强;论侵权责任中的超越因果关系[D];黑龙江大学;2015年

10 刘晓倩;论环境犯罪因果关系的推定[D];浙江农林大学;2015年

本文编号：677722