基于本体论的精细化数据分析

发布时间：2017-04-13 05:23

  本文关键词：基于本体论的精细化数据分析，由笔耕文化传播整理发布。

【摘要】：随着互联网技术的发展,嵌入元数据(RDF,RDFa,Microformats等)的网络语义文档包含越来越多的结构化和半结构化数据。已有数以亿计的该类文档可以访问,并且它们的数量正在迅速增长。为了实现半结构化数据能够供机器和用户一样的阅读与理解,必须对半结构化信息检索和分析提供有效的手段。语义网中的元数据不仅描述事物的属性,还描述事物之间的层次关系。传统的关联规则挖掘只关心事物本身,而不关心事物的本质,以至于产生大量无用的规则。通过高层次事物之间的挖掘,能够得到更有用的关联规则。计算机通过语义数据能够理解用户搜索需求,智能给出搜索结果。本文通过一种实体搜索模型,把传统基于“文本”的搜索改变为基于“对象”的搜索,使得搜索引擎能够更加智能地理解用户的真实需求。该实体搜索模型将半结构化数据转化成节点标签树存储在分布式倒排索引中,通过内容查询和结构查询实现智能搜索。本文同时设计了通过分布式倒排索引实现频繁项集挖掘,给出的DiiElact算法通过事务集合垂直划分和并行计算解决了数据挖掘过程中求交集运算效率低下和内存不足问题,实验证明了算法的高效、可扩展。利用实体搜索模型得到事物之间的层次关系,结合DiiElact算法,实现高层次事物之间的关联规则挖掘。
【关键词】：元数据 信息检索 倒排索引 关联规则 频繁项集
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP391.3
【目录】：

• 摘要4-5
• Abstract5-8
• 专用术语注释表8-9
• 第一章 绪论9-13
• 1.1 课题研究背景9-10
• 1.2 课题研究意义10-11
• 1.3 国内外研究状况11
• 1.4 本文主要研究内容11-12
• 1.5 本文组织结构12-13
• 第二章 相关支撑技术13-23
• 2.1 本体论与语义网13-16
• 2.1.1 本体论13-14
• 2.1.2 语义网14-16
• 2.2 XML和RDF16-20
• 2.2.1 XML16-19
• 2.2.2 RDF19-20
• 2.3 Hadoop和SolrCloud20-22
• 2.3.1 Hadoop20-21
• 2.3.2 SolrCloud21-22
• 2.4 本章小结22-23
• 第三章 基于节点标签索引的实体搜索模型23-35
• 3.1 Web数据实体模型23-27
• 3.1.1 三层模型23-25
• 3.1.2 三层模型分析25-26
• 3.1.3 实体属性值模型26-27
• 3.2 实体模型搜索27-32
• 3.2.1 星形搜索模型27-28
• 3.2.2 关系代数搜索28-30
• 3.2.3 节点标签树模型30-31
• 3.2.4 节点标签树模型搜索31-32
• 3.3 实体模型存储32-34
• 3.3.1 基于节点标签的分布式倒排索引32-33
• 3.3.2 倒排索引的增量更新33
• 3.3.3 基于倒排索引的查询33-34
• 3.4 本章小结34-35
• 第四章 基于实体搜索的关联规则挖掘35-45
• 4.1 关联规则挖掘35-36
• 4.1.1 关联规则35-36
• 4.1.2 频繁项集挖掘36
• 4.2 基于分布式倒排索引的频繁项集挖掘36-42
• 4.2.1 基于分布式倒排索引的事务划分37-38
• 4.2.2 算法描述38-39
• 4.2.3 实验结果与分析39-42
• 4.3 基于实体搜索的频繁项集挖掘42-44
• 4.3.1 实体模型下的商品分类42-43
• 4.3.2 算法描述43
• 4.3.3 应用举例43-44
• 4.4 本章小结44-45
• 第五章 运营商数据的精细化查询和分析系统45-53
• 5.1 系统功能45-47
• 5.2 系统总体架构47-48
• 5.3 系统模块分析48-50
• 5.4 系统用户界面50-52
• 5.5 本章小结52-53
• 第六章 总结与展望53-55
• 6.1 本文总结53-54
• 6.2 工作展望54-55
• 参考文献55-58
• 附录1 攻读硕士学位期间撰写的论文58-59
• 致谢59

【相似文献】

中国期刊全文数据库 前10条

1 肖基毅,邹腊梅,刘丰;频繁项集挖掘算法研究[J];情报杂志;2005年11期

2 蔡进;薛永生;张东站;;基于分区分类法快速更新频繁项集[J];计算机工程与应用;2007年09期

3 胡学钢;徐勇;王德兴;张晶;;基于多剪枝格的频繁项集表示与挖掘[J];合肥工业大学学报(自然科学版);2007年04期

4 胡学钢;刘卫;王德兴;;基于剪枝概念格模型的频繁项集表示及挖掘[J];合肥工业大学学报(自然科学版);2007年09期

5 栾鸾;李云;盛艳;;多关系频繁项集的并行获取[J];微电子学与计算机;2008年10期

6 李彦伟;戴月明;王金鑫;;一种挖掘加权频繁项集的改进算法[J];计算机工程与应用;2011年15期

7 陈立潮,张建华,刘玉树;提高频繁项集挖掘算法效率的方法研究[J];计算机工程与应用;2002年10期

8 朱玉全,孙志挥,赵传申;快速更新频繁项集[J];计算机研究与发展;2003年01期

9 宋宝莉;张帮华;何炎祥;朱骁峰;;带有多个可转化约束的频繁项集挖掘算法[J];计算机科学;2003年12期

10 王自强,冯博琴;频繁项集的简洁表示方法研究[J];系统工程理论与实践;2004年07期

中国重要会议论文全文数据库 前10条

1 栾鸾;李云;盛艳;;多关系频繁项集的并行获取[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年

2 杨晓明;王晨;汪卫;张守志;施伯乐;;频繁项集的精简表达与还原问题研究[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

3 邓传国;;频繁项集挖掘与学生素质测评应用研究[A];2007系统仿真技术及其应用学术会议论文集[C];2007年

4 李彤岩;李兴明;;基于分布式关联规则挖掘的告警相关性研究[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集（下册）[C];2007年

5 王洪利;冯玉强;;频繁项集挖掘算法Apriori的改进研究[A];全国第九届企业信息化与工业工程学术会议论文集[C];2005年

6 陈晓云;李龙杰;马志新;白伸伸;王磊;;AFP-Miner:一种新高效的频繁项集挖掘算法[A];2006年全国理论计算机科学学术年会论文集[C];2006年

7 李坤;王永炎;王宏安;;一种基于乐观裁剪策略的挖掘数据流滑动窗口上闭合频繁项集的算法[A];第二十五届中国数据库学术会议论文集（二）[C];2008年

8 邹远娅;周皓峰;王晨;汪卫;施伯乐;;FSC——利用频繁项集挖掘估算视图大小[A];第二十一届中国数据库学术会议论文集（研究报告篇）[C];2004年

9 杨晓雪;衡红军;;一种对XML数据进行关联规则挖掘的方法研究[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

10 谢志军;陈红;;EFIM——数据流上频繁项集挖掘的高性能算法[A];第二十三届中国数据库学术会议论文集（技术报告篇）[C];2006年

中国博士学位论文全文数据库 前3条

1 温磊;基于有向项集图的关联规则挖掘算法研究与应用[D];天津大学;2004年

2 董杰;基于位表的关联规则挖掘及关联分类研究[D];大连理工大学;2009年

3 贾彩燕;关联规则挖掘的取样复杂性分析[D];中国科学院研究生院（计算技术研究所）;2004年

中国硕士学位论文全文数据库 前10条

1 王立俊;基于多重最小支持度的氋效用频繁项集挖掘算法研究[D];广西大学;2015年

2 陈国俊;基于Hadoop的云存储系统的研究与应用[D];电子科技大学;2014年

3 尹艳红;基于Apriori算法的增量式关联规则控制研究[D];大连理工大学;2015年

4 田苗凤;大数据背景下并行动态关联规则挖掘研究[D];兰州交通大学;2015年

5 李雪迪;基于本体论的精细化数据分析[D];南京邮电大学;2015年

6 郭静;最大和最长频繁项集增量更新研究[D];燕山大学;2010年

7 刘卫;基于剪枝概念格模型的频繁项集表示及挖掘研究[D];合肥工业大学;2007年

8 王洪波;基于矩阵的频繁项集挖掘算法研究[D];兰州大学;2007年

9 王春凯;挖掘正相关的频繁项集[D];郑州大学;2007年

10 李伟民;基于频繁项集的马尔可夫网构建及其系统设计与实现[D];云南大学;2012年

  本文关键词：基于本体论的精细化数据分析，由笔耕文化传播整理发布。

，

本文编号：302918