《安庆师范学院》2015年硕士论文

发布时间：2016-11-25 14:28

  本文关键词：信息可视化设计与公共行为研究，由笔耕文化传播整理发布。

《安庆师范学院》 2015年

农业物联网文本数据统计分析

梁辉  

【摘要】：随着互联网和物联网等信息技术的飞速发展,网络中积累了大量半结构化和非结构化的文本数据,如何从这些海量的文本中获取所需的信息,已经成为了统计分析工作者的一项重要任务。近年来,随着人们物质生活需求的不断增长,农业产品的质量和产量等问题越来越被重视,以信息和软件为中心生产模式的农业物联网得到了广泛的应用,其实时监控、远程控制和查询等功能对现代农业的发展具有重要意义,对农业物联网上的文本进行挖掘是一件非常有价值的事情。目前,国内外对文本挖掘进行了大量的研究,文本挖掘的方法日趋完善,文本挖掘的内容日渐丰富,其主要在相似性检测、文本分类和信息获取等领域,另外,高效直观信息图成为了新型文本内容显示方式,如文字云。本文主要采用农业物联网中的文本数据,从文本相似性和文本文字云两个方面展开探讨和研究。在文本相似性研究方面,本文采用了两种方法对文本进行相似性分析,一种是结合关键词微变的聚类和LD算法的方法,首先约简文本中的低频词,利用LD算法分析词与词之间的相似度,建立文本相似度矩阵,然后用特征词间的相似度及其权重来构建空间向量,最后计算文本间的相似度;另一种是结合阈值优化和e EP模式的方法,在获取文档特征项频率分布表之后,首先利用粗糙集联合决策分布密度矩阵,计算最小阈值,提取满足一定阈值的高频词,然后结合语义分析与逆向文档频率方法获取基于语义类内文档频率的高频词,采用e EP模式分类法获得最简模式,最后结合相似性公式和《知网》的语义相关度,计算相似程度得分,利用三枝决策理论优化阈值。在文本文字云研究方面,本文提出了一种基于统计分析的文字云和主题模型文本挖掘方法,首先对文本进行移除数字、去除停用词等预处理操作,然后执行中文分词,构建语料库,建立文档-词条矩阵,最后以文字云和主题模型的形式呈现挖掘结果。

【关键词】：
【学位授予单位】：安庆师范学院
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP391.1;F323
【目录】：

下载全文 更多同类文献

CAJ全文下载

(如何获取全文？ 欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式

【参考文献】

中国期刊全文数据库 前10条

1 林伟;孟凡荣;王志晓;;基于概念特征的语义文本分类[J];计算机工程与应用;2011年28期

2 范明;刘孟旭;赵红领;;一种基于基本显露模式的分类算法[J];计算机科学;2004年11期

3 华秀丽;朱巧明;李培峰;;语义分析与词频统计相结合的中文文本相似度量方法研究[J];计算机应用研究;2012年03期

4 李连;朱爱红;苏涛;;一种改进的基于向量空间文本相似度算法的研究与实现[J];计算机应用与软件;2012年02期

5 王毅;唐歆瑜;谢治华;;基于向量空间模型的毕业论文相似性辨识研究[J];科学技术与工程;2007年09期

6 孙爽;章勇;;一种基于语义相似度的文本聚类算法[J];南京航空航天大学学报;2006年06期

7 张凌宇;陈淑鑫;张光妲;吕洪柱;;一种基于向量空间模型的模糊本体映射方法[J];计算机应用研究;2014年05期

8 韩法旺;刘耀宗;;数据流分类挖掘中的概念变化研究[J];计算机科学;2014年S2期

9 朱泽德;李淼;张健;陈雷;曾新华;;基于文本密度模型的Web正文抽取[J];模式识别与人工智能;2013年07期

10 廖开际;杨彬彬;;基于加权语义网的文本相似度计算的研究[J];情报杂志;2012年07期

【共引文献】

中国期刊全文数据库 前10条

1 胡泽文;;基于WordNet和SUMO本体集成的自动语义检索及可视化模型[J];国家图书馆学刊;2012年02期

2 王庆福;常广炎;;基于TF-IDF优化算法在文本分类中的应用研究[J];电脑编程技巧与维护;2014年10期

3 程玉胜;梁辉;;文字云及主题模型的统计挖掘[J];安庆师范学院学报(自然科学版);2014年01期

4 任思雨;;数字时代数据可视化的类型及其特征[J];传播与版权;2014年03期

5 孙程程;李爱平;黄九鸣;;面向协调搜索的文本相似度计算方法[J];电脑知识与技术;2014年19期

6 袁晓峰;;基于《知网》的文本相似度研究[J];成都大学学报(自然科学版);2014年03期

7 王蕾;;文字云图在英语阅读教学中的应用研究[J];读与写(教育教学刊);2014年06期

8 张德刚;张德海;吴毅;张少泉;彭庆军;;面向大数据分析的企业信息化解决方案研究[J];电力信息与通信技术;2014年09期

9 缪坤;郭健;李爱光;阚映红;王卉;;地图的信息表达与美学思维[J];测绘与空间地理信息;2015年01期

10 钱永杰;曹宝香;;基于垂直搜索引擎的网页排序算法研究[J];电子技术;2015年07期

中国重要会议论文全文数据库 前3条

1 范明;魏芳;;挖掘基本显露模式用于分类[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

2 刘艳霞;范明;;Bagging基于eEP的分类器分类稀有类[A];第二十二届中国数据库学术会议论文集（研究报告篇）[C];2005年

3 陈崇超;施鸿喜;范明;;集成基于EP的分类器用于分类数据流[A];第二十三届中国数据库学术会议论文集（研究报告篇）[C];2006年

中国博士学位论文全文数据库 前6条

1 杨剑锋;适合并行的无干预文档聚类算法研究[D];武汉大学;2010年

2 孙凌云;面向产品概念设计的专利地图技术研究[D];浙江大学;2008年

3 彭菲菲;网络热点话题发现的关键技术研究[D];中国矿业大学(北京);2012年

4 胡小妹;信息可视化设计与公共行为研究[D];中央美术学院;2014年

5 刘松;基于全信息的问答系统研究[D];北京邮电大学;2014年

6 牛奉高;数字文献资源高维聚合模型研究[D];武汉大学;2014年

中国硕士学位论文全文数据库 前10条

1 陈松峰;利用PCA和AdaBoost建立基于贝叶斯的组合分类器[D];郑州大学;2010年

2 沙有闯;基于Web文本挖掘的网络口碑监测系统研究[D];安徽大学;2010年

3 吴启纲;中文文本聚类算法的研究与实现[D];西安电子科技大学;2010年

4 张韦;基于语义的Web主题提取的研究[D];湖北工业大学;2011年

5 谢凤宏;基于复杂网络理论的文本聚类和关键词提取方法研究[D];辽宁师范大学;2011年

6 奚婷;搜索引擎结果的聚类系统研究[D];西南交通大学;2011年

7 刘文静;基于标签词抽取的搜索结果聚类研究[D];北京邮电大学;2012年

8 赵红领;基于边界快速求解EPs的算法[D];郑州大学;2004年

9 魏芳;基本显露模式的挖掘算法[D];郑州大学;2005年

10 刘艳霞;基于eEP的稀有类分类问题研究[D];郑州大学;2005年

【二级参考文献】

中国期刊全文数据库 前10条

1 蒋溢;丁优;熊安萍;王化晶;;一种基于知网的词汇语义相似度改进计算方法[J];重庆邮电大学学报(自然科学版);2009年04期

2 刘辉;邵良杉;;Web文本分类中特征项权重的研究[J];科技和产业;2010年02期

3 谢翠香;;基于改进向量空间模型的学术论文相似性辨别系统设计[J];电脑知识与技术;2009年19期

4 席运江;党延忠;;基于加权知识网络的个人知识存量表示与度量方法[J];管理学报;2007年01期

5 张浩;谢飞;;基于语义关联的文本分类研究[J];合肥工业大学学报(自然科学版);2011年10期

6 王涛;李舟军;颜跃进;陈火旺;;数据流挖掘分类技术综述[J];计算机研究与发展;2007年11期

7 辛轶;郭躬德;陈黎飞;毕亚新;;IKnnM-DHecoc:一种解决概念漂移问题的方法[J];计算机研究与发展;2011年04期

8 李素建;基于语义计算的语句相关度研究[J];计算机工程与应用;2002年07期

9 代六玲,黄河燕,陈肇雄;一种用于文本分类的语义SVM及其在线学习算法[J];计算机工程与应用;2004年36期

10 张剑;李春平;;基于WordNet概念向量空间模型的文本分类[J];计算机工程与应用;2006年04期

中国硕士学位论文全文数据库 前1条

1 沈斌;基于分词的中文文本相似度计算研究[D];天津财经大学;2006年

【相似文献】

中国期刊全文数据库 前10条

1 唐亮;段建国;许洪波;梁玲;;基于信息论的文本分类模型[J];计算机工程与设计;2008年24期

2 施化吉;王贤川;李星毅;;基于规则重构的关联文本分类[J];计算机工程与设计;2009年03期

3 刘伍颖;王挺;;适于垃圾文本流过滤的条件概率集成方法[J];计算机科学与探索;2010年05期

4 张征杰;王自强;;文本分类及算法综述[J];电脑知识与技术;2012年04期

5 彭其华;;关联挖掘下的海量文本信息深入挖掘实现[J];微电子学与计算机;2013年10期

6 汪明霓;BASIC文本系统[J];计算机应用研究;1988年01期

7 王东兴,冷惠文;大量编程用文本数据的统一处理[J];鞍山钢铁学院学报;1997年06期

8 周鹏;数据库中不规范文本文件的数据转换[J];电脑编程技巧与维护;2005年05期

9 谷峰;吴扬扬;;文本分类关键技术[J];福建电脑;2006年09期

10 宋东风;张志浩;;短文本数据的自动分类[J];电脑与信息技术;2007年01期

中国重要会议论文全文数据库 前10条

1 许君;王朝坤;刘立超;王建民;刘璋;;云环境中的近似复制文本检测[A];第29届中国数据库学术会议论文集（B辑）（NDBC2012）[C];2012年

2 易天元;叶春生;;工业锅炉图纸输入的文本数据处理[A];1997中国控制与决策学术年会论文集[C];1997年

3 胡蓉;唐常杰;陈敏敏;栾江;;关联规则制导的遗传算法在文本分类中的应用[A];第十九届全国数据库学术会议论文集（研究报告篇）[C];2002年

4 李文波;孙乐;黄瑞红;冯元勇;张大鲲;;基于Labeled-LDA模型的文本分类新算法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

5 黄云平;孙乐;李文波;;基于上下文图模型文本表示的文本分类研究[A];第四届全国信息检索与内容安全学术会议论文集（上）[C];2008年

6 蒋勇;陈晓静;;一种多方向手写文本行提取方法[A];第二十七届中国控制会议论文集[C];2008年

7 李瑞;王朝坤;郑伟;王建民;王伟平;;基于MapReduce框架的近似复制文本检测[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年

8 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

9 劳锦明;韦岗;;文本压缩技术研究的新进展[A];开创新世纪的通信技术——第七届全国青年通信学术会议论文集[C];2001年

10 江荻;;藏语文本信息处理的历程与进展[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年

中国重要报纸全文数据库 前2条

1 戴洪玲;[N];中国电脑教育报;2004年

2 山东 黄家贞;[N];电脑报;2001年

中国博士学位论文全文数据库 前10条

1 胡明涵;面向领域的文本分类与挖掘关键技术研究[D];东北大学　;2009年

2 孙晓华;基于聚类的文本机会发现关键问题研究[D];哈尔滨工程大学;2010年

3 尚文倩;文本分类及其相关技术研究[D];北京交通大学;2007年

4 霍跃红;典籍英译译者文体分析与文本的译者识别[D];大连理工大学;2010年

5 熊云波;文本信息处理的若干关键技术研究[D];复旦大学;2006年

6 李自强;大规模文本分类的若干问题研究[D];电子科技大学;2013年

7 杨震;文本分类和聚类中若干问题的研究[D];北京邮电大学;2007年

8 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年

9 张友华;面向智能服务的Web内容计算研究与应用[D];中国科学技术大学;2006年

10 赵玉茗;文本间语义相关性计算及其应用研究[D];哈尔滨工业大学;2009年

中国硕士学位论文全文数据库 前10条

1 姜英杰;基于本体的短文本分类研究[D];东北师范大学;2010年

2 杨硕;基于VSM文本分类系统的设计与实现[D];大连理工大学;2006年

3 马渊;短文本情感分析技术研究[D];重庆大学;2011年

4 张超;文本OLAP关键技术研究[D];山东大学;2012年

5 王宝龙;面向新闻领域的文本数据获取系统的设计与实现[D];北京邮电大学;2010年

6 曾洪波;基于类别裁剪和模糊理论的文本分类算法研究[D];暨南大学;2011年

7 徐立新;互联网文本视频过滤技术研究与应用[D];电子科技大学;2010年

8 梁鹏鹏;概率主题模型及其在关联文本分类中的应用研究[D];郑州大学;2011年

9 刘超;基于主题挖掘和覆盖的文本分类研究[D];安徽大学;2011年

10 蔡月红;基于类短语串和半监督学习的短文本分类研究[D];江苏大学;2010年

  本文关键词：信息可视化设计与公共行为研究，，由笔耕文化传播整理发布。

本文编号：192176