网络舆情发现与分析系统设计与实现

发布时间：2017-03-31 05:26

  本文关键词：网络舆情发现与分析系统设计与实现，，由笔耕文化传播整理发布。

【摘要】：互联网的高速发展使网络信息越来越难以处理,传统的以人工分类为基础的处理方式已完全不能够适应如此规模的网络信息量得处理工作,为此,很有必要依靠信息通讯技术,建立网络舆情监控分析系统,及时应对网络舆情,由被动防堵化为主动梳理、引导。作为一个新的研究课题,对网络舆情的监控和分析,已需要建立在高科技的现代信息技术当中,从而能够及时面对网络舆情突发事项并在第一时间对其进行主动控制。网络舆情发现与分析系统的目的是开发出用于业务单位实际工作的工具性产品,能够快速地针对所关注的话题检索关注范围内的网站上的言论,做出统计分析和预测预警。特别是针对一些网站和论坛及以微博为代表的自媒体,通过对互联网海量相关信息自动获取、提取、分类、聚类、主题监测、专题聚焦,自定义监测等,实现将用户所需信息及时汇集,大幅减少人工在各个论坛收集数据的工作量,并将网页提供的信息按规范的格式进行显示,有简单的统计分析。继而扩充采集的形式,并进行多角度的统计分析和图形化显示。进一步地,增加深度分析和网络舆情治理建议。该系统包括数据采集、数据处理、舆情分析三个模块,需要实现数据采集、网页数据提取、数据统计分析、舆情数据处理和系统管理等功能。通过用户给出关键词的组合规则,通过搜索引擎和对关注网站版面使用专用爬虫全爬过滤这两种方式对数据进行采集。即对特定种类的以网络为载体的新闻和消息在收集后通过网页净化、词频统计等手段对信息进行有效的预处理活动,并将预处理的所得结果入库,并通过数据挖掘算法对信息进行分析,最后得到一定时期内网络所出现的热点信息,并对其进行追踪,得到事件的详细信息。采集相关网页之后,再进行消重、去噪,在抽取相关信息后建立全文索引。完成以上工作后,系统通过统计分析提供检索查询功能。
【关键词】：网络舆情 舆情分析 信息采集
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP311.52
【目录】：

• 摘要5-6
• ABSTRACT6-10
• 第一章 绪论10-16
• 1.1 系统研究目的及意义10-11
• 1.2 国内外研究现状11-13
• 1.3 研究内容概述13-14
• 1.3.1 系统理论的研究13-14
• 1.3.2 系统实施方式的研究14
• 1.4 本文的组织结构14-16
• 第二章 相关技术概述16-24
• 2.1 数据挖掘技术16-18
• 2.1.1 遗传算法16
• 2.1.2 关联分析法16-17
• 2.1.3 人工神经元网络17
• 2.1.4 决策树17-18
• 2.2 数据提取技术18-21
• 2.2.1 爬虫技术18-19
• 2.2.2 网页信息提取标准19-20
• 2.2.3 网页信息提取模型20-21
• 2.3 数据存储技术21
• 2.4 舆情数据识别技术21-22
• 2.5 数据编码技术22-23
• 2.6 小结23-24
• 第三章 系统需求分析与框架设计24-30
• 3.1 系统需求概述24-27
• 3.1.1 系统功能需求24-25
• 3.1.2 系统性能需求25
• 3.1.3 系统模块需求25-26
• 3.1.4 系统界面分析26-27
• 3.2 开发/运行环境27
• 3.3 系统整体框架27-28
• 3.4 系统处理流程28-29
• 3.5 小结29-30
• 第四章 网络舆情发现与分析系统软件设计30-58
• 4.1 数据采集模块30-36
• 4.1.1 网络舆情信息表达32
• 4.1.2 搜索方式32-33
• 4.1.3 搜索优先顺序33
• 4.1.4 信息筛选方式33-34
• 4.1.5 信息更新记录34
• 4.1.6 去噪、消重问题34-35
• 4.1.7 其他处理35-36
• 4.2 网页数据提取模块36-39
• 4.2.1 基于html文档的提取37-38
• 4.2.2 基于统计特征的提取38
• 4.2.3 基于DOM的提取38-39
• 4.2.4 其他技术提取39
• 4.3 数据统计分析模块39-44
• 4.3.1 构建关系矩阵40-41
• 4.3.2 网络舆情中SNA参数计算41
• 4.3.3 意见领袖识别41-42
• 4.3.4 网络舆情态势分布分析42-44
• 4.3.5 网络舆情趋势预测44
• 4.4 预测预警模块44-47
• 4.4.1 预测模型44-45
• 4.4.2 类模型库的建立45-46
• 4.4.3 长期趋势预测46-47
• 4.5 系统管理模块47-48
• 4.6 全文索引模块48-57
• 4.6.1 创建索引49-55
• 4.6.2 索引块文件55
• 4.6.3 域信息文件55-56
• 4.6.4 索引项信息文件56
• 4.6.5 频率文件56
• 4.6.6 位置文件56-57
• 4.7 数据及接.设计57
• 4.8 小结57-58
• 第五章 系统功能实现及测试58-70
• 5.1 服务和程序启动实现58-59
• 5.2 后台管理程序实现及测试59-65
• 5.2.1 部门管理功能60
• 5.2.2 角色管理功能60-61
• 5.2.3 用户管理功能61-62
• 5.2.4 专题设置功能62-63
• 5.2.5 信息管理功能63-64
• 5.2.6 网站监看功能64
• 5.2.7 单位接.设置功能64-65
• 5.2.8 日志管理功能65
• 5.3 前台操作实现65-69
• 5.3.1 高级搜索功能66
• 5.3.2 溯源功能66-67
• 5.3.3 专题浏览功能67
• 5.3.4 网站监看功能67-68
• 5.3.5 信息复查功能68
• 5.3.6 单位接.功能68-69
• 5.4 小结69-70
• 第六章 结论和展望70-72
• 6.1 结论70
• 6.2 展望70-72
• 致谢72-73
• 参考文献73-75

【参考文献】

中国期刊全文数据库 前1条

1 刘毅;;内容分析法在网络舆情信息分析中的应用[J];天津大学学报(社会科学版);2006年04期

  本文关键词：网络舆情发现与分析系统设计与实现，由笔耕文化传播整理发布。

本文编号：279026