互联网农产品价格汇集系统研建

发布时间：2017-05-29 06:09

  本文关键词：互联网农产品价格汇集系统研建，，由笔耕文化传播整理发布。

【摘要】：我国是农业大国,农业稳则天下安,农业兴促百业兴。经济、自然、社会环境的变化都对我国农产品市场价格监测预警工作提出了新的需求。在面对国家整体经济形势不断向好,农业发展日益现代化的前景下,研究如何高效、准确的采集农产品市场价格信息,并及时发布适时、客观、全面的农产品价格信息,为农产品监测预警工作、政府部门的决策工作、市场主体的信息参考需求提供有效支持,具有重要的社会、经济价值。首先,本研究整理分析了互联网农产品市场价格信息发布平台,以采集市场信息源的覆盖广度为标准,将平台分成了全国性发布发布平台、区域性发布平台以及个体性发布平台,并对不同平台的农产品市场价格信息覆盖产品、采集市场、历史数据、发布频率等数量进行对比,对不同平台的信息发布连续性、平台技术水平、数据结构化程度进行分析。综合以上分析,确定了数据采集目标平台。其次,选定目标信息发布平台之后,针对目标平台的农产品价格信息进行定向采集。通过分析不同平台的网站架构和价格信息数据结构,设计、编写了数据采集程序,将包含价格信息的网页下载到本地,抽取本研究需要的价格信息,并根据不同网站价格信息数据结构的不同,分别建立数据表存储数据。最后,针对采集到的不同发布平台的价格数据,进行数据规范化处理,去除数据中包含的乱码、符号等异常数据,将不同平台间市场命名和产品命名进行统一,并依照《农产品市场信息分类与计算机编码》建立数据库表,建成农产品价格综合数据库,并与现有重要平台数据量进行对比,覆盖产品数、采集市场数、历史数据量均有提高。
【关键词】：农产品监测预警 数据源分析 网络爬虫 数据规范化 价格数据库
【学位授予单位】：中国农业科学院
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：F323.7;F724.6
【目录】：

• 摘要6-7
• Abstract7-11
• 第一章 引言11-16
• 1.1 研究的背景与意义11-12
• 1.1.1 研究背景11
• 1.1.2 研究意义11-12
• 1.2 国内外研究现状12-14
• 1.2.1 信息抽取技术研究现状12-13
• 1.2.2 网络爬虫技术研究现状13-14
• 1.3 研究方法与技术路线14-16
• 1.3.1 论文研究方法14-15
• 1.3.2 论文技术路线15-16
• 第二章 相关技术研究16-26
• 2.1 网页信息采集相关技术16-21
• 2.1.1 HTML页面构成分析16-17
• 2.1.2 DOM树17-18
• 2.1.3 JsOUP解析器18-19
• 2.1.4 正则表达式19-21
• 2.2 互联网信息内容简析21
• 2.3 网页结构分析21-24
• 2.4 网络爬虫技术简介24-25
• 2.4.1 爬虫基本原理24
• 2.4.2 爬虫工作流程24-25
• 2.5 小结25-26
• 第三章 农产品价格数据源分析26-34
• 3.1 互联网农产品价格信息基本含义26
• 3.2 互联网农产品价格信息筛选条件26
• 3.3 互联网农产品价格信息现状26-33
• 3.3.1 信息发布平台26-29
• 3.3.2 信息发布数量29-30
• 3.3.3 信息发布质量30-31
• 3.3.4 发布平台技术水平31-33
• 3.4 小结33-34
• 第四章 系统总体结构设计34-40
• 4.1 系统需求分析34-36
• 4.1.1 需求概述34
• 4.1.2 功能需求34-36
• 4.1.3 非功能需求36
• 4.2 系统总体设计36-37
• 4.3 环境要求37-39
• 4.3.1 运行环境要求37-38
• 4.3.2 配置开发环境38-39
• 4.4 小结39-40
• 第五章 系统各模块详细设计与实现40-64
• 5.1 互联网价格信息采集子系统设计与实现40-49
• 5.1.1 目标网页下载模块40-44
• 5.1.2 价格信息解析模块44-46
• 5.1.3 价格信息存储模块46-49
• 5.2 异源价格信息汇集系统49-61
• 5.2.1 异常数据清洗模块50-55
• 5.2.2 价格异常处理模块55-56
• 5.2.3 综合数据集成模块56-61
• 5.3 系统数据量对比展示61-63
• 5.4 小结63-64
• 第六章 结论和展望64-66
• 6.1 本文完成工作64
• 6.2 本文的主要创新点64-65
• 6.3 研究展望65-66
• 参考文献66-71
• 致谢71-72
• 作者简介72

【参考文献】

中国期刊全文数据库 前10条

1 孙及园,林锦贤;对Web网页的查询及信息提取[J];福州大学学报(自然科学版);2000年03期

2 刘彤;;个性化Web采集算法研究及其应用[J];贵州大学学报(自然科学版);2006年03期

3 陈伟;王昊;陈丹萍;;一种基于交互式数据迁移技术的数据采集方法[J];计算机工程;2006年09期

4 宫进;胡长军;曾广平;;互联网信息定向采集系统的设计与实现[J];计算机应用;2007年S1期

5 李芳,盛焕烨,姚天f ;信息检索与信息抽取技术的研究[J];计算机应用研究;2002年01期

6 李卫;刘建毅;何华灿;王枞;;基于主题的智能Web信息采集系统的研究与实现[J];计算机应用研究;2006年02期

7 陈钊;张冬梅;;Web信息抽取技术综述[J];计算机应用研究;2010年12期

8 陈丹;郭伟青;;一种新型面向商业领域搜索引擎的设计与实现[J];计算机应用与软件;2007年04期

9 许世卫;;农业信息智能分析的应用与前景[J];农业图书情报学刊;2008年12期

10 张予民;;影响SEO优化的网站站内结构分析[J];科技广场;2014年09期

中国博士学位论文全文数据库 前1条

1 杨娜;中国农业统计体制及运行机制研究[D];中国农业科学院;2012年

中国硕士学位论文全文数据库 前3条

1 樊德强;WEB个性化信息采集与管理关键技术研究[D];郑州轻工业学院;2011年

2 周晔;一种增量式并行Web信息采集系统[D];暨南大学;2005年

3 高荃;我国政府信息公开途径研究[D];南昌大学;2012年

  本文关键词：互联网农产品价格汇集系统研建，由笔耕文化传播整理发布。

本文编号：404299