互联网气象水文数据定向采集系统设计与实现

发布时间：2020-10-12 06:20

　　 随着国际上气象水文交换和共享技术及互联网数据定向爬取等技术的发展,根据我国对气象水文观探测资料需求,充分利用互联网气象水文数据资源,弥补相关热点地区气象水文资料不足,显得尤为重要。本文在国内外先进技术的基础上,开展了互联网气象水文数据定向采集系统方案设计,并研制了原型软件。系统拓宽了气象水文资料收集渠道,解决了相关地区气象水文资料的有无问题,为发展互联网气象水文数据业务化采集提供了重要支撑。系统采用自动化采集传输流程,将互联网下载区的数据摆渡到内网供分发共享。系统由互联网数据定向采集综合设置、互联网数据定向采集任务调度、网页解析与数据获取、互联网数据预处理和网络摆渡等五个分系统组成。针对每个分系统和功能点,详细分析了相关技术的使用,总结归纳出基于坐标树的页面结构分析技术、基于WEB页面特征的页面内容提取技术和基于IP地址池和代理地址的数据采集技术等三项关键技术,为系统的成功研制打下了坚实的基础。原型软件设计成功后,进行了采集实例检验,检验结果表明,信息网络飞速发展的大背景下,利用本系统可以很好的根据用户需求实现气象水文数据的互联网定向采集。
【学位单位】：国防科技大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：P335;P414;TP274.2
【部分图文】：

国防科技大学研究生院专业学位硕士学位论文失败时，为了不影响正常数据的下载和数据的分发，可通过人工方式调度和执行来完成相关任务；采集服务器与元数据服务器能够通过状态交互和信息通信工作，首先，采集服务器获取元数据服务器分配的任务，然后进行数据采集，之后将数据信息等采集结果信息再反馈给元数据服务器。

图 2.2 互联网气象水文数据定向采集系统技术架构图外部资源层提供待采集的互联网气象水文数据来源，包括但不限于美国空间天气预报中心、美国宇航局太阳动态观测网站、美国国家太阳观测台、美国航空航天局、日本气象厅、国家卫星气象中心等气象网站上的气象水文资料。数据资料包括浮标数据、NDBC 数据、MODIS 数据、WindSat 数据、DMSP F17 SSMIS数据、NCEP 数据、AMSR2 数据、海冰底图数据、ssha_grid 数据、ssha_track 数据、sst_grid 数据、gtspp 数据、地磁数据、粒子数据、太阳数据、地磁数据、太阳质子事件、太阳亮点和地磁活动、空间天气展望表、太阳指数、太阳图片、赤道DST 值、云顶温度等。数据访问层提供采集站点配置信息、用户身份和管理权限信息、采集任务信息、日志信息、元数据信息以及数据文件等。平台支撑层提供系统运行的基础服务，包括针对网页、FTP 站点和 Email 附件的数据采集和多线程下载、IP 资源池和代理管理框架、任务调度管理、配置管理插件服务、用户管理、文件和元数据管理等。其中，针对网页数据采集，主要提供两项技术，一是基于坐标树的页面结构分析技术；二是基于 WEB 页面特征的页

国防科技大学研究生院专业学位硕士学位论文输到内网。通过摆渡机的机械臂，能够将外网采集服务器所采集到的数据，按照数据摆渡策略周期性地传送到内网中，内网的数据处理服务器则会对摆渡回来的数据进行存储、展示以及其他处理操作，完成相关的业务需求。2.4 系统业务流程设计互联网气象水文数据定向采集系统业务流程如图 2.3 所示。
【相似文献】

相关期刊论文 前10条

1 任毅;;安徽省基础水文数据建库控制方法研究应用[J];江淮水利科技;2017年01期

2 曾楷;陈雅莉;张文;孟令奎;陈春华;;基于工作流的水文数据自动化服务机制研究与实现[J];水文;2015年05期

3 刘东旭;;水文数据资源目录体系建设研究[J];数字技术与应用;2011年11期

4 刘晓凤;;基于黑龙江省水文数据中心建设[J];黑龙江水利科技;2010年02期

5 章树安;吴礼福;艾萍;;对建设水文数据仓库的初步研究[J];水文;2007年01期

6 顾纳,周星;美国国家水文数据综述[J];测绘科学;2003年04期

7 王秀中;;水文数据分散录入的联机系统[J];水文;1988年03期

8 梁国华;;应用气象卫星采集传输水文数据可行性论证报告及规划纲要审查会在南京召开[J];水文;1988年04期

9 杨楚慧;林琳;张秋汝;史良胜;;多源观测在水文数据同化中的应用[J];中国农村水利水电;2017年09期

10 王意惟;王雨双;;水文数据应用的效益分析[J];农业与技术;2008年05期

相关硕士学位论文 前8条

1 李杰;互联网气象水文数据定向采集系统设计与实现[D];国防科技大学;2018年

2 范里;柔性集成技术研究及其在水文数据挖掘中的应用[D];河海大学;2007年

3 郭田琳;基于混合模型方法的水文数据的研究及预测[D];兰州大学;2017年

4 陈丁;海洋水文数据可视化关键技术研究[D];解放军信息工程大学;2015年

5 解开创;水文自动测报系统数据整编前处理软件的设计和实现[D];云南大学;2012年

6 李桂萍;基于网络的矿井水文多参数监测系统研究[D];西安科技大学;2006年

7 吴春祥;嵌入式水文自动测报系统的研究与设计[D];武汉理工大学;2008年

8 高祥涛;数据挖掘在水文相似年查找中的应用研究[D];河海大学;2004年

本文编号：2837774