一种主动发现网络地理信息服务的主题爬虫

发布时间：2017-08-28 22:09

  本文关键词：一种主动发现网络地理信息服务的主题爬虫

  更多相关文章： 主题爬虫 网络地理信息服务 最佳优先搜索 能力文档探测

【摘要】：地理信息服务已成为分布式环境下获取地理数据的重要来源,从海量的网络资源中找到地理信息服务,是共享与互操作地理数据的基础。目前,地理信息服务主动搜索主要采用通用搜索引擎的接口或者通用爬虫的抓取方式,但这2种方式存在搜索效率低、搜索结果可用性差等不足。针对这一问题,本文设计了一种搜索地理信息服务的主题爬虫。该算法在最佳优先搜索的基础上进行了改进,综合考虑网页内容的主题相关度和链接文本的主题相关度确定链接优先级,优先爬取与地理信息服务相关的链接,并通过舍弃无关网页中的无关链接,减少无效爬取,进而提高搜索效率。此外,本文采用关键词匹配结合能力文档探测的方式识别地理信息服务,有效筛选出可用的地理信息服务,提高了服务搜索结果的可利用率。最后,本文以OGC WMS为实例,实现爬虫算法的原型系统并进行实验,实验证明该算法有效可行。
【作者单位】： 武汉大学测绘遥感信息工程国家重点实验室;武汉大学遥感信息工程学院;湖北大学计算机与信息工程学院;
【关键词】： 主题爬虫 网络地理信息服务 最佳优先搜索 能力文档探测
【基金】：国家自然科学基金面上项目(41371372) 武汉大学遥感信息工程学院探索性研发基金“基于时空计算特征挖掘的空间信息云计算优化方法研究”
【分类号】：P208
【正文快照】： 1引言在开放地理空间联盟OGC(Open GeospatialConsortium)和国际标准化组织ISO/TC211的积极推动下,网络地理信息服务规范逐渐成熟和普及[1],越来越多的符合规范的地理信息服务被发布到互联网上。由于地理信息服务以在线方式提供类型丰富、时效性高的地理数据,它已成为公众免费

【参考文献】

中国期刊全文数据库 前3条

1 武昊;廖安平;何超英;侯东阳;;基于主题相关度的地理信息Web服务爬虫研究[J];地理与地理信息科学;2012年02期

2 王曙;吉雷静;张雪英;赵仁亮;陈晓丹;余浩;;面向网页文本的地理要素变化检测[J];地球信息科学学报;2013年05期

3 王伟军;王金鹏;;科学知识图谱在技术预见中的应用探析[J];情报科学;2010年08期

【共引文献】

中国期刊全文数据库 前10条

1 王正;陆余良;刘金红;施凡;;基于Lucene的互联网文献信息检索系统的研究[J];安徽大学学报(自然科学版);2009年05期

2 赫枫龄,左万利;利用超链接信息改进网页爬行器的搜索策略[J];吉林大学学报(信息科学版);2005年01期

3 武昊;廖安平;何超英;侯东阳;;基于主题相关度的地理信息Web服务爬虫研究[J];地理与地理信息科学;2012年02期

4 毛晓蛟;;搜索引擎中网络蜘蛛的研究与实现[J];电脑编程技巧与维护;2010年18期

5 唐波;;网络爬虫的设计与实现[J];电脑知识与技术;2009年11期

6 李园伟;;面向高校主题搜索引擎的的爬行器设计[J];电脑知识与技术;2011年16期

7 周民;邱雅;王华彬;;网络舆情分析中智能爬虫的设计[J];电脑知识与技术;2011年33期

8 张春菊;张雪英;朱少楠;徐希涛;;基于网络爬虫的地名数据库维护方法[J];地球信息科学学报;2011年04期

9 王岩;;搜索引擎中网络爬虫技术的发展[J];电信快报;2008年10期

10 许金玲;陈旭翔;赵少娟;丁必蛟;;基于信令分析的客户网络标签体系搭建[J];电信快报;2012年05期

中国博士学位论文全文数据库 前10条

1 张翔;文本挖掘技术研究及其在综合风险信息网络中的应用[D];西北大学;2011年

2 张长利;面向特定领域的互联网舆情分析技术研究[D];吉林大学;2011年

3 王修君;高效数据流和海量文本处理算法研究[D];中国科学技术大学;2011年

4 吴超;信息检索中top-k问题的并行算法及优化研究[D];中国科学技术大学;2011年

5 李常宝;基于索引的web服务发现研究[D];北京邮电大学;2011年

6 田俊华;基于本体知识库的教学资源自动采集技术研究[D];南京师范大学;2011年

7 吴永辉;面向专业领域的网络信息采集及主题检测技术研究与应用[D];哈尔滨工业大学;2010年

8 许笑;分布式Web信息采集关键技术研究[D];哈尔滨工业大学;2011年

9 寇月;Deep Web实体搜索的关键技术研究[D];东北大学;2009年

10 贾自艳;Web信息智能获取若干关键问题研究[D];中国科学院研究生院（计算技术研究所）;2004年

【二级参考文献】

中国期刊全文数据库 前10条

1 陈军;赵仁亮;王东华;;基础地理信息动态更新技术体系初探[J];地理信息世界;2007年05期

2 陈军;丁明柱;蒋捷;周旭;翟勇;朱武;;从离线数据提供到在线地理信息服务[J];地理信息世界;2009年02期

3 王迪伟;;基于PDA的1∶10000比例尺地形图野外调绘[J];测绘通报;2010年07期

4 陈军;王东华;商瑶玲;廖安平;赵仁亮;刘建军;朱武;李力勐;;国家1∶50000数据库更新工程总体设计研究与技术创新[J];测绘学报;2010年01期

5 李丽双;党延忠;廖文平;黄德根;张颖;;CRF与规则相结合的中文地名识别[J];大连理工大学学报;2012年02期

6 谭骏珊;陈可钦;;聚焦爬行中网页爬行算法的改进[J];电脑知识与技术;2008年35期

7 钱育华;数字城镇的数据更新[J];地球信息科学;2002年03期

8 张雪英;闾国年;;自然语言空间关系及其在GIS中的应用研究[J];地球信息科学;2007年06期

9 张雪英;闾国年;李伯秋;陈文君;;基于规则的中文地址要素解析方法[J];地球信息科学学报;2010年01期

10 周立;邓云青;;城市地理信息系统数据更新方式研究[J];地理空间信息;2008年05期

中国博士学位论文全文数据库 前3条

1 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院（遥感应用研究所）;2003年

2 乐小虬;非结构化网络空间信息智能搜索与服务研究[D];中国科学院研究生院（遥感应用研究所）;2006年

3 陈竹敏;面向垂直搜索引擎的主题爬行技术研究[D];山东大学;2008年

【相似文献】

中国期刊全文数据库 前10条

1 王刚;边馥苓;;基于语义Web的地理信息服务自动发现与组合研究[J];科技资讯;2008年06期

2 陈兰芹;;网络直通车——为奥运提供网络地理信息服务[J];中国测绘;2008年04期

3 唐冬梅;叶修松;;地理信息服务的思索与探讨[J];测绘与空间地理信息;2008年04期

4 张立朝;潘贞;王青山;郑海鹰;;本体驱动的地理信息服务发现模型研究[J];武汉大学学报(信息科学版);2009年06期

5 王珂珂;张立朝;潘贞;王青山;郑海鹰;;业务驱动的地理信息服务粒度划分[J];北京测绘;2010年01期

6 乔朝飞;;客户关系管理在基础地理信息服务中的应用初探[J];测绘通报;2010年06期

7 曹晓明;;基于客户需求导向的基础地理信息服务[J];邢台职业技术学院学报;2011年02期

8 刘建川;甘泉;;地理信息服务安全访问设计与实现[J];测绘;2011年03期

9 欧其健;徐永书;夏定辉;;地理信息服务的思考与探究[J];地理空间信息;2011年03期

10 田丽亚;林鸿弟;郭固良;王文杰;滕立生;;湛江市地理信息服务平台的开发建设[J];黑龙江科技信息;2012年14期

中国重要会议论文全文数据库 前10条

1 王海龙;苏旭明;翁慧慧;;地理信息服务的思考与探索[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年

2 王少一;苏绣;蒋许锋;;基于上下文感知的地理信息服务发现与匹配技术研究[A];第十三届中国科协年会第12分会场-测绘服务灾害与应急管理学术研讨会论文集[C];2011年

3 任福;杜清运;蔡忠亮;;移动计算在地理信息服务中的应用研究[A];认识地理过程 关注人类家园——中国地理学会2003年学术年会文集[C];2003年

4 邹俊平;陈晓岚;王金诚;;地理信息服务共享平台在大规模水准网设计中的应用[A];第十三届华东六省一市测绘学会学术交流会论文集[C];2011年

5 李飞雪;李满春;梁健;;网络地理信息服务构建研究[A];中国地理信息系统协会第八届年会论文集[C];2004年

6 马润赓;刘少峰;;基于网络的战场基础地理信息服务系统的内容和关键技术[A];中国测绘学会九届三次理事会暨2007年“信息化测绘论坛”学术年会论文集[C];2007年

7 周旭;刘若梅;;新时期基础地理信息服务的特点与对策[A];中国测绘学会九届三次理事会暨2007年“信息化测绘论坛”学术年会论文集[C];2007年

8 程钢;杜清运;蔡忠亮;;基于本体的地理信息服务查询组件设计[A];节能环保 和谐发展——2007中国科协年会论文集（二）[C];2007年

9 郑茂辉;骆华仁;华民强;刘鹏;郭月容;;基于GIS的防空防灾综合信息服务平台设计[A];上海防灾救灾研究所20周年庆典会议研究短文集[C];2009年

10 马卫春;杨友长;;“天地图·安徽”的建设与应用[A];第十四届华东六省一市测绘学会学术交流会论文集[C];2012年

中国重要报纸全文数据库 前10条

1 彭博;“中国社科综合地理信息服务平台”通过验收[N];中国社会科学院报;2009年

2 陈军　蒋捷 周旭 翟勇 朱武;在线地理信息服务的技术需求与发展方向[N];中国测绘报;2009年

3 记者 王少勇;加快建设地理信息服务平台[N];中国国土资源报;2011年

4 记者 付晓峰;具备条件数据必须纳入基础地理信息服务平台[N];济南日报;2011年

5 王芳　张旭;四川省应急地理信息服务平台通过验收[N];中国测绘报;2011年

6 卢洪岩;首个英文版城市地理信息服务平台开通[N];中国测绘报;2011年

7 中国地理信息系统协会会长 陈军;在线地理信息服务的技术需求与发展方向[N];中国测绘报;2009年

8 闫正龙 吴贤宇 胡婷然;陕西江西公众版地理信息服务平台上网运行[N];中国测绘报;2010年

9 张海鹏;重庆成立应急救援地理信息服务队[N];中国测绘报;2010年

10 本报评论员;做大做强“天地图”[N];中国测绘报;2011年

中国博士学位论文全文数据库 前10条

1 吴功和;分布式地理信息服务研究与实践[D];解放军信息工程大学;2006年

2 刘勇;基于语义的地理信息服务集成研究[D];山东科技大学;2011年

3 葛文;地理信息服务发现方法研究[D];解放军信息工程大学;2012年

4 李科;网格环境下地理信息服务关键技术研究[D];解放军信息工程大学;2008年

5 王玉海;地理信息服务中数据传输的策略研究[D];解放军信息工程大学;2008年

6 宁安良;面向3G终端的移动地理信息服务研究[D];中国海洋大学;2010年

7 杨建宇;基于组件的分布式地理信息服务研究[D];中国科学院研究生院（遥感应用研究所）;2005年

8 李世祥;基于语义的地理信息服务发现与组合的关键技术研究[D];武汉大学;2010年

9 张霞;地理信息服务组合与空间分析服务研究[D];武汉大学;2004年

10 承达瑜;空间型热点会商系统的动态服务计算研究[D];中国矿业大学;2012年

中国硕士学位论文全文数据库 前10条

1 徐坤;基于空间数据框架的地理信息服务可持续研究[D];长安大学;2007年

2 刘兴万;基于补偿服务链的地理信息服务聚合技术研究[D];中国测绘科学研究院;2010年

3 董雄;地理信息服务聚合技术研究[D];电子科技大学;2013年

4 纪敏;基于精细化管理的测绘地理信息服务研究[D];西北农林科技大学;2014年

5 陈国华;现代地理信息服务框架体系研究[D];长安大学;2007年

6 周娜;电子政务地理信息服务应用模型管理研究[D];中国测绘科学研究院;2009年

7 张斌;地理信息服务中空间数据调度策略研究与实现[D];解放军信息工程大学;2008年

8 焦明;基于地理信息服务的数字校园系统设计与实现[D];兰州大学;2008年

9 韩敏;基于天地图的三维公众服务系统的设计与实现[D];西安科技大学;2013年

10 朱建伟;位置信息服务系统中定位服务平台相关技术的研究[D];武汉大学;2005年

，

本文编号：749734