中心化分布式网络爬虫研究

发布时间：2017-08-23 05:23

  本文关键词：中心化分布式网络爬虫研究

  更多相关文章： 网络爬虫 数据抽取 分布式 数据挖掘

【摘要】：因特网的迅速发展使得网络上的信息越来越丰富,对于网络上信息的利用与分析已经成为新的研究重点。从搜索引擎到数据挖掘,对互联网信息的利用越来越深入,而伴随着这些技术的要求以及信息量的增加,网络爬虫作为信息提供的主要来源,已成为有关互联网研究的热点之一。本文将对于这一热点研究进行综述,并对一种改进的中心化分布式网络爬虫进行详细描述、说明。
【作者单位】： 首都经济贸易大学;
【关键词】： 网络爬虫 数据抽取 分布式 数据挖掘
【分类号】：TP391.3
【正文快照】： 一、引言作为搜索引擎和数据挖掘的基础组成部分,网络爬虫起着提供基础数据、对数据进行初步清洗的作用,是其不可或缺的部分。随着网络规模以及组成的复杂程度爆炸性的增长,依赖计算机单机处理能力的集中式爬虫已经无法满足快速获取数据的需要。分布式网络爬虫应运而生,它由多

【参考文献】

中国期刊全文数据库 前2条

1 吴黎兵;柯亚林;何炎祥;刘楠;;分布式网络爬虫的设计与实现[J];计算机应用与软件;2011年11期

2 周立柱,林玲;聚焦爬虫技术研究综述[J];计算机应用;2005年09期

【共引文献】

中国期刊全文数据库 前10条

1 赵杰;;中心化分布式网络爬虫研究[J];时代金融;2016年33期

2 刘强强;余黎青;赵鹏;刘慧婷;;基于移动平台的图像检索系统[J];计算机技术与发展;2016年11期

3 陈琳;任芳;;基于Python的新浪微博数据爬虫程序设计[J];信息系统工程;2016年09期

4 时永坤;;基于WebDriver的定向网络爬虫设计与实现[J];软件;2016年09期

5 于淑云;;基于校园BBS的舆情系统爬虫应用研究[J];长春工程学院学报(自然科学版);2016年02期

6 杜洪涛;孟庆国;王君泽;;互联网数据在舆情研判中的效用研究[J];中国软科学;2016年04期

7 卢杨;李华康;孙国梓;;一种基于P2P技术的分布式微博爬虫系统[J];江苏大学学报(自然科学版);2016年03期

8 王丽娜;李怀;赵磊;;基于模拟用户的Ajax Web自动化测试模型[J];华中科技大学学报(自然科学版);2016年03期

9 李营那;张瑜;;一种可自由配置的网页采集系统原理及其实现[J];电脑知识与技术;2015年35期

10 黎浩宏;;基于图片内容的商品信息检索系统[J];浙江工贸职业技术学院学报;2015年04期

【二级参考文献】

中国期刊全文数据库 前1条

1 叶允明,于水,马范援,宋晖,张岭;分布式Web Crawler的研究:结构、算法和策略[J];电子学报;2002年S1期

【相似文献】

中国期刊全文数据库 前10条

1 周建华;史伟奇;徐联华;;基于代理的分布式网络实时取证模型及关键技术研究[J];计算机安全;2007年05期

2 林立鑫;;分布式网络管理及参考模型的研究与设计[J];电脑知识与技术;2009年21期

3 刘芳;赵磊;;分布式网络管理技术的研究[J];科技创新导报;2010年05期

4 夏敏捷;夏冰;徐飞;;基于“行政村”的分布式网络安全评估系统的研究[J];中原工学院学报;2010年01期

5 李晓琳;;浅谈分布式网络在信息管理系统中的应用[J];企业导报;2012年02期

6 陈晓川,刘晓冰,冯辛安;分布式网络化研究中心及其体系结构[J];计算机辅助设计与制造;1998年12期

7 李战国,唐亚哲,李增智;分布式网络管理技术及实现[J];数据通信;2000年03期

8 翟洁,邵俊华,陈越;一个分布式网络考试系统的设计与实现[J];微机发展;2001年01期

9 帅春燕,程文英,吕杨;JINI租借的思想及实现技术研究[J];昆明理工大学学报(理工版);2003年06期

10 何晓智;一个基于移动Agent的分布式网络管理模型[J];煤炭技术;2003年03期

中国重要会议论文全文数据库 前10条

1 杨璐皓;范文庆;黄玮;;基于分布式网络的负载均衡与路径选择算法[A];虚拟运营与云计算——第十八届全国青年通信学术年会论文集（下册）[C];2013年

2 习友宝;古军;;分布式网络化测试技术综述[A];第三次全国会员代表大会暨学术会议论文集[C];2002年

3 朱畅华;裴昌幸;李建东;彭爱华;肖海云;;分布式网络测量和分析基础架构研究与实现[A];2003年中国通信学会信息通信网络技术年会论文集[C];2003年

4 刘峤;何兴高;秦志光;;基于Mobile Agent的大规模分布式网络安全检测体系研究[A];全国网络与信息安全技术研讨会’2004论文集[C];2004年

5 王旭仁;刘宝旭;李雪滢;曹爱娟;许榕生;于通河;;分布式网络安全监控系统的研究和实现[A];第十九次全国计算机安全学术交流会论文集[C];2004年

6 陈宁军;倪桂强;潘志松;姜劲松;;基于中间件的分布式网络异常检测系统[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

7 朱畅华;裴昌幸;李建东;彭爱华;肖海云;;分布式网络测量和分析基础架构(DNMAI)研究与实现[A];中国通信学会信息通信网络技术委员会2003年年会论文集[C];2003年

8 陈海涛;李旭峰;黄遵国;龚正虎;;基于朋友关系的分布式文件搜索[A];第二十二届中国数据库学术会议论文集（研究报告篇）[C];2005年

9 赵怀勋;杨华春;;基于Web的分布式网络故障监控系统的设计与实现[A];第一届全国Web信息系统及其应用会议（WISA2004）论文集[C];2004年

10 许德刚;易虹;;CORBA和Mobile Agent在分布式网络管理中的应用[A];第一届全国Web信息系统及其应用会议（WISA2004）论文集[C];2004年

中国重要报纸全文数据库 前3条

1 ;前景广阔的分布式网络架构[N];中国计算机报;2002年

2 ;在单一平台上可视化管理分布式网络[N];网络世界;2002年

3 山枫;1万美元可买千兆墙[N];中国计算机报;2004年

中国博士学位论文全文数据库 前6条

1 吴迪;分布式网络中的通信信号检测与接收技术研究[D];解放军信息工程大学;2014年

2 杨静;高频分布式网络雷达系统的研究与实现[D];武汉大学;2010年

3 郭楠;分布式网络自管理模型及相关问题研究[D];东北大学;2005年

4 何明星;面向群的分布式网络密钥管理[D];西南交通大学;2003年

5 马永刚;图划分方法及其在分布式网络环境下的应用[D];大连理工大学;2012年

6 白媛;分布式网络入侵检测防御关键技术的研究[D];北京邮电大学;2010年

中国硕士学位论文全文数据库 前10条

1 李涛;分布式网络在钻机监控系统中的应用研究[D];西安石油大学;2015年

2 王超;分布式网络安全预警系统研究与实现[D];电子科技大学;2015年

3 张艳敏;基于无线Mesh网络的分布式网络管理系统的设计与实现[D];西安电子科技大学;2014年

4 林赞;分布式网络视频显示同步时钟的设计与实现[D];华南理工大学;2015年

5 付志鸿;基于Storm云平台的分布式网络爬虫技术研究与实现[D];电子科技大学;2015年

6 赵帅帅;分布式网络环境下的流量调度与控制技术研究[D];南京邮电大学;2015年

7 刘昊;面向分布式网络环境的服务器监测系统的设计与实现[D];吉林大学;2015年

8 王寻;分布式网络中压缩感知的应用研究[D];北京邮电大学;2011年

9 郑汉彬;分布式网络实验平台的设计与实现[D];北京邮电大学;2013年

10 巩冰;无线分布式网络中的资源优化问题研究[D];北京邮电大学;2015年

，

本文编号：723235