一种爬虫监控系统的设计与实现

发布时间：2017-08-22 01:06

  本文关键词：一种爬虫监控系统的设计与实现

  更多相关文章： 网络爬虫 监控系统 Heritrix

【摘要】：随着互联网爆炸式的发展,网络爬虫的重要性越来越重要。一个搜索引擎搜索结果的数量以及质量在一定程度上取决于网络爬虫爬取结果的质量,而如何能更好的组织这些爬虫也成了一件能影响爬虫效率的事情。随着在服务器上部署爬虫的增加,对一个能够有效管理爬虫监控系统的需求也就越来越紧迫。本文对爬虫监控系统的设计和实现将会给爬虫的管理带来很大的方便。
【作者单位】： 北京邮电大学网络与交换技术国家重点实验室;东信北邮信息技术有限公司;
【关键词】： 网络爬虫 监控系统 Heritrix
【基金】：国家973计划项目(编号:2013CB329102) 国家自然科学基金资助项目(No.61372120,61271019,61101119,61121001) 长江学者和创新团队发展计划资助(编号:IRT1049) 教育部科学技术研究重点(重大)项目资助(编号:MCM20130310) 北京高等学校青年英才计划项目(编号:YETP0473)
【分类号】：TP277
【正文快照】： ·2014年第12期·随着互联网中海量信息的爆炸性增长,通用搜索引擎面临着更新速度、索引规模和个性化需求等方面的挑战。面对这些挑战,主题爬虫应用而生。主题爬虫是指适应特定主题和个性化搜索的网络爬虫,基于主题网络爬虫的搜索引擎已经成为当前搜索引擎和Web信息挖掘的一个

【相似文献】

中国期刊全文数据库 前10条

1 叶圣来;建设广电多厂商传输监控系统[J];有线电视技术;2002年13期

2 邓清珊,熊文龙;中低压配电监控系统的研究[J];计算机测量与控制;2003年01期

3 彭怀军,朱建生;客票值班监控系统4.0版本的优化设计[J];铁路计算机应用;2003年12期

4 李国栋;网络模块在60路数字音频监控系统中的应用[J];电声技术;2004年02期

5 沈恒德,王振文,孙大鹏;航站楼低压监控系统设计与实现[J];小型微型计算机系统;2004年02期

6 刘湘,胡生清,张会群;远程水位监控系统[J];电子质量;2004年05期

7 王双庆,艾成联,王平;人防工程的空调监控系统研究[J];工业控制计算机;2004年05期

8 胡光,赵建军,郭献军;基于Lab Windows/CVI高压氧舱监控系统的软件设计[J];长春理工大学学报;2004年03期

9 毕大庆;王振宇;;一种面向未来的医用监控系统[J];电子工程师;2004年08期

10 高存厚;梁晨光;郭自强;程志文;符合鹏;袁亮;;山西太旧高速公路视频级联监控系统的设计与实现[J];中国交通信息产业;2004年05期

中国重要会议论文全文数据库 前10条

1 张鹏;王国平;杨选怀;林昌年;蒲天骄;徐正清;;微型电网监控系统研究[A];经济发展方式转变与自主创新——第十二届中国科学技术协会年会（第四卷）[C];2010年

2 钱仕英;;小峡水电站监控系统完善[A];中国水力发电工程学会信息化专委会2010年学术交流会论文集[C];2010年

3 董德立;;浅谈计算机指挥调度监控系统[A];海南省通信学会论文集（二○○一年）[C];2001年

4 杨周行;;480路数字微波监控系统[A];1985年全国微波会议论文集[C];1985年

5 陆成刚;陈书宏;陈平;;汽车变速器装配生产线监控系统的设计[A];2009全国虚拟仪器大会论文集（二）[C];2009年

6 林宇翔;章岳光;顾培夫;唐晋发;;薄膜滤光片淀积过程实时光学监控系统[A];2004年光学仪器研讨会论文集[C];2004年

7 魏巍;董绍彤;;10kV线路防盗监控系统的研究[A];全面建设小康社会：中国科技工作者的历史责任——中国科协2003年学术年会论文集（上）[C];2003年

8 吕江英;刘肖琳;贺汉根;;车辆驾驶仿真与监控系统的设计[A];'2003系统仿真技术及其应用学术交流会论文集[C];2003年

9 杨如顺;徐延峰;刘林;陆明;;安全防卫监控系统在物流生产过程中的应用[A];自主创新与持续增长第十一届中国科协年会论文集（4）[C];2009年

10 高伟东;;浅论地市供电局营销监控系统的建设[A];2009年云南电力技术论坛论文集（文摘部分）[C];2009年

中国重要报纸全文数据库 前10条

1 燕文;丁蜀建设全市最大规模技防监控系统[N];宜兴日报;2007年

2 侯玉岭邋阎海江 通讯员 崔东双;吉林初步建成药品生产非现场监控系统[N];中国医药报;2008年

3 张俊保;主城区报警与监控系统启动[N];邯郸日报;2008年

4 马斌;我市168家煤矿将安装监控系统[N];闽西日报;2008年

5 张虹;纳雍县建立煤炭税费和煤矿产量监控系统[N];毕节日报;2008年

6 记者 黄律己　通讯员 任强;金陵石化充分发挥监控系统作用[N];中国石化报;2009年

7 通讯员 杨晓慧　崔丽然 记者 高振发;监控系统与公安对接率将达100%[N];河北日报;2009年

8 记者 高永彦;红果城市监控系统工程验收基本合格[N];六盘水日报;2009年

9 梅文;黑龙江推广产量税费监控系统[N];中国煤炭报;2010年

10 庆文;大庆市建筑工地全部安装监控系统[N];中华建筑报;2010年

中国博士学位论文全文数据库 前3条

1 于兴治;国家行政监控系统的分析理论与应用研究[D];大连理工大学;2010年

2 常光辉;大规模分布式可信监控系统研究[D];重庆大学;2011年

3 王彦;大型能耗监控系统通信网络及控制策略研究[D];湖南大学;2012年

中国硕士学位论文全文数据库 前10条

1 余飞;高温超导磁储能装置监控系统的设计与实现[D];华中科技大学;2007年

2 张勇;南昌东外环绕城高速公路监控系统的设计与研究[D];南昌大学;2009年

3 王永嘉;监控系统—客户端设计与实现[D];浙江大学;2009年

4 栗巍;煤矿现场监控系统的设计与实现[D];复旦大学;2010年

5 锁小军;乌牛泵站监控系统的开发与研究[D];西安理工大学;2000年

6 赵晶晶;分布式煤矿现场集成监控系统的研究开发[D];重庆大学;2004年

7 刘茵;嵌入式的数字家庭监控系统[D];西北工业大学;2006年

8 黄维利;移动工程机械广域定位监控系统的设计与实现[D];东南大学;2006年

9 张华丽;邮电机房动力监控系统的理论研究与开发[D];西北工业大学;2002年

10 王波;油库贮运监控系统设计与工程实现[D];南京理工大学;2004年

，

本文编号：716159