PageRank算法的并行实现

发布时间：2017-08-04 23:17

  本文关键词：PageRank算法的并行实现

  更多相关文章： 搜索引擎 PageRank 并行实现 Hadoop MapReduce

【摘要】：针对当前大数据时代的背景,信息数据的海量化现象与日俱增,为了实现数据搜索的低成本、高效率,对Google搜索引擎的PageRank算法进行了综合性的研究分析,分别介绍了MapReduce框架和Hadoop实现平台,在此基础上,在Hadoop平台详细分析了基于MapReduce的PageRank算法的并行实现过程,以实现海量数据的并行处理,极大地提高了搜索引擎的性能.
【作者单位】： 太原师范学院计算机科学与技术系;
【关键词】： 搜索引擎 PageRank 并行实现 Hadoop MapReduce
【基金】：山西省大学生创新项目 山西省科技基础条件平台建设项目(2012091003-0104) 山西省科技攻关计划项目(20110321024-02)
【分类号】：TP391.3
【正文快照】： 随着Internet的迅速发展和网络技术的大面积膨胀,网络成为了我们获取信息的主要来源之一.人们逐渐地倾向于借助网络搜索引擎来得到自己需要的信息.Google搜索引擎的PageRank算法出现,从根本上解决了人们盲目搜索的一种现象.在1998年,斯坦福大学的Sergey Brin和Lawrence Page让

【参考文献】

中国期刊全文数据库 前6条

1 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期

2 王德广;周志刚;梁旭;;PageRank算法的分析及其改进[J];计算机工程;2010年22期

3 李成华;张新访;金海;向文;;MapReduce:新型的分布式并行计算编程模型[J];计算机工程与科学;2011年03期

4 梁正友;潘涛;;Nutch中PageRank的并行实现[J];计算机工程与设计;2010年20期

5 谢桂兰;罗省贤;;基于Hadoop MapReduce模型的应用研究[J];微型机与应用;2010年08期

6 陈宫;牛秦洲;;基于MapReduce的PageRank算法的研究[J];微电子学与计算机;2012年05期

【共引文献】

中国期刊全文数据库 前10条

1 高飞;张琦;李泽强;;基于云计算技术的影视节目版权交易云平台的构建[J];广播与电视技术;2012年07期

2 李建敦;彭俊杰;张武;;云存储中一种基于布局的虚拟磁盘节能调度方法[J];电子学报;2012年11期

3 吴建军;;网络舆情的云计算监测模式分析与实现[J];电讯技术;2013年04期

4 严磊;马勇男;丁宾;郑涛;;垂直搜索引擎之主题网络爬虫[J];福建电脑;2013年03期

5 王伟;;大数据分析——RDBMS与MapReduce的竞争与共生漫谈[J];计算机光盘软件与应用;2013年07期

6 李亮;;全台网环境下的云视频素材转码系统的设计[J];电视技术;2013年10期

7 邹青春;;基于云计算环境的考试数据挖掘算法研究[J];信息安全与技术;2013年07期

8 苏韦;李景文;刘华尧;张海英;欧阳云;;基于MapReduce的时空数据模型设计方法[J];测绘与空间地理信息;2013年07期

9 王苏卫;;基于Hadoop和Hive的电信行业数据仓库研究[J];电子技术与软件工程;2013年11期

10 谢峰;;基于Hadoop的云存储平台设计研究[J];电子技术与软件工程;2013年16期

中国重要会议论文全文数据库 前2条

1 陈德华;解维;李悦;;面向大规模图数据的分布式并行聚类算法研究[A];第29届中国数据库学术会议论文集（B辑）（NDBC2012）[C];2012年

2 高飞;张琦;李泽强;;基于云计算技术的影视节目版权交易云平台的构建[A];中国新闻技术工作者联合会2013年学术年会、五届五次理事会暨第六届“王选新闻科学技术奖”和优秀论文奖颁奖大会论文集（广电篇）[C];2013年

中国硕士学位论文全文数据库 前10条

1 范先爽;基于个性化服务的汽车信息搜索引擎的研究[D];武汉理工大学;2011年

2 文军舰;基于Nutch的Web结构挖掘算法研究[D];天津财经大学;2011年

3 马燕;基于快速相似度的Web结构挖掘的研究[D];南京信息工程大学;2011年

4 徐风;移动公司云计算平台原型的构建与测试[D];中南大学;2010年

5 廖玉兰;基于分布式的决策树方法研究[D];电子科技大学;2011年

6 李远方;基于云计算的Web结构挖掘算法研究[D];云南大学;2011年

7 王毅;基于Hadoop的Slope One及其改进算法实现[D];西南交通大学;2011年

8 苏晓辉;构件垂直搜索引擎的关键技术研究[D];华中科技大学;2011年

9 陈勃;基于Nutch的企业搜索引擎的研究与实现[D];华中科技大学;2011年

10 李海波;基于MapReduce框架的分布式网络爬行器研究[D];哈尔滨工程大学;2011年

【二级参考文献】

中国期刊全文数据库 前10条

1 宁焕生;张瑜;刘芳丽;刘文明;渠慎丰;;中国物联网信息服务系统研究[J];电子学报;2006年S1期

2 廖名学;范植华;;MPI程序同步通信基本模型死锁检测[J];电子学报;2008年02期

3 宁焕生;徐群玉;;全球物联网发展及中国物联网建设若干思考[J];电子学报;2010年11期

4 黄德才;戚华春;;PageRank算法研究[J];计算机工程;2006年04期

5 张蓉;;Web挖掘技术研究[J];计算机工程;2006年15期

6 田甜;倪林;;基于PageRank算法的权威值不均衡分配问题[J];计算机工程;2007年18期

7 焦金涛;;基于PageRank的Web挖掘改进算法[J];计算机工程;2009年15期

8 葛玲;蒋宗礼;;基于共现词查询的主题爬虫研究[J];计算机工程;2010年08期

9 周锋;李旭伟;;一种改进的MapReduce并行编程模型[J];科协论坛(下半月);2009年02期

10 杨彬;康慕宁;;基于概念的权重PageRank改进算法[J];情报杂志;2006年11期

中国硕士学位论文全文数据库 前1条

1 高勋;基于云计算的Web结构挖掘算法研究[D];北京交通大学;2010年

【相似文献】

中国期刊全文数据库 前10条

1 蔡建超;蔡明;;搜索引擎PageRank算法研究[J];计算机应用与软件;2008年09期

2 付真真;陆伟;;基于关键词的搜索引擎优化策略及效果分析[J];现代图书情报技术;2009年06期

3 陈谦;;PageRank算法在孤立点检测中的应用[J];微型机与应用;2010年24期

4 张毅;张冬梅;;搜索引擎PageRank算法的比较与改进[J];科技创新导报;2008年21期

5 潘大胜;;面向校园网搜索引擎的PageRank改进算法[J];湖南文理学院学报(自然科学版);2009年01期

6 洪田玉;陈志刚;;一种跨语言的自动摘要技术[J];电脑与信息技术;2009年04期

7 林元元;;搜索引擎优化技术(SEO)的应用[J];软件导刊;2009年11期

8 程传鹏;郑源;;基于元搜索的主题式WebCrawler的研究[J];中原工学院学报;2006年02期

9 张光年;李茂青;;基于PageRank算法的一种搜索引擎优化方法及实现[J];科技信息;2007年04期

10 严宏伟;何俊;;基于房源分析系统的垂直搜索引擎关键技术的探讨[J];中国科技信息;2007年05期

中国重要会议论文全文数据库 前10条

1 蔺继国;徐锡山;;一种基于用户点击数据的个性化PageRank算法[A];第六届全国信息检索学术会议论文集[C];2010年

2 刘建毅;王菁华;王枞;;基于语言网络的关键词抽取[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

3 刘菁菁;林鸿飞;杨志豪;;基于PageRank和锚文本的网页排序研究[A];第三届学生计算语言学研讨会论文集[C];2006年

4 陆勇;侯汉清;;基于词典注释的汉语同义词自动识别[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年

5 杨磊;束罡;牛振东;;基于引力模型的链接分析(英文)[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

6 冯迪;李晋宏;曹原;;基于网页的数据挖掘研究[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集（上册）[C];2007年

7 黄云平;孙乐;李文波;;基于上下文图模型文本表示的文本分类研究[A];第四届全国信息检索与内容安全学术会议论文集（上）[C];2008年

8 刘松彬;都云程;施水才;;基于分解转移矩阵的PageRank迭代计算方法[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年

9 张星星;穗志方;;基于网页中深度并列结构的实例提取算法[A];中国计算语言学研究前沿进展（2009-2011）[C];2011年

10 张志强;梁婷婷;谢晓芹;;一种基于用户标记的搜索结果排序算法[A];第26届中国数据库学术会议论文集（B辑）[C];2009年

中国重要报纸全文数据库 前1条

1 李映　哲一 （本报记者 李映）;微软雅虎结盟 搜索市场风云再起[N];中国电子报;2009年

中国博士学位论文全文数据库 前10条

1 王菁华;文本中知识的获取[D];北京邮电大学;2008年

2 张勇实;基于链接相似性分析的WEB结构挖掘方法研究[D];哈尔滨工程大学;2012年

3 张金松;基于引文上下文分析的文献检索技术研究[D];大连海事大学;2013年

4 于红;Web结构挖掘与高维数据挖掘研究[D];大连理工大学;2012年

5 刘淇;基于用户兴趣建模的推荐方法及应用研究[D];中国科学技术大学;2013年

6 俞唯仁;普适的结构相似度在大规模网络中的计算优化技术研究[D];东华大学;2012年

7 陈浩;Web搜索的用户兴趣与智能优化研究[D];中南大学;2012年

8 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年

9 韦福如;基于图模型多文档自动文摘研究[D];武汉大学;2009年

10 单栋栋;搜索引擎中索引剪枝的研究[D];北京大学;2013年

中国硕士学位论文全文数据库 前10条

1 姜sバ，

本文编号：622212