并行Fp-growth算法在搜索引擎中的应用

发布时间：2017-07-31 21:13

  本文关键词：并行Fp-growth算法在搜索引擎中的应用

  更多相关文章： 日志文件 频繁集 Hadoop Fp-growth

【摘要】：针对用户历史检索过程产生的Web日志文件,研究其查询词和点击链接是否为频繁集,以及在分布式条件下频繁集挖掘的效率问题。基于Hadoop框架,设计了并行Fp-growth算法,对搜索引擎Web日志进行挖掘。仿真实验结果显示,满足支持度的查询词和点击链接频繁集在Web日志中普遍存在。随着Hadoop节点数的增加,并行Fpgrowth算法性能将得到大幅提高。由此,频繁集挖掘效率得到明显提高,且数据量越大,效率提升越明显。
【作者单位】： 电子科技大学数学科学学院;新疆财经大学计算机科学与工程学院;
【关键词】： 日志文件 频繁集 Hadoop Fp-growth
【基金】：国家自然科学基金(61163066)资助
【分类号】：TP391.3;TP311.13
【正文快照】： 本文受国家自然科学基金(61163066)资助。1引言搜索日志主要是记录用户查询点击过程。用户在每一次检索过程中,其搜索行为将在cookie中保留,其中包括了查询词、点击URL、二跳记录、IP、访问时间戳等信息。同时,搜索行为被搜索引擎服务器解析,最终以结构化数据格式保存在公司的

【参考文献】

中国期刊全文数据库 前9条

1 蓝祺花;吴博;;频繁项集挖掘算法研究[J];计算机与现代化;2009年03期

2 董志安;吕学强;;基于百度搜索日志的用户行为分析[J];计算机应用与软件;2013年07期

3 周诗慧;殷建;;Hadoop平台下的并行Web日志挖掘算法[J];计算机工程;2013年06期

4 章志刚;吉根林;;一种基于FP-Growth的频繁项目集并行挖掘算法[J];计算机工程与应用;2014年02期

5 ;Research and Application on Web Information Retrieval Based on Improved FP-Growth Algorithm[J];Wuhan University Journal of Natural Sciences;2006年05期

6 陈富赞;刘青;李敏强;寇纪淞;;一种基于会话聚类算法的Web使用挖掘方法[J];系统工程学报;2012年01期

7 刘建国;周涛;汪秉宏;;个性化推荐系统的研究进展[J];自然科学进展;2009年01期

8 张俊;李鲁群;周熔;;基于Lucene的搜索引擎的研究与应用[J];计算机技术与发展;2013年06期

9 吕婉琪;钟诚;唐印浒;陈志朕;;Hadoop分布式架构下大数据集的并行挖掘[J];计算机技术与发展;2014年01期

【共引文献】

中国期刊全文数据库 前10条

1 蔡晓霞;;数据挖掘技术在图书馆中的应用[J];长春师范学院学报;2011年04期

2 牟乃夏;刘文宝;张灵先;孙翠羽;;空间信息服务的个性化问题[J];测绘科学;2011年03期

3 章婷;姚万辉;;关联规则和事务集分组技术在图书馆个性化推荐系统中的应用研究[J];电脑知识与技术;2009年31期

4 闫洲;石刘红;;基于用户和项目组合的协同过滤推荐算法[J];电脑知识与技术;2011年16期

5 苏莹;;一类考虑负面评价的个性化推荐系统构架研究[J];电脑知识与技术;2012年03期

6 刘春灵;;基于云计算的移动商务推荐服务网络分析[J];电信科学;2010年S1期

7 陈明志;陈健;许春耀;陈为旭;林柏钢;;一种基于PSO-FCM的网络虚拟环境信息推荐算法[J];福州大学学报(自然科学版);2011年06期

8 刘建国;周涛;郭强;汪秉宏;;个性化推荐系统评价方法综述[J];复杂系统与复杂性科学;2009年03期

9 汪秉宏;周涛;刘建国;;推荐系统、信息挖掘及基于互联网的信息物理研究[J];复杂系统与复杂性科学;2010年Z1期

10 王燕红;;基于聚类分析的新书推荐[J];计算机光盘软件与应用;2012年03期

中国重要会议论文全文数据库 前5条

1 高琪;辛乐;;基于用户偏好度模型和情感计算的产品推荐算法[A];第二十九届中国控制会议论文集[C];2010年

2 蔡晓霞;;数据挖掘在图书馆中的应用[A];福建省图书馆学会2010年学术年会论文集[C];2010年

3 周玉妮;郑会颂;;基于浏览路径选择的蚁群推荐算法:用于移动商务个性化推荐系统[A];社会经济发展转型与系统工程——中国系统工程学会第17届学术年会论文集[C];2012年

4 赵振宇;杭国强;陈芨;庄怀宇;;移动互联网业务智能推荐系统设计研究[A];2014全国无线及移动通信学术大会论文集[C];2014年

5 文益民;史一帆;蔡国永;缪裕青;龙刚;;个性化旅游推荐研究综述[A];2015中国旅游科学年会论文集[C];2015年

中国博士学位论文全文数据库 前10条

1 叶红云;面向金融营销问题的个性化推荐方法研究[D];合肥工业大学;2011年

2 刘润然;复杂网络上的几种动力学过程研究[D];中国科学技术大学;2011年

3 马春山;移动增值业务的个性化推荐研究[D];北京邮电大学;2011年

4 方育柯;集成学习理论研究及其在个性化推荐中的应用[D];电子科技大学;2011年

5 刘闯;若干化工过程的复杂性研究[D];华东理工大学;2012年

6 王书锋;环绕智能系统中个性化服务技术研究[D];北京工业大学;2010年

7 刘继;基于网络社团分析的协作推荐方法研究[D];大连理工大学;2010年

8 潘新;基于复杂网络的舆情传播模型研究[D];大连理工大学;2010年

9 向东;产品设计中多领域知识表达、获取及应用研究[D];华中科技大学;2012年

10 唐四慧;基于关系元Agent的复杂社会网络建模方法与应用研究[D];华南理工大学;2012年

中国硕士学位论文全文数据库 前10条

1 李春;协同过滤推荐算法的研究[D];湘潭大学;2010年

2 韩璐;针对推荐系统中信息共享需求下隐私保护机制的研究与实现[D];华东师范大学;2011年

3 仵雪婷;基于知识情境的知识个性化推送技术的研究与应用[D];南昌大学;2010年

4 许厘，

本文编号：601146