基于搜索日志的图文推荐系统设计与实现

发布时间：2017-07-08 18:16

  本文关键词：基于搜索日志的图文推荐系统设计与实现

  更多相关文章： 搜索日志 Hadoop 查询推荐 推荐系统

【摘要】：随着互联网的广泛使用,信息的获取方式发生了巨大改变。互联网带来了信息交流成本的极大下降,人们能便捷的从网络获取各种各样的信息。为了高效搜索信息,搜索引擎普遍为用户提供相关搜索的服务。这种查询推荐服务可以优化用户的检索词,提高搜索服务质量,或者推荐新的搜索内容发现用户的兴趣,从而实现个性化的搜索服务。这种相关搜索服务本质上就是通过查询推荐系统实现的。与其他推荐系统相比,查询推荐系统的目标在于推荐用户感兴趣的或是更清晰表达用户意图的检索词。本文设计和实现了一种基于搜索日志的图文查询推荐系统。不同于传统的查询推荐系统,本文设计的查询推荐系统的推荐结果不是简单的文字信息,是将图片和文字融合的图文结果,推荐结果更具吸引力,具有更好的推荐效果是系统的一大特色。本文设计了一种利用多种搜索日志挖掘搜索推荐结果的算法,算法融合了基于点击日志的URL共现算法、检索词相似度计算方法、Session日志切分等方法,达到了推荐出文字和图片的图文结果和扩大查询推荐覆盖率的效果。系统主要包含三大数据处理模块,图文关联模块的功能是挖掘图文关联的优质种子数据,推荐词挖掘模块是大规模挖掘具有相关性的query对,候选集扩充模块是用推荐词关联数据扩充图文关联的优质数据。通过查询推荐系统实际运行的运行日志和点击信息,可以证明本文实现的图文推荐算法是真实有效的,同时图文推荐系统能满足数据处理的实际需求。本论文从理论和实践上证明了这种图文推荐算法是有效的。
【关键词】：搜索日志 Hadoop 查询推荐 推荐系统
【学位授予单位】：大连理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.3
【目录】：

• 摘要4-5
• Abstract5-8
• 1 绪论8-12
• 1.1 研究背景及意义8-9
• 1.2 国内外相关研究9-10
• 1.3 论文主要工作10-11
• 1.4 论文章节安排11-12
• 2 相关技术介绍12-21
• 2.1 Hadoop12-13
• 2.1.1 HDFS12-13
• 2.1.2 YARN13
• 2.2 BigFlow13-15
• 2.3 推荐技术15-18
• 2.3.1 基于内容的推荐16-17
• 2.3.2 基于知识的推荐17
• 2.3.3 协同过滤推荐17-18
• 2.4 搜索日志分析18-21
• 3 需求分析与算法设计21-35
• 3.1 需求分析21-28
• 3.1.1 业务理解21-22
• 3.1.2 搜索意图22-25
• 3.1.3 搜索推荐25-27
• 3.1.4 功能性需求27-28
• 3.2 算法设计28-35
• 3.2.1 整体概述28-29
• 3.2.2 查询点击二部图29-32
• 3.2.3 检索词的相似度计算32-35
• 4 详细设计与实现35-51
• 4.1 图文关联模块35-43
• 4.1.1 数据说明35-37
• 4.1.2 基于Hadoop的分布式实现37-42
• 4.1.3 高频词和低频词42-43
• 4.2 推荐词挖掘模块43-46
• 4.2.1 数据说明43-44
• 4.2.2 基于Hadoop的分布式实现44-46
• 4.3 候选集扩充模块46-51
• 4.3.1 数据说明46-48
• 4.3.2 基于BigFlow的分布式实现48-50
• 4.3.3 在线排序与反馈机制50-51
• 5 实验与分析51-56
• 5.1 实验51-54
• 5.1.1 实验方法51
• 5.1.2 实验结果51-54
• 5.2 分析54-56
• 5.2.1 存在的问题54-55
• 5.2.2 改进的方向55-56
• 结论56-57
• 参考文献57-59
• 致谢59-60

【相似文献】

中国期刊全文数据库 前10条

1 米可菲;张勇;邢春晓;蔚欣;;面向大数据的开源推荐系统分析[J];计算机与数字工程;2013年10期

2 脱建勇;王嵩;李秀;刘文煌;;精品课共享中的推荐系统框架与实现[J];计算机工程与设计;2006年17期

3 苏冠贤;张丽霞;林丕源;刘吉平;;生物信息学推荐系统的设计与实现[J];计算机应用研究;2007年05期

4 王改芬;;推荐系统研究综述[J];软件导刊;2007年23期

5 叶群来;;营销与网络推荐系统[J];电子商务;2007年10期

6 李媚;;个性化网络学习资源推荐系统研究[J];福建电脑;2008年12期

7 潘冉;姜丽红;;基于经济学模型的推荐系统的研究[J];计算机应用与软件;2008年03期

8 刘鲁;任晓丽;;推荐系统研究进展及展望[J];信息系统学报;2008年01期

9 刘小燕;陈艳丽;贾宗璞;沈记全;;基于增强学习的旅行计划推荐系统[J];计算机工程;2010年21期

10 曹畋;;智能推荐系统在知识浏览领域的应用[J];硅谷;2011年21期

中国重要会议论文全文数据库 前8条

1 张燕;李燕萍;;基于内容分析和点击率记录的混合音乐推荐系统[A];2009年通信理论与信号处理学术年会论文集[C];2009年

2 赵欣;寇纲;邬文帅;卢艳群;;基于时间密集性的推荐系统攻击检测[A];第六届（2011）中国管理学年会论文摘要集[C];2011年

3 张玉连;张波;张敏;;改进的个性化信息推荐系统的设计与实现[A];2005年全国理论计算机科学学术年会论文集[C];2005年

4 王君;许洁萍;;层次音乐推荐系统的研究[A];第18届全国多媒体学术会议（NCMT2009）、第5届全国人机交互学术会议（CHCI2009）、第5届全国普适计算学术会议（PCC2009）论文集[C];2009年

5 潘宇;林鸿飞;杨志豪;;基于用户聚类的电子商务推荐系统[A];第三届学生计算语言学研讨会论文集[C];2006年

6 尤忠彬;陈越;张英;朱扬勇;;基于Web服务的技术转移平台推荐系统研究[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

7 王国霞;刘贺平;李擎;;二部图影射及其在推荐系统中的应用[A];第25届中国控制与决策会议论文集[C];2013年

8 王雪;董爱华;吴怡之;;基于RFID技术的智能服装推荐系统设计[A];2011年全国电子信息技术与应用学术会议论文集[C];2011年

中国重要报纸全文数据库 前2条

1 ;大数据如何“落地”[N];中国新闻出版报;2014年

2 本报记者 邹大斌;大数据：电商新武器[N];计算机世界;2012年

中国博士学位论文全文数据库 前10条

1 周魏;推荐系统中基于目标项目分析的托攻击检测研究[D];重庆大学;2015年

2 田刚;融合维基知识的情境感知Web服务发现方法研究[D];武汉大学;2015年

3 胡亮;集成多元信息的推荐系统建模方法的研究[D];上海交通大学;2015年

4 孙丽梅;Web-based推荐系统中若干关键问题研究[D];东北大学;2013年

5 王宏宇;商务推荐系统的设计研究[D];中国科学技术大学;2007年

6 杨东辉;基于情感相似度的社会化推荐系统研究[D];哈尔滨工业大学;2014年

7 曹渝昆;基于神经网络和模糊逻辑的智能推荐系统研究[D];重庆大学;2006年

8 王立才;上下文感知推荐系统若干关键技术研究[D];北京邮电大学;2012年

9 刘龙;一个能实现个性化实时路径推荐服务的推荐系统框架[D];中国科学技术大学;2014年

10 李涛;推荐系统中若干关键问题研究[D];南京航空航天大学;2009年

中国硕士学位论文全文数据库 前10条

1 朱孔真;基于云计算的电子商务智能推荐系统研究[D];武汉理工大学;2014年

2 郭敬泽;基于赋权评分和Dpark的分布式推荐系统研究与实现[D];天津理工大学;2015年

3 周俊宇;信息推荐系统的研究与设计[D];江南大学;2015年

4 李炜;基于电子商务平台的保险推荐系统的设计与实现[D];复旦大学;2013年

5 车丰;基于排序主题模型的论文推荐系统[D];大连海事大学;2015年

6 秦大路;基于因式分解机模型的上下文感知推荐系统研究[D];郑州大学;2015年

7 徐霞婷;动态路网监控与导航推荐系统的设计与实现[D];苏州大学;2015年

8 黄学峰;基于Hadoop的电影推荐系统研究与实现[D];南京师范大学;2015年

9 路小瑞;基于Hadoop平台的职位推荐系统的设计与实现[D];上海交通大学;2015年

10 李爱宝;基于组合消费行为分析的团购推荐系统的设计与实现[D];哈尔滨工业大学;2015年

，

本文编号：535761