推荐算法研究和对象搜索引擎的搭建

发布时间：2017-08-26 14:22

  本文关键词：推荐算法研究和对象搜索引擎的搭建

  更多相关文章： 电影推荐 矩阵分解 聚类因子 垂直搜索 开发效率

【摘要】：近几十年来,互联网的迅速发展,不仅促进了全世界范围内信息的有效传播和流通,而且对科学研究、工商业发展,乃至人们的日常生活方式都带来了深远的影响。随着互联网数据的指数级膨胀,互联网已经进入“大数据”时代。在这样一种背景条件下,人们获取信息的周期正在不断变长。面对信息获取,好的选择将变得难得一遇。而且大多数情况下,这种决策选择需要花费大量的人力与物力,但是往往收效甚微。本文主要从缩短用户获取信息周期的角度出发,引出推荐系统和搜索引擎在现阶段人们日常生活中的重要作用。本文分两部分来阐述论文的研究内容。 首先是推荐系统,探讨了现阶段推荐系统发展的一个现状,然后以一个实际的评分预测类推荐任务—电影推荐—为主要的研究点,研究高等矩阵因子分解模型在评分预测类推荐任务中的应用。Netflix Prize大奖赛的成功举办,让矩阵分解技术在电影推荐领域的应用广为人知。而且经过KDD2012评测大赛的再次验证,进一步说明了高等的矩阵因子分解技术对于提高推荐系统特别是评分预测类的预测准确率是很有帮助的。简单来说,推荐系统中使用矩阵分解从评分模式中抽取一组潜在的因子,我们可以将用户或者物品用这些潜在的因子向量来表示,这些向量可以被称为特征向量。由于抽取的因子可能是无法直观的去理解的,所以是潜在特征,基于此,这种方法也被称为潜在因子模型LFM (Latent Factor Model)。本文在研究了基本的LFM模型的基础上,提出以用户兴趣为导向的潜在用户分组属性,将聚类因子巧妙的加入到LFM模型之中。经过实验验证,这种考虑了用户兴趣分组的矩阵分解模型在预测的准确率上大为提高。 其次,对于搜索引擎的研究本文着重考虑的是垂直搜索引擎的搭建工作,更侧重于工程性实现。本文对于搜索引擎的发展现状做了详细的调研,并对于搭建搜索引擎涉及的常见技术进行了细致的研究,在此基础上,以整合校园信息,为广大师生提供信息查询为目的,搭建了一个校园对象搜索引擎。之所以称为对象搜索,是因为系统除了常见的搜索之外,还以对象(人物,组织,机构,时间等)为单位,进行深度数据挖掘与分析,给用户提供更全面的信息。在调研、设计并实现整个框架的过程中,本文从工程开发的角度出发,结合apache虚拟主机技术和SVN技术,给出了一个完善且高效的开发规范。
【关键词】：电影推荐 矩阵分解 聚类因子 垂直搜索 开发效率
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP391.3
【目录】：

• 摘要4-6
• ABSTRACT6-10
• 第一章 绪论10-18
• 1.1 研究背景10-11
• 1.2 研究现状11-14
• 1.2.1 推荐系统的现状11-13
• 1.2.2 搜索引擎时代13-14
• 1.3 论文研究内容及结构安排14-16
• 1.3.1 研究内容15-16
• 1.3.2 主要工作16
• 1.3.3 章节安排16
• 1.4 本章小结16-18
• 第二章 矩阵分解技术18-28
• 2.1 背景介绍18-19
• 2.2 评判指标19
• 2.3 奇异值分解(SVD)19-22
• 2.3.1 数学意义19-20
• 2.3.2 SVD在数据处理中的作用20-21
• 2.3.3 SVD在实际应用中的缺陷21-22
• 2.4 潜在因子模型22-25
• 2.4.1 模型22-23
• 2.4.2 策略23
• 2.4.3 优化算法23-25
• 2.5 随机梯度下降法25
• 2.6 BiasSVD25-26
• 2.7 本章小结26-28
• 第三章 ClusterLFM28-38
• 3.1 潜在分组属性28
• 3.2 用户聚类分析28-31
• 3.2.1 相似度度量28-29
• 3.2.2 PCA降维29-30
• 3.2.3 层次聚类30-31
• 3.2.4 重新构造特征向量31
• 3.3 ClusterLFM31-32
• 3.4 迭代过程的注意事项32-33
• 3.5 实验结果33-36
• 3.6 本章小结36-38
• 第四章 校园对象搜索引擎38-54
• 4.1 需求背景38
• 4.2 系统框架38-39
• 4.3 相关技术及系统架构介绍39-44
• 4.3.1 爬虫模块39-40
• 4.3.2 索引模块40-41
• 4.3.3 内存缓存机制41-43
• 4.3.4 LAMP架构43-44
• 4.4 项目开发规范44-48
• 4.4.1 Apache虚拟主机44-45
• 4.4.2 Linux权限管理45
• 4.4.3 Subversion45-46
• 4.4.4 SVN的图形化46
• 4.4.5 项目规范总结46-48
• 4.5 系统特色48-49
• 4.5.1 对象搜索48
• 4.5.2 教师的关系图谱48
• 4.5.3 校园日历48
• 4.5.4 论坛用户关系图谱48-49
• 4.6 系统展示49-52
• 4.7 本章小结52-54
• 第五章 总结与展望54-56
• 5.1 总结54-55
• 5.2 创新点55
• 5.3 下一步工作55-56
• 参考文献56-58
• 致谢58

【相似文献】

中国期刊全文数据库 前10条

1 袁运祥;基于矩阵分解的子结构法求解介绍[J];计算机应用通讯;1981年00期

2 李宇光,朱志德;矩阵分解法分析及其应用研究[J];哈尔滨船舶工程学院学报;1989年04期

3 史加荣;郑秀云;周水生;;矩阵补全算法研究进展[J];计算机科学;2014年04期

4 何朕,赵文斌,于达仁;摄动矩阵的分解[J];电机与控制学报;2004年03期

5 李华云;;F范数及矩阵分解实例研究[J];现代情报;2008年10期

6 邹理和;;系数矩阵分解二维谱估值[J];信号处理;1985年03期

7 张海建;;分布式矩阵分解算法在推荐系统中的研究与应用[J];科技通报;2013年12期

8 王锋;赵志文;牟盛;;整数提升小波多相矩阵分解系数的快速提取算法[J];中国图象图形学报;2012年03期

9 段华杰;;考虑时间效应的矩阵分解技术在推荐系统中的应用[J];微型电脑应用;2013年03期

10 王海雷;牟雁超;俞学宁;;基于协同矩阵分解的社会化标签系统的资源推荐[J];计算机应用研究;2013年06期

中国重要会议论文全文数据库 前2条

1 王春江;钱若军;王人鹏;杨联萍;;矩阵分解在张力集成体系模态分析中的应用[A];第九届全国结构工程学术会议论文集第Ⅰ卷[C];2000年

2 王春江;王人鹏;钱若军;王颖;;矩阵分解技术在体系性态综合分析中的初步应用[A];“力学2000”学术大会论文集[C];2000年

中国博士学位论文全文数据库 前3条

1 赵科科;低秩矩阵分解的正则化方法与应用[D];浙江大学;2012年

2 胡惠轶;基于分解的系统辨识方法研究[D];江南大学;2014年

3 陈根浪;基于社交媒体的推荐技术若干问题研究[D];浙江大学;2012年

中国硕士学位论文全文数据库 前10条

1 封金蕾;基于矩阵分解的显著对象提取算法分析与应用[D];北京交通大学;2012年

2 陈天奇;基于特征的矩阵分解模型[D];上海交通大学;2013年

3 修贤超;低秩稀疏矩阵分解在视频监控中的应用[D];北京交通大学;2014年

4 李明;基于矩阵分解理论学习的数据降维算法研究[D];辽宁师范大学;2011年

5 邹丹;非负矩阵分解算法研究及其在个性化推荐系统中的应用[D];北京工业大学;2012年

6 胡澍;融合社会关系的资源推荐方法研究[D];华中科技大学;2012年

7 张川;基于矩阵分解的协同过滤推荐算法研究[D];吉林大学;2013年

8 杨娟;多通路主题模型和双矩阵分解推荐算法[D];苏州大学;2013年

9 张静姝;推荐系统中基于智能优化算法的矩阵分解[D];吉林大学;2014年

10 杨艳飞;一些矩阵分解的严格扰动界的研究[D];重庆大学;2014年

，

本文编号：741895