基于多模态监督学习的图像重排序算法研究

发布时间：2017-08-01 09:21

  本文关键词：基于多模态监督学习的图像重排序算法研究

  更多相关文章： 图像检索重序 监督学习 多模态学习

【摘要】：伴随着网络技术的迅猛发展,伴随着“互联网+”的概念的提出,网络上涌现出了大量的图像,人们也期待能够从这些海量的图像中快速找寻到自己需要的图像。由于目前的图像检索系统返回的检索结果不能够满足大部分人的要求,因此提出了图像检索的重排序算法,以此来提高图像检索系统的性能。图像检索的重排序是指对由传统的基于文本检索的检索系统中返回的检索结果中的图像进行重新的排序,来达到提高图像检索的精确度,多样性等的目的。现在的图像重排序的方法大部分是基于一种模态的,由于很难能够找到一种适合所有查询的模态,因此提出了多模态的概念。基于多模态的图像重排序是指融合从初始化列表中图像的多种视觉特征中学习得到的重排序特征进行图像检索的重排序。本文围绕着如何更加高效的利用多模态来提高图像检索的重排序性能,主要讨论了图像视觉特征的选择、图像相似度计算、图像生成特征的计算和图像生成特征权重的计算这四个方面的问题。论文的主要工作归纳如下：(1)对于由基于文本检索的搜索引擎返回的初始化列表中的每一幅图像提取以下六种视觉特征：HSV颜色直方图特征、RGB颜色直方图特征、基于分块的颜色矩特征、颜色相关图特征、边缘方向直方图特征、基于小波变换的纹理特征。(2)根据不同的模态建立不同的相似图,其中图中顶点是指初始列表中的图像,顶点之间的权重是指图像之间相似度。不同的相似图是根据不同的模态建立的,为了更加准确的计算图像之间的相似度,对于不同的模态,我们采用不同的相似度计算方法。(3)在相似图和图像的初始化排名的基础上,我们将多模态的图像视觉特征转化为独立于查询的几种图像重排序特征,分别叫做基于PageRank的伪相关反馈特征、密度特征以及根据初始化排名计算得到的初始化得分特征,并将它们融合到一个19维的特征向量,因此我们就可以将初始化列表中的每一幅图像利用一个19维的特征向量来进行表示。(4)我们利用监督学习的方法来学习(3)中得到的每一维图像重排序特征的权重。(5)在实验中,我们在由微软亚洲研究院提供的数据集：MSRA-MM上对本文提出的算法进行评价,并且利用NDCG作为评价指标。我们将本文提出的图像重排序算法与已有的较完善的图像重排序算法进行比较,主要有以下几种：基于贝叶斯的图像重排序算法、基于伪相关反馈的图像重排序算法。实验结果显示,本文提出的方法在评测指标NDCG上较其他方法有了较大的提高。并且本文还比较了不同的初始化排名对于图像重排序结果的影响,结果显示本文提出的方法受初始化排名的影响最小,以此证明了该方法的稳定性。
【关键词】：图像检索重序 监督学习 多模态学习
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.41
【目录】：

• 摘要8-10
• Abstract10-12
• 第一章 绪论12-16
• 1.1 研究背景12-13
• 1.2 研究意义13-14
• 1.3 主要贡献14
• 1.4 本文的组织结构14-16
• 第二章 相关研究现状16-20
• 2.1 图像检索的重排序简介16
• 2.2 图像检索的重排序框架16-17
• 2.3 图像重排序常用方法17-19
• 2.3.1 监督学习方法17-18
• 2.3.2 非监督学习方法18-19
• 2.4 本章小结19-20
• 第三章 基于多模态监督学习的图像重排序算法20-38
• 3.1 引言20-22
• 3.2 基于多模态监督学习的图像重排序算法22-25
• 3.3 图像的视觉特征25-29
• 3.3.1 HSV颜色直方图(HCH)25-26
• 3.3.2 RGB颜色直方图(RCH)26
• 3.3.3 基于分块的颜色矩(BCM)26-27
• 3.3.4 颜色相关图(CC)27
• 3.3.5 边缘方向直方图(EDH)27-28
• 3.3.6 基于小波变换的纹理特征(WT)28-29
• 3.4 图像的生成特征29-34
• 3.4.1 基于PageRank的伪相关反馈(PPRF)29-32
• 3.4.2 密度特征(DF)32
• 3.4.3 初始化得分特征(IRS)32-34
• 3.5 图像的相似度计算34-35
• 3.5.1 Jensen-Shannon散度34
• 3.5.2 径向基函数34-35
• 3.5.3 交距离35
• 3.6 特征权重的学习——RankSVM35-37
• 3.6.1 SVM35-36
• 3.6.2 RankSVM36-37
• 3.7 本章小结37-38
• 第四章 实验结果与分析38-46
• 4.1 数据集38-39
• 4.2 评价准则39-41
• 4.3 对比方法41-42
• 4.4 实验结果42-45
• 4.4.1 所有查询上的性能比较42-43
• 4.4.2 不同初始化列表上的性能比较43-45
• 4.5 本章小结45-46
• 第五章 总结与展望46-48
• 5.1 工作总结46-47
• 5.2 展望未来47-48
• 参考文献48-51
• 致谢51-52
• 攻读学位期间发表的学术论文目录52-53
• 攻读学位期间参加的科研项目情况53-54
• 攻读学位期间获奖情况54-55
• 学位论文评阅及答辩情况表55

【相似文献】

中国期刊全文数据库 前10条

1 孟勇,洪丹辉,毛丹;测度熵在图像纹理分析中的应用[J];计算机应用与软件;2000年08期

2 吴涛;秦昆;;图像纹理特征数据挖掘的理论与方法探讨[J];计算机时代;2006年08期

3 方玲玲;王相海;;图像挖掘研究[J];计算机科学;2009年08期

4 高振宇;杨晓梅;龚剑明;金海;;图像复杂度描述方法研究[J];中国图象图形学报;2010年01期

5 刘勇,施万昌,徐玉兰;图像差异的分析与识别[J];复旦学报(自然科学版);2000年05期

6 罗l，

本文编号：603565