面向多个源领域的迁移学习研究
发布时间：2022-12-22 06:47
近几十年来,人工智能得到了迅速的发展,而机器学习技术在其中扮演着重要的角色。传统机器学习问题假设训练数据和测试数据是服从独立同分布的。然而,这种假设在许多真实世界应用中可能不成立,即训练数据（源领域数据）与测试数据（目标领域数据）分布不同,或者它们之间的特征空间是不同的。为了解决这一问题,迁移学习应运而生并引起了学术界的广泛关注。迁移学习旨在利用从一个或多个源领域中提取的知识来辅助目标领域的分类和预测任务。现有大多数迁移学习研究工作是基于单一源领域的知识迁移,即单源迁移学习。这些工作在很多真实世界领域已经取得了不错的成果。然而,对于目标领域来说,单一源领域无法为其提供丰富、多视角的知识,即单源迁移学习存在信息不充分问题。为了解决这一问题,我们需要从多个源领域中提取知识进行迁移,即多源迁移学习。此外,在大数据时代,多源迁移学习在面对持续在线到来的新数据时,无法及时对新数据做出预测,即存在响应不及时问题。基于此,我们将多源迁移学习与在线学习相结合,研究在线多源迁移学习范式。本文面向多个源领域数据的分类和预测任务,系统地研究了多源迁移学习的问题挑战及其解决方案。本文的主要贡献可以概括如下:1...
【文章页数】：124 页
【学位级别】：博士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 研究背景与意义
1.2 国内外研究现状
1.2.1 迁移学习
1.2.2 多源迁移学习
1.3 研究思路与主要贡献
1.4 本文的组织结构
第二章 基于最优传输的多源迁移学习
2.1 引言
2.2 相关工作
2.2.1 迁移学习
2.2.2 最优传输
2.3 基于条件Wasserstein距离的领域注意力算法
2.3.1 问题定义
2.3.2 Wasserstein距离
2.3.3 条件Wasserstein距离
2.3.4 基于条件Wasserstein距离的领域注意力算法
2.3.5 计算复杂度分析
2.4 实验结果与分析
2.4.1 数据集描述
2.4.2 对比方法
2.4.3 有效性评估
2.4.4 不同源领域数目的实验结果对比
2.4.5 高效性评估
2.4.6 参数敏感度分析
2.5 小结
第三章 基于特征选择和最优传输的多源迁移学习
3.1 引言
3.2 相关工作
3.2.1 迁移学习
3.2.2 最优传输
3.2.3 多源迁移学习
3.3 基于特征选择和Wasserstein距离的迭代改善算法
3.3.1 问题定义
3.3.2 方法概述
3.3.3 基于特征选择的子空间学习
3.3.4 基于最优传输的迁移权重学习
3.4 实验结果与分析
3.4.1 数据集描述
3.4.2 对比方法
3.4.3 实验结果与讨论
3.4.4 控制变量分析
3.4.5 参数敏感度分析
3.4.6 单源领域迁移与多源领域迁移对比
3.4.7 算法收敛性分析
3.5 小结
第四章 基于共现数据的在线多源异构迁移学习
4.1 引言
4.2 相关工作
4.2.1 在线学习
4.2.2 迁移学习
4.3 在线异构知识传递方法
4.3.1 问题定义与符号描述
4.3.2 知识传递
4.3.3 源领域数据和共现数据上的学习
4.3.4 目标领域数据上的在线学习
4.4 实验结果与分析
4.4.1 数据集描述
4.4.2 对比方法
4.4.3 实验结果与分析
4.4.4 高效性评估
4.4.5 参数敏感度分析
4.5 小结
第五章 基于集成策略的在线多源迁移学习
5.1 引言
5.2 相关工作
5.3 问题定义和总体学习范式
5.4 在线多源同构迁移算法
5.4.1 Hom OTLMS算法的学习步骤
5.4.2 Hom OTLMS算法的伪代码
5.4.3 Hom OTLMS算法的理论分析
5.5 在线多源异构迁移算法
5.5.1 Het OTLMS算法第一阶段
5.5.2 Het OTLMS算法第二阶段
5.5.3 Het OTLMS算法的伪代码
5.5.4 Het OTLMS算法的理论分析
5.6 实验结果与分析
5.6.1 数据集描述
5.6.2 对比方法
5.6.3 新闻组数据集和情感分析数据集上的实验结果
5.6.4 多语言数据集上的实验结果
5.6.5 异构设定下的实验结果
5.6.6 参数敏感度分析
5.6.7 运行时间成本评估
5.7 小结
总结与展望
全文总结
未来展望
参考文献
攻读博士学位期间取得的研究成果
致谢
附件
本文编号：3723670
【文章页数】：124 页
【学位级别】：博士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 研究背景与意义
1.2 国内外研究现状
1.2.1 迁移学习
1.2.2 多源迁移学习
1.3 研究思路与主要贡献
1.4 本文的组织结构
第二章 基于最优传输的多源迁移学习
2.1 引言
2.2 相关工作
2.2.1 迁移学习
2.2.2 最优传输
2.3 基于条件Wasserstein距离的领域注意力算法
2.3.1 问题定义
2.3.2 Wasserstein距离
2.3.3 条件Wasserstein距离
2.3.4 基于条件Wasserstein距离的领域注意力算法
2.3.5 计算复杂度分析
2.4 实验结果与分析
2.4.1 数据集描述
2.4.2 对比方法
2.4.3 有效性评估
2.4.4 不同源领域数目的实验结果对比
2.4.5 高效性评估
2.4.6 参数敏感度分析
2.5 小结
第三章 基于特征选择和最优传输的多源迁移学习
3.1 引言
3.2 相关工作
3.2.1 迁移学习
3.2.2 最优传输
3.2.3 多源迁移学习
3.3 基于特征选择和Wasserstein距离的迭代改善算法
3.3.1 问题定义
3.3.2 方法概述
3.3.3 基于特征选择的子空间学习
3.3.4 基于最优传输的迁移权重学习
3.4 实验结果与分析
3.4.1 数据集描述
3.4.2 对比方法
3.4.3 实验结果与讨论
3.4.4 控制变量分析
3.4.5 参数敏感度分析
3.4.6 单源领域迁移与多源领域迁移对比
3.4.7 算法收敛性分析
3.5 小结
第四章 基于共现数据的在线多源异构迁移学习
4.1 引言
4.2 相关工作
4.2.1 在线学习
4.2.2 迁移学习
4.3 在线异构知识传递方法
4.3.1 问题定义与符号描述
4.3.2 知识传递
4.3.3 源领域数据和共现数据上的学习
4.3.4 目标领域数据上的在线学习
4.4 实验结果与分析
4.4.1 数据集描述
4.4.2 对比方法
4.4.3 实验结果与分析
4.4.4 高效性评估
4.4.5 参数敏感度分析
4.5 小结
第五章 基于集成策略的在线多源迁移学习
5.1 引言
5.2 相关工作
5.3 问题定义和总体学习范式
5.4 在线多源同构迁移算法
5.4.1 Hom OTLMS算法的学习步骤
5.4.2 Hom OTLMS算法的伪代码
5.4.3 Hom OTLMS算法的理论分析
5.5 在线多源异构迁移算法
5.5.1 Het OTLMS算法第一阶段
5.5.2 Het OTLMS算法第二阶段
5.5.3 Het OTLMS算法的伪代码
5.5.4 Het OTLMS算法的理论分析
5.6 实验结果与分析
5.6.1 数据集描述
5.6.2 对比方法
5.6.3 新闻组数据集和情感分析数据集上的实验结果
5.6.4 多语言数据集上的实验结果
5.6.5 异构设定下的实验结果
5.6.6 参数敏感度分析
5.6.7 运行时间成本评估
5.7 小结
总结与展望
全文总结
未来展望
参考文献
攻读博士学位期间取得的研究成果
致谢
附件
本文编号：3723670
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/3723670.html