基于贝叶斯方法的半监督学习算法研究

发布时间：2022-10-11 17:40

　　随着互联网技术的快速发展,实际应用中存在着大量无标签样本和少量有标签样本。虽然有标签样本能够有效提升监督学习的性能,但是获取充足的有标签样本往往需要耗费大量的时间。在这种情况下,仅使用少量有标签样本的监督学习泛化能力不强,而完全基于无标签样本的无监督学习往往效果不佳。这些传统的机器学习范式不仅没有性能上的优势,还浪费了数据资源。因此,研究能够同时利用有标签样本和无标签样本的机器学习方法具有重要的意义。在有标签样本较少时,半监督学习能够利用大量无标签样本改进学习性能,近年来受到了广泛的关注。经过二十多年的研究,半监督学习己经成为一类重要的机器学习范式,并被成功应用到诸多领域。然而,半监督学习在无标签样本的有效使用、高效利用以及在特征选择中的有效性方面仍然存在一些有待解决的重要问题。本文对这些问题展开研究,主要贡献总结如下:（1）对无标签样本的有效使用进行研究,提出了基于稀疏贝叶斯的半监督学习框架以及基于该框架的半监督算法SBS2LEM和SBS2LVB。这两种算法具有良好的稀疏性,能够在训练过程中自动删除无关的无标签样本,从而更加有效地利用无标签样本。实验表明,SBS2LEM和SBS2LV... 

【文章页数】：109 页

【学位级别】：博士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 研究背景
    1.2 国内外研究现状
    1.3 有待研究的问题
    1.4 本文的主要研究内容
    1.5 本文的组织结构
第2章 相关知识介绍
    2.1 贝叶斯方法
    2.2 稀疏贝叶斯方法
    2.3 近似推断方法
        2.3.1 变分贝叶斯方法
        2.3.2 拉普拉斯近似
    2.4 本章小结
第3章 基于稀疏贝叶斯的半监督学习算法研究
    3.1 引言
    3.2 相关工作
    3.3 基于稀疏贝叶斯的半监督学习算法
        3.3.1 基于稀疏贝叶斯的半监督学习框架
        3.3.2 基于最大化后验估计的稀疏贝叶斯半监督学习算法
        3.3.3 基于全贝叶斯估计的稀疏贝叶斯半监督学习算法
        3.3.4 预测样本标签
    3.4 实验验证
        3.4.1 人工数据集上的实验
        3.4.2 基准数据集上的实验
        3.4.3 UCI数据集上的实验
    3.5 本章小结
第4章 基于稀疏贝叶斯的可扩展半监督学习算法
    4.1 引言
    4.2 相关工作
    4.3 基于稀疏贝叶斯的可扩展半监督学习算法
        4.3.1 基于拉普拉斯近似的稀疏贝叶斯半监督学习算法
        4.3.2 增量稀疏贝叶斯半监督学习算法
        4.3.3 复杂度分析
    4.4 鲁棒性和泛化误差分析
    4.5 实验验证
        4.5.1 标准数据集上的实验
        4.5.2 参数敏感性分析
        4.5.3 中等规模和大规模数据集上的实验
        4.5.4 可扩展性
    4.6 本章小结
第5章 基于贝叶斯的联合半监督特征选择与分类算法
    5.1 引言
    5.2 相关工作
    5.3 基于贝叶斯的联合半监督特征选择与分类算法
        5.3.1 问题描述与分析
        5.3.2 特征参数与无标签样本参数的先验
        5.3.3 优化参数
    5.4 实验验证
        5.4.1 实验设置
        5.4.2 算法对噪声特征和噪声无标签样本的鲁棒性
        5.4.3 算法在高维数据集上的性能
        5.4.4 算法的计算复杂度和收敛性分析
    5.5 本章小结
第6章 总结与展望
参考文献
附录A 泛化误差边界中的证明
致谢
在读期间发表的学术论文与取得的研究成果


【参考文献】：
期刊论文
[1]基于稀疏贝叶斯的流形学习[J]. 陈兵飞,江兵兵,周熙人,陈欢欢.  电子学报. 2018(01)

博士论文
[1]分布式变分贝叶斯算法及其应用[D]. 华俊豪.浙江大学 2018
[2]数据驱动的图推断算法研究[D]. 宫辰.上海交通大学 2016
[3]半监督支持向量机学习方法的研究[D]. 李宇峰.南京大学 2013
[4]贝叶斯学习理论及其应用研究[D]. 宫秀军.中国科学院研究生院（计算技术研究所） 2002

硕士论文
[1]概率特征选择分类向量机[D]. 李昌.中国科学技术大学 2016



本文编号：3691003