可扩展的贝叶斯学习方法建模与推理
发布时间：2022-12-24 10:13
许多流行且实用的机器学习方法都是基于求解一个将正则化后的经验风险最小化的最优模型,比如支持向量机和矩阵分解方法等等。而另一方面,贝叶斯学习方法关注模型的概率分布,在建模上享有很强的灵活性与健壮性,在推理上也有一系列成熟的算法。因此我们希望能够将一些正则风险最小化问题转化成相应的贝叶斯学习问题,并借助后者在建模与推理上丰富的工具与手段,得到更好的学习方法。与此同时,互联网的繁荣催生出了一些新的数据类型（比如关系数据）,如何扩展并利用贝叶斯方法对这类数据进行建模与分析是很值得研究的问题。而大数据时代的到来,也对贝叶斯方法的推理效率以及可扩展性提出了更高的要求。本文首先考察了如何将一个一般的正则风险最小化问题转化成贝叶斯学习问题。我们细致地比较了直接基于贝叶斯准则的传统方法以及最大熵判别方法这两种不同的实现手段,揭示了它们的一些本质区别与联系。然后,作为实践该转化方法的一个具体实例,我们考察了用于分析“用户-物品”间评分关系的最大间隔矩阵分解方法,并在将其转化得到的贝叶斯模型中进一步引入了非参数化的贝叶斯方法,从而有效地解决了隐含因子个数的选择问题。最后,我们提出了一个通用的对贝叶斯模型的后...
【文章页数】：85 页
【学位级别】：博士
【文章目录】：
摘要
abstract
主要符号对照表
第1章 引言
1.1 研究背景
1.1.1 贝叶斯学习方法
1.1.2 关系数据与隐式特征
1.1.3 大数据时代的贝叶斯推理
1.2 研究内容与主要贡献
第2章 从最优模型到最优分布
2.1 正则风险最小化
2.2 贝叶斯分析
2.2.1 代先验与代似然
2.2.2 从正则风险最小化到最大后验估计
2.2.3 贝叶斯准则的变分优化形式
2.2.4 从点估计到分布估计
2.3 最大熵判别
2.3.1 间隔与间隔约束
2.3.2 支持向量机
2.3.3 最大熵判别
2.4 区别与联系
2.5 学习与推理
2.5.1 贝叶斯分析
2.5.2 蒙特卡洛采样方法
2.5.3 最大熵判别
2.5.4 变分近似与平均场假设
2.5.5 两种方法最优解之间的联系
2.6 本章小结
第3章 支持向量机的贝叶斯模型
3.1 贝叶斯分析
3.1.1 数据增广下的采样近似求解
3.2 最大熵判别
3.3 本章小结与讨论
第4章 最大间隔矩阵分解的贝叶斯模型
4.1 协同过滤问题与矩阵分解
4.2 最大间隔矩阵分解
4.3 评分的铰链损失
4.4 贝叶斯分析
4.5 最大熵判别
4.6 本章小结与讨论
第5章 非参数化贝叶斯方法及非参最大间隔矩阵分解
5.1 隐式特征模型的模型选择问题
5.2 印度自助餐过程
5.2.1 IBP与隐式特征模型的关系
5.2.2 IBP的吉布斯采样
5.2.3 IBP的折棰表示
5.3 非参最大间隔矩阵分解
5.3.1 最大熵判别
5.3.2 贝叶斯分析
5.4 实验设计
5.4.1 数据集
5.4.2 测试方法
5.4.3 超参数的选取
5.5 实验结果与分析
5.5.1 预测误差
5.5.2 隐含因子的个数
5.5.3 算法稳定性
5.5.4 算法运行时间
5.6 本章小结与讨论
第6章 分布式的贝叶斯后验采样算法
6.1 研究动机与相关工作
6.2 分布式的贝叶斯后验采样算法
6.2.1 期望传播算法
6.2.2 基于矩共享的分布式后验采样算法
6.2.3 多维高斯分布族
6.2.4 算法收敛性
6.3 实验设计
6.3.1 贝叶斯逻辑回归
6.3.2 数据集
6.3.3 比较的其他算法
6.3.4 分布式计算环境
6.4 实验结果与分析
6.4.1 算法收敛性
6.4.2 各算法近似误差的比较
6.4.3 划分个数对算法性能的影响
6.5 本章小结
第7章 总结与展望
7.1 全文总结
7.2 未来工作展望
参考文献
致谢
个人简历、在学期间发表的学术论文与研究成果
本文编号：3726010
【文章页数】：85 页
【学位级别】：博士
【文章目录】：
摘要
abstract
主要符号对照表
第1章 引言
1.1 研究背景
1.1.1 贝叶斯学习方法
1.1.2 关系数据与隐式特征
1.1.3 大数据时代的贝叶斯推理
1.2 研究内容与主要贡献
第2章 从最优模型到最优分布
2.1 正则风险最小化
2.2 贝叶斯分析
2.2.1 代先验与代似然
2.2.2 从正则风险最小化到最大后验估计
2.2.3 贝叶斯准则的变分优化形式
2.2.4 从点估计到分布估计
2.3 最大熵判别
2.3.1 间隔与间隔约束
2.3.2 支持向量机
2.3.3 最大熵判别
2.4 区别与联系
2.5 学习与推理
2.5.1 贝叶斯分析
2.5.2 蒙特卡洛采样方法
2.5.3 最大熵判别
2.5.4 变分近似与平均场假设
2.5.5 两种方法最优解之间的联系
2.6 本章小结
第3章 支持向量机的贝叶斯模型
3.1 贝叶斯分析
3.1.1 数据增广下的采样近似求解
3.2 最大熵判别
3.3 本章小结与讨论
第4章 最大间隔矩阵分解的贝叶斯模型
4.1 协同过滤问题与矩阵分解
4.2 最大间隔矩阵分解
4.3 评分的铰链损失
4.4 贝叶斯分析
4.5 最大熵判别
4.6 本章小结与讨论
第5章 非参数化贝叶斯方法及非参最大间隔矩阵分解
5.1 隐式特征模型的模型选择问题
5.2 印度自助餐过程
5.2.1 IBP与隐式特征模型的关系
5.2.2 IBP的吉布斯采样
5.2.3 IBP的折棰表示
5.3 非参最大间隔矩阵分解
5.3.1 最大熵判别
5.3.2 贝叶斯分析
5.4 实验设计
5.4.1 数据集
5.4.2 测试方法
5.4.3 超参数的选取
5.5 实验结果与分析
5.5.1 预测误差
5.5.2 隐含因子的个数
5.5.3 算法稳定性
5.5.4 算法运行时间
5.6 本章小结与讨论
第6章 分布式的贝叶斯后验采样算法
6.1 研究动机与相关工作
6.2 分布式的贝叶斯后验采样算法
6.2.1 期望传播算法
6.2.2 基于矩共享的分布式后验采样算法
6.2.3 多维高斯分布族
6.2.4 算法收敛性
6.3 实验设计
6.3.1 贝叶斯逻辑回归
6.3.2 数据集
6.3.3 比较的其他算法
6.3.4 分布式计算环境
6.4 实验结果与分析
6.4.1 算法收敛性
6.4.2 各算法近似误差的比较
6.4.3 划分个数对算法性能的影响
6.5 本章小结
第7章 总结与展望
7.1 全文总结
7.2 未来工作展望
参考文献
致谢
个人简历、在学期间发表的学术论文与研究成果
本文编号：3726010
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/3726010.html