标号噪声下鲁棒的距离度量学习及其应用研究
发布时间：2023-05-07 23:12
距离度量学习(度量学习),是最常用的机器学习算法之一,它广泛应用于对象识别,人脸验证和图像检索等问题。常用的度量学习算法通常是学习一个映射函数将数据投影到一个新的度量空间,使其具有某些希望的性质,如:希望属于同类或语义相关性较强的图像在新的度量空间中距离更接近,而不同类及语义相关性较弱的图像之间相互远离。尽管度量学习在大量应用问题上取得了成功,但是现有工作大多基于“数据标号干净”这一假设展开。然而在现实场景特别是使用互联网获取数据时,会遇到很多标注错误的数据。当数据中包含一定量标号噪声时,度量学习通常会受到严重影响:首先是训练难度增加,优化过程需要更多步迭代甚至难以收敛。其次,它会误导训练过程,使得非同类样本被拉近,而同类样本被拉远,最终导致模型精度严重下降。本文工作聚焦于设计鲁棒于标号噪声的度量学习,以解决现实的应用问题;具体地,本文的主要贡献和创新点总结如下:(1)针对标号带噪数据提出了一种有效的数据预处理方法,包括一种无监督的特征提取网络C-SVDDNet和一种基于神经网络的标号去噪算法LDAE。(2)提出了一种基于隐变量的鲁棒于标号噪声的度量学习,在建模中将带噪标号当作观测变量...
【文章页数】：111 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 距离度量学习简介
1.2 度量学习相关工作
1.3 标号噪声下的机器学习
1.4 本文的主要研究工作和组织结构
第二章 标号带噪数据的预处理
2.1 引言
2.2 无监督特征提取
2.2.1 相关工作
2.2.2 C-SVDD编码
2.2.3 K-means编码与C-SVDD编码对比
2.2.4 C-SVDDNet
2.2.5 多尺度特征表示
2.2.6 实验分析
2.2.6.1 STL-10数据库实验
2.2.6.2 MNIST数据库实验
2.2.6.3 图像检索数据库实验
2.3 标号去噪处理
2.3.1 自编码器相关工作
2.3.2 标号去噪自编码器
2.3.3 实验结果
2.3.3.1 模拟数据实验
2.3.3.2 真实数据集上的分类实验
2.4 本章小结
第三章 基于隐变量模型的鲁棒于标号噪声的度量学习
3.1 引言
3.2 相关背景
3.2.1 标号噪声的分布假设
3.2.2 NCA模型
3.3 鲁棒于标号噪声的NCA模型
3.3.1 建模
3.3.2 优化
3.3.2.1 估计距离度量参数
3.3.2.2 估计标号噪声参数
3.4 实验分析
3.4.1 实现细节
3.4.2 标号噪声对距离度量学习的影响
3.4.2.1 可视化训练过程
3.4.2.2 UCI数据集上模拟标号噪声的实验结果
3.4.3 真实标号噪声场景的实验
3.5 本章小结
第四章 贝叶斯NCA模型
4.1 引言
4.2 样本对约束的贝叶斯度量学习BML
4.3 贝叶斯NCA模型
4.3.1 谱近似
4.3.2 局部变分贝叶斯推断
4.3.3 预测与分类
4.4 算法分析
4.4.1 自适应的样本选择
4.4.2 鲁棒性与效率
4.5 实验与分析
4.5.1 实验设置
4.5.2 小样本数据的实验结果
4.5.3 随机标号噪声数据上的实验结果
4.5.4 困难分类场景下的性能
4.5.5 大数据集的实验结果
4.5.6 分析与讨论
4.5.6.1 鲁棒性与过拟合
4.5.6.2 几种不同训练方法的对比
4.5.6.3 正则化的影响
4.5.6.4 比较BNCA与高斯过程
4.6 本章小结
第五章 贝叶斯大间隔度量学习
5.1 引言
5.2 大间隔度量学习
5.3 贝叶斯LMNN
5.3.1 建模
5.3.2 标准变分贝叶斯训练
5.3.3 随机变分法
5.3.4 预测
5.4 理论分析
5.4.1 贝叶斯LMNN算法对标号噪声的鲁棒性
5.4.2 标号噪声下的泛化性误差
5.4.3 标号噪声下的样本复杂度
5.4.4 总结
5.5 LMNN算法的其它变体
5.5.1 加权LMNN算法
5.5.2 基于采样训练的贝叶斯LMNN算法
5.6 实现细节
5.6.1 参数修整
5.6.2 参数选择与初始化
5.7 证明与推导
5.7.1 拉普拉斯分布L(x|0,σ)的高斯逼近
5.7.2 标准变分法的优化过程
5.7.3 引理1的证明
5.7.4 引理2的证明
5.7.5 定理1的证明
5.7.6 定理2的证明
5.7.7 定理3的证明
5.8 实验与分析
5.8.1 实验设置
5.8.2 随机标号噪声下的手写数字识别
5.8.3 模拟标号噪声下的自然图像识别
5.8.4 真实标号噪声下的大型人脸图像检索问题
5.8.5 分析与讨论
5.8.5.1 定义1的验证
5.8.5.2 学习曲线
5.8.5.3 训练集大小的影响
5.8.5.4 数据维度的影响
5.8.5.5 先验分布的影响
5.8.5.6 低标号噪声比例下的性能变化
5.9 本章小结
第六章 结束语
6.1 本文工作总结
6.2 进一步研究工作
参考文献
致谢
在学期间的研究成果及发表的学术论文
本文编号：3811513
【文章页数】：111 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 距离度量学习简介
1.2 度量学习相关工作
1.3 标号噪声下的机器学习
1.4 本文的主要研究工作和组织结构
第二章 标号带噪数据的预处理
2.1 引言
2.2 无监督特征提取
2.2.1 相关工作
2.2.2 C-SVDD编码
2.2.3 K-means编码与C-SVDD编码对比
2.2.4 C-SVDDNet
2.2.5 多尺度特征表示
2.2.6 实验分析
2.2.6.1 STL-10数据库实验
2.2.6.2 MNIST数据库实验
2.2.6.3 图像检索数据库实验
2.3 标号去噪处理
2.3.1 自编码器相关工作
2.3.2 标号去噪自编码器
2.3.3 实验结果
2.3.3.1 模拟数据实验
2.3.3.2 真实数据集上的分类实验
2.4 本章小结
第三章 基于隐变量模型的鲁棒于标号噪声的度量学习
3.1 引言
3.2 相关背景
3.2.1 标号噪声的分布假设
3.2.2 NCA模型
3.3 鲁棒于标号噪声的NCA模型
3.3.1 建模
3.3.2 优化
3.3.2.1 估计距离度量参数
3.3.2.2 估计标号噪声参数
3.4 实验分析
3.4.1 实现细节
3.4.2 标号噪声对距离度量学习的影响
3.4.2.1 可视化训练过程
3.4.2.2 UCI数据集上模拟标号噪声的实验结果
3.4.3 真实标号噪声场景的实验
3.5 本章小结
第四章 贝叶斯NCA模型
4.1 引言
4.2 样本对约束的贝叶斯度量学习BML
4.3 贝叶斯NCA模型
4.3.1 谱近似
4.3.2 局部变分贝叶斯推断
4.3.3 预测与分类
4.4 算法分析
4.4.1 自适应的样本选择
4.4.2 鲁棒性与效率
4.5 实验与分析
4.5.1 实验设置
4.5.2 小样本数据的实验结果
4.5.3 随机标号噪声数据上的实验结果
4.5.4 困难分类场景下的性能
4.5.5 大数据集的实验结果
4.5.6 分析与讨论
4.5.6.1 鲁棒性与过拟合
4.5.6.2 几种不同训练方法的对比
4.5.6.3 正则化的影响
4.5.6.4 比较BNCA与高斯过程
4.6 本章小结
第五章 贝叶斯大间隔度量学习
5.1 引言
5.2 大间隔度量学习
5.3 贝叶斯LMNN
5.3.1 建模
5.3.2 标准变分贝叶斯训练
5.3.3 随机变分法
5.3.4 预测
5.4 理论分析
5.4.1 贝叶斯LMNN算法对标号噪声的鲁棒性
5.4.2 标号噪声下的泛化性误差
5.4.3 标号噪声下的样本复杂度
5.4.4 总结
5.5 LMNN算法的其它变体
5.5.1 加权LMNN算法
5.5.2 基于采样训练的贝叶斯LMNN算法
5.6 实现细节
5.6.1 参数修整
5.6.2 参数选择与初始化
5.7 证明与推导
5.7.1 拉普拉斯分布L(x|0,σ)的高斯逼近
5.7.2 标准变分法的优化过程
5.7.3 引理1的证明
5.7.4 引理2的证明
5.7.5 定理1的证明
5.7.6 定理2的证明
5.7.7 定理3的证明
5.8 实验与分析
5.8.1 实验设置
5.8.2 随机标号噪声下的手写数字识别
5.8.3 模拟标号噪声下的自然图像识别
5.8.4 真实标号噪声下的大型人脸图像检索问题
5.8.5 分析与讨论
5.8.5.1 定义1的验证
5.8.5.2 学习曲线
5.8.5.3 训练集大小的影响
5.8.5.4 数据维度的影响
5.8.5.5 先验分布的影响
5.8.5.6 低标号噪声比例下的性能变化
5.9 本章小结
第六章 结束语
6.1 本文工作总结
6.2 进一步研究工作
参考文献
致谢
在学期间的研究成果及发表的学术论文
本文编号：3811513
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3811513.html
