面向大规模数据分类问题的监督学习算法研究与并行应用

发布时间：2023-01-15 07:59

　　近年来,随着科学技术的迅猛发展,产生了各行各业都在迅速产生海量数据的社会现象,导致了人们逐渐开始思考该如何最大化且最有效地使用这些数据。机器学习（Machine Learning）与深度学习（Deep Learning）技术异军突起,分类算法作为机器学习与深度学习最典型的应用方式,迅速成为了业界与学术界争相努力的研究方向,该如何建立一个高效普适的分类模型这一问题开始显得意义重大起来。此外,由于计算机处理能力的限制,分布式的并行计算框架（Distributed Parallel Computing Framework）也开始逐渐进入人们的视线,针对不同的算法搭建出最合理的并行计算框架也逐渐成为一个新兴的研究课题。为顺应这些技术需求,本文提出了从设计机器学习改进模型、使用高效率优化方法,到应用优化算法于并行计算的整套完整流程。本文的主要研究是基于机器学习中的监督学习多分类问题。即在有类标的训练集合上建立分类模型,拟合出模型的参数,用于预测未知类标的测试集合上的标签的方法。本文首先提出了一种将类标的量化取值设置为k-1维欧式空间上k个顶点的坐标来建模的方式,并在模型中加入降噪函数与合适的惩罚... 

【文章页数】：72 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 引言
    1.2 国内外研究现状及分析
    1.3 本文主要研究内容
第2章 建立基于VDA方法的多类标模型
    2.1 引言
    2.2 建模方法概述
        2.2.1 判别分析法(DA)
        2.2.2 顶点判别分析法(VDA)
        2.2.3 本文模型设置
        2.2.4 模型优势分析
        2.2.5 惩罚项介绍
第3章 基于若干算法的优化方法推导
    3.1 引言
    3.2 基于Forward-backward splitting算法的优化方法
        3.2.1 使用? -F 范数作为惩罚项
        3.2.2 使用? -L 范数作为惩罚项
    3.3 基于FISTA算法的优化方法
        3.3.1 使用? -F 范数作为惩罚项
        3.3.2 使用? -L 范数作为惩罚项
    3.4 基于ADMM算法的优化方法
        3.4.1 使用ε -不敏感函数模型
        3.4.2 使用ε -不敏感函数平方模型
    3.5 一些对比算法
        3.5.1 构造简单的MSE优化方法
        3.5.2 使用固定函数产生替代函数
        3.5.3 使用MM算法产生替代函数
第4章 基于divide and conquer思想的数据分割与并行计算策略
    4.1 引言
    4.2 divide and conquer思想概述
    4.3 基于MPI与openMP的混合并行编程环境
        4.3.1 网路连接下的MPI消息传递接口
        4.3.2 共享内存下的openMP编程环境
    4.4 建立基于divide and conquer思想的并行策略
        4.4.1 MPI多机集群上的并行阶段
        4.4.2 openMP上的多线程并行阶段
        4.4.3 参数合并阶段
第5章 数值实验
    5.1 引言
    5.2 模型优越性检验
        5.2.1 评价指标简介
        5.2.2 ε -不敏感函数模型优越性检验
        5.2.3 VDA的模型优越性检验
        5.2.4 模型收敛速度分析
    5.3 优化方法的优越性检验
    5.4 模型分类效果测试
    5.5 大规模数据下并行算法实现与测评
        5.5.1 评价指标简介
        5.5.2 百万曲库数据上的并行计算
结论
参考文献
致谢


【参考文献】：
期刊论文
[1]基于滑动门中心点计算的K均值聚类并行算法研究[J]. 龚运鸿,周新志,雷印杰.  计算机测量与控制. 2018(02)
[2]大数据管理:概念、技术与挑战[J]. 孟小峰,慈祥.  计算机研究与发展. 2013(01)
[3]大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J]. 李国杰,程学旗.  中国科学院院刊. 2012(06)
[4]支持向量机多类分类方法[J]. 苟博,黄贤武.  数据采集与处理. 2006(03)



本文编号：3730825