逻辑回归算法及其GPU并行实现研究

发布时间：2022-12-04 16:14

　　逻辑回归是重要的机器学习分类方法之一,由于其模型简单、训练速度快而在互联网、金融、医疗等领域有着广泛的应用。在逻辑回归的训练过程中最主要的步骤就是使用迭代法对参数进行更新,随着实际应用中数据规模的逐渐增大,对逻辑回归的训练精度和速度有着越来越高的要求。近年来GPU硬件的不断发展,使得基于GPU的通用计算逐渐成为研究热点,这为逻辑回归的加速训练提供了有力支持。本文基于梯度下降法实现了逻辑回归及正则化逻辑回归,针对梯度下降中遇到的问题对算法进行了改进,并结合GPU的硬件特性,实现了基于GPU的并行化逻辑回归系统。论文主要完成的工作如下:针对最速梯度下降法和随机梯度下降法在训练过程中普遍存在的后期收敛慢的问题,本文提出了一种基于目标函数收敛速率的动态步长方法。该方法首先计算两次训练过程中目标函数的收敛速率,然后按照给定的更新频率和强度对训练中使用的步长进行更新,取得了后期收敛加速的效果,从而可以节省训练时间。针对1L正则化逻辑回归中使用的普通符号函数并不能真正引导出稀疏性的问题,本文提出了一种改进型的符号函数对训练中使用的下降方向进行改进。由于1L正则化项不能求导,因此在基于梯度的方法中通常... 

【文章页数】：70 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 研究背景和意义
    1.2 国内外相关研究和综述
        1.2.1 逻辑回归算法的研究现状
        1.2.2 基于GPU的并行计算研究现状
    1.3 问题的总结与分析
    1.4 本文主要工作
    1.5 本文组织结构
第2章 逻辑回归算法及GPU相关技术
    2.1 引言
    2.2 逻辑回归模型及目标函数的推导
        2.2.1 广义线性模型与逻辑回归
        2.2.2 逻辑回归预测函数的使用
        2.2.3 逻辑回归目标函数的推导
    2.3 GPU与CUDA编程相关技术
        2.3.1 GPU硬件结构
        2.3.2 CUDA编程相关技术
    2.4 本章小结
第3章 基于梯度下降的逻辑回归算法研究
    3.1 引言
    3.2 逻辑回归算法的迭代优化
        3.2.1 无约束非线性问题的迭代优化
        3.2.2 不同迭代法的对比
        3.2.3 逻辑回归梯度下降算法推导
    3.3 动态步长的梯度下降逻辑回归算法
        3.3.1 算法的原理与流程
        3.3.2 算法的复杂度分析
    3.4 实验数据的预处理
    3.5 实验结果与分析
        3.5.1 实验过程
        3.5.2 实验结果与分析
    3.6 本章小结
第4章 基于正则化的逻辑回归算法研究
    4.1 引言
    4.2 范数与正则化简介
    4.3 正则化逻辑回归算法推导
    4.4 正则化逻辑回归算法的改进
    4.5 实验结果与分析
        4.5.1 实验过程
        4.5.2 实验结果与分析
    4.6 本章小结
第5章 基于GPU的并行逻辑回归算法研究
    5.1 引言
    5.2 并行逻辑回归算法的推导
    5.3 核函数的设计
        5.3.1 Block与Thread数目的计算
        5.3.2 线程的组织结构
    5.4 CUSPARSE的使用
        5.4.1 数据格式的转换
        5.4.2 CUSPARSE函数的调用
    5.5 实验结果与分析
        5.5.1 实验过程
        5.5.2 实验结果与分析
    5.6 本章小结
结论
参考文献
致谢



本文编号：3708585