快速稀疏多元逻辑回归与分布式并行化

发布时间：2023-02-18 09:18

　　近年来,稀疏多元逻辑回归(Sparse Multinomial Logistic Regression,SMLR)因为具有在分类的同时嵌入特征选择的作用而被广泛应用于高光谱图像分类、多类物体识别、疾病诊断等领域。由于SMLR目标函数中含有?₁正则项,导致无法直接求得解析解,因此通常采用迭代的方式对其进行求解。SMLR问题最早采用迭代重加权最小二乘法(Iterative Reweighted Least Squares,IRLS)进行求解,但其算法对特征维度和类别数较敏感。在处理高维数据集或者类别数较多的数据集时,IRLS算法具有较高的计算复杂度,因此人们对于采用更高级的优化算法求解SMLR的需求变得越来越迫切。为了提高串行求解SMLR的分类准确率和求解速度,本文基于交替方向乘子法(Alternating Direction Multiplier Method,ADMM),设计并提出了快速稀疏多元逻辑回归算法(Fast Sparse Multinomial Logistic Regression,FSMLR)。实验结果表明,FSMLR算法的分类准确率在多个数据集上均...

【文章页数】：64 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
注释表
第1章 引言
    1.1 选题背景及意义
    1.2 国内外研究现状
        1.2.1 稀疏优化问题
        1.2.2 分布式优化问题
    1.3 论文研究内容
    1.4 论文的结构安排
第2章 相关技术分析
    2.1 待求解问题介绍
    2.2 迭代软阈值收缩算法
    2.3 快速自适应收缩阈值法
        2.3.1 自适应步长目录
        2.3.2 回溯线性搜索
        2.3.3 停止准则
    2.4 交替方向乘子法
    2.5 本章小结
第3章 稀疏多元逻辑回归串行求解算法
    3.1 迭代重加权最小二乘法
    3.2 快速稀疏多元逻辑回归算法
        3.2.1 算法描述
    3.3 实验与结果分析
        3.3.1 实验设置
        3.3.2 优化算法实验及分析
        3.3.3 传统算法实验及分析
    3.4 本章小结
第4章 稀疏多元逻辑回归并行求解算法
    4.1 稀疏多元逻辑回归的一致性优化求解
    4.2 多元稀疏逻辑回归的共享优化求解
    4.3 求解算法收敛性分析
    4.4 求解算法计算复杂度分析
    4.5 实验与结果分析
        4.5.1 实验设置
        4.5.2 样本划分实验及分析
        4.5.3 特征划分实验及分析
        4.5.4 大规模算法实验及分析
    4.6 本章小结
第5章 总结与展望
    5.1 总结
    5.2 展望
参考文献
致谢
攻读硕士学位期间从事的科研工作及取得的成果



本文编号：3744688