具有无偏估计的深度学习自适应梯度算法的收敛性分析

发布时间：2023-02-09 13:40

　　自2006年深度学习的概念被提出以来,随着计算机硬件的不断革新,深度学习技术也得到了长足的发展。深度学习的相关应用越来越多的出现在人们的工作与生活中,例如常见推荐系统、智能语音、量化操作以及自动驾驶等。一个优秀的深度学习项目往往都是基于一个优秀的深度学习模型,而对于一个完整的模型通常包括网络、算法、数据等。一般情况下,当网络结构和数据样本固定时,一个好的优化算法往往意味着一个更加令人满意的实验结果。在深度学习的优化算法中,基于SGD算法衍生出的自适应梯度算法是一类十分简单且流行的算法,因此这一类算法仍然是TenserFlow、Pytorch等深度学习框架中的主流优化算法。作为深度学习中主流的优化算法,自适应梯度算法是基于反向传播以及梯度下降法产生的。在实践中,我们通常会根据梯度的阶数,将基于梯度的优化算法分为:一阶优化算法以及二阶优化算法。虽然二阶算法往往有着更快的收敛速度,但同时也伴随着巨大的计算量和存储量,因此一阶优化算法仍然是目前的主流算法。在基于梯度的一阶优化算法中,Adagrad、Rmsprop以及Adam算法是其中的杰出代表,因它们极为优秀的实验表现吸引了大量的研究者对自适...

【文章页数】：66 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 论文研究背景及意义
    1.2 国内外研究现状
    1.3 论文主要内容
第二章 基础知识
    2.1 反向传播
    2.2 自适应梯度算法
    2.3 L光滑
    2.4 2 L₂正则
    2.5 深度学习中常见的收敛性定义
    2.6 本章小结
第三章 常见自适应梯度算法的收敛性分析
    3.1 引言
    3.2 梯度下降算法的收敛性分析
        3.2.1 批梯度下降算法的收敛性分析
        3.2.2 随机梯度下降算法的收敛性分析
    3.3 Adagrad算法的收敛性分析
        3.3.1 批情况下Adagrad算法的收敛性分析
        3.3.2 随机情况下Adagrad算法的收敛性分析
    3.4 Rmsprop算法的收敛性分析
        3.4.1 批情况下Rmsprop算法的收敛性
        3.4.2 随机情况下Rmsprop算法的收敛性
    3.5 数值实验
        3.5.1 数据集与实验环境
        3.5.2 实验结果
    3.6 本章小结
第四章 广义自适应梯度算法的收敛性分析
    4.1 引言
    4.2 Rmsprop-Norm算法的收敛性分析
        4.2.1 批情况下Rmsprop-Norm算法的收敛性分析
        4.2.2 随机情况下Rmsprop-Norm算法的收敛性分析
    4.3 RmspropW-Norm算法的收敛性分析
        4.3.1 批情况下RmspropW-Norm算法的收敛性分析
        4.3.2 随机情况下RmspropW-Norm算法的收敛性分析
    4.4 广义自适应梯度算法的收敛性分析
        4.4.1 批情况下广义自适应梯度算法的收敛性分析
        4.4.2 随机情况下广义自适应梯度算法的收敛性分析
        4.4.3 广义自适应梯度算法收敛的充分条件
    4.5 数值实验
        4.5.1 数据集与实验环境
        4.5.2 实验结果
    4.6 本章小结
第五章 总结与展望
参考文献
致谢
附录



本文编号：3738839