基于卷积神经网络的随机梯度下降优化算法研究

发布时间：2022-09-24 21:19

　　人工智能技术经过多年的积累变得日益成熟,其应用领域也不断扩大。其中基于神经网络的深度学习技术由于其突出的效果而成为了这一领域中的研究热点。在深度学习中,卷积神经网络的性能往往取决于其模型结构和学习算法。在卷积神经网络模型结构确定的前提下,各神经元之间连接的网络参数会直接决定模型的最终性能。作为调节模型参数的最基本学习算法,随机梯度下降（Stochastic Gradient Descent,SGD）已经成为深度学习实际工程应用中必不可少的一部分。根据深度学习的底层运行方式,SGD对卷积神经网络的模型参数具有串行和并行两种计算方式。通过对SGD的分析,发现SGD主要存在以下两个问题:第一,在SDG的串行计算中,其学习率是固定的,选择一个合适的学习率对SGD来说是很困难的。当选择的学习率太小时,算法的收敛速度会很慢;当选择的学习率太大时,算法容易导致模型参数在迭代过程中发生大幅度的振动,甚至导致模型不收敛。第二,在SGD的并行计算中,有同步运行和异步运行两种方式。相比于同步运行,异步并行具有更加快的运行速度。但是,在异步随机梯度下降（Asynchronous Stochastic Grad... 

【文章页数】：92 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 国内研究现状
        1.2.2 国外研究现状
    1.3 主要研究内容
    1.4 论文组织结构
    1.5 本章小结
第2章 相关理论基础
    2.1 卷积神经网络
        2.1.1 卷积神经网络结构
        2.1.2 损失函数
        2.1.3 防止过拟合机制
    2.2 随机梯度下降算法
        2.2.1 Momentum
        2.2.2 Adam
        2.2.3 Amsgrad
        2.2.4 SSGD
        2.2.5 ASGD
        2.2.6 MDCASGD
    2.3 本章小结
第3章 基于卷积神经网络的自适应学习率优化算法
    3.1 问题分析
    3.2 策略描述
    3.3 自适应学习率优化算法ACADG
        3.3.1 ACADG算法描述
        3.3.2 ACADG算法执行过程
        3.3.3 ACADG算法相关性能
    3.4 本章小结
第4章 基于卷积神经网络的梯度延迟优化算法
    4.1 问题分析
    4.2 策略描述
    4.3 梯度延迟优化算法DASGD
        4.3.1 DASGD算法描述
        4.3.2 DASGD算法执行过程
        4.3.3 DASGD算法相关性能
    4.4 本章小结
第5章 实验与结果分析
    5.1 实验数据
    5.2 自适应学习率优化算法ACADG的实验与结果分析
        5.2.1 实验环境
        5.2.2 ACADG算法在合成损失函数上的实验与结果分析
        5.2.3 ACADG算法在Mnist数据集上的实验与结果分析
        5.2.4 ACADG算法在Cifar10 数据集上的实验与结果分析
    5.3 梯度延迟优化算法DASGD的实验与结果分析
        5.3.1 实验环境
        5.3.2 DASGD算法在Cifar10 数据集上的实验与结果分析
        5.3.3 DASGD算法在Tiny-Image Net数据集上的实验与结果分析
    5.4 本章小结
第6章 总结与展望
    6.1 全文总结
    6.2 未来展望
    6.3 本章小结
参考文献
致谢
硕士期间发表的论文和参与的课题


【参考文献】：
期刊论文
[1]改进遗传模拟退火算法优化BP算法研究[J]. 郭彩杏,郭晓金,柏林江.  小型微型计算机系统. 2019(10)
[2]基于平移不变CNN的机械故障诊断研究[J]. 朱会杰,王新晴,芮挺,张欲保,李艳峰.  振动与冲击. 2019(05)
[3]ReLU激活函数优化研究[J]. 蒋昂波,王维维.  传感器与微系统. 2018(02)
[4]分布式随机方差消减梯度下降算法topkSVRG[J]. 王建飞,亢良伊,刘杰,叶丹.  计算机科学与探索. 2018(07)
[5]MFSC系数特征局部有限权重共享CNN语音识别[J]. 黄玉蕾,罗晓霞,刘笃仁.  控制工程. 2017(07)



本文编号：3680883