深度神经网络的训练优化方法研究
发布时间：2022-07-09 17:05
目前,深度学习方法已经广泛地应用于人类的社会生产和生活的各个方面,例如,物体识别、语音识别、自然语言处理以及无人驾驶等许多方面,大幅度地提升了人类社会的生产和生活的智能化水平。然而,深度神经网络的训练优化仍然被认为是比较困难的事情,需要大量的经验和技巧。深度神经网络的训练优化作为深度学习的基础理论的重要部分,对深度学习应用具有基础性的支撑作用。目前神经网络的初始化方法大多数是与网络深度无关、深度神经网络的权值空间中存在的对称性给神经网络训练带来了不利影响、Adam算法存在收敛性和泛化性问题、对深度经网络损失曲面的了解还很有限。因此本论文围绕着如何高效率地训练深度神经网络,重点研究解决这些问题的方法。本论文的主要贡献包括以下几个方面:（1）提出了基于权值缩放不变的归一化方法。神经深度网络的权值空间中的对称性对神经网络训练有不利影响,研究者提出了多种方法解决该问题,但计算开销都比较大。本论文根据Relu网络本身的权值缩放不变性,提出了基于权值缩放不变的归一化来解决该问题,即在训练过程中通过执行逐点权值缩放变换来对神经网络的权值进行调整,包括激活向前传播时的层内调整和梯度向后传播时的层间调整...
【文章页数】：169 页
【学位级别】：博士
【文章目录】：
摘要
Abstract
主要符号对照表
第一章 绪论
1.1 研究背景与意义
1.1.1 研究背景
1.1.2 研究意义
1.2 研究问题分解
1.3 本论文研究内容与主要贡献
1.4 本论文组织结构
第二章 深度神经网络优化问题概述
2.1 深度神经网络初始化方法研究现状
2.1.1 常用的神经网络初始化方法
2.1.2 最近几种新颖的神经网络初始化
2.1.3 深度随机神经网络信号传播
2.2 深度神经网络归一化研究现状
2.2.1 常用归一化方法
2.2.2 其它归一化技术
2.3 深度神经网络的训练优化算法研究现状
2.3.1 训练深度神经网络一阶优化算法
2.3.2 训练深度神经网络二阶优化算法
2.4 深度神经网络全局优化研究现状
2.4.1 深度神经网络损失曲面的关键点
2.4.2 深度神经网络损失曲面的几何性质
2.4.3 深度神经网络学习动力学
第三章 深度神经网络的归一化和初始化方法
3.1 深度神经网络归一化研究
3.1.1 深度神经网络权值空间的对称性
3.1.2 基于缩放不变的权值归一方法
3.1.3 实验结果
3.2 深度神经网络初始化研究
3.2.1 网络模型和理论工具
3.2.2 理论分析
3.2.3 修正的正交初始化
3.2.4 实验结果
3.3 本章小结
第四章 深度神经网络的自适应梯度优化方法
4.1 本章引言
4.2 预备知识
4.3 Adam类型优化算法的动力学分析与轨迹分析
4.3.1 Adam类型优化算法的动力学分析
4.3.2 Adam和 SGD的优化轨迹对比分析
4.4 具有动态动量和基础学习率的自适应梯度方法
4.4.1 算法的实现细节
4.4.2 算法收敛性分析
4.5 本章实验
4.5.1 参数设置
4.5.2 图像分类任务
4.5.3 语言建模任务
4.6 本章小结
第五章 单调策略优化算法
5.1 本章引言
5.2 相关工作
5.3 基础准备
5.4 单调的策略优化算法
5.4.1 策略改进的下界
5.4.2 单调的策略优化算法的提出
5.5 实验分析
5.5.1 仿真实验建立
5.5.2 实验结果
5.6 本章小结
第六章 深度神经网络损失曲面的探索
6.1 本章引言
6.2 实验工具
6.2.1 插值法
6.2.2 特征值计算方法
6.2.3 模式连接
6.3 本章实验
6.3.1 实验的设置
6.3.2 各种优化算法的轨迹
6.3.3 各种优化算法轨迹处损失曲面的几何性质
6.3.4 等价局部极小点间的连通路径
6.4 本章小结
第七章 基于权值缩放不变的深度神经网络集成
7.1 本章引言
7.2 相关工作
7.2.1 个体网络模型生成方法
7.2.2 神经网络“隐式”集成方法
7.2.3 神经网络模型选择方法
7.3 神经网络集成方法与模型选择方法
7.3.1 集成学习基础与多样性度量
7.3.2 基于权值缩放不变的神经网络集成方法
7.3.3 模型选择方法
7.4 实验分析
7.4.1 实验设置
7.4.2 实验结果
7.5 本章小结
第八章 总结与展望
8.1 论文工作总结
8.2 今后工作展望
参考文献
附录
致谢
附件
本文编号：3657497
【文章页数】：169 页
【学位级别】：博士
【文章目录】：
摘要
Abstract
主要符号对照表
第一章 绪论
1.1 研究背景与意义
1.1.1 研究背景
1.1.2 研究意义
1.2 研究问题分解
1.3 本论文研究内容与主要贡献
1.4 本论文组织结构
第二章 深度神经网络优化问题概述
2.1 深度神经网络初始化方法研究现状
2.1.1 常用的神经网络初始化方法
2.1.2 最近几种新颖的神经网络初始化
2.1.3 深度随机神经网络信号传播
2.2 深度神经网络归一化研究现状
2.2.1 常用归一化方法
2.2.2 其它归一化技术
2.3 深度神经网络的训练优化算法研究现状
2.3.1 训练深度神经网络一阶优化算法
2.3.2 训练深度神经网络二阶优化算法
2.4 深度神经网络全局优化研究现状
2.4.1 深度神经网络损失曲面的关键点
2.4.2 深度神经网络损失曲面的几何性质
2.4.3 深度神经网络学习动力学
第三章 深度神经网络的归一化和初始化方法
3.1 深度神经网络归一化研究
3.1.1 深度神经网络权值空间的对称性
3.1.2 基于缩放不变的权值归一方法
3.1.3 实验结果
3.2 深度神经网络初始化研究
3.2.1 网络模型和理论工具
3.2.2 理论分析
3.2.3 修正的正交初始化
3.2.4 实验结果
3.3 本章小结
第四章 深度神经网络的自适应梯度优化方法
4.1 本章引言
4.2 预备知识
4.3 Adam类型优化算法的动力学分析与轨迹分析
4.3.1 Adam类型优化算法的动力学分析
4.3.2 Adam和 SGD的优化轨迹对比分析
4.4 具有动态动量和基础学习率的自适应梯度方法
4.4.1 算法的实现细节
4.4.2 算法收敛性分析
4.5 本章实验
4.5.1 参数设置
4.5.2 图像分类任务
4.5.3 语言建模任务
4.6 本章小结
第五章 单调策略优化算法
5.1 本章引言
5.2 相关工作
5.3 基础准备
5.4 单调的策略优化算法
5.4.1 策略改进的下界
5.4.2 单调的策略优化算法的提出
5.5 实验分析
5.5.1 仿真实验建立
5.5.2 实验结果
5.6 本章小结
第六章 深度神经网络损失曲面的探索
6.1 本章引言
6.2 实验工具
6.2.1 插值法
6.2.2 特征值计算方法
6.2.3 模式连接
6.3 本章实验
6.3.1 实验的设置
6.3.2 各种优化算法的轨迹
6.3.3 各种优化算法轨迹处损失曲面的几何性质
6.3.4 等价局部极小点间的连通路径
6.4 本章小结
第七章 基于权值缩放不变的深度神经网络集成
7.1 本章引言
7.2 相关工作
7.2.1 个体网络模型生成方法
7.2.2 神经网络“隐式”集成方法
7.2.3 神经网络模型选择方法
7.3 神经网络集成方法与模型选择方法
7.3.1 集成学习基础与多样性度量
7.3.2 基于权值缩放不变的神经网络集成方法
7.3.3 模型选择方法
7.4 实验分析
7.4.1 实验设置
7.4.2 实验结果
7.5 本章小结
第八章 总结与展望
8.1 论文工作总结
8.2 今后工作展望
参考文献
附录
致谢
附件
本文编号：3657497
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/3657497.html