复值神经网络的共轭梯度学习算法研究
发布时间：2022-08-24 00:06
复值神经网络是人工神经网络的重要分支,在工程、生物医学以及物理学等领域已有广泛应用。按照激活函数的不同,可将复值神经网络划分为分离复值神经网络和全复神经网络。分离复值神经网络中使用有界但不解析的分离复值激活函数,可克服全复神经网络的奇点问题,但不能有效捕捉信道间的耦合信息,因此本文研究更具优势的全复神经网络。复梯度学习算法是复值神经网络的一种重要学习算法,但是该算法仍有许多不足,无法避免慢收敛和极易陷入局部极小值等问题。为了进一步提高复梯度学习算法的性能,本文面向全复神经网络提出了一种带有Barzilai-Borwein步长的复值Fletcher-Reeves共轭梯度算法和两种复值谱共轭梯度算法。基于Wirtinger梯度算子下建立了所提算法的全局收敛性理论。论文主要按照以下三个方面展开:（1）采用复Barzilai-Borwein步长和复值Fletcher-Reeves共轭系数对复值Fletcher-Reeves共轭梯度算法进行构造。结合复值Wolfe线搜索技术和共轭梯度算法的收敛准则,我们从理论上证明了带有Barzilai-Borwein步长的复值FR共轭梯度算法的全局收敛性。（2...
【文章页数】：70 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
1 绪论
1.1 论文的研究背景与意义
1.1.1 实值神经网络
1.1.2 分离复值神经网络
1.1.3 全复值神经网络
1.2 复值神经网络国内外研究现状
1.3 论文的主要内容
2 相关理论知识
2.1 Wirtinger算子
2.2 常用复变量实值函数的优化方法及线搜索规则
2.2.1 梯度学习算法
2.2.1.1 复梯度
2.2.1.2 复梯度下降算法
2.2.1.3 复值Barzilai-Borwein梯度法
2.2.2 共轭梯度学习算法
2.2.2.1 三种常用复值共轭梯度法
2.2.2.2 复值谱共轭梯度法
2.2.3 几类线搜索技术的复表述
2.2.3.1 精确线搜索
2.2.3.2 Armijo型线搜索
2.2.3.3 Wolfe型线搜索
2.3 本章小结
3 带有Barzilai-Borwein步长的复值Fletcher-Reeves共轭梯度法
3.1 引言
3.2 网络结构
3.3 算法描述
3.4 全局收敛性
3.5 数值实验
3.5.1 回归问题
3.5.1.1 实例一: 非线性信号问题
3.5.1.2 实例二: 酒精含量预测问题
3.5.2 分类问题
3.5.2.1 实例三: 复值非最小相位通道模型
3.5.2.2 实例四: UCI数据集
3.6 本章小结
4 两种复值谱共轭梯度算法
4.1 引言
4.2 网络结构
4.3 算法描述
4.3.1 复值谱共轭梯度算法
4.3.2 带有Barzilai-Borwein步长的复值谱共轭梯度算法
4.4 全局收敛性
4.5 数值实验
4.5.1 回归问题
4.5.1.1 实例一: 非线性信号问题
4.5.1.2 实例二: 酒精含量预测问题
4.5.2 分类问题
4.5.2.1 实例三: 复值非最小相位通道模型
4.5.2.2 实例四: UCI数据集
4.6 本章小结
结论
参考文献
致谢
作者简历及攻读硕士学位期间的科研成果
【参考文献】：
期刊论文
[1]人工神经网络在数据挖掘中的应用研究[J]. 梁春华. 无线互联科技. 2019(22)
[2]人工神经网络及其在机械工程领域中的应用研究[J]. 柴伟杰. 南方农机. 2018(22)
[3]神经网络技术在计算机通信中的运用[J]. 陈效军. 电子技术与软件工程. 2017(08)
[4]钻孔雷达探测地下不良地质体的正演模拟及其复信号分析[J]. 李尧,李术才,刘斌,聂利超,张凤凯,徐磊,王传武. 岩土力学. 2017(01)
[5]基于BP算法的多层感知器网络原理及程序实现[J]. 黄志华. 嘉应学院学报. 2015(08)
[6]基于BP神经网络的土体细观力学参数反演分析[J]. 李澄清,刘天为,张海洋,徐文杰. 工程地质学报. 2015(04)
[7]Wolfe线搜索下一种修正的HS共轭梯度法及其全局收敛性[J]. 王安平,陈忠. 安徽大学学报(自然科学版). 2015(04)
[8]DIS中的坐标系统及坐标转换[J]. 周云,华祖耀,黄柯棣,陈传岩,张代兵. 计算机仿真. 2000(06)
博士论文
[1]Barzilai-Borwein梯度法及其在优化算法中的应用[D]. 郑燏涛.兰州大学 2018
[2]前馈神经网络梯度训练算法的几个收敛性结果[D]. 张会生.大连理工大学 2009
硕士论文
[1]基于复值神经网络的信号增强处理方法[D]. 郑乃君.西安电子科技大学 2018
[2]复数值神经网络训练算法的研究与应用[D]. 刘元山.苏州大学 2015
[3]增强型复值神经网络的学习算法研究[D]. 费舟莹.哈尔滨工程大学 2015
本文编号：3678733
【文章页数】：70 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
1 绪论
1.1 论文的研究背景与意义
1.1.1 实值神经网络
1.1.2 分离复值神经网络
1.1.3 全复值神经网络
1.2 复值神经网络国内外研究现状
1.3 论文的主要内容
2 相关理论知识
2.1 Wirtinger算子
2.2 常用复变量实值函数的优化方法及线搜索规则
2.2.1 梯度学习算法
2.2.1.1 复梯度
2.2.1.2 复梯度下降算法
2.2.1.3 复值Barzilai-Borwein梯度法
2.2.2 共轭梯度学习算法
2.2.2.1 三种常用复值共轭梯度法
2.2.2.2 复值谱共轭梯度法
2.2.3 几类线搜索技术的复表述
2.2.3.1 精确线搜索
2.2.3.2 Armijo型线搜索
2.2.3.3 Wolfe型线搜索
2.3 本章小结
3 带有Barzilai-Borwein步长的复值Fletcher-Reeves共轭梯度法
3.1 引言
3.2 网络结构
3.3 算法描述
3.4 全局收敛性
3.5 数值实验
3.5.1 回归问题
3.5.1.1 实例一: 非线性信号问题
3.5.1.2 实例二: 酒精含量预测问题
3.5.2 分类问题
3.5.2.1 实例三: 复值非最小相位通道模型
3.5.2.2 实例四: UCI数据集
3.6 本章小结
4 两种复值谱共轭梯度算法
4.1 引言
4.2 网络结构
4.3 算法描述
4.3.1 复值谱共轭梯度算法
4.3.2 带有Barzilai-Borwein步长的复值谱共轭梯度算法
4.4 全局收敛性
4.5 数值实验
4.5.1 回归问题
4.5.1.1 实例一: 非线性信号问题
4.5.1.2 实例二: 酒精含量预测问题
4.5.2 分类问题
4.5.2.1 实例三: 复值非最小相位通道模型
4.5.2.2 实例四: UCI数据集
4.6 本章小结
结论
参考文献
致谢
作者简历及攻读硕士学位期间的科研成果
【参考文献】：
期刊论文
[1]人工神经网络在数据挖掘中的应用研究[J]. 梁春华. 无线互联科技. 2019(22)
[2]人工神经网络及其在机械工程领域中的应用研究[J]. 柴伟杰. 南方农机. 2018(22)
[3]神经网络技术在计算机通信中的运用[J]. 陈效军. 电子技术与软件工程. 2017(08)
[4]钻孔雷达探测地下不良地质体的正演模拟及其复信号分析[J]. 李尧,李术才,刘斌,聂利超,张凤凯,徐磊,王传武. 岩土力学. 2017(01)
[5]基于BP算法的多层感知器网络原理及程序实现[J]. 黄志华. 嘉应学院学报. 2015(08)
[6]基于BP神经网络的土体细观力学参数反演分析[J]. 李澄清,刘天为,张海洋,徐文杰. 工程地质学报. 2015(04)
[7]Wolfe线搜索下一种修正的HS共轭梯度法及其全局收敛性[J]. 王安平,陈忠. 安徽大学学报(自然科学版). 2015(04)
[8]DIS中的坐标系统及坐标转换[J]. 周云,华祖耀,黄柯棣,陈传岩,张代兵. 计算机仿真. 2000(06)
博士论文
[1]Barzilai-Borwein梯度法及其在优化算法中的应用[D]. 郑燏涛.兰州大学 2018
[2]前馈神经网络梯度训练算法的几个收敛性结果[D]. 张会生.大连理工大学 2009
硕士论文
[1]基于复值神经网络的信号增强处理方法[D]. 郑乃君.西安电子科技大学 2018
[2]复数值神经网络训练算法的研究与应用[D]. 刘元山.苏州大学 2015
[3]增强型复值神经网络的学习算法研究[D]. 费舟莹.哈尔滨工程大学 2015
本文编号：3678733
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3678733.html