基于残差神经网络的极端学习机算法研究
发布时间：2022-01-09 10:37
神经网络是人工智能方向的重要分支,擅长处理各种各样的数据。神经网络的算法和模型多种多样,其中极端学习机是一个典型的浅层神经网络,擅长处理小型的分类和回归任务;卷积神经网络是一种典型的深层神经网络,擅长提取图像的特征,可以完成图像的分类和识别等任务。目前这些神经网络在诸多领域都取得了很大的成功。但是大多数神经网络都是不完美的,使用时都有一些缺陷。因此本文提出了两个改进的神经网络算法,并将两个改进后的网络进行结合,结合后的网络应用在图像分类数据集上表现出很好的性能。本文的具体研究成果和实际意义描述如下:（1）残差神经网络是目前广泛应用的一种卷积神经网络模型,它在基础卷积神经网络中增加了很多技巧进而能有更好的泛化性能。但是该网络还有很多可以改进的地方,本文针对残差神经网络进一步改善信息和梯度的传递,提出了全卷积多并联残差神经网络（Fully Convolutional Multi-parallel Residual Neural Network,FCM-Resnet）,并将其应用在三个经典图像分类数据集上,通过与InceptionV3、Densenet121和Resnet等网络对比,该网络有...
【文章来源】：燕山大学河北省
【文章页数】：90 页
【学位级别】：硕士
【部分图文】：
关系图
第2章神经网络相关知识-9-第2章神经网络相关知识神经网络按照结构的不同可以分为：单隐层网络(一个输入层，一个隐层，一个输出层)；多隐层网络(包含多个隐含层)；递归网络(至少有一个反馈环)。单隐层前馈网络的结构简单，算法相对多隐层网络的算法来说也相对简单一些，本章先介绍人工神经网络模型和最经典的反向传播算法，然后以径向基神经网络为例介绍单隐层神经网络，以CNN为例介绍多隐层网络。2.1人工神经网络经科学家的研究得出，人之所以很聪明，充满智慧，主要是因为人的大脑里约有上千亿个神经元，这些神经元通过复杂的连接形成一个巨大的生物神经网络。研究生物神经网络是揭秘人类大脑至关重要的一点。图2-1单个神经元结构ANN是受生物系统启发构建的一个比较有规律的网：这个网可以有一层或者很多层，每层中包含很多节点，不同层的节点通过权值连接，每层内部的神经元之间没有连接，连接权值代表两个节点间的相关性，如果关系密切，那这两个节点间的连接权值就较大，反之则较校最基本的ANN模型的计算过程是每层的输入与权值相乘，再与阈值相加，最后经过激活函数运算得到的结果作为该层的输出，网络一般有一个入口(输入)和一个出口(输出)，输入的数据经过每层的计算得到最后的输出，这种端到端的网络结构效率更高，速度更快。神经元可以是线性的，也可以是非线性的，经过实验验证和大量的经验证明，非线性神经元能更好的拟合复杂数据关系。从数学的角度考虑，ANN可以看做是一种计算规
第2章神经网络相关知识-11-示学习率；di表示理想输出；jx表示神经元j的状态，若处于激活状态，该值为1，否则为0或-1(根据激活函数的不同来选择)。现假设jx为1，若id比iy大，那么ijW将增大，若id比iy小，那么ijW将减校2.2反向传播算法图2-2BP神经网络有监督的多层前馈网络的训练一般分为两个过程：第一个过程是根据设置好的参数值，计算每一层的输出，输入层提供数据给第一个隐含层，第一个隐含层的输出作为下一层的输入，这样一直到最后的输出层。第二个过程是结合实际输出与理想输出之间存在的误差更新每一层的权值和偏置。重复执行这两个过程就可以实现网络的训练。这第二个过程就是反向传播算法(BackPropagationAlgorithm，BP)，简称BP算法。BP算法与上边介绍的Delta学习规则类似，都是根据误差调整权值和偏置，都属于有监督的学习方法。通常将普通的神经网络结构与BP算法结合后称为BP神经网络。以两个隐层的BP神经网络为例，结构如图2-2所示。图中ix为输入数据，y为网络的输出，ij为连接权值，ie为每个节点的输入，f()是神经元的激活函数，i是每个节点的误差，z是网络的理想输出。整个过程可以描述为：输入的数据从输入层开始前向传播至输出层，利用网络输出与理想输出得到误差，根据误差从后往前调整每一层的权值和偏置。这个过程一般是循环调整的，停止训练的条件一般为两种：达到设置的迭代次数；满足误差要求。图2-2所示网络的具体训练步骤如下：1)网络的参数设置：根据数据量的大小确定网络需要的层数及每层的神经
【参考文献】：
期刊论文
[1]基于机器学习的医学影像分析在药物研发和精准医疗方面的应用[J]. 谢志勇,周翔. 中国生物工程杂志. 2019(02)
[2]人工智能在恶性肿瘤诊治中的应用[J]. 袁紫旭,徐挺洋,姚建华,蔡建,王磊. 中华实验外科杂志. 2019 (02)
[3]基于遗传算法优化BP神经网络的接触电阻预测[J]. 孙海峰,沈颖,王亚楠. 电测与仪表. 2019(05)
[4]基于深层神经网络（DNN）的汉语方言种属语音识别[J]. 景亚鹏,郑骏,胡文心. 华东师范大学学报(自然科学版). 2014(01)
[5]基于改进极限学习机的短期电力负荷预测方法[J]. 毛力,王运涛,刘兴阳,李朝锋. 电力系统保护与控制. 2012(20)
[6]基于BP神经网络的信息安全风险评估[J]. 赵冬梅,刘海峰,刘晨光. 计算机工程与应用. 2007(01)
[7]基于BP神经网络的森林植被遥感分类研究[J]. 刘旭升,张晓丽. 林业资源管理. 2005(01)
[8]基于图形处理器（GPU）的通用计算[J]. 吴恩华,柳有权. 计算机辅助设计与图形学学报. 2004(05)
[9]人工智能模糊控制在大型立式淬火炉温度控制系统中的应用[J]. 贺建军,王春归,喻寿益. 冶金自动化. 2004(01)
[10]广义BP算法及网络容错性和泛化能力的研究[J]. 董聪,刘西拉. 控制与决策. 1998(02)
硕士论文
[1]极限学习机的研究与应用[D]. 甘露.西安电子科技大学 2014
[2]基于深度学习的语音识别研究[D]. 梁静.北京邮电大学 2014
本文编号：3578552
【文章来源】：燕山大学河北省
【文章页数】：90 页
【学位级别】：硕士
【部分图文】：
关系图
第2章神经网络相关知识-9-第2章神经网络相关知识神经网络按照结构的不同可以分为：单隐层网络(一个输入层，一个隐层，一个输出层)；多隐层网络(包含多个隐含层)；递归网络(至少有一个反馈环)。单隐层前馈网络的结构简单，算法相对多隐层网络的算法来说也相对简单一些，本章先介绍人工神经网络模型和最经典的反向传播算法，然后以径向基神经网络为例介绍单隐层神经网络，以CNN为例介绍多隐层网络。2.1人工神经网络经科学家的研究得出，人之所以很聪明，充满智慧，主要是因为人的大脑里约有上千亿个神经元，这些神经元通过复杂的连接形成一个巨大的生物神经网络。研究生物神经网络是揭秘人类大脑至关重要的一点。图2-1单个神经元结构ANN是受生物系统启发构建的一个比较有规律的网：这个网可以有一层或者很多层，每层中包含很多节点，不同层的节点通过权值连接，每层内部的神经元之间没有连接，连接权值代表两个节点间的相关性，如果关系密切，那这两个节点间的连接权值就较大，反之则较校最基本的ANN模型的计算过程是每层的输入与权值相乘，再与阈值相加，最后经过激活函数运算得到的结果作为该层的输出，网络一般有一个入口(输入)和一个出口(输出)，输入的数据经过每层的计算得到最后的输出，这种端到端的网络结构效率更高，速度更快。神经元可以是线性的，也可以是非线性的，经过实验验证和大量的经验证明，非线性神经元能更好的拟合复杂数据关系。从数学的角度考虑，ANN可以看做是一种计算规
第2章神经网络相关知识-11-示学习率；di表示理想输出；jx表示神经元j的状态，若处于激活状态，该值为1，否则为0或-1(根据激活函数的不同来选择)。现假设jx为1，若id比iy大，那么ijW将增大，若id比iy小，那么ijW将减校2.2反向传播算法图2-2BP神经网络有监督的多层前馈网络的训练一般分为两个过程：第一个过程是根据设置好的参数值，计算每一层的输出，输入层提供数据给第一个隐含层，第一个隐含层的输出作为下一层的输入，这样一直到最后的输出层。第二个过程是结合实际输出与理想输出之间存在的误差更新每一层的权值和偏置。重复执行这两个过程就可以实现网络的训练。这第二个过程就是反向传播算法(BackPropagationAlgorithm，BP)，简称BP算法。BP算法与上边介绍的Delta学习规则类似，都是根据误差调整权值和偏置，都属于有监督的学习方法。通常将普通的神经网络结构与BP算法结合后称为BP神经网络。以两个隐层的BP神经网络为例，结构如图2-2所示。图中ix为输入数据，y为网络的输出，ij为连接权值，ie为每个节点的输入，f()是神经元的激活函数，i是每个节点的误差，z是网络的理想输出。整个过程可以描述为：输入的数据从输入层开始前向传播至输出层，利用网络输出与理想输出得到误差，根据误差从后往前调整每一层的权值和偏置。这个过程一般是循环调整的，停止训练的条件一般为两种：达到设置的迭代次数；满足误差要求。图2-2所示网络的具体训练步骤如下：1)网络的参数设置：根据数据量的大小确定网络需要的层数及每层的神经
【参考文献】：
期刊论文
[1]基于机器学习的医学影像分析在药物研发和精准医疗方面的应用[J]. 谢志勇,周翔. 中国生物工程杂志. 2019(02)
[2]人工智能在恶性肿瘤诊治中的应用[J]. 袁紫旭,徐挺洋,姚建华,蔡建,王磊. 中华实验外科杂志. 2019 (02)
[3]基于遗传算法优化BP神经网络的接触电阻预测[J]. 孙海峰,沈颖,王亚楠. 电测与仪表. 2019(05)
[4]基于深层神经网络（DNN）的汉语方言种属语音识别[J]. 景亚鹏,郑骏,胡文心. 华东师范大学学报(自然科学版). 2014(01)
[5]基于改进极限学习机的短期电力负荷预测方法[J]. 毛力,王运涛,刘兴阳,李朝锋. 电力系统保护与控制. 2012(20)
[6]基于BP神经网络的信息安全风险评估[J]. 赵冬梅,刘海峰,刘晨光. 计算机工程与应用. 2007(01)
[7]基于BP神经网络的森林植被遥感分类研究[J]. 刘旭升,张晓丽. 林业资源管理. 2005(01)
[8]基于图形处理器（GPU）的通用计算[J]. 吴恩华,柳有权. 计算机辅助设计与图形学学报. 2004(05)
[9]人工智能模糊控制在大型立式淬火炉温度控制系统中的应用[J]. 贺建军,王春归,喻寿益. 冶金自动化. 2004(01)
[10]广义BP算法及网络容错性和泛化能力的研究[J]. 董聪,刘西拉. 控制与决策. 1998(02)
硕士论文
[1]极限学习机的研究与应用[D]. 甘露.西安电子科技大学 2014
[2]基于深度学习的语音识别研究[D]. 梁静.北京邮电大学 2014
本文编号：3578552
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3578552.html