基于深度学习的极限学习机算法研究

发布时间：2017-06-01 15:16

  本文关键词：基于深度学习的极限学习机算法研究，由笔耕文化传播整理发布。

【摘要】：人工神经网络的最大缺点是训练时间太长从而限制其实时应用范围,近年来,极限学习机(Extreme Learning Machine, ELM)的提出使得前馈神经网络的训练时间大大缩短,然而当原始数据混杂入大量噪声变量时,或者当输入数据维度非常高时,极限学习机算法的综合性能会受到很大的影响。深度学习算法的核心是特征映射,它能够摒除原始数据中的噪声,并且当向低维度空间进行映射时,能够很好的起到对数据降维的作用,因此我们思考利用深度学习的优势特性来弥补极限学习机的弱势特性从而改善极限学习机的性能。在本文中,首先介绍了基于自编码器的极限学习机(Auto Encode based Extreme Learning Machine, AE-ELM),它使用第一层自编码网络对输入数据进行降维除噪处理,再使用第二层自编码算法确定ELM输入权值以提升ELM有效性,最后使用最小二乘法确定ELM输出层权值。这种方法主要解决数据维度偏高且含有噪声时的情况,最后实验验证了AE-ELM在噪声数据下很好的提升了算法的性能。其次,详细介绍了基于极限学习机的自编码器(Extreme Learning Machine Auto Encode, ELM-AE),它能够对原始特征进行等维度,高维度,及低维度的特征映射,为ELM在超高维度下的应用奠定了基础。论文中对由多层ELM-AE组成的深度极限学习机自编码器(Deep Extreme Learning Machine Auto Encode, DELM-AE)进行了实验验证,结果DELM-AE耗费更少的时间并能取得更好的识别率最后本文用ELM-AE算法对基于Gabor特征的稀疏表达算法(GSRC)进行改进,得到新的识别算法-基于分层特征的稀疏表达算法(HSR),该算法包含三部分：首先用一系列Gabor滤波器提取特征,再用ELM-AE进行降维,最后用SRC进行识别。并对SRC, GSRC,和HSR在无遮挡人脸图片库和有遮挡人脸图片库进行实验仿真验证,发现HSR能够使用更低的学习耗时得到更高的识别率,从而验证了ELM-AE在算法HSR中的必要性。
【关键词】：极限学习机 深度学习 极限学习机自编码器 识别率
【学位授予单位】：中国海洋大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP181
【目录】：

• 摘要5-6
• Abstract6-10
• 1 绪论10-15
• 1.1 引言10
• 1.2 极限学习机的研究背景及研究应用现状10-12
• 1.3 深度学习的起源发展12-13
• 1.4 基于深度学习的极限学习机13
• 1.5 本文工作和内容安排13-15
• 2 极限学习机算法15-27
• 2.1 单隐藏层前馈神经网络15-17
• 2.2 极限学习机理论知识17-20
• 2.3 极限学习机性能实验20-23
• 2.3.1 拟合实验20-22
• 2.3.2 回归实验22-23
• 2.4 极限学习机延伸算法23-26
• 2.4.1 在线序列极限学习机23-24
• 2.4.2 增量极限学习机24-25
• 2.4.3 剪枝型极限学习机25
• 2.4.4 极限学习机集成模型25-26
• 2.5 本章小结26-27
• 3 深度学习算法27-36
• 3.1 深度学习算法起源及简介27
• 3.2 深度学习的网络结构及训练方法27-29
• 3.3 常用深度学习算法29-35
• 3.3.1 自编码器与稀疏编码29-30
• 3.3.2 受限波尔兹曼机30-32
• 3.3.3 深度置信网络32-33
• 3.3.4 卷积神经网络33-35
• 3.4 本章小结35-36
• 4 基于深度学习的极限学习机36-45
• 4.1 基于自编码的极限学习机36-40
• 4.1.1 基于白编码机的极限学习机的理论37-39
• 4.1.2 基于自编码机的极限学习机的性能实验39-40
• 4.2 深度极限学习机自编码器40-44
• 4.2.1 极限学习机自编码器原理40-42
• 4.2.2 深度极限学习机自编码器42-43
• 4.2.3 深度极限学习机自编码器的性能试验43-44
• 4.3 本章小结44-45
• 5 分层特征选择的稀疏表达算法45-58
• 5.1 分层特征选择的稀疏表达算法理论45-51
• 5.1.1 Gabor滤波和ELM-AE45-49
• 5.1.2 SRC,GSR,HSR49-51
• 5.2 实验结果51-56
• 5.2.1 无遮挡人脸识别51-54
• 5.2.2 有遮挡人脸识别54-56
• 5.3 本章小结56-58
• 6 总结与展望58-59
• 参考文献59-62
• 致谢62-63
• 个人简历63-64
• 攻读硕士期间发表的学士论文与研究成果64

【参考文献】

中国期刊全文数据库 前1条

1 周志华,陈世福;神经网络集成[J];计算机学报;2002年01期

  本文关键词：基于深度学习的极限学习机算法研究，由笔耕文化传播整理发布。

，

本文编号：412873