基于进化策略的神经网络架构搜索算法研究

发布时间：2023-04-17 00:42

　　人工神经网络是以数据驱动的人工智能领域中一类信息处理模式。人工神经网络通过模拟生物神经网络的信号处理方式,在图像识别、语音处理、机器翻译等领域上取得了成功。然而,神经网络的性能极易受到网络的拓扑结构、连接权值等因素的影响。目前流行的神经网络层数较深,结构相对复杂,人工设计深层的网络需要调整大量的参数才能达到特定数据集上的最佳性能。因此,当为不同数据构建最优架构时,需要设计者拥有一定的专业知识和经验并需要花费大量的时间和计算资源。鉴于此,人工神经网络架构的自动化设计成为亟待解决的问题。人工神经网络可以看作是由大量的层和权值组成,而网络中的层和权值的排列满足一定的分布规则。为了将该分布规则用于神经网络架构的演化,本文提出了一种新的生成最优架构的方法——基于进化策略的神经网络架构搜索算法(ESAS)。它由一个双层编码表示方案和两类分布学习策略——基于演化算子的概率分布学习策略和基于权值分布的性能排序策略组成。根据这两种策略,在ESAE的基础上,本文设计了基于演化算子概率分布学习策略的神经网络架构搜索(PDNAS)和基于权值分布性能排序的神经网络架构搜索(WDNAS)。ESAE不仅可以搜索最佳...

【文章页数】：62 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 引言
    1.2 研究背景与意义
    1.3 国内外研究现状
        1.3.1 进化算法
        1.3.2 基于进化算法的网络编码研究现状
    1.4 论文组织结构及创新点
        1.4.1 组织结构
        1.4.2 创新点
第2章 神经网络架构搜索研究综述
    2.1 引言
    2.2 搜索空间研究现状
    2.3 搜索策略研究现状
    2.4 性能评估策略研究现状
第3章 基于进化策略的神经网络架构搜索
    3.1 引言
    3.2 双层编码表示方案
        3.2.1 基因类型编码
        3.2.2 基因参数编码
    3.3 基于进化策略的神经架构搜索
    3.4 突变操作
        3.4.1 变异操作
        3.4.2 交叉操作
    3.5 基于演化操作的概率分布及其学习策略
    3.6 基于权值分布的性能排序
    3.7 基于权值分布性能排序的神经网络架构搜索
第4章 实验设计与结果分析
    4.1 引言
    4.2 实验设置
    4.3 PDNAS在 Fashion-MNIST数据集上的架构搜索
    4.4 PDNAS在 CIFAR-10 数据集上的架构搜索
    4.5 概率分布学习策略的比较
    4.6 PDNAS在 GSRs识别问题的架构搜索
        4.6.1 数据集
        4.6.2 实验设置
    4.7 WDNAS在 CIFAR-10 上的架构搜索
第5章 总结与展望
    5.1 总结
    5.2 展望
参考文献
作者简介及科研成果
致谢



本文编号：3792215