基于进化多目标优化的神经网络压缩学习

发布时间：2023-03-22 21:31

　　模型压缩与优化是当下深度学习领域的研究热点之一,致力于解决深度神经网络(Deep Neural Network,DNN)模型过度冗余,参数过大导致的运算量或存储要求过高的问题。当前主流的基于低秩与稀疏分解的网络压缩方法没有整体考虑权重的这两种特性,忽略了它们之间的关联。其次,模型压缩涉及的超参数,如秩、稀疏度等的搜索空间极大,高度依赖领域专家经验进行选择。此外,在稀疏网络的学习中,网络连接结构与模型参数作为保证压缩性能的关键,往往难以得到较理想的设置与训练。大量试错过程不仅浪费人力成本,也会造成严重的计算负担,且最后只能找到单一的所谓“最优解”,无法满足用户对不同场景下模型压缩效果的需求。因此可见,在DNN模型压缩学习与优化方面,仍有较多亟待解决的问题。准确捕获权重的结构特征,设计合理并高效的压缩学习算法,是一个富有挑战性的科学难题。本论文深入分析网络权重的低秩与稀疏特性,提出新型的压缩结构,并基于进化多目标优化(Evolutionary Multi-objective Optimization,EMO)的思想,解决该类DNN模型压缩所涉及的超参数难调,搜索难度高等难题。同时也基于该思...

【文章页数】：83 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 引言
    1.2 论文研究背景与意义
    1.3 国内外研究现状
        1.3.1 神经网络模型压缩
        1.3.2 进化多目标机器学习
    1.4 本文研究内容与组织结构
第2章 模型压缩与进化多目标技术概述
    2.1 引言
    2.2 模型压缩技术概述
        2.2.1 压缩方法分类
        2.2.2 压缩方法基本框架
    2.3 进化多目标优化技术
        2.3.1 多目标优化简介
        2.3.2 经典多目标进化算法
    2.4 本章小结
第3章 基于低秩与稀疏特性的联合压缩方法
    3.1 引言
    3.2 联合压缩模型
        3.2.1 压缩模型结构
        3.2.2 低秩与稀疏联合分解
        3.2.3 全局稀疏矩阵性能补偿
    3.3 模型压缩实验结果与分析
        3.3.1 基于Image Net的 VGG-16 压缩结果
        3.3.2 基于CIFAR-10的VGG压缩结果
        3.3.3 模型压缩方法对比
    3.4 本章小结
第4章 进化多目标模型压缩学习
    4.1 引言
    4.2 多目标压缩学习模型
        4.2.1 多目标问题构建
        4.2.2 多目标进化压缩学习模型框架
    4.3 高效子代压缩模型生成
        4.3.1 遗传算子设计
        4.3.2 超参数调优
    4.4 候选子代模型评估与筛选
        4.4.1 适应度代理函数
        4.4.2 非支配排序机制
        4.4.3 基于种群分布性的距离度量准则
    4.5 仿真验证与性能分析
        4.5.1 压缩模型微调分析
        4.5.2 候选模型选择效果
        4.5.3 基于CIFAR-10数据集的实验结果
        4.5.4 基于CIFAR-10数据集的模型性能分析
        4.5.5 基于CIFAR-100数据集的实验结果
    4.6 本章小结
第5章 进化多目标稀疏网络学习与优化
    5.1 引言
    5.2 多目标稀疏网络训练模型
        5.2.1 多目标模型构建
        5.2.2 网络稀疏特性挖掘
        5.2.3 联合训练模型框架
    5.3 进化多目标稀疏网络优化
        5.3.1 网络连接结构搜索
        5.3.2 模型参数微调
        5.3.3 区域进化
    5.4 仿真验证与性能分析
        5.4.1 基于单层网络的BP算法分析
        5.4.2 单层网络联合训练实验
        5.4.3 多层网络实验结果
        5.4.4 基于CIFAR-10的多层网络实验结果
    5.5 本章小结
第6章 总结和展望
    6.1 全文工作总结
    6.2 未来研究展望
参考文献
指导教师对研究生学位论文的学术评语
研究生学位论文答辩委员会决议书
致谢
攻读硕士学位期间的研究成果



本文编号：3767618