深度模型简化：存储压缩和计算加速
发布时间：2024-02-15 05:46
深度模型——泛指各类采用了深度神经网络(Deep Neural Network,简称DNN)的模型,它们往往包含庞大的参数数量和复杂的计算流程,这使得这些模型在计算和存储方面需要消耗大量的资源。故而很多包含深度模型的应用无法布置到资源受限的硬件平台上——计算和存储资源较少且不易扩充的硬件环境(例如:无人机),此时就需要对深度模型进行简化。深度模型简化的目的,是在保持模型精度(具体应用设置的评价指标)的前提下,针对性地加快模型计算速度或是压缩模型存储大小。据此,本文分别针对深度模型的加速和深度模型的压缩进行了相应的研究。首先,针对深度模型常用的组成部分——深度神经网络,本文提出了一种通用的压缩方法,其能极大地压缩模型的存储大小。对于深度模型压缩,有一类常用的方法是基于重要性的连接裁剪法(Magnitude-based Pruning,简称MP),该方法主要假设网络中连接权重的绝对值可以视为对应连接的重要性度量;当给定一个重要性阈值后,将神经网络中所有重要性(也即是连接权值的绝对值)低于该阈值的连接都删去。目前在深度神经网络中取得显著效果的MP方法主要是它的一个变种,既基于层级结构的重要性...
【文章页数】：118 页
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 研究内容与背景
1.2 研究意义
1.2.1 场景举例
1.2.2 资源受限平台运行深度模型的难点
1.3 本文的主要工作及组织结构
1.3.1 本文的主要工作
1.3.2 本文的组织结构
1.4 本章小结
第2章 背景知识及调研综述
2.1 深度模型介绍
2.1.1 人工神经网络
2.1.2 深度神经网络
2.1.3 深度卷积神经网络
2.1.4 针对物体检测的R-CNN模型
2.1.5 针对机器翻译的深度模型
2.2 深度神经网络简化综述
2.2.1 工程性加速
2.2.2 参数约减
2.2.3 高维模型降维
2.3 本章小结
第3章 基于优化的深度模型压缩
3.1 概述
3.2 相关研究
3.3 算法介绍
3.3.1 OLMP
3.3.2 使用OLMP进行DNN压缩
3.3.3 OLMP实现
3.4 实验及分析
3.4.1 LeNet系列模型上的压缩效果对比
3.4.2 AlexNet结构上的压缩效果对比
3.4.3 δ和σ之间的敏感度分析
3.4.4 不组合迭代式压缩流程的OLMP裁剪性能
3.5 本章小结
第4章 针对机器翻译深度模型的压缩研究
4.1 概述
4.2 相关研究
4.3 NMT常用连接结构
4.3.1 反馈式模型
4.3.2 前馈式模型
4.4 连接分组策略与模型裁剪
4.4.1 Time-wise连接分组策略
4.4.2 Residual-wise连接分组策略
4.4.3 其他连接分组策略
4.4.4 模型裁剪方案
4.5 实验及分析
4.5.1 数据集与评价指标
4.5.2 实验设置
4.5.3 分组策略效果对比
4.5.4 不同δ值下分组策略裁剪效果的变化
4.5.5 RNNSearch和Luong-Net变体模型上的裁剪效果
4.6 本章小结
第5章 针对物体检测深度模型的加速研究
5.1 概述
5.2 相关工作
5.2.1 加速分类过程
5.2.2 加速RoI生成过程
5.3 R2-CNN方法:RoI生成
5.3.1 步骤一:生成Integrate Feature Map
5.3.2 步骤二:生成Feature Level
5.3.3 步骤三:生成RoI
5.3.4 步骤四:Local Search
5.4 R2-CNN方法:整体框架
5.4.1 递归微调(Recursive Fine-tuning)与其实现
5.5 实验及分析
5.5.1 实验设置
5.5.2 RoI生成速度对比
5.5.3 物体检测的性能对比
5.5.4 RoI质量对比
5.5.5 不同卷积层选择对R2-CNN的影响
5.6 本章小结
第6章 总结
参考文献
致谢
在读期间发表的学术论文与取得的研究成果
本文编号：3899317
【文章页数】：118 页
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 研究内容与背景
1.2 研究意义
1.2.1 场景举例
1.2.2 资源受限平台运行深度模型的难点
1.3 本文的主要工作及组织结构
1.3.1 本文的主要工作
1.3.2 本文的组织结构
1.4 本章小结
第2章 背景知识及调研综述
2.1 深度模型介绍
2.1.1 人工神经网络
2.1.2 深度神经网络
2.1.3 深度卷积神经网络
2.1.4 针对物体检测的R-CNN模型
2.1.5 针对机器翻译的深度模型
2.2 深度神经网络简化综述
2.2.1 工程性加速
2.2.2 参数约减
2.2.3 高维模型降维
2.3 本章小结
第3章 基于优化的深度模型压缩
3.1 概述
3.2 相关研究
3.3 算法介绍
3.3.1 OLMP
3.3.2 使用OLMP进行DNN压缩
3.3.3 OLMP实现
3.4 实验及分析
3.4.1 LeNet系列模型上的压缩效果对比
3.4.2 AlexNet结构上的压缩效果对比
3.4.3 δ和σ之间的敏感度分析
3.4.4 不组合迭代式压缩流程的OLMP裁剪性能
3.5 本章小结
第4章 针对机器翻译深度模型的压缩研究
4.1 概述
4.2 相关研究
4.3 NMT常用连接结构
4.3.1 反馈式模型
4.3.2 前馈式模型
4.4 连接分组策略与模型裁剪
4.4.1 Time-wise连接分组策略
4.4.2 Residual-wise连接分组策略
4.4.3 其他连接分组策略
4.4.4 模型裁剪方案
4.5 实验及分析
4.5.1 数据集与评价指标
4.5.2 实验设置
4.5.3 分组策略效果对比
4.5.4 不同δ值下分组策略裁剪效果的变化
4.5.5 RNNSearch和Luong-Net变体模型上的裁剪效果
4.6 本章小结
第5章 针对物体检测深度模型的加速研究
5.1 概述
5.2 相关工作
5.2.1 加速分类过程
5.2.2 加速RoI生成过程
5.3 R2-CNN方法:RoI生成
5.3.1 步骤一:生成Integrate Feature Map
5.3.2 步骤二:生成Feature Level
5.3.3 步骤三:生成RoI
5.3.4 步骤四:Local Search
5.4 R2-CNN方法:整体框架
5.4.1 递归微调(Recursive Fine-tuning)与其实现
5.5 实验及分析
5.5.1 实验设置
5.5.2 RoI生成速度对比
5.5.3 物体检测的性能对比
5.5.4 RoI质量对比
5.5.5 不同卷积层选择对R2-CNN的影响
5.6 本章小结
第6章 总结
参考文献
致谢
在读期间发表的学术论文与取得的研究成果
本文编号：3899317
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3899317.html