卷积神经网络模型中的知识蒸馏研究

发布时间：2022-12-05 05:45

　　近些年来,随着信息技术的发展,深度学习在诸多领域取得了优异的成绩,卷积神经网络已然在许多计算机视觉任务上起到了不可磨灭的贡献。然而,卷积神经网络的高效性能是以资源的消耗为代价的,存在着参数量过多、计算量过大、能源消耗过大、运行时间过长等问题,无法保证在移动端、嵌入式设备等资源受限平台上的应用,影响着人们的日常生活。因此,针对卷积神经网络的模型压缩的研究具有重要的意义。知识蒸馏是当前模型压缩方法中的一种有潜力的方法,其中,一个已预训练好的大模型称为教师模型,待训练的小模型称为学生模型,学生模型在教师模型传递的知识的指导下,能够获得更多的训练数据之间的结构化信息,因此知识蒸馏能够提升小模型的性能。本文分别从知识的定义、教师和学生的差异两个角度,提出了两种全新的知识蒸馏算法:1、基于三元组蒸馏的知识蒸馏算法,主要针对人脸识别任务,在广泛使用的Triplet loss的基础上进行优化。该方法首先探讨了原始的方法中忽略了普遍存在的“两个人长得更像”的现象,因此提出了人脸相似程度的概念。并将其定义为一种教师的知识,随后将其映射至合适的范围作为动态的加性裕量传递给学生模型进行训练。该方法在多个验证集... 

【文章页数】：83 页

【学位级别】：硕士

【文章目录】：
致谢
摘要
Abstract
1 绪论
    1.1 课题研究意义与背景
    1.2 国内外研究现状
        1.2.1 其他模型压缩算法
        1.2.2 知识蒸馏
        1.2.3 人脸识别
    1.3 本文的主要研究内容
        1.3.1 三元组蒸馏(TD)
        1.3.2 多学生蒸馏(Mul Distill)
    1.4 本文创新点与贡献
    1.5 本文结构安排
2 卷积神经网络综述
    2.1 卷积神经网络基本单元
    2.2 卷积神经网络模型
        2.2.1 Res Net
        2.2.2 Mobile Net系列
        2.2.3 Mobile Face Net
    2.3 本章小结
3 基于三元组蒸馏的模型压缩算法
    3.1 深度人脸识别算法
        3.1.1 Arc Face loss
        3.1.2 Triplet loss
    3.2 三元组蒸馏算法
        3.2.1 人脸相似程度
        3.2.2 TD算法设计
        3.2.3 教师及学生模型
    3.3 实验设计和结果
        3.3.1 数据集介绍
        3.3.2 实验设置
        3.3.3 实验结果与分析
    3.4 本章小结
4 基于多学生蒸馏的模型压缩算法
    4.1 分类任务上的知识蒸馏数学建模
    4.2 多学生蒸馏算法
        4.2.1 教师与学生差异分析
        4.2.2 Mul Distill算法设计
        4.2.3 多分支框架设计
    4.3 实验结果与分析
        4.3.1 测试集分类结果
        4.3.2 多样性损失分析
        4.3.3 相关因素影响
        4.3.4 多分支算法结果
        4.3.5 复杂度分析
    4.4 本章小结与讨论
5 总结与展望
参考文献
攻读硕士学位期间取得的研究成果



本文编号：3709805