基于稠密连接的3DCNN及卷积GRU的手势识别研究

发布时间：2023-03-18 22:49

　　基于视觉信息的手势识别目前是一个活跃的研究课题。手势识别技术已经在很多领域得到了应用,包括虚拟现实、增强现实、手语识别、机器人控制、智能家居、游戏娱乐、医疗辅助系统等,随着智能化的不断推进,有着巨大的潜在应用前景。手势是一种较短时间的身体运动,包含表观信息和运动信息。复杂的背景、不同的光照条件、个体间执行手势的差异等都会影响手势的识别。基于视频的手势识别可能更会因视频的质量较差、手势相对区域较小的影响而增加识别难度。本文是对SKIGRGB-D多模态的孤立手势视频进行手势识别研究。首先将RGB和Depth两种单模态视频提取成图片的形式保存,然后采样成长度为32帧的手势序列分别输入到本文提出的稠密连接的3DCNN组件学习短期的时空域特征,然后将提取的时空域特征输入到卷积GRU网络进行长期的时空域特征学习,最终对单模态训练好的网络进行多模态融合,提升网络识别准确率。本文在SKIG数据集上取得了99.07%的识别准确率,达到了极高的准确率,证明了本文提出的网络模型的有效性。

【文章页数】：75 页

【学位级别】：硕士

【文章目录】：
中文摘要
Abstract
中文文摘
第一章 绪论
    1.1 引言
    1.2 课题研究背景及意义
    1.3 手势识别研究现状
    1.4 本论文主要内容及论文结构
第二章 深度学习及典型网络模型
    2.1 人工神经网络
        2.1.1 神经元模型
        2.1.2 BP神经网络
    2.2 卷积神经网络
        2.2.1 卷积神经网络的结构
        2.2.2 卷积神经网络常用技术
        2.2.3 经典网络模型介绍
    2.3 三维卷积神经网络
    2.4 循环神经网络
        2.4.1 基本的RNN网络
        2.4.2 LSTM及GRU
    2.5 卷积和循环网络的结合
    2.6 本章小结
第三章 稠密连接的3DCNN及卷积GRU模型
    3.1 网络模型总体介绍
        3.1.1 模型提出的依据
        3.1.2 模型总体结构
    3.2 稠密连接的3DCNN组件
        3.2.1 DenseNets介绍
        3.2.2 稠密连接的3DCNN结构
    3.3 双层卷积GRU网络
    3.4 SPP层及全连接层
    3.5 融合策略与性能度量
        3.5.1 多模态融合方式
        3.5.2 模型性能度量
    3.6 本章小结
第四章 实验与结果分析
    4.1 实验环境与数据集
        4.1.1 实验运行环境
        4.1.2 RGB-D手势视频数据集
    4.2 视频数据集的处理
        4.2.1 视频转成图片格式
        4.2.2 交叉验证法
        4.2.3 数据集的划分与标签处理
        4.2.4 数据增强方式
    4.3 网络模型的训练
        4.3.1 网络超参数的设置
        4.3.2 深度学习平台的操作
    4.4 实验结果与对比
        4.4.1 实验结果
        4.4.2 对比与总结
    4.5 本章小节
第五章 总结与展望
参考文献
攻读学位期间承担的科研任务与主要成果
致谢
个人简历



本文编号：3764022