基于循环三维卷积神经网络和注意力机制的手势识别

发布时间：2023-12-04 19:11

　　随着科技的发展与进步,人工智能的浪潮席卷全球,使得生活变得更加智能化。其中,人机交互则在其中起着重要的作用。手势识别作为人机交互中最简单自然地一种方式,引起广泛关注。而基于视觉的手势识别不依赖其它设备,操作更加自然方便。实际场景中的手势识别系统通常对于实时性和准确率有较高的要求,因此如何在保证算法正确性的同时,提高算法的实时性是研究的关键。针对视频流中手势特征描述困难以及在视频序列中存在较多冗余信息的问题,提出了融合循环三维卷积神经网络(Recurrent Three-dimensional Convolution Neural Network,R3DCNN)和注意力机制的手势识别方法。主要工作包括:(1)构建了一个端到端的循环三维卷积神经,利用三维卷积提取局部时空特征,并且利用长短期记忆网络对短时空特征建模,得到能够准确表示视频中动作运动信息的全局时空特征。(2)针对视频序列无字典标签,无法进行加权,定义了一个时间编码模型对于视频序列进行分段,构建字典标签。(3)针对视频中存在冗余信息的问题,提出融合注意力机制和循环三维卷积神经网络的方法,利用注意力机制对于提取到的视频分段特征进行加...

【文章页数】：65 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
    1.3 论文主要内容及组织结构
2 基于循环三维卷积神经网络的全局时空特征提取
    2.1 基于三维卷积神经网络的局部时空特征提取
    2.2 基于循环三维卷积神经网络的全局时空特征提取
    2.3 本章小结
3 基于时间编码模型与注意力机制的手势识别
    3.1 基于时间编码模型的词典标签构建
    3.2 基于注意力机制的手势识别
    3.3 本章小结
4 实验数据与结果分析
    4.1 实验环境
    4.2 模型训练
    4.3 实验结果及分析
    4.4 本章小结
5 总结与展望
    5.1 总结
    5.2 展望
致谢
参考文献



本文编号：3870543