基于视觉—语义关系的行为识别方法研究

发布时间：2023-03-24 00:32

　　伴随着近几年深度学习技术的兴起,基于计算机视觉的行为识别问题得到了普遍的关注且取得了较大的发展,在安全监控、医疗监护、人机交互、自动驾驶和无人商店等领域有广泛的应用前景。目前大多数行为识别方法只能识别单人的行为,并且只能识别诸如行走、跑步、跌倒等少量限定类型的行为,无法对场景中人和环境物体的大量交互行为进行检测。在复杂和背景剧烈变化的场景中,使用人工构造的特征的行为识别方法对环境变化、物体形变和遮挡的鲁棒性较差,造成识别准确率较低。此外,由于待处理的图像数据信息量大,目前大多数基于计算机视觉的行为识别方法计算复杂度高,无法实现计算的实时性。针对上述问题,本文的主要研究工作如下:(1)针对视频中的行为识别问题,提出了一种结合三维卷积神经网络和循环神经网络的长-短期时空视觉模型(Long-Short Term Spatio-Temporal Visual Model,LSTVM)。该方法首先利用三维卷积神经网络提取视频中的短期时空视觉特征,然后将具有通用性的短期特征输入一种改进的循环神经网络,提取特异性的长期行为特征。实验结果表明,LSTVM方法在UCF101数据集上取得了87.6%的准确...

【文章页数】：85 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 课题来源
    1.2 课题研究背景与意义
    1.3 相关领域国内外研究现状
        1.3.1 基于人工规则构造的特征的行为识别方法
        1.3.2 基于机器学习的行为识别方法
        1.3.3 行为识别数据集
    1.4 本文主要研究内容与组织结构
        1.4.1 主要研究内容
        1.4.2 论文组织结构
第2章 基于计算机视觉的行为识别技术
    2.1 深度学习相关技术
        2.1.1 卷积神经网络
        2.1.2 三维卷积神经网络
        2.1.3 循环神经网络
    2.2 分类器相关技术
        2.2.1 支持向量机
        2.2.2 Softmax分类器
    2.3 本章小结
第3章 融合人-物体视觉关系的长-短期时空视觉行为识别方法
    3.1 引言
    3.2 模型结构
        3.2.1 输入输出
        3.2.2 短期时空视觉特征提取
        3.2.3 语义-空间位置特征提取
        3.2.4 特征融合
        3.2.5 长期行为特征提取
        3.2.6 分类器
    3.3 实验与结果分析
        3.3.1 实验环境
        3.3.2 网络训练
        3.3.3 误差分析
        3.3.4 计算速率
    3.4 本章小结
第4章 融合注意力机制的视觉-语义交互行为检测方法
    4.1 引言
    4.2 模型结构
        4.2.1 输入输出
        4.2.2 物体检测器
        4.2.3 人-物体空间位置特征提取模块
        4.2.4 空间视觉特征提取模块
        4.2.5 语义特征提取模块
        4.2.6 分类器
    4.3 实验与结果分析
        4.3.1 实验环境
        4.3.2 网络训练
        4.3.3 误差分析
        4.3.4 计算速率
        4.3.5 检测结果
    4.4 本章小结
第5章 总结与展望
    5.1 全文工作总结
    5.2 工作展望
致谢
参考文献
攻读硕士学位期间的科研成果



本文编号：3769073