基于多流架构与长短时记忆网络的组群行为识别方法研究

发布时间：2023-05-03 21:18

　　视频中的组群行为识别是一项具有挑战性的任务,现已成为计算机视觉领域的研究热点。组群行为相比于单人行为具有更复杂的结构,组群内部之间的干扰、遮挡以及人与人之间的交互关系等都会对我们最终的识别结果产生影响,因此,并不能直接将单人行为识别技术应用于组群行为识别任务中。目前,在组群行为识别方面主要面临两个难点,一是如何利用复杂场景中的多重视觉线索进行信息融合,以获得更具区分性的特征;二是如何对群体中的情景人物进行建模,以获得视频中的长时序上下文关系。然而,以前的大多数方法都无法提供一个实际的解决方案来共同解决这两个问题。因此,本文提出一种基于双路TSN网络(Temporal Segment Networks)架构与LSTM网络(Long Short-Term Memory Networks)的上下文建模框架,同时解决这两个问题。对于前者,利用视频中的多重视觉线索,不仅考虑外观特征,还将运动特征考虑在内,为捕获视频中人物及场景的光流信息,本文采用双流卷积神经网络TSN网络来处理该问题,并将该框架扩展到处理集体行为识别问题上。受基于传统的全局与局部特征融合方法的启发,本文在关注局部信息的同时,更加...

【文章页数】：70 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 研究背景与意义
    1.2 国内外研究现状及主要研究方法
        1.2.1 单人行为识别国内外主要研究方法
        1.2.2 组群行为识别国内外主要研究方法
        1.2.3 组群行为识别研究面临的挑战
    1.3 论文的主要内容及结构安排
第2章 行为识别中特征提取方法分析与总结
    2.1 基于传统的特征提取方法
        2.1.1 全局特征
        2.1.2 局部特征
        2.1.3 全局与局部特征融合
    2.2 基于深度学习的特征提取方法
        2.2.1 CNN+LSTM网络
        2.2.2 3DCNN神经网络
        2.2.3 双流神经网络
    2.3 本章小结
第3章 基于TSN网络与长短时记忆网络的组群行为识别
    3.1 整体算法架构
    3.2 数据预处理
        3.2.1 CAD数据集预处理
        3.2.2 光流特征预处理
    3.3 TSN特征提取
        3.3.1 TSN网络架构中各层的作用
        3.3.2 TSN多视觉线索的特征提取与融合
        3.3.3 TSN网络的损失函数
    3.4 组群行为上下文时序建模及行为识别
        3.4.1 长短时记忆网络模型工作原理
        3.4.2 组群行为上下文时序建模
        3.4.3 Softmax实现组群行为识别
    3.5 本章小结
第4章 实验结果与分析
    4.1 数据集简介和拆分安排
        4.1.1 数据集简介
        4.1.2 训练数据集的拆分安排
    4.2 实验内容安排和结果分析
        4.2.1 实验环境及网络参数初始化
        4.2.2 CAD1数据集上各基线模型实验结果与分析
        4.2.3 CAD1数据集上实验结果与其他方法的比较
        4.2.4 CAD2数据集上实验结果与其他方法的比较
    4.3 本章小结
第5章 总结与展望
    5.1 总结
    5.2 展望
参考文献
致谢
攻读硕士期间发表的论文



本文编号：3807303