基于语音文本融合的多模态情感识别

发布时间：2023-12-28 17:30

　　当前,社交媒体正在人们的日常生活中发挥着越来越重要的作用。诸如微信、微博、QQ等社交软件已经成为了人们日常交流不可或缺的工具。与此同时,情感识别作为智能人机交互的重要基础之一,也得到了长足的发展。社交媒体中经常会使用大量的文本、语音、图片等多源信息。因此,近年来面向社交媒体的多模态情感识别研究正成为业内研究的热点,对实现智能人机交互应用具有重要意义。考虑到语音、文本信息之间的内在关联性和互补性,本文重点开展融合语音文本的多模态情感识别研究,提出了基于深度学习的语音、文本信息特征提取方法;深入研究了语音、文本模态融合算法;设计开发了语音文本融合的多模态情感识别应用系统,实现了模型的可视化应用。论文的主要研究内容如下:1.研究了基于深度学习的单模态情感特征学习模型。考虑到不同模态之间的差异性,本文将卷积神经网络(Convolutional Neural Network,CNN)和长短时记忆网络(Long-Short-Term Memory Network,LSTM)以双通道的形式结合起来,充分学习语音中的全局和局部情感特征;采用双向长短时记忆网络(Bid-directional Long-...

【文章页数】：82 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
    1.3 主要研究内容与论文结构安排
        1.3.1 主要研究内容
        1.3.2 课题章节安排
第2章 多模态情感识别基础理论
    2.1 多模态情感数据集
    2.2 多模态情感特征分析
        2.2.1 语音情感特征
        2.2.2 文本情感特征
    2.3 多模态特征融合方法
        2.3.1 特征层融合
        2.3.2 决策层融合
        2.3.3 其他融合方式
    2.4 多模态情感识别算法
        2.4.1 长短时记忆网络
        2.4.2 卷积神经网络
    2.5 本章小结
第3章 基于深度学习的情感特征学习
    3.1 长短时记忆特征学习模型的搭建
        3.1.1 语音情感特征提取
        3.1.2 文本情感特征学习
    3.2 长短时记忆特征学习模型的优化
        3.2.1 语音情感特征学习模型优化
        3.2.2 文本情感特征学习模型优化
    3.3 实验结果与分析
    3.4 本章小结
第4章 基于深度学习的多模态情感识别
    4.1 多模态情感融合模型搭建
    4.2 多模态情感融合模型优化
    4.3 实验结果及分析
    4.4 实验结果对比
    4.5 本章小结
第5章 多模态情感识别系统的设计与实现
    5.1 系统总体架构
    5.2 系统开发平台
        5.2.1 系统软硬件开发平台
        5.2.2 系统开发环境配置
    5.3 系统开发与测试
        5.3.1 系统开发
        5.3.2 系统测试
    5.4 本章小结
第6章 总结与展望
    6.1 工作总结
    6.2 工作展望
参考文献
致谢
作者攻读硕士期间从事的科研工作及取得的研究成果



本文编号：3875861