面向多模态高层语义的歧视情感检测

发布时间：2023-09-17 13:45

　　随着互联网的高速发展,社交平台带来多媒体数据不断的增长。在互联网的多媒体数据中,部分数据是带有歧视性的,这些歧视情感经过网络平台的传播和扩散,有可能对个人与社会造成不同程度的负面影响,不利于个人的健康成长和社会的和谐稳定。从数据媒介角度来说,这些歧视现象可以分为三类:语言歧视,图像歧视及多模态歧视,其中多模态歧视检测在社交媒体的内容监管中具有重要的意义。本文采用基于深度学习的方法对面向多模态高层语义的歧视情感检测问题开展了研究工作。具体内容如下:(1)针对多模态高层语义歧视情感的检测和判定问题,分析构成歧视问题的因素,对歧视现象进行分类,利用人工拍摄和爬虫从网络收集的数据,建立面向歧视的多模态数据集。(2)针对以往歧视情感检测模型对于不同模态特征对齐方式过于复杂的问题,提出本文的多模态特征对齐方法,实现图像特征与文本特征更加细粒度的对齐方式,为此分别引入卷积神经网络和长短期记忆神经网络对图像和文本特征进行高效地提取,并利用双线性融合的方法对图像和文本的特征进行语义对齐。(3)针对特征向量对于歧视情感的贡献程度不同的问题,对不同模态的特征向量使用注意力机制得到多模态数据的联合表示。在构建...

【文章页数】：57 页

【学位级别】：硕士

【文章目录】：
致谢
摘要
ABSTRACT
1 引言
    1.1 研究背景
    1.2 研究目的与意义
    1.3 主要研究工作
    1.4 本文组织结构
2 国内外研究现状
    2.1 情感检测研究现状
        2.1.1 文本情感检测现状
        2.1.2 图像情感检测现状
        2.1.3 多模态情感检测现状
    2.2 相关技术研究
        2.2.1 循环神经网络
        2.2.2 长短期记忆神经网络
        2.2.3 多模态融合
        2.2.4 多模态对齐
    2.3 本章小结
3 面向歧视的多模态数据集构建
    3.1 现有的多模态情感数据集
    3.2 构建面向歧视的多模态数据集
    3.3 本章小结
4 多模态歧视情感检测
    4.1 多模态数据处理
        4.1.1 图像特征处理
        4.1.2 文本特征处理
    4.2 面向歧视的多模态情感检测模型
        4.2.1 模型设计
        4.2.2 算法过程
        4.2.3 算法收敛证明
    4.3 实验及结果分析
        4.3.1 数据准备
        4.3.2 实验评价指标
        4.3.3 实验结果分析
    4.4 本章小结
5 结论
    5.1 工作总结
    5.2 工作展望
参考文献
作者简历及攻读硕士学位期间取得的研究成果
学位论文数据集



本文编号：3847543