基于注意力机制的重复性问题检测模型

发布时间：2024-03-24 01:08

　　近年来,随着社区问答(Community Question Answering,CQA)网站的快速发展,CQA系统中积累了大量问题,这些问题中有很多是重复性问题,即有着相同的回答。在实际应用中,如果能从CQA问题数据库中快速检测出与用户所提问题相同的问题,那么这些问题的答案便可快速返回给用户,满足用户对问答系统及时性等的需求。因此,如何检测出CQA系统中的重复性问题是影响CQA发展的一个关键问题。本文针对CQA中的重复性问题检测任务,做了如下工作:1)大多已有的研究往往直接利用预训练的词向量作为模型输入,并没有考虑到预训练词向量没有包含上下文信息的缺点。本文提出利用句子信息过滤词向量中语义信息的方法,该方法可将词向量中与上下文相关的信息提取出来,以增强词向量中上下文相关的语义信息。2)本文提出一种基于孪生网络的模型,在词匹配过程中可以充分利用问题中词与词之间的相关信息。同时,在句子表示过程中,本文基于结构化注意力将传统模型中仅仅由单一向量表示句子信息的方法转化为多个向量表示,使得本文模型可以捕捉更多的句子信息。此外,本文提出了不同于原有模型中将句子单独转化为向量再匹配的方法,而是尝试将...

【文章页数】：76 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 选题背景
    1.2 国内外研究现状
        1.2.1 相关研究任务
        1.2.2 相似性问题检索研究现状
        1.2.3 可解释性深度模型研究现状
    1.3 本文主要研究内容
    1.4 本文内容安排
    1.5 本章小结
第二章 预备知识和基础理论
    2.1 循环神经网络
        2.1.1 循环神经网络基本原理
        2.1.2 RNN的基本应用
        2.1.3 梯度消失与梯度爆炸
    2.2 RNN的变体
        2.2.1 双向循环神经网络
        2.2.2 长短期记忆网络
        2.2.3 Gated Recurrent Unit
    2.3 注意力机制
    2.4 孪生网络
    2.5 本章小结
第三章 基于注意力机制的重复性问题检测模型
    3.1 重复性问题检测任务
        3.1.1 重复性问题
        3.1.2 相关任务
    3.2 重复性问题检测模型
        3.2.1 模型基本框架
    3.3 词向量模型
        3.3.1 词向量
        3.3.2 词向量获取
        3.3.3 语义增强
    3.4 词匹配
        3.4.1 基于注意力的匹配
        3.4.2 匹配信息集成
    3.5 句子匹配
        3.5.1 结构化自注意力机制
        3.5.2 句子联合表示
        3.5.3 句子匹配
    3.6 相似度判别
    3.7 本章小结
第四章 实验与分析
    4.1 数据集与数据处理
    4.2 实验结果与对比分析
        4.2.1 网络参数设置
        4.2.2 模型在各数据集上的实验结果
        4.2.3 不同词向量下模型测试结果
    4.3 对比实验以及可解释性
        4.3.1 模型各个模块分析
        4.3.2 注意力机制的可视化
    4.4 本章小结
第五章 总结与展望
    5.1 本文工作总结
    5.2 未来工作展望
参考文献
附录A 重复性问题数据示例
攻读硕士学位期间参加的科研项目与取得的科研成果
致谢



本文编号：3936738