基于神经网络的量子语言模型及其应用

发布时间：2024-01-29 15:20

　　语言模型在很多人工智能领域都是一个基础的研究主题。近年来,受量子理论启发,在信息检索领域种提出了一种量子语言模型。量子语言模型通过量子理论中的密度矩阵建模句子中的词项依赖,相比于传统的n元语言模型,能够在不增加模型参数的情况下表示出任意长度的依赖关系。然而在量子语言模型中,词项的表示是由one-hot得到的,只能建模局部的依赖。量子语言模型中的密度矩阵的求解是通过迭代过程估计得到,表示和匹配过程是分开的,因此不能从整体上寻找最优解,这限制了在其他相关任务上的应用。为了扩展量子语言模型的理论和应用基础,本文提出了一种基于神经网络的量子语言模型,并将其应用于问答任务中。将一个句子看作是一个量子系统,在神经网络中根据word embeddings构造句子的密度矩阵表示,然后得到问答对的联合表示,利用卷积神经网络从联合表示中提取出来的特征,来判断问句和答句的相似度。与原始的量子语言模型相比,这是一种端到端的模式,能更充分地利用大数据的优势,并且在效果上得到了很大的提升。在TREC-QA和WIKI-QA这两个数据集实验结果验证了本文模型的有效性。

【文章页数】：55 页

【学位级别】：硕士

图4-1单个句子的密度矩阵表示

图4-2NNQLM-II如图4-2所示，得到联合表示的过程与第一个基于神经网络的量子语言

本文编号：3888386