融合区分度信息的神经网络关系分类方法

发布时间：2024-03-02 07:33

　　关系分类是自然语言处理领域的一个子任务,它是很多其他自然语言处理任务的重要一环,如信息抽取,问答系统,知识库构建等。过去的方法大多将关系分类任务看做一个单纯的多分类任务,没有考虑类别与类别之间相似的问题。对于同种语义关系不同实体方向的两类关系来说,由于语义关系相同,他们的表达往往是相似的,因此这两类关系很容易混淆。为了解决同种语义关系不同实体方向的关系类别容易混淆的问题,本文提出了一种融合区分度信息的神经网络用于关系分类,在模型中引入了区分度信息用来区分语义关系相同实体方向不同的关系类别。本文通过实体词向量相减的方法将空间上的实体方向转化为数学上的向量的方向,并把实体词向量相减的结果作为区分度信息。该模型分为三个模块:句子表示模块,关系区分模块和区分度融合模块。在句子表示模块本文用双向长短时记忆神经网络(Bi-LSTM)作为编码器编码句子的语义信息,将词嵌入与词的位置特征嵌入的级联作为Bi-LSTM的输入特征,没有使用任何额外的特征。在关系区分模块,将实体词向量相减的结果作为关系区分模块的输入,经过非线性变换后得到区分度特征。区分度融合模块将句子表示模块的输出与关系区分模块的输出相融合...

【文章页数】：77 页

【学位级别】：硕士

【部分图文】：

图１－１知识库构建简图??

?山东大学硕士学位论文???另外，关系分类对知识图谱的构建有重要作用。知识图谱用符号描述现实世界??中的概念和概念之间的关系，知识图谱本身是一种结构化的语义知识库。它以“实??体－关系－实体”这样的三元组为基本组成单位，除三元组外，知识图谱中还包含实??体的“属性－值”对，实体之....

图２－１神经网络语言模型??前面提到通过训练神经网络语言模型得到词向量的方法太过耗时，而Ｍｉｌｏｋｏｖ??等人［３９＿于２〇丨３年提出的ｗ〇ｒｄ２歡刚好解决了这个问题

将词表示看做模型中需要训练的参数，利用词语上下文信息直接得到预测词的词??表示。Ｂｅｎｇｉｏ等人于２００３年提出神经网络语言模型（Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ?Ｌａｎｇｕａｇｅ?Ｍｏｄｅｌ，??ＮＮＬＭ）＾，同时得到了语言模型和词向量，该模型如图２－１所示，它的本质仍是??Ｎ－ｇ....

图２－２?ＣＢＯＷ模型结构图??

ＣＢＯＷ模型与神经网络语言模型结构类似，分为三层，输入层，映射层（隐??藏层），输出层。只是在ＣＢＯＷ模型中，映射层（隐藏层）不是非线性函数而是采??用求和操作，这一改变大大加快了模型的训练速度。其模型结构如图２－２所示：??ｗ（ｔ－２）?ｗ（ｔ－ｌ）?ｗ?（ｔ＋１）?ｗ?（ｔ＋....

图２－３?Ｓｋｉｐ－ｇｒａｍ模型结构??２．?２．?２?Ｗｏｒｄ２ｖｅｃ的加速方法??

与ＣＢＯＷ模型相同，该模型也是分为三层，输入层，映射层和输出层，输入??Ｍ输入的是中心词的ｏｎｅ－ｈｏｔ编码，经过映射层后送入到输出层，在Ｓｋｉｐ－ｇｒａｍ??模型中，映射层没有求平均操作，其模型结构如图２－３所示。Ｓｋｉｐ－ｇｒａｍ模型中输??入层的向量为ｅｔ，经过映射层的线性....

本文编号：3916542