基于深度学习的跨语言文本匹配算法

发布时间：2024-01-30 05:36

　　随着互联网技术和人工智能技术的不断发展,自然语言处理技术的发展也步入了快车道。文本匹配技术可广泛应用于智能问答、信息检索、问题复述等多项自然语言处理任务中。但传统的文本匹配语言适应性不强,对新语言进行数据标注的成本很高。本文使用迁移学习思想解决这一问题,在数据较多的语言上训练文本匹配模型辅助数据较少的语言进行学习,从而降低学习成本。本文对跨语言文本匹配问题进行了分析,将问题拆分为跨语言文本特征映射和文本匹配两个子问题,结合深度学习的模块化设计特点在设计模型时综合考虑这两个问题,提出了一种基于深度学习的跨语言文本匹配模型。本文首先对文本特征映射问题进行了研究,不同语言的语法结构和表述规律虽有不同,但其语义空间往往存在相似性。本文利用不同语言的高维特征空间可以线性映射这种关系,先对不同语言使用Transformer独立训练语言模型,然后使用监督式GAN学习不同语言的高维空间映射关系。为提高语言模型健壮性,在训练语言模型时设计引入了数据噪声并在生成编码时使用保留词向量及句向量。在跨语言向量映射时只使用少量平行数据训练生成对抗网络,降低了数据获取成本。本文对文本匹配问题进行了研究,在设计文本匹...

【文章页数】：69 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 引言
    1.1 研究背景及研究意义
    1.2 本文要解决的问题
    1.3 本文的主要工作及研究特点
    1.4 本文组织结构
第二章 相关研究概述
    2.1 文本匹配技术概述
    2.2 迁移学习与预训练语言模型技术概述
        2.2.1 迁移学习技术概述
        2.2.2 预训练语言模型技术概述
    2.3 机器翻译技术概述
    2.4 本章小结
第三章 跨语言文本特征映射模型
    3.1 跨语言文本特征映射模型概述
    3.2 Transformer预训练语言模型
        3.2.1 编码器及解码器结构
        3.2.2 注意力机制
        3.2.3 位置敏感的前馈神经网络及位置编码
        3.2.4 数据噪声模型
        3.2.5 文本特征编码
    3.3 监督式GAN文本特征迁移模型
    3.4 跨语言文本特征映射模型实验结果
        3.4.1 文本数据通用预处理方法
        3.4.2 Transformer预训练语言模型数据集介绍
        3.4.3 Transformer预训练语言模型实验结果
        3.4.4 跨语言文本特征映射模型数据集介绍
        3.4.5 跨语言文本特征映射模型实验结果
    3.5 本章小结
第四章 跨语言文本匹配模型
    4.1 跨语言文本匹配模型概述
    4.2 SACNN文本匹配模型
        4.2.1 多头自注意力匹配模块
        4.2.2 卷积特征匹配模块
        4.2.3 融合输出模块
    4.3 模型测试实验流程
    4.4 实验结果分析
        4.4.1 实验数据简介
        4.4.2 文本匹配模型实验结果
        4.4.3 跨语言文本匹配模型实验结果
    4.5 本章小结
第五章 总结与展望
    5.1 总结
    5.2 展望
参考文献
作者攻读学位期间完成的科研成果
致谢



本文编号：3889604