基于文字内部信息的中文词向量的研究
发布时间：2021-11-28 07:19
词向量在自然语言处理各类任务中有着非常重要的作用,其本质是语料库中的单词或者短语映射到实数空间所得到的向量。词向量是自然语言处理领域的基础,词向量的好坏直接影响着各种自然语言处理任务完成的效果,所以词向量的研究一直是重点和热点。英文词向量的研究发展比较早,产生了很多重要的模型,比如Bengio模型、word2vec模型、fasttext模型。中文词向量的研究起步较晚,大多数中文词向量的研究都是在已有的英文词向量模型基础上进行的。对于中文词向量的研究,最关键的是要理解中英文之间的差异,英文中的每个单词均由26个字母组成,文字本身并不会包含语义信息,而中文是象形文字,其本身存在很多的语义信息,所以中文词向量的研究主要集中在如何利用中文词语内部的语义信息这一方面。本文首先利用汉字象形文字的特点,从汉字的字形和读音两个方面来进行中文词向量的改进。字形主要考虑组成中文词语的每一个汉字,读音考虑每个汉字的不带声调的拼音,然后利用CBOW模型得到字向量以及拼音向量,再将字向量、拼音向量直接与CBOW模型得到的词向量进行加和,得到三组词向量。评价词向量好坏主要有两种方法,分别是进行词相似性任务和类比推...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
部首处理列表[17]
电子科技大学硕士学位论文12第二章word2vec词向量模型及相关理论2.1神经网络模型及反向传播理论2.1.1神经网络模型神经网络（ArtificialNeuralNetworks，简写为ANNs）是一种对动物神经网络的行为特征模拟得到的一种进行分布式并行信息处理的数学模型算法。这种网络可以利用系统的复杂程度，通过调整内部大量节点数量以及节点之间相互连接的参数，来近一步达到信息处理这样的目的。神经网络主要由三个部分组成，它们分别是单元(神经元)，连接(权重/参数)，偏置项，网络中也会使用到两个重要的函数，分别是激励函数(ActivationFunction)和代价函数(LossFunction)。在神经网络的分类上，大致可以分为有监督的神经网络和无监督/半监督的神经网络，这几者之间的主要区别在于模型作用的学习任务是否具有已知标签。其中有监督的神经网络应用比较广的主要有普通神经网络，比如最早出现的单层神经网络感知机(Perceptron)；深度神经网络，其主要特点则是隐藏层有多层；循环神经网络[21,22,23](RecurrentNeuralNetworks)，其在机器翻译等NLP中使用较多；递归神经网络[24](RecursiveNeuralNetworks)；以及多用于计算机视觉领域的卷积神经网络[25](ConvolutionalNeuralNetworks)，大部分中文词向量的研究都是在word2vec两个基础模型上进行的，而word2vec的，两个基础模型实际上都是使用含有一个隐藏层的神经网络，即其第一层为输入层，然后连接单个隐藏层，最后连接到输出层。2.1.1.1神经元神经元是神经网络的最基本的组成，如下图所示：图2-1神经元模型上图为一个基本神经元结构，其中ix表示整个神经元的输入，iw则表示每个
第二章word2vec词向量模型及相关理论13对神经元的输入所对应的权重，最右侧的箭头表示输出。2.1.1.2激励函数(ActivationFunction)神经元的输入和输出之间是有一定的规则，在不同的条件下会有不同的输出，这样的规则我们则用函数关系来进行表示，这个函数则就称为激励函数[21]。神经网络模型本身其实是非线性的模型，所以对其应用会有局限性，但是有了激励函数之后，激励函数可以作用于神经网络的相邻两层之间，上一层首先输出，然后让其输出通过激励函数作用，再将其当成输入直接输入到下一层中。这样的神经网络有了激励函数，就可以克服非线性的特点，使得神经网络也可以进行很多线性模型的拟合，应用范围增加很多。常用的激励函数主要有：（1）Sigmoid函数Sigmoid函数[26]是最常用的激励函数之一，被称为S型函数，其函数可以将输入映射到0和1之间，函数表达形式如（2-1）所示为：()11xSxe-=+（2-1）对于(xS)求导可以使用自身来进行表示，如公式（2-2）所示：()()()(())211xxeSxSxSxe--￠==-+（2-2）其图像表现为：图2-2sigmoid函数图像
【参考文献】：
期刊论文
[1]基于BERT的古文断句研究与应用[J]. 俞敬松,魏一,张永伟. 中文信息学报. 2019(11)
[2]融合TF-IDF和LDA的中文FastText短文本分类方法[J]. 冯勇,屈渤浩,徐红艳,王嵘冰,张永刚. 应用科学学报. 2019(03)
[3]用于图像分类的卷积神经网络中激活函数的设计[J]. 王红霞,周家奇,辜承昊,林泓. 浙江大学学报(工学版). 2019(07)
[4]基于ArcReLU函数的神经网络激活函数优化研究[J]. 许赟杰,徐菲菲. 数据采集与处理. 2019(03)
[5]数字图像识别的代价函数选择和性能评价[J]. 李仲德,卢向日,崔桂梅. 电光与控制. 2019(12)
[6]基于深度卷积神经网络的道路场景理解[J]. 吴宗胜,傅卫平,韩改宁. 计算机工程与应用. 2017(22)
[7]梯度下降法的分析和改进[J]. 郭跃东,宋旭东. 科技展望. 2016(15)
[8]基于3种训练神经网络方法解决异或问题的研究[J]. 刘汉军,吴海锋,王阳. 云南民族大学学报(自然科学版). 2016(03)
[9]Word2vec的工作原理及应用探究[J]. 周练. 科技情报开发与经济. 2015(02)
[10]基于视觉单词共生矩阵的图像分类方法[J]. 朱道广,李弼程,蒋敏,刘钦安. 信息工程大学学报. 2013(04)
本文编号：3523968
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
部首处理列表[17]
电子科技大学硕士学位论文12第二章word2vec词向量模型及相关理论2.1神经网络模型及反向传播理论2.1.1神经网络模型神经网络（ArtificialNeuralNetworks，简写为ANNs）是一种对动物神经网络的行为特征模拟得到的一种进行分布式并行信息处理的数学模型算法。这种网络可以利用系统的复杂程度，通过调整内部大量节点数量以及节点之间相互连接的参数，来近一步达到信息处理这样的目的。神经网络主要由三个部分组成，它们分别是单元(神经元)，连接(权重/参数)，偏置项，网络中也会使用到两个重要的函数，分别是激励函数(ActivationFunction)和代价函数(LossFunction)。在神经网络的分类上，大致可以分为有监督的神经网络和无监督/半监督的神经网络，这几者之间的主要区别在于模型作用的学习任务是否具有已知标签。其中有监督的神经网络应用比较广的主要有普通神经网络，比如最早出现的单层神经网络感知机(Perceptron)；深度神经网络，其主要特点则是隐藏层有多层；循环神经网络[21,22,23](RecurrentNeuralNetworks)，其在机器翻译等NLP中使用较多；递归神经网络[24](RecursiveNeuralNetworks)；以及多用于计算机视觉领域的卷积神经网络[25](ConvolutionalNeuralNetworks)，大部分中文词向量的研究都是在word2vec两个基础模型上进行的，而word2vec的，两个基础模型实际上都是使用含有一个隐藏层的神经网络，即其第一层为输入层，然后连接单个隐藏层，最后连接到输出层。2.1.1.1神经元神经元是神经网络的最基本的组成，如下图所示：图2-1神经元模型上图为一个基本神经元结构，其中ix表示整个神经元的输入，iw则表示每个
第二章word2vec词向量模型及相关理论13对神经元的输入所对应的权重，最右侧的箭头表示输出。2.1.1.2激励函数(ActivationFunction)神经元的输入和输出之间是有一定的规则，在不同的条件下会有不同的输出，这样的规则我们则用函数关系来进行表示，这个函数则就称为激励函数[21]。神经网络模型本身其实是非线性的模型，所以对其应用会有局限性，但是有了激励函数之后，激励函数可以作用于神经网络的相邻两层之间，上一层首先输出，然后让其输出通过激励函数作用，再将其当成输入直接输入到下一层中。这样的神经网络有了激励函数，就可以克服非线性的特点，使得神经网络也可以进行很多线性模型的拟合，应用范围增加很多。常用的激励函数主要有：（1）Sigmoid函数Sigmoid函数[26]是最常用的激励函数之一，被称为S型函数，其函数可以将输入映射到0和1之间，函数表达形式如（2-1）所示为：()11xSxe-=+（2-1）对于(xS)求导可以使用自身来进行表示，如公式（2-2）所示：()()()(())211xxeSxSxSxe--￠==-+（2-2）其图像表现为：图2-2sigmoid函数图像
【参考文献】：
期刊论文
[1]基于BERT的古文断句研究与应用[J]. 俞敬松,魏一,张永伟. 中文信息学报. 2019(11)
[2]融合TF-IDF和LDA的中文FastText短文本分类方法[J]. 冯勇,屈渤浩,徐红艳,王嵘冰,张永刚. 应用科学学报. 2019(03)
[3]用于图像分类的卷积神经网络中激活函数的设计[J]. 王红霞,周家奇,辜承昊,林泓. 浙江大学学报(工学版). 2019(07)
[4]基于ArcReLU函数的神经网络激活函数优化研究[J]. 许赟杰,徐菲菲. 数据采集与处理. 2019(03)
[5]数字图像识别的代价函数选择和性能评价[J]. 李仲德,卢向日,崔桂梅. 电光与控制. 2019(12)
[6]基于深度卷积神经网络的道路场景理解[J]. 吴宗胜,傅卫平,韩改宁. 计算机工程与应用. 2017(22)
[7]梯度下降法的分析和改进[J]. 郭跃东,宋旭东. 科技展望. 2016(15)
[8]基于3种训练神经网络方法解决异或问题的研究[J]. 刘汉军,吴海锋,王阳. 云南民族大学学报(自然科学版). 2016(03)
[9]Word2vec的工作原理及应用探究[J]. 周练. 科技情报开发与经济. 2015(02)
[10]基于视觉单词共生矩阵的图像分类方法[J]. 朱道广,李弼程,蒋敏,刘钦安. 信息工程大学学报. 2013(04)
本文编号：3523968
本文链接：https://www.wllwen.com/wenyilunwen/yuyanyishu/3523968.html
