融合注意力机制和BiLSTM+CRF的渔业标准命名实体识别

发布时间：2024-03-01 20:30

　　为了解决渔业标准文本中专有命名实体具有上下文敏感性、长序列存在语义稀释等问题,提出了基于E-BIO标注法和融合注意力机制的BiLSTM+CRF (BiLSTM+Attention+CRF)命名实体识别模型,E-BIO标注法引入渔业标准文本中的结构化信息,可以使模型有效学习上下文结构特征,而注意力机制输出不断变化的语义向量,可有效解决长序列语义稀释问题。为验证所提出方法的有效性,在采用E-BIO方法标注的语料上进行对比试验,结果显示,BiLSTM+Attention+CRF模型对不同类别的渔业标准命名实体识别的准确率均能达到90%以上,召回率均能达到85%以上。研究表明,本研究中提出的BiLSTM+Attention+CRF命名实体识别模型可以有效利用上下文结构特征,避免了语义稀释问题,对于渔业标准命名实体识别具有较好的识别性能。

【文章页数】：6 页

【部分图文】：

图2BiLSTM模型框架

由于LSTM只能编码正向时序的信息,导致当前时刻的词语在LSTM网络下文权重大于上文权重的问题。BiLSTM网络将句子正向输入得到的序列和反向输入得到的序列拼接起来。正向序列即从句子的左边第一个词向后遍历,反向序列即从最后一个词向前遍历,并将两个序列拼接起来,得到BiLSTM的隐....

图3渔业标准号实例

(1)渔业标准号。渔业标准号是渔业标准的唯一标识,由“字母段”和“数字段”两部分构成。通常出现在渔业标准“规范性引用文件”和标准指标描述部分,如“GB11607”、“GB/T5099.44-2003”“NY5288-2006”、“SC2056”、“SC/T3210-2....

图4渔业指标实例

(2)渔业标准指标。渔业标准定义渔业生产中需要规范化操作的项目名称,如“育苗设施”、“原料处理与装笼”、“冻品外观检验”、“鱼片”、“黑膜”等(图4)。2.1.2渔业标准实体标注方法

图1渔业标准命名实体识别总体框架

针对渔业标准命名实体识别中上下文向量权重不均、长序列前端语义稀释等问题,结合注意力机制提出了BiLSTM+Attention+CRF渔业标准命名实体模型,总体框架如图1所示。模型由CharEmbedding层、BiLSTM编码器、Attention层和CRF解码器4部分组成。....

本文编号：3915792