J

JakeSun

V1

2022/07/30阅读:10主题:全栈蓝

用于命名实体识别的模块化交互网络

Modularized Interaction Network for Named Entity Recognition

用于命名实体识别的模块化交互网络

Abstract

当前的NER存在一定的缺陷:序列标注的NER模型识别长实体时表现不佳,因为序列标注只关注词级信息。边界检测和类型检测可以相互协作,两个子任务之间共享信息可以互相加强。本文提出了一种新的模块化交互网络模型(MIN),该模型能够同时利用segment-level和word-level依赖关系,并加入交互机制来支持边界检测和类型预测之间的共享信息。

1. Introduction

NER的目标是检测文本文本中实体的边界和实体的类型。本文作者在实验中发现边界检测和类型检测两个任务是相关的,因此提出了本文的方法:共享边界检测和类型检测的信息进行NER。

Emmy Rossum was from New York University.

  • 如果University是一个实体边界,那么将对应的实体类型预测为ORG更准确。
  • 类似的,如果知道一个实体具有ORG类型,那么预测University是实体New York University的结束边界,而不是York会更正确。

然后,基于序列标注的模型将边界和类型视为标签,因此这些信息不能在任务之间共享。

为了解决基于序列标注的模型在识别长实体的问题,以及基于片段的模型中利用片段内的词级依赖关系的问题。

  • 本文在边界模型中加入了指针网络作为解码器,用来获取每个单词的片段级信息。
  • 将segment-level信息和关于每个单词的对应的word-level信息连接起来,作为基于序列标注的模型的输入。
  • 使用两个不同的编码器从两个子任务中提取它们的上下文表示,并提出了一种相互促进的交互机制,并将这些信息融合到NER模型中进行多任务训练。

2. Proposed Model

2.1 NER Module

采用rnn-bilstm-crf作为backbone。

2.1.1 Word Representation

输入句子: =< >,其中 由word-level embedding和character-level embedding表示。

分别是预训练的word embedding和由BiLSTM得到的。

2.1.2 BiLSTM Encoder

< >馈送到BiLSTM中,得到所有words的hidden sequence < >:

在NER Module中,本文融合了Boundary Module和Type Module表示,并不是简单的将hidden sequence拼接,而是使用门控函数控制信息流数量。除此之外,本文还融合了Boundary Module中的Segment information,用于支持长实体的识别。

其中 表示boundary module和type module的hidden sequence。 表示boundary module的segment information。 表示使用interaction mechanism之后来自两个模块的hidden sequence。 表示在门控函数的控制下,输入NER module的hidden sequence。

NER Module的最终hidden representations:

2.1.3 CRF Decoder

对于输入句子: < >,预测标签序列得分为: <$y_1,...,y_n>,定义如下:

其中 表示 to 的分数。 表示句子中第i个单词为标签 的score。

CRF模型描述了集合Y中所有可能的标签序列的预测标签y的概率:

2.2 Boundary Module

boundary module不仅需要为ner module提供上下文边界信息,还要提供segment information。

本文使用一个BiLSTM作为编码器提取不同的context boundary information。本文使用带有指针网络的神经递归网络进行检测实体段信息。

boundary模型处理实体中的开始边界词,指向相应的结束边界词,跳过实体中的其他实体单词,非实体词指向一个指定的位置。由于实体长度的变化,该模型缺乏批量训练的能力。

另外,实体中的每个单词的segment information与起始边界词相同,如果错误的检测到起始边界词,那么段内的所有词的segment information都将错误,本文改进了这个训练过程,用一种新的方法获取每个单词的segment信息。

训练起始边界词指向相应的结束边界词,句子中的其他单词指向不活动的前哨兵词(inactive)。

使用BiLSTM作为编码器,获得明显的boundary hidden sequences:

在hidden sequence 的最后一个位置填充一个哨兵向量inactive,这个哨兵向量作为不活动单词的标识(不是实体词的指向)。

使用LSTM作为解码器,在每个时间步j出生成解码后的状态 ,为了给LSTM的输入添加额外的信息,本文使用current( ),previous( h_{i+1}^{Bdy}$)三个隐藏状态的和代替word embedding作为解码器的输入:

Note:第一个词和最后一个词没有前面一个词和后面一个词的hidden states,本文使用zero vector表示。

之后,本文使用biaffine注意机制在时间步长j为每个可能的boundary position i 生成特征表示 ,并使用softmax函数求出单词 的概率,用于确定以单词 开头,以单词 结尾的entity segment的概率:

本文使用 作为单词 开头,以单词 作为结尾的segment information置信度。然后将概率 w_j H^{Seg}$:

其中 表示以单词 开始,以单词 结尾的segment information 表示。 表示segment information of boundary module。

2.3 Type Module

对于type module,本文使用于NER模型中相同的网络结构。在给定共享输入 < >的情况下,使用BiLSTM来提取不同的上下文类型信息 < >,然后使用CRF来标记类型标签。

2.4 Interaction Mechanism

如上所示,边界信息和类型信息可以相互增强。本文在每个子任务标签上使用self-attention机制获得明确的label representations,然后,将这些representation和相应子任务的contextual information连接起来,得到label-enhanced contextual information,将经过self-attention的向量和本身向量进行拼接。对于第i个label-enhanced boundary contextual representation ,本文首先使用biaffine attention来控制 与label-enhanced type contextual information < >的attention scores。

然后,将第i个label-enhanced boundary representation 和interaction representation 拼接起来。

相似的,可以通过考虑边界信息得到更新的类型表示

2.5 Joint Training

3 Experiments

3.1 Results

当与没有使用任何语言模型或外部知识的模型进行比较时,本文的MIN模型在查准率、召回率和F1分数方面优于所有比较的基线模型,并在CoNLL2003、WNUT2017、JNLPBA数据集上分别提高了0.75%,4.77%,3.26%。BiLSTM-Pointer的模型普遍低于其他模型,这是因为它没有利用片段内的词级依赖关系,并且在边界检测和类型预测期间还存在边界错误传播问题。

4 启示

  1. 将边界信息和类型信息进行交互,在具有语言模型的基础上取得的结果确实够高。
  2. 没有找到代码,但是论文的模型部分写的真的好,可以尝试复现。
  3. 欢迎关注微信公众号:自然语言处理CS,一起来交流NLP。

分类:

人工智能

标签:

自然语言处理

作者介绍

J
JakeSun
V1