在低资源场景下，命名实体识别（NER）一直是自然语言处理领域中的棘手难题。近年来，自增强（self-augmentation）方法被越来越广泛地应用于解决这一挑战。具体到NER这类token级别的任务，业内公认较为有效的两种自增强手段分别是token替换与表征混合。
然而，这里存在一个关键问题：自增强方法所生成的增强数据天生带有噪声。以往的研究是如何应对的呢？无非是针对每一种具体的自增强方法，单独设计一套基于规则的约束，来降低噪声的干扰。这种做法显然不够优雅，也过于繁琐。
因此，本文提出了一种联合的meta-reweighting策略，能够非常自然地整合这些方法。更为重要的是，该框架很容易扩展到其他自增强方法上。实验数据也充分证明，这套方法能够显著提升自增强技术的整体表现。
论文标题：
Robust Self-Augmentation for Named Entity Recognition with Meta Reweighting
论文链接：
https://arxiv.org/pdf/2204.11406.pdf
代码链接：
https://github.com/LindgeW/MetaAug4NER
引言（Introduction）
命名实体识别（NER）是NLP领域的基础性任务，其目标是从非结构化文本中抽取出预定义的命名实体。近年来，基于神经网络的方法不断刷新NER效果，但代价是通常需要海量标注数据。而在真实业务场景中，这种“数据自由”往往难以实现。因此，小样本设置下的NER愈发贴近现实需求。
数据自增强是小样本任务中一条可行的出路。对于NER这类token级别的任务，token替换和表征混合是最常用的两种手段。但正如前文所述，自增强并非万能——它需要为每种方法单独设计约束，以缓解噪声带来的负面影响。本文的核心贡献，正是提出一个meta-reweighting框架，将各类方法统一整合。
具体来说，该研究首先放宽了前人的约束条件，目的是生成更多伪样本。当然，这样做会引入更多低质量的增强样本。为此，作者设计了一套meta reweighting策略来控制这些增强样本的质量。更重要的是，通过使用example reweighting机制，可以很自然地将两种自增强方法结合在一起。实验表明，在小样本场景下，这套方法能显著提升数据自增强的效果；即便在全监督场景下，它依然表现出色。
方法（Method）
2.1 基线模型（Baseline）
本文的基础模型（baseline）采用经典的BERT+BiLSTM+CRF架构。给定输入序列后，首先利用预训练的BERT为每个token生成表征。
接着，通过BiLSTM进一步抽取上下文特征：
最后，使用CRF进行解码。具体做法是：将表征通过一层线性层作为初始的标签分数，然后定义一个标签转移矩阵T来建模标签之间的依赖关系。对于一个标签序列，其分数的计算方式如下：
其中W、b和T是模型参数。最终通过维特比算法找到最优的标签序列。训练时采用句子级别的交叉熵损失，对于给定的监督样本对(X, Y)，其条件概率P(Y|X)的计算如下：
其中是候选的标签序列。
2.2 自增强方法（Self-Augmentation Methods）
2.2.1 Token替换（Token Substitution, TS）
Token替换，就是在原始训练文本中对部分token进行替换，从而生成伪样本。本文通过构建同义词词典来完成这一步。词典中既包含实体词，也包含大量普通词。依照前人的做法，他们将属于同一实体类型的词视为同义词，并添加到实体词典中，作者称之为entity mention substitution (EMS)。同时，他们还把token替换扩展到了“O”类型中，称之为normal word substitution (NWS)。对于“O”类型词的同义词获取，他们采用word2vec方法，在wikidata上通过余弦相似度找到k个最近邻的词。
这里有一个关键参数（表示EMS的占比），用于平衡EMS和NWS的比例，从而在entity diversity与context diversity之间找到更优的平衡点。
2.2.2 CRF的Mixup方法
与Token替换在原始文本层面做增强不同，mixup是在表征层面进行处理。本文将mixup方法扩展到了CRF层。形式化地讲，给定一对样本，首先用BERT得到它们的向量表示。然后通过一个参数将两个样本混合：
其中，n为，从分布中采样。此时的损失函数变为：
2.3 元重加权（Meta Reweighting）
与句子级别的分类任务不同，NER这种token级别的任务对上下文高度敏感。个别低质量的增强数据，就可能严重破坏模型效果。在本文中，作者采用meta reweighting策略，为mini batch中的训练数据分配样本级别的权重。
在小样本设置下，我们希望那少量标注样本能够“引导”增强样本进行模型参数更新。直觉上，如果增强样本的数据分布及其梯度下降方向与标注样本相似，那么模型就能从增强样本中学到更多有用的信息。
算法的具体流程如下：
实验（Experiments）
3.1 实验设置（Setup）
数据集方面，本文选用了OntoNotes 4、OntoNotes 5、微博和CoNLL03，所有数据集均采用BIOES标注方式。
对于NWS，他们使用了在Wikipedia上训练的GloVe来获取词向量，取top5最近邻的词作为同义词。取值为0.2，在Beta (7, 7)中进行采样，评价指标采用F1值。
3.2 主要实验结果（Main Results）
本文在小样本和全监督两种设置下均进行了实验，结果如下：
3.3 分析（Analysis）
作者在CoNLL03 5%的设置下，分析了增强数据量对实验结果的影响：
一个清晰的发现是：当增强数据达到原始训练数据的5倍之后，模型效果便趋于平缓。也就是说，单纯增加增强样本的数量，并不能带来效果的持续增长。
接下来，作者在三种小样本设置下分析了参数的影响：
结果显示，在20%时效果最佳。而且，只使用NWS的效果比只使用EMS更好。可能的原因是：实体词在文本中较为稀疏，而NWS能够产生更多样化的伪样本。
随后，作者分析了mixup参数（Beta分布参数）的取值：
由于本文中Beta分布的两个参数都取，其期望为0.5。当增大时，分布的方差减小，采样更容易取到0.5。实验表明，当取7时整体效果最好。
最后，作者还分析了mixup添加在不同位置的结果差异：
总结（Conclusion）
本文提出了meta reweighting策略来增强伪样本的效果，是一项富有启发性的工作。其核心思路是从梯度的角度出发，结合类似MAML中gradient by gradient的思想，利用少量标注样本去指导伪样本的训练——通过对伪样本的损失进行加权，修正其梯度下降的方向，使其与标注样本的分布更加一致。