语言模型架构优化：提升结构预测任务性能

有些任务需要在语言模型之上额外构建重要的架构，如图2（中央）所示。有足够的训练数据和计算能力时，研究人员可以选择训练一个具有实质性的任务特定架构，并对语言模型进行微调。这是结构预测任务的首选选择，特别是解析任务和偶尔的序列标记任务。使用这种方法的序列标记模型的例子包括BERT-CRF用于命名实体识别（Souza等人，2020b; Taher等人，2019），尽管值得注意的是，Devlin等人（2019）表明，对于BERT的命名实体识别，条件随机场（CRF）层并不一定是必需的。使用这种方法的解析模型的例子包括UDapter用于依存分析（Ustun等人，2020）。

任何使用预训练语言模型作为编码器的序列到序列任务都可以采用这种方法。一个有趣的例子是Zhu等人（2020）提出的机器翻译。然而，Zhu等人并没有发现使用基于BERT的冻结词嵌入会有任何显著改进。

另一种相关且非常成功的方法是微调整个语言模型，然后在算法上提供大量任务特定的重要工作。例如，它可能把任务从语言模型理解的分类问题转化为所需的目标形式，通常是树形结构或一组聚类。对于共指消解，Joshi等人（2019, 2020）添加了一个重要算法，在他们的情况下是e2e-coref（Lee等人，2018），它将跨度对的评分转化为有效的提及聚类。具体而言，对于每个候选提及跨度，算法从提及分数（是否可能是提及）和两个跨度的兼容分数（涉及前馈网络的计算）计算可能的先行跨度分布。在这个领域中，另外两个结构解析的例子是时间依存分析（Ross等人，2020）和情态依存分析（Yao等人，2021）。这些研究通过首先执行分类问题来算法地处理树的构建，以识别合适的依存对，然后对它们进行排名以构建一个有效的树。