受BERT类预训练任务的掩码语言模型启发我们将Bai 43等人应用在AMR领域的图结构自编码还原的思想应用到树形结构上我们提出一种在文本生成类模型上进行结构遮蔽操作的方法随后提出了一种同时用于微调和预训练任务的联合输入自编码范式。在预训练阶段该范式包括多种文本和线性化树的部分、全部以及无掩码组合作为模型的输入输出则遵循现有的掩码语言模型Mask Language Model针对性的恢复输入中被掩盖

我们从BERT类预训练任务中得到启发，将Bai等人在AMR领域的图结构自编码还原方法应用到树形结构上。我们提出了一种在文本生成类模型上进行结构遮蔽操作的方法，并提出了一种联合输入自编码范式，可用于微调和预训练任务。在预训练阶段，我们使用多种文本和线性化树的部分、全部以及无掩码组合作为模型的输入，输出遵循现有的掩码语言模型。我们有针对性地恢复输入中被掩盖住的部分，并随着训练步数的增加逐步增加遮蔽率。这些不同的组合在预训练阶段进行多任务联合预训练，以增强模型对线性化后树形结构的理解能力，使预训练语言模型充分学习到树形结构中丰富的结构知识。整体流程如图4-1所示。