中文文本分类中自注意力机制的必要性

此后，'自我关注'机制已成为研究的热点，被广泛应用于各种自然语言处理任务中。这主要是因为'自我关注'机制可以获取同一句子中单词之间的一些句法或语义特征。特别是对于长句子，引入'自我关注'机制可以更容易地捕获长距离的相互依赖特征。没有采用'关注'机制的模型在处理英文短句子时问题不大，但在处理中文句子时，所有语义都通过一个中间语义向量来表示，单词本身的信息已经丢失，会导致丢失大量细节信息。因此，引入'关注'模型是非常必要的。