Attention机制是源于人类视觉注意力机制的一种技术,其核心目标是从众多信息中挑选出与当前任务目标最相关的信息。2017年,Google机器翻译团队使用了自注意力机制来学习文本表示,并取得了非常好的效果。此后,自注意力机制成为了研究热点,并被引入到各种自然语言处理任务中。其中,Self Attention主要用于捕获同一句子中单词之间的一些句法特征或语义特征。引入Self Attention后,可以更容易地捕获句子中长距离的相互依赖的特征。如果没有引入注意力的模型在输入英文句子长度较短时表现良好,但如果输入中文句子,由于所有的语义都是通过一个中间语义向量来表示的,单词本身的信息已经消失,因此会丢失大量的细节信息。这也是为什么引入注意力模型的重要原因。

一名自然语言处理程序员正在做中文文本分类研究请你基于下面一段话描述并且不改变原来的意思:attention机制来自于人的视觉注意力机制核心目标是从众多信息中选择出对当前任务目标更关键的信息。2017年google机器翻译团队使用了自注意力self-attention机制来学习文本表示并取得了很好的效果。从此自注意力机制成为研究热点将其引入各种nlp任务中主要是用self attention

原文地址: http://www.cveoy.top/t/topic/brSe 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录