固定位置编码的缺点
-
固定位置编码无法表示不同长度的序列。因为每个位置只有一个编码,无法区分不同长度的序列。
-
固定位置编码没有考虑序列中的语义信息。因为编码只是单纯的位置信息,无法反映序列中的语义信息,如词性、词义等。
-
固定位置编码没有考虑序列中的上下文信息。因为编码只是针对每个位置而言的,无法反映序列中不同位置之间的上下文关系,如前后文的影响。
-
固定位置编码可能会出现冲突。因为每个位置只有一个编码,可能会有不同的序列出现相同的编码,导致模型难以区分不同的序列。
原文地址: http://www.cveoy.top/t/topic/bjG8 著作权归作者所有。请勿转载和采集!