注意力机制赋能多模态实体关系识别: 自由建立标记对应关系

由于注意力机制的存在，可以自由地建立联合实体中每一对标记之间的对应关系，而不考虑它们的模态。例如，视觉标记可以关注视觉标记，也可以自由地关注语言标记。通常，'[REG]'标记的输出状态会形成一个综合的表示，其中包含了视觉和语言上下文，并进一步用于边框坐标预测。

原文地址: https://www.cveoy.top/t/topic/ocOH 著作权归作者所有。请勿转载和采集!