自注意力机制：突破卷积层限制，获取全局信息

自注意力机制是一种注意力机制，它能够突破普通卷积层只能捕获局部感受野的限制。该机制不需要额外的输入特征，仅通过像素之间的注意力机制就能获得全局信息的相关性，从而提高特征的表现。经典的自注意力机制是非局部注意力模块（Non-Local），该模块由Wang等人[47]提出，旨在捕获像素间的长距离依赖关系。为了计算特征内部某个位置的相关性结果，该模块将所有位置特征的加权和作为计算基础。因此，Non-Local的操作原理可以用公式2.11来表示：