自注意力机制：打破局部感受野限制，增强特征提取

自我注意力机制是一种注意力机制，它能够克服普通卷积层只能捕获局部感受野的限制。它不需要额外的输入特征，而是通过像素之间的注意力机制来获得全局信息的相关性，从而实现增强特征的目的。经典的注意力机制是Wang等人[47]提出的非局部注意力模块（Non-Local）。为了捕获像素间的长远距离依赖，该模块将特征内部某个位置的相关性结果计算为所有位置特征的加权和。因此，Non-Local的操作原理可以用公式2.11来表示：