PyTorch nn.MultiheadAttention 返回值权重解析

PyTorch 中的 nn.MultiheadAttention 模块使用多头注意力机制来计算输入序列的表示。该模块的返回值包含了注意力机制的信息，是一个包含三个张量的元组：

• 'output': 带有注意力权重的输出张量。
• 'attn_output_weights': 注意力权重张量，形状为 '[batch_size, num_heads, sequence_length, sequence_length]'，其中 'batch_size' 为批次大小，'num_heads' 为注意力头数，'sequence_length' 为序列长度。
• 'attn_output_weights_sum': 注意力权重张量的和，形状与 'attn_output_weights' 相同。

'output' 张量是输入张量经过注意力机制计算后得到的带有权重的输出张量。'attn_output_weights' 张量记录了每个位置对其他位置的注意力权重值，可以用于可视化注意力权重分布，帮助理解模型的关注点。'attn_output_weights_sum' 张量记录了每个位置的注意力权重值之和，用于计算注意力权重的平均值，可以用来分析模型的整体关注模式。