nnmultiheadattention 返回值的权重意义

nn.multiheadattention 的返回值权重包含了注意力机制的信息。具体来说，返回值为一个元组，包含了三个张量，分别为：

• output: 带有注意力权重的输出张量。
• attn_output_weights: 注意力权重张量，形状为 [batch_size, num_heads, sequence_length, sequence_length]，其中 batch_size 为批次大小，num_heads 为注意力头数，sequence_length 为序列长度。
• attn_output_weights_sum: 注意力权重张量的和，形状与 attn_output_weights 相同。

其中，output 张量是输入张量经过注意力机制计算后得到的带有权重的输出张量。attn_output_weights 张量记录了每个位置对其他位置的注意力权重值，可以用于可视化注意力权重分布。attn_output_weights_sum 张量记录了每个位置的注意力权重值之和，用于计算注意力权重的平均值。