PyTorch nn.MultiheadAttention 返回值详解

PyTorch 中的 nn.MultiheadAttention 返回三个值：

1. 输出张量：形状为 (tgt_len, batch_size, embed_dim)，其中 tgt_len 是目标序列的长度，batch_size 是批次大小，embed_dim 是嵌入维度。

2. 注意力张量：形状为 (batch_size, num_heads, tgt_len, src_len)，其中 num_heads 是头的数量，src_len 是源序列的长度。

3. 缓存：包含了源张量和源张量的注意力掩码，以便在下一次调用时使用。