Gumbel-Softmax 公式详解：生成离散概率分布的方法

Gumbel-softmax 公式是一种用于生成离散概率分布的方法，通常用于生成离散的输出，例如分类问题中的预测标签。Gumbel-softmax 公式的表达式如下：

$$\y_i = \frac{\exp((\log p_i + g_i)/\tau)}{\sum_{j=1}^K \exp((\log p_j + g_j)/\tau)}$$

其中，$y_i$ 是第 $i$ 个元素的概率，$p_i$ 是原始的概率分布，$g_i$ 是从 Gumbel 分布中采样得到的随机变量，$\tau$ 是一个温度参数，$K$ 是离散变量的数量。

具体来说，Gumbel-softmax 公式先从 Gumbel 分布中采样得到 $K$ 个随机数 $g_1, g_2, ..., g_K$，然后将 $p_i$ 和 $g_i$ 组合起来，计算出 $y_i$。温度参数 $\tau$ 控制着分布的“软硬程度”，当 $\tau$ 较大时，分布会更加平滑；当 $\tau$ 较小时，分布会更加集中。