Gumbel-Softmax 公式：生成离散分布的强大工具

Gumbel-Softmax 公式是一种用于生成离散分布的技术。该公式由两个部分组成：Gumbel 分布和 Softmax 函数。

Gumbel 分布是一种连续概率分布，由两个参数 μ 和 β 控制。它的概率密度函数为：

f(x) = (1/β)exp(-(x - μ + exp(-(x - μ))/β))

其中，exp(x) 表示自然指数函数，即 e 的 x 次方。

Softmax 函数是一种常用的分类函数，用于将一组实数转换为概率分布。它的公式为：

softmax(x) = exp(x) / ∑exp(x)

其中，exp(x) 表示自然指数函数，∑exp(x) 表示所有 x 的指数和。

Gumbel-Softmax 公式将 Gumbel 分布和 Softmax 函数结合起来，用于生成一个离散分布。具体地，它的公式为：

y = softmax((g + log(p)) / τ)

其中，g 是从 Gumbel 分布中采样得到的随机数，p 是一个概率向量，用于表示每个类别的概率，τ 是一个温度参数，用于控制分布的平滑程度。

通过调整温度参数 τ，可以得到不同平滑度的分布。当 τ 趋近于 0 时，分布变得越来越集中，最终变成一个 one-hot 向量；当 τ 趋近于无穷大时，分布变得越来越平滑，最终变成一个均匀分布。