高斯分布的KL散度：定义、公式及应用

高斯分布的KL散度，也称为相对熵或信息散度，是衡量两个概率分布之间差异的一种指标。对于两个高斯分布 'p(x)' 和 'q(x)'，其KL散度可以表示为：

$KL(p || q) = \frac{1}{2} \left( \mathrm{tr}(\boldsymbol{\Sigma}_q^{-1} \boldsymbol{\Sigma}_p) + (\boldsymbol{\mu}_q - \boldsymbol{\mu}_p)^T \boldsymbol{\Sigma}_q^{-1} (\boldsymbol{\mu}_q - \boldsymbol{\mu}_p) - k + \ln \frac{|\boldsymbol{\Sigma}_q|}{|\boldsymbol{\Sigma}_p|} \right)$

其中，'$\boldsymbol{\mu}_p$' 和 '$\boldsymbol{\mu}_q$' 分别是两个高斯分布的均值向量，'$\boldsymbol{\Sigma}_p$' 和 '$\boldsymbol{\Sigma}_q$' 分别是它们的协方差矩阵，'|$\cdot$|' 表示矩阵的行列式，'$\mathrm{tr}(\cdot)$' 表示矩阵的迹，'k' 是向量的维度。

KL散度可以用于衡量两个分布之间的差异程度，它是非负的，且当且仅当两个分布相等时取到最小值为0。在深度学习中，KL散度常被用于衡量生成模型生成的数据分布和真实数据分布之间的差异。