KL散度公式：衡量概率分布差异的利器

KL散度（Kullback-Leibler divergence），也称为相对熵，是衡量两个概率分布之间差异的非对称指标。它的公式如下：/n/n$$D_{KL}(P/|Q) = /sum_{x/in X} P(x)/log/frac{P(x)}{Q(x)}$$/n/n其中，'P'和'Q'是两个概率分布，'X'是概率分布的取值范围。'D_{KL}'表示从'Q'到'P'的KL散度，它描述了将'Q'分布近似成'P'分布的代价。KL散度不具有对称性，即'D_{KL}(P/|Q) /neq D_{KL}(Q/|P)'。 KL散度的值越小，表示两个分布越相似；值越大，表示两个分布差异越大。