离散信源信息熵详解：定义、公式与意义

离散信源的信息熵是指该信源产生的所有可能符号的概率分布所对应的信息量的平均值。设离散信源X的所有可能符号为{x1, x2, ..., xn}，对应的概率分布为{p1, p2, ..., pn}，则离散信源的信息熵H(X)为：

H(X) = - ∑i=1到n(pi * log2(pi))

其中，log2表示以2为底的对数。信息熵的单位通常用比特（bit）表示。信息熵越大，表示对应的信源的不确定性越大，需要更多的信息来描述和压缩。