离散信源的信息熵

离散信源的信息熵是一个用来描述该信源的平均信息量的量化指标。它的定义如下：

设离散信源的符号集合为S，每个符号的概率分别为p1, p2, ..., pn。则该信源的信息熵H(S)定义为：

H(S) = -∑(i=1 to n) pi * log2(pi)

其中log2表示以2为底的对数。信息熵的单位通常为比特（bit）或者纳特（nat），它反映了对于该信源，每个符号所携带的信息量的平均值。信息熵越大，说明该信源的不确定性越大，每个符号所携带的信息量也就越大。