离散信源：定义、信息测度及公式详解

离散信源是指在离散时间或离散空间上产生符号序列的信源。它包括了许多常见的信息源，如二进制信号源、字母表、图像等。离散信源的信息测度是指对其产生的符号序列进行信息度量的方法。

常用的离散信源的信息测度包括：熵、条件熵、互信息等。

熵是用来度量信源符号序列的不确定性，即它的平均信息量。设信源符号集合为S，每个符号的概率为p(x)，则其熵H(S)为：

H(S) = - Σp(x)log2p(x)

条件熵是在已知某些条件下信源符号序列的不确定性，即它的平均信息量。设条件为Y，则其条件熵H(S|Y)为：

H(S|Y) = - Σp(x|y)log2p(x|y)

其中p(x|y)表示在条件Y下x出现的概率。

互信息是用来度量两个随机变量之间的相关程度，即观测到一个变量可以提供关于另一个变量的信息量。设两个变量为X和Y，它们的联合分布为p(x,y)，边缘分布分别为p(x)和p(y)，则它们的互信息I(X,Y)为：

I(X,Y) = ΣΣp(x,y)log2[p(x,y)/(p(x)p(y))]