离散信源：定义、信息测度及香农熵

离散信源是指在一定时间内，可能输出多种不同的符号或信号的信源。离散信源的输出可以用离散变量来表示，例如二进制码、字符、数字等。/n/n离散信源的信息测度是用香农熵来描述的，即：/n/n$$H(X)=-/sum_{i=1}^{n}p_i/log_2p_i$$ /n/n其中，$X$表示离散信源的输出，$p_i$表示输出为第$i$个符号的概率。香农熵表示了离散信源的平均不确定性或平均信息量。当信源输出的符号概率越平均（即所有符号概率相等）时，香农熵最大，此时信源的信息量最大；当信源输出的符号概率越不均匀（即某些符号的概率很大，其他符号的概率很小）时，香农熵越小，此时信源的信息量越小。/n/n除了香农熵之外，还有其他的信息测度，例如条件熵、联合熵、互信息等。这些信息测度可以用来描述离散信源的特性和性能，以及设计和分析各种通信系统的性能。