信息熵的基本性质

非负性：信息熵的值始终为非负数。

对称性：如果交换任意两个概率值，信息熵不会改变。

极值性：在所有可能的概率分布中，信息熵取最大值的分布是均匀分布，取最小值的分布是概率聚集在一个点的分布。

可加性：如果两个随机事件独立，它们的信息熵可以相加。

连续性：当一个事件的概率变化很小的时候，它的信息熵也会相应地变化很小。

与概率分布的密度函数无关：信息熵只与概率分布的概率值有关，与其密度函数的具体形式无关。

与事件发生的具体形式无关：信息熵只与事件所代表的符号集合的大小有关，与事件发生的具体形式无关。