信源符号平均码长与信源熵关系：香农编码定理

信源符号的平均码长与信源熵有着直接的关系。具体来说，设信源符号集合为{S1, S2, ..., Sn}，每个符号Si出现的概率为pi（i=1,2,...,n），则对应的信息熵为：

H = -p1log2(p1) - p2log2(p2) - ... - pn*log2(pn)

而若采用一种编码方式，将每个符号Si编码为二进制码字Ci，其长度为li（i=1,2,...,n），则对应的平均码长为：

L = p1l1 + p2l2 + ... + pn*ln

根据香农编码定理可知，对于任意信源，都存在一种编码方式，使得平均码长L可以无限接近于信息熵H，即L≈H。因此，信源符号的平均码长与信源熵的大小有着密切的关系，平均码长越小，信源熵越小，反之亦然。