香农公式推导过程

2026-05-04

香农公式是由信息论的创始人克劳德·香农（Claude Shannon）在1948年提出的，用于计算离散信源的信息熵。下面是香农公式的推导过程： 假设我们有一个离散的随机变量X，它可以取到的所有值是{x1, x2, ..., xn}，对应的概率分布为{p1, p2, ..., pn}。其中每一个xi表示信源可能输出的一个符号，pi表示对应的概率。 首先我们定义信息量I(xi)来表示信源输出xi的信息数量，它的定义为： I(xi) = -log2(pi) 为什么选择-log2而不是其他底数的对数呢...