entropy#
- scipy.stats.entropy(pk, qk=None, base=None, axis=0, *, nan_policy='propagate', keepdims=False)[源代码]#
计算给定分布的香农熵/相对熵。
如果仅给出概率 pk,则香农熵计算为
H = -sum(pk * log(pk))
。如果 qk 不是 None,则计算相对熵
D = sum(pk * log(pk / qk))
。 这个量也称为 Kullback-Leibler 散度。如果 pk 和 qk 的总和不为 1,则此例程将对其进行归一化。
- 参数:
- pkarray_like
定义(离散)分布。 沿着
pk
的每个轴切片,元素i
是事件i
的(可能未归一化的)概率。- qkarray_like, optional
用于计算相对熵的序列。 应该与 pk 的格式相同。
- basefloat, optional
要使用的对数底,默认为
e
(自然对数)。- axisint 或 None, 默认: 0
如果为 int,则为计算统计量的输入的轴。 输入的每个轴切片(例如,行)的统计量将显示在输出的相应元素中。 如果
None
,则输入将在计算统计量之前被展平。- nan_policy{‘propagate’, ‘omit’, ‘raise’}
定义如何处理输入 NaN。
propagate
: 如果在计算统计量的轴切片(例如,行)中存在 NaN,则输出的相应条目将为 NaN。omit
: 执行计算时将省略 NaN。 如果在计算统计量的轴切片中剩余的数据不足,则输出的相应条目将为 NaN。raise
: 如果存在 NaN,将引发ValueError
。
- keepdimsbool, 默认: False
如果设置为 True,则减少的轴将保留在结果中,作为大小为 1 的维度。 使用此选项,结果将正确地广播到输入数组。
- 返回:
- S{float, array_like}
计算出的熵。
注释
非正式地,香农熵量化了离散随机变量可能结果中固有的预期不确定性。 例如,如果要对由集合中的符号序列组成的消息进行编码,并通过无噪声信道传输,则如果符号以由离散分布 pk 控制的频率出现,则香农熵
H(pk)
给出了每个符号所需的平均信息单位数的严格下限 [1]。 base 的选择决定了单位的选择; 例如,e
用于 nat,2
用于 bit 等。相对熵
D(pk|qk)
量化了如果编码针对概率分布 qk 而不是真实分布 pk 进行优化,则每个符号所需的平均信息单位数的增加。 非正式地,相对熵量化了如果人们认为真实分布是 qk,而实际上是 pk 时所经历的预期过度惊讶。一个相关的量,交叉熵
CE(pk, qk)
,满足等式CE(pk, qk) = H(pk) + D(pk|qk)
并且也可以用公式CE = -sum(pk * log(qk))
计算。 如果编码针对概率分布 qk 进行优化,而真实分布是 pk,它给出每个符号所需的平均信息单位数。 它不是由entropy
直接计算的,但可以使用两次对该函数的调用来计算(参见示例)。有关更多信息,请参见 [2]。
从 SciPy 1.9 开始,在执行计算之前,
np.matrix
输入(不建议用于新代码)会转换为np.ndarray
。 在这种情况下,输出将是标量或适当形状的np.ndarray
,而不是 2Dnp.matrix
。 类似地,虽然会忽略掩码数组的掩码元素,但输出将是标量或np.ndarray
,而不是mask=False
的掩码数组。参考文献
[1]Shannon, C.E. (1948), A Mathematical Theory of Communication. Bell System Technical Journal, 27: 379-423. https://doi.org/10.1002/j.1538-7305.1948.tb01338.x
[2]Thomas M. Cover and Joy A. Thomas. 2006. Elements of Information Theory (Wiley Series in Telecommunications and Signal Processing). Wiley-Interscience, USA.
示例
一个公平的硬币的结果是最不确定的
>>> import numpy as np >>> from scipy.stats import entropy >>> base = 2 # work in units of bits >>> pk = np.array([1/2, 1/2]) # fair coin >>> H = entropy(pk, base=base) >>> H 1.0 >>> H == -np.sum(pk * np.log(pk)) / np.log(base) True
一个有偏差的硬币的结果不那么确定
>>> qk = np.array([9/10, 1/10]) # biased coin >>> entropy(qk, base=base) 0.46899559358928117
公平的硬币和有偏差的硬币之间的相对熵计算为
>>> D = entropy(pk, qk, base=base) >>> D 0.7369655941662062 >>> np.isclose(D, np.sum(pk * np.log(pk/qk)) / np.log(base), rtol=4e-16, atol=0) True
交叉熵可以计算为熵和相对熵之和`
>>> CE = entropy(pk, base=base) + entropy(pk, qk, base=base) >>> CE 1.736965594166206 >>> CE == -np.sum(pk * np.log(qk)) / np.log(base) True