scipy.stats.

熵#

scipy.stats.entropy(pk, qk=None, base=None, axis=0, *, nan_policy='propagate', keepdims=False)[source]#

计算给定分布的香农熵/相对熵。

如果仅给出了概率 pk，那么香农熵计算为 H = -sum(pk * log(pk))。

如果 qk 不为 None，那么计算相对熵 D = sum(pk * log(pk / qk))。此数量也称为 Kullback-Leibler 散度。

如果 pk 和 qk 之和不为 1，此例程将对它们进行归一化。

参数:
pkarray_like

定义（离散）分布。对于 pk 的每个轴切片，元素 i 是事件 i 的（可能未归一化）概率。

qkarray_like，可选

计算相对熵的序列。应与 pk 格式相同。

basefloat，可选

要使用的对数底，默认为 e（自然对数）。

axisint 或 None，默认为 0

如果为整数，则为计算统计信息的输入轴。输入的每个轴切片（例如行）的统计信息将出现在输出的相应元素中。如果 None，则计算统计信息之前将对输入进行卷积。

nan_policy{‘propagate’, ‘omit’, ‘raise’}

定义如何处理输入 NaN。

  • propagate：如果统计信息计算在其上的轴切片（例如行）中存在 NaN，则输出的相应条目将为 NaN。

  • omit：执行计算时将忽略 NaN。如果统计信息计算在其上的轴切片中剩余的数据不足，则输出的相应条目将为 NaN。

  • raise：如果存在 NaN，则会引发 ValueError。

keepdimsbool，默认为 False

如果将此设置为 True，则归约的轴将作为大小为一的维度保留在结果中。使用此选项后，结果将针对输入数组进行正确广播。

返回:
S{float, array_like}

计算出的熵。

注释

非正式地，香农熵量化了离散随机变量的可能结果中固有的预期不确定性。例如，如果由一组符号的序列组成的消息要被编码并通过无噪点信道传输，则香农熵 H(pk) 对于如果符号以受离散分布 pk 控制的频率出现，则每个符号所需的平均信息单位数提供了严格的下界 [1]。底数的选择决定了单位的选择；例如，纳特使用 e，比特使用 2 等。

相对熵，D(pk|qk)，量化了如果针对概率分布 qk 而非真分布 pk 对编码进行优化，则每个符号所需的信息单元的平均数量的增长。非正式地，相对熵量化了当人们相信真分布为 qk 时，但实际上为 pk 时所体会到的额外意外的期望。

一个相关的量，交叉熵 CE(pk, qk)，满足方程 CE(pk, qk) = H(pk) + D(pk|qk)，还可以使用公式 CE = -sum(pk * log(qk)) 计算。它给出了针对概率分布 qk 对编码进行优化，而真分布为 pk 时，每个符号所需的信息单元的平均数量。它不是由 entropy 直接计算的，但是可以通过对该函数进行两次调用来计算它（请参见示例）。

有关更多信息，请参见 [2]。

从 SciPy 1.9 开始，在执行计算之前，np.matrix 输入（不建议用于新代码）将转换为 np.ndarray。在此情况下，输出将是标量或形状适当的 np.ndarray，而非二维 np.matrix。类似地，尽管会忽略掩码数组的掩码元素，输出将是标量或 np.ndarray，而非带有 mask=False 的掩码数组。

参考

[1]

Shannon, C.E. (1948)，通信的数学理论。贝尔系统技术期刊，27：379-423。 https://doi.org/10.1002/j.1538-7305.1948.tb01338.x

[2]

Thomas M. Cover 和 Joy A. Thomas。2006 年。信息论要素（电信和信号处理中的 Wiley 系列）。美国 Wiley-Interscience。

示例

公平硬币的结果最不确定

>>> import numpy as np
>>> from scipy.stats import entropy
>>> base = 2  # work in units of bits
>>> pk = np.array([1/2, 1/2])  # fair coin
>>> H = entropy(pk, base=base)
>>> H
1.0
>>> H == -np.sum(pk * np.log(pk)) / np.log(base)
True

有偏硬币的结果不太确定

>>> qk = np.array([9/10, 1/10])  # biased coin
>>> entropy(qk, base=base)
0.46899559358928117

公平硬币和有偏硬币之间的相对熵计算如下：

>>> D = entropy(pk, qk, base=base)
>>> D
0.7369655941662062
>>> D == np.sum(pk * np.log(pk/qk)) / np.log(base)
True

交叉熵可以计算为熵和相对熵的总和

>>> CE = entropy(pk, base=base) + entropy(pk, qk, base=base)
>>> CE
1.736965594166206
>>> CE == -np.sum(pk * np.log(qk)) / np.log(base)
True
在此页面上