scipy.stats.

entropy#

scipy.stats.entropy(pk, qk=None, base=None, axis=0, *, nan_policy='propagate', keepdims=False)[源代码]#

计算给定分布的香农熵/相对熵。

如果只给出概率 pk，则香农熵计算为 H = -sum(pk * log(pk))。

如果 qk 不为 None，则计算相对熵 D = sum(pk * log(pk / qk))。该量也称为 Kullback-Leibler 散度。

此例程将对 pk 和 qk 进行归一化，如果它们不等于 1。

参数:
pkarray_like

定义（离散）分布。在 pk 的每个轴切片上，元素 i 是事件 i 的（可能未归一化）概率。

qkarray_like, optional

用于计算相对熵的序列。应与 pk 格式相同。

basefloat, optional

使用的对数底，默认为 e（自然对数）。

axisint 或 None, 默认: 0

如果为 int，则为输入沿其计算统计量的轴。输入的每个轴切片（例如，行）的统计量将出现在输出的相应元素中。如果为 None，则在计算统计量之前将输入展平。

nan_policy{‘propagate’, ‘omit’, ‘raise’}

定义如何处理输入 NaN。

  • propagate：如果计算统计量的轴切片（例如，行）中存在 NaN，则输出的相应条目将为 NaN。

  • omit：在执行计算时将忽略 NaN。如果计算统计量的轴切片中剩余数据不足，则输出的相应条目将为 NaN。

  • raise：如果存在 NaN，将引发 ValueError。

keepdimsbool, 默认: False

如果设置为 True，则减少的轴将保留在结果中，作为大小为一的维度。使用此选项，结果将与输入数组正确广播。

返回:
S{float, array_like}

计算出的熵。

附注

非正式地说，香农熵量化了离散随机变量可能结果中固有的预期不确定性。例如，如果需要对由符号集组成的序列的消息进行编码并在无噪声通道上传输，那么香农熵 H(pk) 为每符号单位信息所需的平均数量提供了严格的下界，前提是符号以由离散分布 pk 决定的频率出现 [1]。选择对数底决定了单位的选择；例如，e 表示 nats，2 表示 bits 等。

相对熵 D(pk|qk) 量化了如果编码针对概率分布 qk 而非真实分布 pk 进行优化时，每符号单位信息平均数量的增加。非正式地说，当真实分布是 pk 而一个人认为真实分布是 qk 时，相对熵量化了预期的额外惊讶。

一个相关的量，交叉熵 CE(pk, qk)，满足方程 CE(pk, qk) = H(pk) + D(pk|qk)，并且还可以通过公式 CE = -sum(pk * log(qk)) 计算。它给出了当真实分布是 pk 时，针对概率分布 qk 优化的编码所需的每符号单位信息的平均数量。它不是由 entropy 直接计算，但可以使用两次函数调用（参见示例）进行计算。

有关更多信息，请参见 [2]。

从 SciPy 1.9 开始，np.matrix 输入（不推荐用于新代码）在执行计算之前转换为 np.ndarray。在这种情况下，输出将是标量或适当形状的 np.ndarray，而不是 2D np.matrix。类似地，虽然被掩码数组的被掩码元素被忽略，但输出将是标量或 np.ndarray，而不是带有 mask=False 的被掩码数组。

数组 API 标准支持

entropy 除了 NumPy 之外，还对与 Python Array API Standard 兼容的后端提供了实验性支持。请通过设置环境变量 SCIPY_ARRAY_API=1 并提供 CuPy、PyTorch、JAX 或 Dask 数组作为数组参数来测试这些功能。支持以下后端和设备（或其他功能）的组合。

库

CPU

GPU

NumPy

✅

不适用

CuPy

不适用

✅

PyTorch

✅

✅

JAX

✅

✅

Dask

✅

不适用

有关更多信息，请参阅 对数组 API 标准的支持。

参考文献

[1]

Shannon, C.E. (1948), A Mathematical Theory of Communication. Bell System Technical Journal, 27: 379-423. https://doi.org/10.1002/j.1538-7305.1948.tb01338.x

[2]

Thomas M. Cover and Joy A. Thomas. 2006. Elements of Information Theory (Wiley Series in Telecommunications and Signal Processing). Wiley-Interscience, USA.

示例

公平硬币的结果最不确定

>>> import numpy as np
>>> from scipy.stats import entropy
>>> base = 2  # work in units of bits
>>> pk = np.array([1/2, 1/2])  # fair coin
>>> H = entropy(pk, base=base)
>>> H
1.0
>>> H == -np.sum(pk * np.log(pk)) / np.log(base)
True

有偏硬币的结果不那么不确定

>>> qk = np.array([9/10, 1/10])  # biased coin
>>> entropy(qk, base=base)
0.46899559358928117

公平硬币和有偏硬币之间的相对熵计算如下

>>> D = entropy(pk, qk, base=base)
>>> D
0.7369655941662062
>>> np.isclose(D, np.sum(pk * np.log(pk/qk)) / np.log(base), rtol=4e-16, atol=0)
True

交叉熵可以计算为熵和相对熵的总和`

>>> CE = entropy(pk, base=base) + entropy(pk, qk, base=base)
>>> CE
1.736965594166206
>>> CE == -np.sum(pk * np.log(qk)) / np.log(base)
True
本页内容