scipy.special.rel_entr#

scipy.special.rel_entr(x, y, out=None) = <ufunc 'rel_entr'>#

计算相对熵的逐元素函数。

\[\begin{split}\mathrm{rel\_entr}(x, y) = \begin{cases} x \log(x / y) & x > 0, y > 0 \\ 0 & x = 0, y \ge 0 \\ \infty & \text{否则} \end{cases}\end{split}\]
参数:
x, y类数组

输入数组

outndarray, 可选

可选的输出数组，用于存储函数结果

返回:
标量或 ndarray

输入的相对熵

另请参阅

entr, kl_div, scipy.stats.entropy

注意

在 0.15.0 版本中新增。

此函数在 x 和 y 上是联合凸的。

此函数的起源在于凸规划；请参阅 [1]。给定两个离散概率分布 \(p_1, \ldots, p_n\) 和 \(q_1, \ldots, q_n\)，信息论背景下的相对熵定义为

\[\sum_{i = 1}^n \mathrm{rel\_entr}(p_i, q_i).\]

要计算后一个量，请使用 scipy.stats.entropy。

有关详细信息，请参阅 [2]。

rel_entr 除了 NumPy 之外，还对与 Python 数组 API 标准兼容的后端提供实验性支持。请考虑通过设置环境变量 SCIPY_ARRAY_API=1 并提供 CuPy、PyTorch、JAX 或 Dask 数组作为数组参数来测试这些功能。支持以下后端和设备（或其他功能）的组合。

库

CPU

GPU

NumPy

✅

不适用

CuPy

不适用

✅

PyTorch

✅

✅

JAX

✅

✅

Dask

✅

不适用

有关更多信息，请参阅 对数组 API 标准的支持。

参考文献

[1]

Boyd, Stephen 和 Lieven Vandenberghe。《凸优化》。剑桥大学出版社，2004年。 DOI:https://doi.org/10.1017/CBO9780511804441

在此页