scipy.special.kl_div

scipy.special.kl_div(x, y, out=None) = <ufunc 'kl_div'>

计算 Kullback-Leibler 散度的逐元素函数。

\[\begin{split}\mathrm{kl\_div}(x, y) = \begin{cases} x \log(x / y) - x + y & x > 0, y > 0 \\ y & x = 0, y \ge 0 \\ \infty & \text{otherwise} \end{cases}\end{split}\]

参数:

x, yarray_like

实数参数

outndarray, optional

用于存储函数结果的可选输出数组

返回:

标量或 ndarray

Kullback-Liebler 散度的值。

另请参阅

entr, rel_entr, scipy.stats.entropy

附注

版本 0.15.0 中新增。

此函数是非负的，并且在 x 和 y 中联合凸。

此函数起源于凸优化；有关详细信息，请参阅 [1]。 这就是为什么该函数包含额外的 \(-x + y\) 项，而这些项可能不像从 Kullback-Leibler 散度所期望的那样。 对于没有这些额外项的函数版本，请参阅 rel_entr。

数组 API 标准支持

kl_div 对 Python Array API Standard 兼容的后端具有实验性支持，除了 NumPy 之外。 请考虑通过设置环境变量 SCIPY_ARRAY_API=1 并提供 CuPy、PyTorch、JAX 或 Dask 数组作为数组参数来测试这些功能。 支持以下后端和设备（或其他功能）的组合。

库	CPU	GPU
NumPy	✅	不适用
CuPy	不适用	✅
PyTorch	✅	⛔
JAX	✅	✅
Dask	✅	不适用

有关更多信息，请参阅 对数组 API 标准的支持。

参考文献

[1]

Boyd, Stephen and Lieven Vandenberghe. Convex optimization. Cambridge University Press, 2004. DOI:https://doi.org/10.1017/CBO9780511804441