scipy.special.rel_entr

scipy.special.rel_entr(x, y, out=None) = <ufunc 'rel_entr'>

用于计算相对熵的逐元素函数。

\[\begin{split}\mathrm{rel\_entr}(x, y) = \begin{cases} x \log(x / y) & x > 0, y > 0 \\ 0 & x = 0, y \ge 0 \\ \infty & \text{否则} \end{cases}\end{split}\]

参数:

x, yarray_like

输入数组

outndarray，可选

用于函数结果的可选输出数组

返回:

标量或 ndarray

输入的相对熵

另请参阅

entr, kl_div, scipy.stats.entropy

注释

在 0.15.0 版本中添加。

此函数在 x 和 y 中均为联合凸函数。

此函数的起源在于凸优化；请参阅 [1]。给定两个离散概率分布 \(p_1, \ldots, p_n\) 和 \(q_1, \ldots, q_n\)，在信息论中，相对熵的定义为

\[\sum_{i = 1}^n \mathrm{rel\_entr}(p_i, q_i).\]

要计算后一个量，请使用 scipy.stats.entropy。

有关详细信息，请参阅 [2]。

参考文献

[1]

Boyd, Stephen and Lieven Vandenberghe. 凸优化。剑桥大学出版社，2004 年。DOI:https://doi.org/10.1017/CBO9780511804441

[2]

Kullback-Leibler 散度，https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence