scipy.optimize.

fmin_cg#

scipy.optimize.fmin_cg(f, x0, fprime=None, args=(), gtol=1e-05, norm=inf, epsilon=1.4901161193847656e-08, maxiter=None, full_output=0, disp=1, retall=0, callback=None, c1=0.0001, c2=0.4)[源代码]#

使用非线性共轭梯度算法最小化函数。

参数:
f可调用对象, f(x, *args)

要最小化的目标函数。此处 x 必须是 1 维变量数组,这些变量将在搜索最小值时发生变化,而 argsf 的其他(固定)参数。

x0ndarray

用户提供的 xopt 的初始估计值,即 x 的最优值。它必须是 1 维的值数组。

fprime可调用对象, fprime(x, *args), 可选

一个返回 fx 处的梯度的函数。此处 xargs 与上面 f 的描述相同。返回值必须是 1 维数组。默认为 None,在这种情况下,梯度将以数值方式近似(请参见下面的 epsilon)。

args元组,可选

传递给 ffprime 的参数值。当需要其他固定参数来完全指定函数 ffprime 时,必须提供此参数。

gtol浮点数,可选

当梯度的范数小于 gtol 时停止。

norm浮点数,可选

用于梯度范数的阶数(-np.inf 为最小值,np.inf 为最大值)。

epsilon浮点数或 ndarray,可选

当以数值方式近似 fprime 时使用的步长。可以是标量或 1 维数组。默认为 sqrt(eps),其中 eps 是浮点机器精度。通常,sqrt(eps) 大约为 1.5e-8。

maxiter整数,可选

要执行的最大迭代次数。默认值为 200 * len(x0)

full_output布尔值,可选

如果为 True,则除了 xopt 之外,还会返回 foptfunc_callsgrad_callswarnflag。有关可选返回值,请参见下面的“返回”部分中的其他信息。

disp布尔值,可选

如果为 True,则返回收敛消息,后跟 xopt

retall布尔值,可选

如果为 True,则将每次迭代的结果添加到返回值中。

callback可调用对象,可选

一个可选的用户提供的函数,在每次迭代后调用。调用方式为 callback(xk),其中 xkx0 的当前值。

c1浮点数,默认值:1e-4

Armijo 条件规则的参数。

c2浮点数,默认值:0.4

曲率条件规则的参数。

返回:
xoptndarray

最小化 f 的参数,即 f(xopt) == fopt

fopt浮点数,可选

找到的最小值,f(xopt)。仅当 full_output 为 True 时返回。

func_calls整数,可选

进行的函数调用次数。仅当 full_output 为 True 时返回。

grad_calls整数,可选

进行的梯度调用次数。仅当 full_output 为 True 时返回。

warnflag整数,可选

带有警告状态的整数值,仅当 full_output 为 True 时返回。

0:成功。

1:超出最大迭代次数。

2梯度和/或函数调用未发生变化。可能表示

精度丢失,即例程未收敛。

3:遇到 NaN 结果。

allvecsndarray 列表,可选

数组列表,包含每次迭代的结果。仅当 retall 为 True 时返回。

另请参阅

minimize

用于多元函数无约束和约束最小化的所有 scipy.optimize 算法的通用接口。它提供了一种调用 fmin_cg 的替代方法,通过指定 method='CG'

注释

此共轭梯度算法基于 Polak 和 Ribiere 的算法 [1]

当满足以下条件时,共轭梯度方法往往效果更好:

  1. f 具有唯一的全局最小化点,没有局部最小值或其他驻点,

  2. f 至少在局部可以合理地用变量的二次函数逼近,

  3. f 是连续的,并且具有连续的梯度,

  4. fprime 不是太大,例如,范数小于 1000,

  5. 初始猜测 x0 相当接近 f 的全局最小化点 xopt

参数 c1c2 必须满足 0 < c1 < c2 < 1

参考文献

[1]

Wright & Nocedal, “Numerical Optimization”, 1999, pp. 120-122.

示例

示例 1:对于给定的参数值和初始猜测 (u, v) = (0, 0),寻求表达式 a*u**2 + b*u*v + c*v**2 + d*u + e*v + f 的最小值。

>>> import numpy as np
>>> args = (2, 3, 7, 8, 9, 10)  # parameter values
>>> def f(x, *args):
...     u, v = x
...     a, b, c, d, e, f = args
...     return a*u**2 + b*u*v + c*v**2 + d*u + e*v + f
>>> def gradf(x, *args):
...     u, v = x
...     a, b, c, d, e, f = args
...     gu = 2*a*u + b*v + d     # u-component of the gradient
...     gv = b*u + 2*c*v + e     # v-component of the gradient
...     return np.asarray((gu, gv))
>>> x0 = np.asarray((0, 0))  # Initial guess.
>>> from scipy import optimize
>>> res1 = optimize.fmin_cg(f, x0, fprime=gradf, args=args)
Optimization terminated successfully.
         Current function value: 1.617021
         Iterations: 4
         Function evaluations: 8
         Gradient evaluations: 8
>>> res1
array([-1.80851064, -0.25531915])

示例 2:使用 minimize 函数解决相同的问题。(此 myopts 字典显示了所有可用的选项,尽管在实践中只需要非默认值。返回值将是一个字典。)

>>> opts = {'maxiter' : None,    # default value.
...         'disp' : True,    # non-default value.
...         'gtol' : 1e-5,    # default value.
...         'norm' : np.inf,  # default value.
...         'eps' : 1.4901161193847656e-08}  # default value.
>>> res2 = optimize.minimize(f, x0, jac=gradf, args=args,
...                          method='CG', options=opts)
Optimization terminated successfully.
        Current function value: 1.617021
        Iterations: 4
        Function evaluations: 8
        Gradient evaluations: 8
>>> res2.x  # minimum found
array([-1.80851064, -0.25531915])