使用 ARPACK 求解稀疏特征值问题#

介绍#

ARPACK [1] 是一个 Fortran 包，它提供例程来快速查找大型稀疏矩阵的几个特征值/特征向量。为了找到这些解，它只需要左乘所讨论的矩阵。此操作是通过反向通信接口执行的。这种结构的结果是，ARPACK 能够找到任何将向量映射到向量的线性函数的特征值和特征向量。

ARPACK 中提供的所有功能都包含在两个高级接口中：scipy.sparse.linalg.eigs 和 scipy.sparse.linalg.eigsh。 eigs 提供接口来查找实数或复数非对称方阵的特征值/特征向量，而 eigsh 提供接口来查找实数对称或复数厄米矩阵的特征值/特征向量。

基本功能#

ARPACK 可以解决以下形式的标准特征值问题：

\[A \mathbf{x} = \lambda \mathbf{x}\]

或以下形式的一般特征值问题：

\[A \mathbf{x} = \lambda M \mathbf{x}.\]

ARPACK 的强大之处在于它可以计算指定子集的特征值/特征向量对。这是通过关键字 which 完成的。以下是可用的 which 值：

  • which = 'LM' : 幅度最大的特征值 (eigs, eigsh)，即复数的欧几里得范数中最大的特征值。

  • which = 'SM' : 幅度最小的特征值 (eigs, eigsh)，即复数的欧几里得范数中最小的特征值。

  • which = 'LR' : 实部最大的特征值 (eigs)。

  • which = 'SR' : 实部最小的特征值 (eigs)。

  • which = 'LI' : 虚部最大的特征值 (eigs)。

  • which = 'SI' : 虚部最小的特征值 (eigs)。

  • which = 'LA' : 代数值最大的特征值 (eigsh)，即包括任何负号在内的最大特征值。

  • which = 'SA' : 代数值最小的特征值 (eigsh)，即包括任何负号在内的最小特征值。

  • which = 'BE' : 来自频谱两端的特征值 (eigsh)。

请注意，ARPACK 通常更擅长查找极端特征值，即幅度较大的特征值。特别是，使用 which = 'SM' 可能会导致执行时间缓慢和/或异常结果。更好的方法是使用移位反转模式。

移位反转模式#

移位反转模式依赖于以下观察。对于广义特征值问题

\[A \mathbf{x} = \lambda M \mathbf{x},\]

可以证明

\[(A - \sigma M)^{-1} M \mathbf{x} = \nu \mathbf{x},\]

其中

\[\nu = \frac{1}{\lambda - \sigma}.\]

示例#

假设您想找到大型矩阵的最小和最大特征值以及相应的特征向量。ARPACK 可以处理许多形式的输入：密集矩阵，例如 numpy.ndarray 实例，稀疏矩阵，例如 scipy.sparse.csr_matrix，或从 scipy.sparse.linalg.LinearOperator 派生的通用线性算子。在本示例中，为简单起见，我们将构造一个对称正定矩阵。

>>> import numpy as np
>>> from scipy.linalg import eig, eigh
>>> from scipy.sparse.linalg import eigs, eigsh
>>> np.set_printoptions(suppress=True)
>>> rng = np.random.default_rng()
>>>
>>> X = rng.random((100, 100)) - 0.5
>>> X = np.dot(X, X.T)  # create a symmetric matrix

我们现在有一个对称矩阵 X，可以用来测试例程。首先，使用 eigh 计算标准特征值分解

>>> evals_all, evecs_all = eigh(X)

随着 X 维度的增长，此例程变得非常慢。特别是，如果只需要几个特征向量和特征值，ARPACK 可能是一个更好的选择。首先让我们计算 X 的最大特征值 (which = 'LM') 并将其与已知结果进行比较

>>> evals_large, evecs_large = eigsh(X, 3, which='LM')
>>> print(evals_all[-3:])
[29.22435321 30.05590784 30.58591252]
>>> print(evals_large)
[29.22435321 30.05590784 30.58591252]
>>> print(np.dot(evecs_large.T, evecs_all[:,-3:]))
array([[-1.  0.  0.],       # may vary (signs)
       [ 0.  1.  0.],
       [-0.  0. -1.]])

结果如预期的那样。ARPACK 恢复了所需的特征值，并且它们与先前已知的结果匹配。此外，特征向量是正交的，正如我们所期望的那样。现在，让我们尝试解决幅度最小的特征值

>>> evals_small, evecs_small = eigsh(X, 3, which='SM')
Traceback (most recent call last):       # may vary (convergence)
...
scipy.sparse.linalg._eigen.arpack.arpack.ArpackNoConvergence:
ARPACK error -1: No convergence (1001 iterations, 0/3 eigenvectors converged)

糟糕。我们看到，正如上面提到的那样，ARPACK 并不擅长查找小特征值。有几种方法可以解决此问题。我们可以增加容差 (tol) 以导致更快的收敛

>>> evals_small, evecs_small = eigsh(X, 3, which='SM', tol=1E-2)
>>> evals_all[:3]
array([0.00053181, 0.00298319, 0.01387821])
>>> evals_small
array([0.00053181, 0.00298319, 0.01387821])
>>> np.dot(evecs_small.T, evecs_all[:,:3])
array([[ 0.99999999  0.00000024 -0.00000049],    # may vary (signs)
       [-0.00000023  0.99999999  0.00000056],
       [ 0.00000031 -0.00000037  0.99999852]])

这有效，但我们丢失了结果的精度。另一种选择是将最大迭代次数 (maxiter) 从 1000 增加到 5000

>>> evals_small, evecs_small = eigsh(X, 3, which='SM', maxiter=5000)
>>> evals_all[:3]
array([0.00053181, 0.00298319, 0.01387821])
>>> evals_small
array([0.00053181, 0.00298319, 0.01387821])
>>> np.dot(evecs_small.T, evecs_all[:,:3])
array([[ 1.  0.  0.],           # may vary (signs)
       [-0.  1.  0.],
       [ 0.  0. -1.]])

我们得到了我们希望的结果，但计算时间要长得多。幸运的是，ARPACK 包含一种模式，允许快速确定非外部特征值：移位反转模式。如上所述，这种模式涉及将特征值问题转换为具有不同特征值的等效问题。在这种情况下，我们希望找到接近零的特征值，因此我们将选择 sigma = 0。然后转换后的特征值将满足 \(\nu = 1/(\lambda - \sigma) = 1/\lambda\)，因此我们的一个小特征值 \(\lambda\) 变成一个大特征值 \(\nu\)。

>>> evals_small, evecs_small = eigsh(X, 3, sigma=0, which='LM')
>>> evals_all[:3]
array([0.00053181, 0.00298319, 0.01387821])
>>> evals_small
array([0.00053181, 0.00298319, 0.01387821])
>>> np.dot(evecs_small.T, evecs_all[:,:3])
array([[ 1.  0.  0.],    # may vary (signs)
       [ 0. -1. -0.],
       [-0. -0.  1.]])

我们得到了我们希望的结果，而且计算时间要短得多。请注意，从 \(\nu \to \lambda\) 的转换完全在后台进行。用户无需担心细节。

移位反转模式不仅提供了一种快速获得几个小特征值的方法。假设您希望找到内部特征值和特征向量，例如那些最接近 \(\lambda = 1\) 的特征值和特征向量。只需设置 sigma = 1，ARPACK 就会处理其余部分

>>> evals_mid, evecs_mid = eigsh(X, 3, sigma=1, which='LM')
>>> i_sort = np.argsort(abs(1. / (1 - evals_all)))[-3:]
>>> evals_all[i_sort]
array([0.94164107, 1.05464515, 0.99090277])
>>> evals_mid
array([0.94164107, 0.99090277, 1.05464515])
>>> print(np.dot(evecs_mid.T, evecs_all[:,i_sort]))
array([[-0.  1.  0.],     # may vary (signs)
       [-0. -0.  1.],
       [ 1.  0.  0.]]

特征值以不同的顺序出现，但它们都在那里。请注意，移位反转模式需要矩阵逆的内部求解。这由 eigsh 和 eigs 自动处理，但操作也可以由用户指定。有关详细信息，请参阅 scipy.sparse.linalg.eigsh 和 scipy.sparse.linalg.eigs 的文档字符串。

使用 LinearOperator#

我们现在考虑您想避免创建密集矩阵并使用 scipy.sparse.linalg.LinearOperator 的情况。我们的第一个线性算子在输入向量和用户提供的向量 \(\mathbf{d}\) 之间应用逐元素乘法。此算子模拟一个对角矩阵，其对角线上的元素为 \(\mathbf{d}\)，其主要优点是正向和伴随操作是简单的逐元素乘法，而不是矩阵向量乘法。对于对角矩阵，我们期望特征值等于对角线上的元素，在本例中为 \(\mathbf{d}\)。将 eigsh 获得的特征值和特征向量与将 eigh 应用于密集矩阵时获得的特征值和特征向量进行比较。

>>> from scipy.sparse.linalg import LinearOperator
>>> class Diagonal(LinearOperator):
...     def __init__(self, diag, dtype='float32'):
...         self.diag = diag
...         self.shape = (len(self.diag), len(self.diag))
...         self.dtype = np.dtype(dtype)
...     def _matvec(self, x):
...         return self.diag*x
...     def _rmatvec(self, x):
...         return self.diag*x

>>> N = 100
>>> rng = np.random.default_rng()
>>> d = rng.normal(0, 1, N).astype(np.float64)
>>> D = np.diag(d)
>>> Dop = Diagonal(d, dtype=np.float64)

>>> evals_all, evecs_all = eigh(D)
>>> evals_large, evecs_large = eigsh(Dop, 3, which='LA', maxiter=1e3)
>>> evals_all[-3:]
array([1.53092498, 1.77243671, 2.00582508])
>>> evals_large
array([1.53092498, 1.77243671, 2.00582508])
>>> print(np.dot(evecs_large.T, evecs_all[:,-3:]))
array([[-1.  0.  0.],     # may vary (signs)
       [-0. -1.  0.],
       [ 0.  0. -1.]]

在本例中，我们创建了一个快速简单的 Diagonal 算子。外部库 PyLops 在 Diagonal 算子中提供了类似的功能，以及其他几个算子。

最后，我们考虑一个模拟一阶导数模版的线性算子。在本例中，算子等效于一个实非对称矩阵。同样，我们将估计的特征值和特征向量与对输入信号应用相同一阶导数的密集矩阵的特征值和特征向量进行比较。

>>> class FirstDerivative(LinearOperator):
...     def __init__(self, N, dtype='float32'):
...         self.N = N
...         self.shape = (self.N, self.N)
...         self.dtype = np.dtype(dtype)
...     def _matvec(self, x):
...         y = np.zeros(self.N, self.dtype)
...         y[1:-1] = (0.5*x[2:]-0.5*x[0:-2])
...         return y
...     def _rmatvec(self, x):
...         y = np.zeros(self.N, self.dtype)
...         y[0:-2] = y[0:-2] - (0.5*x[1:-1])
...         y[2:] = y[2:] + (0.5*x[1:-1])
...         return y

>>> N = 21
>>> D = np.diag(0.5*np.ones(N-1), k=1) - np.diag(0.5*np.ones(N-1), k=-1)
>>> D[0] = D[-1] = 0 # take away edge effects
>>> Dop = FirstDerivative(N, dtype=np.float64)

>>> evals_all, evecs_all = eig(D)
>>> evals_large, evecs_large = eigs(Dop, 4, which='LI')
>>> evals_all_imag = evals_all.imag
>>> isort_imag = np.argsort(np.abs(evals_all_imag))
>>> evals_all_imag = evals_all_imag[isort_imag]
>>> evals_large_imag = evals_large.imag
>>> isort_imag = np.argsort(np.abs(evals_large_imag))
>>> evals_large_imag = evals_large_imag[isort_imag]
>>> evals_all_imag[-4:]
array([-0.95105652, 0.95105652, -0.98768834, 0.98768834])
>>> evals_large_imag
array([0.95105652, -0.95105652, 0.98768834, -0.98768834]) # may vary

请注意，此算子的所有特征值都是虚数。此外，scipy.sparse.linalg.eigs 的关键字 which='LI' 生成具有最大绝对虚部（正负）的特征值。同样，一阶导数算子的更高级实现可以在 PyLops 库中找到，名称为 FirstDerivative 算子。

参考文献#

本页内容