使用 airspeed velocity 进行 SciPy 基准测试#

本文档介绍了基准测试，包括在线查看 SciPy 基准测试结果、编写基准测试以及在本地运行它们。有关编写测试和在本地运行测试的视频演示，请参阅 SciPy 基准测试。

正如 airspeed velocity (asv) 文档中所述

Airspeed velocity (asv) 是一个用于在其生命周期内对 Python 包进行基准测试的工具。可以跟踪运行时、内存消耗，甚至自定义计算的值。结果显示在一个交互式 Web 前端中，该前端只需要一个基本的静态 Web 服务器即可托管。

要了解这意味着什么，请查看 airspeed velocity of an unladen scipy。每个图表总结了项目中特定测试在提交历史中的执行时间；也就是说，随着每个提交的合并，基准测试运行，测量其执行时间，并将经过的时间绘制成图。除了跟踪代码的性能，一个提交被打算影响，为每个提交运行所有基准测试有助于识别意外的回归：一个或多个基准测试的执行时间显著增加。由于 SciPy 是一个相互关联的代码网络，一个小更改的连锁反应可能不会立即对贡献者显而易见，因此这个基准测试套件更容易检测回归并识别导致它们的原因提交。当您贡献一个重要的功能 - 或者注意到一个尚没有基准测试的功能 - 请考虑编写基准测试。

编写基准测试#

airspeed velocity 文档的 编写基准测试 部分是编写基准测试的权威指南。另请参阅 SciPy 基准测试自述文件。

要了解基准测试是如何编写的，请查看 scipy/benchmarks/benchmarks/optimize_linprog.py。每个 Benchmark 的子类都定义了一个基准测试。例如，KleeMinty 类定义了一个基于 Klee-Minty hypercube problem 的基准测试，这是一个对线性规划单纯形算法的严酷测试。该类有四个部分

  • setup 准备运行基准测试。此函数的执行时间不计入基准测试结果，因此这是一个设置定义问题的所有变量的好地方。在 KleeMinty 示例中，这包括在 dims 维度上生成与 Klee-Minty hypercube 对应的数组 c、A_ub 和 b_ub，并将它们存储为实例变量。

  • time_klee_minty 实际运行基准测试。此函数在 KleeMinty 对象被实例化并且 setup 运行之后执行，因此它从 self 获取定义问题的数组。请注意，函数名称中的前缀 time 向 asv 表明此函数的执行时间应计入基准测试结果。

  • params 是一个列表的列表，定义了测试的参数。基准测试将针对这些参数的所有可能组合运行。例如，第一次运行基准测试时，methods 的第一个元素（simplex）将被作为第一个参数 meth 传递给 setup 和 time_klee_minty，而 [3, 6, 9] 的第一个元素（3）将被作为第二个参数 dims 传递给 setup 和 time_klee_minty。下一次运行基准测试时，setup 和 time_klee_minty 将被传递 revised simplex 和 6 作为参数，依此类推，直到使用完所有参数组合。

  • param_names 是一个列表，包含 params 列表中每个元素的可读名称。这些用于呈现结果。

过去几年该基准测试的结果可在 airspeed velocity of an unladen scipy 上的 KleeMinty.time_klee_minty 链接中找到。请注意，图表中的每个轨迹对应一个基准测试参数和环境设置（例如，Cython 版本）的组合，并且可以通过左侧的控制面板切换轨迹的可见性。

在本地运行基准测试#

在开始之前，请确保已安装 airspeed velocity。

在贡献新的基准测试后，您应该在提交拉取请求之前在本地进行测试。

要运行所有基准测试，请在命令行中导航到 SciPy 的根目录并执行

spin bench

其中 bench 激活基准测试套件而不是测试套件。这将构建 SciPy 并运行基准测试。（注意：这可能需要一段时间。基准测试通常比单元测试花费的时间更长，并且每个基准测试都会运行多次以测量执行时间的分布。）

要运行特定的基准测试模块，例如 optimize_linprog.py，只需在末尾添加不带扩展名的文件名即可

spin bench -t optimize_linprog

要运行类中定义的基准测试，例如 optimize_linprog.py 中的 KleeMinty

spin bench -t optimize_linprog.KleeMinty

要比较活动分支与另一个分支（例如 main）之间的基准测试结果

spin bench --compare main  # select again by `-t optimize_linprog`

以上所有命令都会在控制台中以纯文本形式显示结果，并且结果不会保存以供将来进行比较。为了获得更大的控制力、图形视图以及保存结果以供将来比较，您可以使用 asv 终端命令直接操作。

要使用它，请在控制台中导航到 scipy/benchmarks 目录，然后执行

asv run

此命令将运行整个基准测试套件，并将结果保存以供将来进行比较。

要仅运行单个基准测试，例如 optimize_linprog.py 中的 KleeMinty

asv run --bench optimize_linprog.KleeMinty

asv 的一个很棒的功能是它可以自动为范围内的每个提交运行基准测试，而不仅仅是当前提交。linprog method='interior-point' 在提交 7fa17f2369e0e5ad055b23cc1a5ee079f9e8ca32 时合并到 SciPy 中，因此让我们运行 KleeMinty 基准测试，在此时到之前的 10 个提交之间，以跟踪其随时间的性能

asv run --bench optimize_linprog.KleeMinty --steps 10 7fa17f..

注意

这需要一段时间，因为 SciPy 必须为每次提交重新构建！为了加快基准测试的构建过程，您可以安装 ccache 和 f90cache。基准测试套件将自动检测它们是否安装在 /usr/lib 和 /usr/local/lib 中。否则，您必须将它们添加到 PATH 环境变量中。

有关指定提交范围的更多信息，请参阅 git revisions 文档。

要“发布”结果（准备好查看）并在交互式控制台中“预览”它们

asv publish
asv preview

ASV 将报告它正在运行一个服务器。使用任何浏览器，您可以通过导航到 http://127.0.0.1:8080（本地机器，端口 8080）来查看结果。

有关 asv 命令的更多信息，请参阅 airspeed velocity 的 Commands 文档。（提示：查看 asv find 命令以及 asv run 的 --quick、--skip-existing-commits 和 --profile 选项。）