Ctrl+K

使用 airspeed velocity 对 SciPy 进行基准测试#

本文档介绍了基准测试，包括在线查看 SciPy 基准测试结果、编写基准测试以及在本地运行它。有关编写测试并在本地运行它的视频演示，请参阅 Benchmarking SciPy。

正如 airspeed velocity (asv) 文档中所述

Airspeed velocity (asv) 是一款用于在 Python 包的整个生命周期内进行基准测试的工具。可以跟踪运行时、内存消耗，甚至自定义计算的值。结果会显示在交互式 Web 前端中，该前端只需要一个基本的静态 Web 服务器来托管。

要了解这意味着什么，请查看 airspeed velocity of an unladen scipy。每个图表都汇总了项目提交历史记录中特定测试的执行时间；也就是说，随着每个提交被合并，基准测试会运行，测量其执行时间，并绘制经过的时间。除了跟踪代码的性能之外，一个提交旨在影响，为每个提交运行所有基准测试有助于识别意外的回归：一个或多个基准测试的执行时间显着增加。由于 SciPy 是一个相互连接的代码网络，一个小的更改的影响可能不会立即对贡献者显而易见，因此这个基准测试套件可以更容易地检测回归并识别导致回归的提交。当您贡献一个重要的的新功能，或者注意到一个尚未进行基准测试的功能时，请考虑编写基准测试。

编写基准测试#

airspeed velocity 文档的 编写基准测试 部分是编写基准测试的权威指南。另请参阅 SciPy 基准测试自述文件。

要查看如何编写基准测试，请查看 scipy/benchmarks/benchmarks/optimize_linprog.py。 Benchmark 的每个子类都定义一个基准测试。例如，KleeMinty 类定义了一个基于 Klee-Minty 超立方体问题的基准测试，这是线性规划单纯形算法的一个棘手测试。该类有四个部分

  • setup 准备运行基准测试。此函数的执行时间不计入基准测试结果，因此这是一个设置定义问题的所有变量的好地方。在 KleeMinty 示例中，这涉及到生成与 dims 维中的 Klee-Minty 超立方体相对应的数组 c、A_ub 和 b_ub，并将它们存储为实例变量。

  • time_klee_minty 实际运行基准测试。此函数在实例化 KleeMinty 对象并运行 setup 后执行，因此它会从 self 获取定义问题的数组。请注意，函数名称中的前缀 time 向 asv 指示此函数的执行时间应计入基准测试结果。

  • params 是定义测试参数的列表的列表。基准测试会针对这些参数的所有可能组合运行。例如，第一次运行基准测试时，methods (simplex) 的第一个元素作为第一个参数 meth 传递到 setup 和 time_klee_minty，[3, 6, 9] (3) 的第一个元素作为第二个参数 dims 传递到 setup 和 time_klee_minty。下一次运行基准测试时，setup 和 time_klee_minty 将 revised simplex 和 6 作为参数传递，依此类推，直到使用完参数的所有组合。

  • param_names 是 params 列表中每个元素的易于理解的名称列表。这些用于呈现结果。

点击 KleeMinty.time_klee_minty 链接（位于 airspeed velocity of an unladen scipy）可以获得此基准测试过去几年的结果。请注意，绘图的每条轨迹都对应于基准测试参数和环境设置（例如，Cython 版本）的组合，并且可以使用左侧的控制面板切换轨迹的可见性。

在本地运行基准测试#

在开始之前，请确保已安装 airspeed velocity。

在贡献新的基准测试后，您应该在提交拉取请求之前在本地测试它们。

要运行所有基准测试，请在命令行中导航到 SciPy 根目录并执行

python dev.py bench

其中 bench 激活基准测试套件而不是测试套件。这会构建 SciPy 并运行基准测试。（注意：这可能需要一段时间。基准测试通常比单元测试运行的时间长，并且每个基准测试都会运行多次，以测量执行时间的分布。）

要从特定的基准测试模块（如 optimize_linprog.py）运行基准测试，只需附加不带扩展名的文件名

python dev.py bench -t optimize_linprog

要运行在类中定义的基准测试，例如来自 optimize_linprog.py 的 KleeMinty

python dev.py bench -t optimize_linprog.KleeMinty

要比较活动分支和另一个分支（例如 main）之间的基准测试结果

python dev.py bench --compare main  # select again by `-t optimize_linprog`

上面的所有命令都会在控制台中以纯文本形式显示结果，并且结果不会保存以与将来的提交进行比较。为了获得更大的控制、图形视图并将结果保存以供将来比较，您可以直接使用 asv 终端命令。

要使用它，请在控制台中导航到 scipy/benchmarks，然后执行

asv run

此命令会运行整个基准测试套件，并将结果保存下来，以便与将来的提交进行比较。

要仅运行单个基准测试，例如来自 optimize_linprog.py 的 KleeMinty

asv run --bench optimize_linprog.KleeMinty

asv 的一个很棒的功能是，它不仅可以为当前提交自动运行基准测试，还可以为范围内的每个提交运行基准测试。linprog method='interior-point' 通过提交 7fa17f2369e0e5ad055b23cc1a5ee079f9e8ca32 合并到 SciPy 中，因此让我们在当时和现在之间运行 10 个提交的 KleeMinty 基准测试，以跟踪其随时间的性能

asv run --bench optimize_linprog.KleeMinty --steps 10 7fa17f..

注意

这需要一段时间，因为 SciPy 必须为每个提交重建！为了加快基准测试的构建过程，您可以安装 ccache 和 f90cache。如果它们安装在 /usr/lib 和 /usr/local/lib 中，基准测试套件将自动检测到它们。否则，您必须将它们添加到 PATH 环境变量中。

有关指定提交范围的更多信息，请参阅 git revisions 文档。

要“发布”结果（准备好查看）并在交互式控制台中“预览”它们

asv publish
asv preview

ASV 将报告它正在运行一个服务器。使用任何浏览器，您可以通过访问 http://127.0.0.1:8080 (本地机器，端口 8080) 来查看结果。

有关 asv 命令的更多信息，请参阅 airspeed velocity 命令 文档。(提示：查看 asv find 命令以及 asv run 的 --quick, --skip-existing-commits 和 --profile 选项。)

在本页中