scipy.stats.

quantile_test#

scipy.stats.quantile_test(x, *, q=0, p=0.5, alternative='two-sided')[源代码]#

执行分位数检验并计算分位数的置信区间。

此函数检验零假设：q 是与样本 x 对应的总体概率 p 的分位数的值。例如，使用默认参数，它检验 x 的潜在总体的中位数是否为零。该函数返回一个对象，包括检验统计量、p 值以及用于计算分位数周围置信区间的方法。

参数:

xarray_like

一维样本。

qfloat，默认值：0

假设的分位数的值。

pfloat，默认值：0.5

与分位数相关的概率；即小于 q 的总体比例为 p。必须严格介于 0 和 1 之间。

alternative{‘two-sided’, ‘less’, ‘greater’}, 可选

定义备择假设。以下选项可用（默认值为 ‘two-sided’）

‘two-sided’：与概率 p 相关的分位数不为 q。
‘less’：与概率 p 相关的分位数小于 q。
‘greater’：与概率 p 相关的分位数大于 q。

返回:

resultQuantileTestResult

一个具有以下属性的对象

statisticfloat

分位数检验中可能使用的两个检验统计量之一。第一个检验统计量，T1，是 x 中小于或等于假设分位数 q 的样本比例。第二个检验统计量，T2，是 x 中严格小于假设分位数 q 的样本比例。

当 alternative = 'greater' 时，T1 用于计算 p 值，并且 statistic 设置为 T1。

当 alternative = 'less' 时，T2 用于计算 p 值，并且 statistic 设置为 T2。

当 alternative = 'two-sided' 时，将考虑 T1 和 T2，并使用导致最小 p 值的那个。

statistic_typeint

值为 1 或 2，具体取决于使用 T1 还是 T2 来计算 p 值。

pvaluefloat

与给定备择假设相关的 p 值。

该对象还具有以下方法

confidence_interval(confidence_level=0.95): 计算与概率 p 相关的总体分位数周围的置信区间。置信区间在具有字段 low 和 high 的 namedtuple 中返回。当没有足够的观测值来计算所需置信度的置信区间时，值为 nan。

说明

此检验及其计算置信区间的方法是非参数的。当且仅当观测值是 i.i.d. 时，它们才有效。

检验的实现遵循 Conover [1]。考虑了两个检验统计量。

T1：x 中小于或等于 q 的观测数。

T1 = (x <= q).sum()

T2：x 中严格小于 q 的观测数。

T2 = (x < q).sum()

必须使用两个检验统计量来处理 x 是从离散分布或混合分布中生成的情况。

检验的零假设是

H0：第 \(p^{\mathrm{th}}\) 个总体分位数是 q。

每个检验统计量的零分布是 \(\mathrm{binom}\left(n, p\right)\)。当 alternative='less' 时，备择假设为

H1：第 \(p^{\mathrm{th}}\) 个总体分位数小于 q。

并且 p 值是二项式随机变量的概率

\[Y \sim \mathrm{binom}\left(n, p\right)\]

大于或等于观测值 T2。

当 alternative='greater' 时，备择假设为

H1：第 \(p^{\mathrm{th}}\) 个总体分位数大于 q

并且 p 值是二项式随机变量 Y 小于或等于观测值 T1 的概率。

当 alternative='two-sided' 时，备择假设为

H1：q 不是第 \(p^{\mathrm{th}}\) 个总体分位数。

并且 p 值是 'less' 和 'greater' 情况的 p 值中较小值的两倍。对于相同的数据，这两个 p 值都可能超过 0.5，因此该值被裁剪到区间 \([0, 1]\) 中。

置信区间的方法归因于 Thompson [2]，后来被证明适用于任何 i.i.d. 样本集 [3]。该计算基于以下观察：分位数 \(q\) 大于任何观测值 \(x_m (1\leq m \leq N)\) 的概率可以计算为

\[\mathbb{P}(x_m \leq q) = 1 - \sum_{k=0}^{m-1} \binom{N}{k} q^k(1-q)^{N-k}\]

默认情况下，置信区间的计算置信度为 95%。对 95% 置信区间的常见解释是，如果从同一总体中重复抽取 i.i.d. 样本并每次形成置信区间，则置信区间将在大约 95% 的试验中包含指定分位数的真实值。

QuantileNPCI R 包中提供了类似的功能 [4]。基础是相同的，但它通过在样本值之间进行插值来计算置信区间边界，而此函数仅使用样本值作为边界。因此，quantile_test.confidence_interval 返回的区间更保守（即更大）。

confintr 包中包含了相同的分位数置信区间计算 [5]。

不能保证双边置信区间是最优的；也就是说，可能存在一个更紧密的区间，它可能以大于置信度的概率包含感兴趣的分位数。在没有对样本进行进一步假设（例如，潜在分布的性质）的情况下，单边区间是最佳的。

参考文献

[1]

1. Conover。实用非参数统计，第 3 版，1999 年。

[2]

W. R. Thompson，“关于未知分布形式的总体中位数和其他期望分布的置信范围”，《数理统计年鉴》，第 7 卷，第 3 期，第 122-128 页，1936 年，访问时间：2019 年 9 月 18 日。[在线]。可用：https://www.jstor.org/stable/2957563。

[3]

H. A. David 和 H. N. Nagaraja，“非参数推断中的顺序统计量”，载于《顺序统计量》，John Wiley & Sons, Ltd，2005 年，第 159-170 页。可用：https://onlinelibrary.wiley.com/doi/10.1002/0471722162.ch7。

[4]

N. Hutson、A. Hutson、L. Yan，“QuantileNPCI：分位数的非参数置信区间”，R 包，https://cran.r-project.cn/package=QuantileNPCI

[5]

M. Mayer，“confintr：置信区间”，R 包，https://cran.r-project.cn/package=confintr

示例

假设我们希望检验总体的中位数等于 0.5 的零假设。我们选择 99% 的置信水平；也就是说，如果 p 值小于 0.01，我们将拒绝零假设，转而支持备择假设。

当测试来自标准均匀分布的随机变量时，该分布的中位数为 0.5，我们预期数据在大多数情况下与零假设一致。

>>> import numpy as np
>>> from scipy import stats
>>> rng = np.random.default_rng()
>>> rvs = stats.uniform.rvs(size=100, random_state=rng)
>>> stats.quantile_test(rvs, q=0.5, p=0.5)
QuantileTestResult(statistic=45, statistic_type=1, pvalue=0.36820161732669576)

正如预期的那样，p 值没有低于我们的阈值 0.01，因此我们无法拒绝零假设。

当测试来自标准正态分布的数据时，该分布的中位数为 0，我们预期会拒绝零假设。

>>> rvs = stats.norm.rvs(size=100, random_state=rng)
>>> stats.quantile_test(rvs, q=0.5, p=0.5)
QuantileTestResult(statistic=67, statistic_type=2, pvalue=0.0008737198369123724)

事实上，p 值低于我们的阈值 0.01，因此我们拒绝零假设，转而支持默认的“双侧”备择假设：总体的中位数不等于 0.5。

但是，假设我们要针对单侧备择假设（总体的中位数大于 0.5）来检验零假设。由于标准正态分布的中位数小于 0.5，我们不会预期会拒绝零假设。

>>> stats.quantile_test(rvs, q=0.5, p=0.5, alternative='greater')
QuantileTestResult(statistic=67, statistic_type=1, pvalue=0.9997956114162866)

不出所料，由于 p 值大于我们的阈值，我们不会拒绝零假设，转而支持所选择的备择假设。

分位数检验可以用于任何分位数，而不仅仅是中位数。例如，我们可以测试样本基础分布的第三四分位数是否大于 0.6。

>>> rvs = stats.uniform.rvs(size=100, random_state=rng)
>>> stats.quantile_test(rvs, q=0.6, p=0.75, alternative='greater')
QuantileTestResult(statistic=64, statistic_type=1, pvalue=0.00940696592998271)

p 值低于阈值。我们拒绝零假设，转而支持备择假设：我们样本的基础分布的第三四分位数大于 0.6。

quantile_test 还可以计算任何分位数的置信区间。

>>> rvs = stats.norm.rvs(size=100, random_state=rng)
>>> res = stats.quantile_test(rvs, q=0.6, p=0.75)
>>> ci = res.confidence_interval(confidence_level=0.95)
>>> ci
ConfidenceInterval(low=0.284491604437432, high=0.8912531024914844)

当测试单侧备择假设时，置信区间包含所有观测值，这些观测值在作为 q 传递时，测试的 p 值将大于 0.05，因此不会拒绝零假设。例如

>>> rvs.sort()
>>> q, p, alpha = 0.6, 0.75, 0.95
>>> res = stats.quantile_test(rvs, q=q, p=p, alternative='less')
>>> ci = res.confidence_interval(confidence_level=alpha)
>>> for x in rvs[rvs <= ci.high]:
...     res = stats.quantile_test(rvs, q=x, p=p, alternative='less')
...     assert res.pvalue > 1-alpha
>>> for x in rvs[rvs > ci.high]:
...     res = stats.quantile_test(rvs, q=x, p=p, alternative='less')
...     assert res.pvalue < 1-alpha

此外，如果为随机样本重复生成 95% 的置信区间，则置信区间将在大约 95% 的重复试验中包含真实的分位数。

>>> dist = stats.rayleigh() # our "unknown" distribution
>>> p = 0.2
>>> true_stat = dist.ppf(p) # the true value of the statistic
>>> n_trials = 1000
>>> quantile_ci_contains_true_stat = 0
>>> for i in range(n_trials):
...     data = dist.rvs(size=100, random_state=rng)
...     res = stats.quantile_test(data, p=p)
...     ci = res.confidence_interval(0.95)
...     if ci[0] < true_stat < ci[1]:
...         quantile_ci_contains_true_stat += 1
>>> quantile_ci_contains_true_stat >= 950
True

这适用于任何分布和任何分位数，只要样本是独立同分布的。