第 1 类错误率统计

测试多个变量会增加 1 类错误率或假阳性率。 这就是所谓的多重比较问题。 纠正这种阿尔法膨胀并不难。 主要有两种方法，即 Bonferroni 校正和 Holm 校正。

Bonferroni 校正

Bonferroni 校正很简单，但相当保守。 用您的阿尔法水平除以您将要进行的测试次数。 这将是新的显著性水平。 所以在这种情况下

ɑ / n

ɑ：α 或显著性水平

n：测试次数

0.05 / 10 = 0.005

因此，在阅读论文时，您可以很容易地做到这一点。 如果测试 5 个变量，那么阿尔法水平应为 0.01，而不是 0.05（0.05/5）。 前提是研究人员没有在 "幕后 "进行大量的测试，却没有报告这些测试。 这就是所谓的数据挖掘或P 黑客。

另一种方法是将论文中的p 值乘以测试次数。

例如

P 值 = 0.03

0.03 * 10 = 0.3

这意味着，如果测试 10 个变量，以前显著的p 值现在变得不显著了。

Bonferroni 校正限制

Bonferroni 校正是一种广泛使用的方法，用于调整多重比较的显著性水平，以控制总体 I 类错误率。 不过，它也有一些局限性。

其中一个主要问题是，它可能过于严格，从而导致统计能力下降。 此外，它还假定所有比较都是独立的，而真实世界的数据可能并非如此，从而可能导致较高的II 类错误率。

Bonferroni 校正法的另一个局限性是增加了假阴性或II 类错误的几率，这意味着遗漏真实效应的几率更高。

最后，Bonferroni 校正最适合比较次数相对较少的情况，因为当比较次数非常多时，它可能就不那么有效了。 因此，研究人员应仔细考虑 Bonferroni 校正是否适合其研究问题和数据集，并了解其局限性。

霍尔姆校正

校正阿尔法膨胀的第二种方法是霍尔姆校正法。 假设研究人员进行了五次测试，因此得出了五个p 值。 要使霍尔姆修正法发挥作用，应将它们从低到高排序。

例如

• 0,0004
• 0,0130
• 0,0172
• 0,0460
• 0,0600

霍尔姆公式如下 

p 值 * (m + 1 - k)

m = p 值数

k = p 值的等级

因此，对于第三个 p 值，我们可以得到...

0,0172 * (5 + 1 - 3) = 0,0516

......使结果变得不重要。

霍尔姆校正限制

一个限制因素是霍尔姆校正法假定所有测试都是独立的，即一个测试的结果不会影响另一个测试的结果。 不过，在某些情况下，测试可能是依赖性的，例如测试同一样本的多个结果，或测试同一干预措施的不同时间点。 在这种情况下，霍尔姆的修正可能过于保守或过于自由，从而导致不正确的结论。 霍尔姆校正法的另一个局限是，它没有考虑测试之间的相关性，而这种相关性会影响假阳性率。 例如，如果多个测试都与同一基本构造相关，那么检测到显著效应的概率就会增加，而 Holm 的校正可能无法充分考虑到这一点。 虽然 Holm 校正是多重比较检验中调整p 值的有用方法，但必须考虑到它的局限性，特别是当检验具有依赖性或相关性时。 其他方法，如错误发现率控制或贝叶斯方法，在某些情况下可能更合适。

约翰-路德布鲁克（1998 年）。 更新多重比较程序doi:10.1111/j.1440-1681.1998.tb02179.x 

Giacalone, M., Agata, Z., Cozzucoli, P. C., & Alibrandi, A. (2018). 比较健康数据的 Bonferroni-Holm 和 permutation 检验：方法和应用问题。 BMC Medical Research Methodology, 18(1). doi:10.1186/s12874-018-0540-8

D. 拉肯斯，丹尼尔-拉肯斯的第 1 类错误控制，youtube