什么是多重比较问题？| 统计

多重比较问题是指对同一样本进行多次测试时出现的问题。 一个例子可以说明这一点。

例如

假设一项研究调查了 5000 名跑步新手跑步受伤的前瞻性风险因素。 我们对不同的变量进行了测试，因为我们还不知道哪些变量会增加风险。 例如：跑步量、舟骨下垂、Q 角、四肢和臀部力量、脚跟与前脚掌击球模式、极简鞋与极致鞋，以及踝关节外翻 ROM。

多重比较的误报

大多数研究人员会接受 5%的假阳性率，即阿尔法或显著性水平。 这是针对给定变量（如股四头肌力量）而言的。 这意味着，如果这项研究进行 100 次，大约有 5 次研究会显示出 假阳性结果而事实上，根本就没有。

不过，研究人员研究的是同一样本中的十个变量，而不仅仅是四边形强度。 这就带来了一个问题。

研究人员在不知情的情况下进行试验。 两年后的数据显示，脚跟着地模式和臀部力量是跑步受伤的风险因素。 好极了 这就是结论，论文就这样发表了。

如前所述，5% 的显著性水平并不意味着目前有 5%的假阳性率，因为正在研究的不同变量太多了。 因此，研究人员在进行试验时，隐含地接受了更大的假阳性结果风险，研究了十个变量。

按家庭分列的误差率证明了这一点。 通过简单的计算，我们可以得出假阳性率为 40%！ 计算公式如下。

多重比较问题的解决方案

我想我们都同意，这是一个问题。 那我们该怎么办呢？ 有一个解决方案。 研究人员可以通过 Bonferroni 或 Holm 校正来抵消这种α-膨胀。 这将在 "第 1 类错误率控制"中讨论。

全族误差率公式

1 - (1 - ɑ)x

ɑ：以小数表示的α或显著性水平

x：测试次数

第二类错误

然而，调整每个测试的显著性水平会增加所有测试中出现第二类错误（假阴性）的概率。 这是因为更严格的显著性水平降低了每个测试检测真实效应或关系的能力。 因此，在某些检测中可能会漏掉重要的影响，导致假阴性结果。 为了避免多重比较问题导致的假阴性结果，我们可以使用一些技术，如预先登记假设、重复研究或贝叶斯推断等更强大的统计方法。 此外，还必须精心设计研究和测试的假设，以尽量减少测试次数，并确保测试有意义且与研究问题相关。

Wason, J. M. S., & Robertson, D. S. (2021). 控制多臂临床试验中的 I 类错误率： 虚假发现率案例 医药统计》，20（1），109-116。

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). 多重测试。 第 I 部分：控制一般 I 类错误率的单步程序。 遗传学和分子生物学中的统计应用》，第 3 期，第 13 条。

D. 拉肯斯，丹尼尔-拉肯斯的第 1 类错误控制，youtube

约翰-路德布鲁克（1998 年）。 更新多重比较程序doi:10.1111/j.1440-1681.1998.tb02179.x