タイプ1エラー率｜統計

複数の変数をテストすると、第1種の過誤率や偽陽性率が高くなる。 これは多重比較問題と呼ばれる。 このアルファ・インフレーションを補正するのは難しいことではない。 ボンフェローニ補正とホルム補正である。

ボンフェローニ補正

ボンフェローニ補正は単純だが、かなり保守的である。 アルファ・レベルを、これから行おうとしているテストの数で割るのだ。 これが新しい有意水準となる。 だから、この場合はそうだ：

ɑ / n

ɑ：アルファ値または有意水準

n：テスト数

0.05 / 10 = 0.005

このように、論文を読むときに自分で簡単にできることだ。 5つの変数を検定する場合、アルファ水準は0.05ではなく約0.01（0.05 / 5）であるべきであることがわかる。 これは、研究者たちが報告しないまま "水面下で "大量のテストを実施していないという前提の下での話である。 これはデータ・ドレッジングあるいはPハッキングと呼ばれる。

もう一つの方法は、論文のp値に単純に検定数を掛けることである。

例えば。

P値 = 0.03

0.03 * 10 = 0.3

つまり、以前は有意であったp値が、10個の変数を検定すると有意でなくなったということである。

ボンフェローニ補正の限界

ボンフェローニ補正は、全体的なタイプIエラー率をコントロールするために、多重比較の有意水準を調整する方法として広く用いられている。 しかし、これにはいくつかの限界がある。

主な問題のひとつは、厳しすぎて統計的検出力を失う可能性があることだ。 さらに、すべての比較が独立であると仮定しているが、現実のデータではそうではない可能性があり、タイプⅡのエラー率が高くなる可能性がある。

ボンフェローニ補正のもう1つの限界は、偽陰性またはタイプIIエラーの可能性が高くなることである。

最後に、ボンフェローニ補正は、比較の数が比較的少ない場合に最も適切であり、比較の数が非常に多い場合には、それほど効果的ではないかもしれない。 したがって研究者は、研究課題とデータセットに対するボンフェローニ補正の妥当性を慎重に検討し、その限界に注意すべきである。

ホルム修正

アルファ・インフレーションを補正する第二の方法はホルム補正である。 研究者が5つのテストを行い、その結果5つのp値になったとしよう。 ホルム補正を機能させるためには、下位から上位へとランク付けする必要がある。

例えば。

• 0,0004
• 0,0130
• 0,0172
• 0,0460
• 0,0600

ホルム式は以下の通りである： 

p値 * (m + 1 - k)

m = p値の数

k = p値の順位

つまり、3つ目のp値は...となる。

0,0172 * (5 + 1 - 3) = 0,0516

... 結果は取るに足らないものとなった。

ホルム補正の限界

一つの限界は、ホルムの補正はすべてのテストが独立している、つまりあるテストの結果が他のテストの結果に影響を与えないことを前提としていることである。 しかし、同じ標本から複数の結果を検定する場合や、同じ介入から異なる時点の結果を検定する場合など、検定が依存する場合もある。 このような場合、ホルムの補正は保守的すぎたり、リベラルすぎたりして、誤った結論を導く可能性がある。 ホルムの補正のもう一つの限界は、偽陽性率に影響しうる検査間の相関を考慮していないことである。 例えば、複数の検定が同じ基礎構成概念に関連している場合、有意な効果を検出する確率が高くなるが、ホルム補正ではこれを十分に説明できないことがある。 Holmの補正は多重比較検定でp値を調整するのに便利な方法であるが、特に検定が従属または相関している場合には、その限界を考慮することが重要である。 場合によっては、誤検出率コントロールやベイズ法などの他の方法がより適切かもしれない。

ジョン・ラドブルック（1998年）。 多重比較手順を更新した。 

Giacalone, M., Agata, Z., Cozzucoli, P. C., & Alibrandi, A. (2018). 健康データを比較するためのBonferroni-Holm検定と並べ替え検定：方法論と適用上の問題点。 BMC Medical Research Methodology, 18(1). doi:10.1186/s12874-018-0540-8.

ダニエル・レイクンスによる1型エラーコントロール、youtube