多重比較問題とは何か？| 統計学

多重比較問題とは、同じサンプルに対して複数のテストを行った場合に生じる問題である。 例を挙げて説明しよう。

例えば。

例えば、ある研究が5000人の初心者ランナーを対象に、ランニング中のケガの危険因子を調べたとしよう。 どの変数がリスクを増大させるかはまだわかっていないため、さまざまな変数がテストされる。 例えば、ランニング量、舟状骨ドロップ、Qアングル、大腿四頭筋と大臀筋の強さ、ヒールとフォアフットの打撃パターン、ミニマリストとマキシマリストのシューズ、足関節背屈ROMなどである。

多重比較による偽陽性

ほとんどの研究者は、アルファ値または有意水準である5％の偽陽性率を受け入れる。 これは大腿四頭筋の強さのような与えられた変数に対するものだ。 つまり、この研究が100回実施された場合、実際には何もないにもかかわらず、約5回の研究で偽陽性の結果が示されることになる。

しかし、研究者たちは同じサンプル内で、四肢の強さだけでなく、10個の変数を調べている。 これには問題がある。

研究者たちはこの問題を知らずに治験を行う。 2年後のデータでは、ヒールストライクのパターンと臀筋の強さがランニング障害の危険因子であることが示されている。 素晴らしい！ それが結論であり、論文は出版される。

前述したように、有意水準が5％というのは、調査対象の変数が多岐にわたるため、現時点では偽陽性率が5％という意味ではない。 つまり研究者たちは、10個の変数を調べる試験を実施することで、偽陽性のリスクがはるかに高くなることを暗黙のうちに受け入れたことになる。

家族別のエラー率がそれを証明している。 非常に単純な計算で、偽陽性率を確認することができる！ 計算式を以下に示す。

多重比較問題の解決策

これが問題であることは同意できると思う。 では、どうするつもりなのか？ 解決策はある。 研究者は、ボンフェローニ補正やホルム補正を行うことで、このアルファインフレーションを打ち消す補正を行うことができる。 これについては「第1種エラー率コントロール」で説明する。

家族別エラー率の公式：

1 - (1 - ↪Ll_251)x

ɑ：アルファ値または有意水準（小数単位

x：テスト数

タイプIIエラー

しかし、個々の検定の有意水準を調整すると、すべての検定でタイプIIエラー（偽陰性）を起こす確率が高くなる可能性がある。 これは、有意水準が厳しくなればなるほど、個々の検定が真の効果や関係を検出する力が弱まるからである。 その結果、検査によっては有意な効果が見落とされ、偽陰性の結果を招くことがある。 多重比較問題による偽陰性の結果を避けるためには、仮説の事前登録、再現研究、ベイズ推定などのより強力な統計的手法などの技術を用いることができる。 さらに、実施されるテストの数を最小限に抑え、それらが意味のあるものであり、研究課題に関連したものであることを確実にするために、研究と検証される仮説を慎重に設計することが重要である。

ワソン、J. M. S. & ロバートソン、D. S. (2021). マルチアーム臨床試験におけるI型エラー率をコントロールする： 偽発見率のケース 医薬統計, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). 複数のテストを実施した。 第I部 一般的なI型エラー率を制御するためのシングルステップ手順。 遺伝学と分子生物学における統計的応用, 3, Article13.

ダニエル・レイクンスによる1型エラーコントロール、youtube

ジョン・ラドブルック（1998年）。 多重比較手順を更新した。この論文では、「多重比較の手続き」を更新した。