Na czym polega problem porównywania wielokrotnego? | Statystyka

Problem wielokrotnego porównywania to kwestia, która pojawia się, gdy przeprowadza się wiele testów na tej samej próbce. Zilustruje to przykład.

Np.

Załóżmy, że w badaniu przeanalizowano potencjalne czynniki ryzyka kontuzji u 5000 początkujących biegaczy. Testowane są różne zmienne, ponieważ nie wiemy jeszcze, które z nich zwiększą ryzyko. Przykłady to: objętość biegu, opadanie szpary kostnej, kąt q, siła mięśnia czworogłowego i pośladków, wzorzec uderzenia pięty i przodostopia, buty minimalistyczne i maksymalistyczne oraz zakres zgięcia grzbietowego kostki.

Fałszywe alarmy przy wielokrotnym porównywaniu

Większość badaczy akceptuje 5% odsetek wyników fałszywie dodatnich, poziom alfa lub poziom istotności. Dotyczy to danej zmiennej, takiej jak siła mięśnia czworogłowego. Oznacza to, że jeśli to badanie zostanie przeprowadzone sto razy, około 5 badań wykaże fałszywie pozytywny wynik, podczas gdy w rzeczywistości nie ma żadnego.

Badacze przyjrzeli się jednak dziesięciu zmiennym, a nie tylko sile quada; w ramach tej samej próby. Stanowi to pewien problem.

Badacze, nieświadomi tego problemu, przeprowadzają próbę. Dwa lata później pojawiły się dane pokazujące, że wzorzec uderzenia piętą i siła pośladków są czynnikami ryzyka kontuzji podczas biegania. Świetnie! Taki jest wniosek i artykuł zostaje opublikowany.

Jak wspomniano wcześniej, poziom istotności wynoszący 5% nie oznacza, że w tym momencie istnieje 5% fałszywie dodatni wskaźnik ze względu na mnogość różnych zmiennych, które są badane. Tak więc badacze domyślnie zaakceptowali znacznie większe ryzyko fałszywie pozytywnych wyników, przeprowadzając badanie, analizując dziesięć zmiennych.

Świadczy o tym poziom błędów w poszczególnych rodzinach. Za pomocą dość prostych obliczeń możemy sprawdzić współczynnik fałszywie dodatnich wyników, który wynosi 40%! Wzór został przedstawiony poniżej.

Rozwiązania problemu wielokrotnego porównywania

Myślę, że możemy się zgodzić, że stanowi to problem. Więc co zamierzamy z tym zrobić? Istnieje rozwiązanie. Badacze mogą dokonywać korekt, aby przeciwdziałać tej inflacji alfa, wykonując korektę Bonferroniego lub Holma. Zostało to omówione w sekcji "Kontrola poziomu błędu typu 1".

Wzór na rodzinny poziom błędu:

1 - (1 - ɑ)x

ɑ: alfa lub poziom istotności w ułamkach dziesiętnych

x: liczba testów

Błędy typu II

Jednak dostosowanie poziomu istotności każdego indywidualnego testu może zwiększyć prawdopodobieństwo popełnienia błędu typu II (fałszywie ujemnego) we wszystkich testach. Wynika to z faktu, że bardziej rygorystyczny poziom istotności zmniejsza moc każdego indywidualnego testu do wykrycia prawdziwego efektu lub związku. W związku z tym w niektórych testach można przeoczyć znaczący efekt, co prowadzi do wyników fałszywie ujemnych. Aby uniknąć fałszywie negatywnych wyników z powodu problemu wielokrotnych porównań, możemy użyć takich technik, jak wstępna rejestracja hipotez, badania replikacyjne lub bardziej zaawansowane metody statystyczne, takie jak wnioskowanie bayesowskie. Ponadto ważne jest, aby starannie zaprojektować badanie i testowane hipotezy, aby zminimalizować liczbę przeprowadzonych testów i upewnić się, że są one znaczące i istotne dla pytania badawczego.

Wason, J. M. S., & Robertson, D. S. (2021). Kontrolowanie poziomu błędu typu I w wieloramiennych badaniach klinicznych: Przypadek wskaźnika fałszywych odkryć. Statystyka farmaceutyczna, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Testowanie wielokrotne. Część I. Jednoetapowe procedury kontroli ogólnych poziomów błędu typu I. Zastosowania statystyczne w genetyce i biologii molekularnej, 3, Artykuł 13.

Lakens, D., Kontrola błędów typu 1 przez Daniela Lakensa, youtube

John Ludbrook (1998). ZAKTUALIZOWANE PROCEDURY WIELOKROTNEGO PORÓWNYWANIA. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x