Hvad er problemet med flere sammenligninger? | Statistik

Problemet med multiple sammenligninger er det problem, der opstår, når der udføres flere tests på den samme prøve. Et eksempel vil illustrere dette.

F.eks.

Lad os sige, at en undersøgelse ser på potentielle risikofaktorer for løbeskader hos 5000 nye løbere. Forskellige variabler testes, da vi endnu ikke ved, hvilke der vil øge risikoen. Eksempler er: løbevolumen, navicular drop, q-vinkel, quad- og glute-styrke, hæl- vs. forfodsstødsmønster, minimalistisk vs. maksimalistisk sko og ankel-dorsalfleksion ROM.

Falske positiver med flere sammenligninger

De fleste forskere vil acceptere en 5% falsk positiv rate, alfa- eller signifikansniveauet. Dette er for en given variabel som quadricepsstyrke. Det betyder, at hvis denne undersøgelse udføres 100 gange, vil ca. 5 undersøgelser vise et falsk positivt resultat, når der faktisk ikke er noget.

Forskerne ser dog på ti variabler, ikke kun quad-styrke, inden for den samme stikprøve. Det giver et problem.

Forskerne gennemfører forsøget uden at kende til dette problem. To år senere kommer der data, som viser, at et hælslagsmønster og styrke i bagdelen er en risikofaktor for en løbeskade. Fantastisk! Det er konklusionen, og artiklen bliver publiceret.

Som tidligere nævnt betyder signifikansniveauet på 5 % ikke, at der er en falsk positiv rate på 5 % på dette tidspunkt på grund af de mange forskellige variabler, der undersøges. Så forskerne accepterede implicit en meget større risiko for falske positive resultater ved at gennemføre forsøget og se på ti variabler.

Den familievise fejlprocent viser dette. Med en ganske simpel beregning kan vi tjekke den falske positive rate, den er 40%! Formlen er vist nedenfor.

Løsninger på problemet med flere sammenligninger

Jeg tror, vi kan blive enige om, at det er et problem. Så hvad skal vi gøre ved det? Der findes en løsning. Forskere kan foretage korrektioner for at modvirke denne alfa-inflation ved at foretage en Bonferroni- eller Holm-korrektion. Dette diskuteres i "Type 1 error rate control".

Formel for familievis fejlprocent:

1 - (1 - ɑ)x

ɑ: alfa- eller signifikansniveau i decimaler

x: antal tests

Type II-fejl

Men hvis man justerer signifikansniveauet for hver enkelt test, kan det øge sandsynligheden for at lave en type II-fejl (falsk negativ) på tværs af alle testene. Det skyldes, at det strengere signifikansniveau reducerer hver enkelt tests evne til at påvise en sand effekt eller sammenhæng. Derfor kan en betydelig effekt blive overset i nogle tests, hvilket fører til falsk negative resultater. For at undgå falske negative resultater på grund af problemet med flere sammenligninger kan vi bruge teknikker som forhåndsregistrering af hypoteser, replikationsstudier eller mere kraftfulde statistiske metoder som Bayesiansk inferens. Derudover er det vigtigt at designe undersøgelsen og de hypoteser, der testes, omhyggeligt for at minimere antallet af tests, der udføres, og sikre, at de er meningsfulde og relevante for forskningsspørgsmålet.

Wason, J. M. S., & Robertson, D. S. (2021). Kontrol af type I-fejlprocenter i kliniske forsøg med flere arme: En sag for den falske opdagelsesrate. Farmaceutisk statistik, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Flere tests. Del I. Enkelttrinsprocedurer til kontrol af generelle type I-fejlprocenter. Statistiske anvendelser i genetik og molekylærbiologi, 3, artikel 13.

Lakens, D., Type 1 error control af Daniel Lakens, youtube

John Ludbrook (1998). MULTIPLE SAMMENLIGNINGSPROCEDURER OPDATERET. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x