Type 1-fejlprocent

Gå til

Find denne wiki på Physiotutors platform Bliv medlem af Physiotutors

Lær

Type 1-fejlprocent | Statistik

Test af flere variabler øger type 1-fejlraten eller den falske positive rate. Dette kaldes det multiple sammenligningsproblem. Det er ikke svært at korrigere for denne alfa-inflation. Der er to hovedmåder, nemlig Bonferroni-korrektionen og Holm-korrektionen.

Bonferroni-korrektion

Bonferroni-korrektionen er enkel, men ret konservativ. Du dividerer dit alfaniveau med antallet af tests, du skal udføre. Dette bliver det nye signifikansniveau. Så i dette tilfælde:

ɑ / n

ɑ: alfa- eller signifikansniveau

n: antal tests

0.05 / 10 = 0.005

Det kan du altså sagtens selv gøre, når du læser en artikel. Hvis der testes fem variabler, ved du, at alfaniveauet skal være omkring 0,01 i stedet for 0,05 (0,05/5). Dette er under forudsætning af, at forskerne ikke har udført en masse tests "bag kulisserne" uden at rapportere dem. Dette kaldes data-dredging eller p-hacking.

En anden måde er simpelthen at gange p-værdien i artiklen med antallet af tests.

F.eks.

P-værdi = 0,03

0.03 * 10 = 0.3

Det betyder, at den tidligere signifikante p-værdi nu blev insignifikant, hvis der blev testet 10 variabler.

Begrænsninger i Bonferroni-korrektion

Bonferroni-korrektionen er en udbredt metode til at justere signifikansniveauet for multiple sammenligninger for at kontrollere den samlede type I-fejlrate. Den har dog flere begrænsninger.

Et af hovedproblemerne er, at det kan være alt for stringent, hvilket kan føre til tab af statistisk styrke. Derudover antages det, at alle sammenligninger er uafhængige, hvilket måske ikke er tilfældet i den virkelige verden, hvilket potentielt kan føre til højere type II-fejlrater.

En anden begrænsning ved Bonferroni-korrektionen er, at den øger risikoen for falske negativer eller type II-fejl, hvilket betyder, at der er større risiko for at overse en ægte effekt.

Endelig er Bonferroni-korrektionen bedst egnet til situationer, hvor antallet af sammenligninger er relativt lille, da den måske ikke er så effektiv, når antallet af sammenligninger er meget stort. Derfor bør forskere nøje overveje, om Bonferroni-korrektionen er hensigtsmæssig i forhold til deres forskningsspørgsmål og datasæt, og være opmærksomme på dens begrænsninger.

Holm-korrektion

En anden måde at korrigere alfa-inflationen på er Holm-korrektionen. Lad os sige, at forskerne lavede fem tests og dermed fik fem p-værdier. For at Holm-korrektionen skal virke, skal de rangeres fra laveste til højeste.

F.eks.

0,0004
0,0130
0,0172
0,0460
0,0600

Holm-formlen er som følger:

p-værdi * (m + 1 - k)

m = antal p-værdier

k = p-værdiens rang

Så for den tredje p-værdi får vi ...

0,0172 * (5 + 1 - 3) = 0,0516

... hvilket gør resultaterne insignifikante.

Begrænsninger for Holm-korrektion

En begrænsning er, at Holms korrektion forudsætter, at alle tests er uafhængige, hvilket betyder, at resultaterne af en test ikke påvirker resultaterne af en anden. I nogle tilfælde kan testene dog være afhængige, f.eks. når man tester flere resultater fra den samme prøve, eller når man tester forskellige tidspunkter fra den samme intervention. I sådanne tilfælde kan Holms korrektion være for konservativ eller for liberal, hvilket fører til forkerte konklusioner. En anden begrænsning ved Holms korrektion er, at den ikke tager højde for korrelationen mellem testene, hvilket kan påvirke andelen af falske positive. Hvis for eksempel flere tests er relateret til det samme underliggende begreb, øges sandsynligheden for at opdage en signifikant effekt, og Holms korrektion tager måske ikke tilstrækkeligt højde for dette. Selv om Holms korrektion er en nyttig metode til at justere p-værdier i multiple sammenligningstest, er det vigtigt at overveje dens begrænsninger, især når testene er afhængige eller korrelerede. Andre metoder som f.eks. kontrol af False Discovery Rate eller Bayesianske metoder kan være mere hensigtsmæssige i nogle tilfælde.