Type 1 foutenpercentage

Ga naar

Vind deze wiki op het Fysiotutors platform Lid worden

Leer

Type 1 foutenpercentage | statistieken

Het testen van meerdere variabelen verhoogt het type 1 foutpercentage of het fout-positieve percentage. Dit wordt het meervoudige vergelijkingsprobleem genoemd. Corrigeren voor deze alpha-inflatie is niet moeilijk. Er zijn twee belangrijke manieren, namelijk de Bonferroni-correctie en de Holm-correctie.

Bonferroni correctie

De Bonferroni-correctie is eenvoudig maar vrij conservatief. Je deelt je alfa-niveau door het aantal tests dat je gaat uitvoeren. Dit wordt het nieuwe significantieniveau. Dus in dit geval:

ɑ / n

ɑ: alfa of significantieniveau

n: aantal tests

0.05 / 10 = 0.005

Je kunt dit dus vrij gemakkelijk zelf doen als je een artikel leest. Als er vijf variabelen worden getest, weet je dat het alfa-niveau ongeveer 0,01 moet zijn in plaats van 0,05 (0,05 / 5). Dit is in de veronderstelling dat de onderzoekers geen bootlading tests "achter de schermen" uitvoerden terwijl ze deze niet rapporteerden. Dit wordt data-dredging of p-hacking genoemd.

Een andere manier is door simpelweg de p-waarde in het artikel te vermenigvuldigen met het aantal testen.

Bijvoorbeeld.

P-waarde = 0,03

0.03 * 10 = 0.3

Dit betekent dat de eerder significante p-waarde nu niet meer significant is als er 10 variabelen worden getest.

Bonferroni-correctie beperkingen

De Bonferroni-correctie is een veelgebruikte methode om het significantieniveau voor meervoudige vergelijkingen aan te passen om het algehele type I-foutenpercentage te beheersen. Het heeft echter een aantal beperkingen.

Een van de belangrijkste problemen is dat het te streng kan zijn, wat kan leiden tot een verlies aan statistisch vermogen. Bovendien gaat het ervan uit dat alle vergelijkingen onafhankelijk zijn, wat mogelijk niet het geval is in echte gegevens, wat mogelijk leidt tot hogere Type II foutpercentages.

Een andere beperking van de Bonferroni-correctie is dat het de kans op vals-negatieven of Type II-fouten vergroot, wat betekent dat er een grotere kans is op het missen van een echt effect.

Ten slotte is de Bonferroni-correctie het meest geschikt voor situaties waarin het aantal vergelijkingen betrekkelijk klein is, aangezien zij wellicht minder doeltreffend is wanneer het aantal vergelijkingen zeer groot is. Daarom moeten onderzoekers zorgvuldig nagaan of de Bonferroni-correctie geschikt is voor hun onderzoeksvraag en dataset, en zich bewust zijn van de beperkingen ervan.

Holm correctie

Een tweede manier om de alfa-inflatie te corrigeren is de Holm-correctie. Laten we zeggen dat de onderzoekers vijf testen hebben gedaan en zo vijf p-waarden hebben gekregen. Om de Holm-correctie te laten werken, moeten ze worden gerangschikt van laag naar hoog.

Bijvoorbeeld.

0,0004
0,0130
0,0172
0,0460
0,0600

De Holm-formule is als volgt:

p-waarde * (m + 1 - k)

m = aantal p-waarden

k = de rang van de p-waarde

Dus voor de derde p-waarde krijgen we...

0,0172 * (5 + 1 - 3) = 0,0516

...waardoor de resultaten onbeduidend zijn.

Holm Correction Beperkingen

Een beperking is dat Holm's correctie ervan uitgaat dat alle testen onafhankelijk zijn, wat betekent dat de resultaten van de ene test de resultaten van de andere niet beïnvloeden. In sommige gevallen kunnen de testen echter afhankelijk zijn, zoals bij het testen van meerdere uitkomsten van hetzelfde monster of bij het testen van verschillende tijdstippen van dezelfde interventie. In dergelijke gevallen kan Holms correctie te conservatief of te liberaal zijn, wat tot onjuiste conclusies leidt. Een andere beperking van Holm's correctie is dat deze geen rekening houdt met de correlatie tussen de testen, die het fout-positieve percentage kan beïnvloeden. Als bijvoorbeeld meerdere tests betrekking hebben op hetzelfde onderliggende construct, neemt de kans op het detecteren van een significant effect toe, en Holm's correctie houdt hier mogelijk onvoldoende rekening mee. Hoewel Holm's correctie een nuttige methode is voor het aanpassen van p-waarden in meervoudige vergelijkingstesten, is het belangrijk om rekening te houden met de beperkingen, vooral als de testen afhankelijk of gecorreleerd zijn. Andere methoden zoals False Discovery Rate-controle of Bayesiaanse methoden kunnen in sommige gevallen geschikter zijn.