Wat is het Meervoudige Vergelijkingsprobleem? | Statistieken

Het probleem van de meervoudige vergelijking doet zich voor wanneer meerdere tests op hetzelfde monster worden uitgevoerd. Een voorbeeld zal dit illustreren.

Bijvoorbeeld.

Stel dat in een studie wordt gekeken naar toekomstige risicofactoren voor hardloopblessures bij 5000 beginnende hardlopers. Er worden verschillende variabelen getest, omdat we nog niet weten welke het risico vergroten. Voorbeelden zijn: loopvolume, naviculaire drop, q-hoek, kracht van quad en bilspieren, hiel- vs. voorvoetslagpatroon, minimalistische vs. maximalistische schoen, en ROM van de dorsaalflexie van de enkel.

Valse positieven bij meervoudige vergelijking

De meeste onderzoekers accepteren een percentage van 5% fout-positieve uitslagen, het alfa of significantieniveau. Dit is voor een bepaalde variabele zoals quadriceps kracht. Dit betekent dat als dit onderzoek honderd keer wordt uitgevoerd, ongeveer 5 onderzoeken een vals positief resultaat zullen laten zien, terwijl er in feite geen is.

De onderzoekers kijken echter naar tien variabelen, niet alleen naar quadsterkte; binnen dezelfde steekproef. Dit levert een probleem op.

De onderzoekers voeren, zonder dit probleem te kennen, de proef uit. Twee jaar later komen de gegevens binnen, waaruit blijkt dat een hielslagpatroon en bilspiersterkte een risicofactor zijn voor een hardloopblessure. Geweldig! Dat is de conclusie en de krant wordt gepubliceerd.

Zoals eerder opgemerkt, betekent het significantieniveau van 5% niet dat er op dit moment sprake is van een vals-positief percentage van 5% vanwege de overvloed aan verschillende variabelen die worden onderzocht. Dus de onderzoekers accepteerden impliciet een veel groter risico op vals-positieve resultaten door de proef uit te voeren en naar tien variabelen te kijken.

Het foutenpercentage per familie toont dit aan. Met een vrij eenvoudige berekening kunnen we het vals-positieve percentage controleren en dat is 40%! De formule wordt hieronder weergegeven.

Oplossingen voor het probleem van de meervoudige vergelijking

Ik denk dat we het erover eens zijn dat dit een probleem vormt. Dus wat gaan we eraan doen? Er is een oplossing. Onderzoekers kunnen correcties uitvoeren om deze alfa-inflatie tegen te gaan door een Bonferroni- of Holm-correctie uit te voeren. Dit wordt besproken in "Type 1 error rate control".

Family-wise error rate formule:

1 - (1 - ɑ)x

ɑ: alfa of significantieniveau in decimalen

x: aantal tests

Type II Fouten

Het aanpassen van het significantieniveau van elke individuele test kan echter de kans op het maken van een Type II fout (fout-negatief) over alle tests vergroten. Dit komt omdat het strengere significantieniveau de kracht van elke afzonderlijke test om een echt effect of verband te detecteren, vermindert. Bijgevolg kan een significant effect in sommige tests gemist worden, wat leidt tot vals-negatieve resultaten. Om vals-negatieve resultaten als gevolg van het meervoudige vergelijkingsprobleem te vermijden, kunnen we technieken gebruiken zoals het vooraf registreren van hypotheses, replicatiestudies of krachtigere statistische methoden zoals Bayesiaanse inferentie. Daarnaast is het belangrijk om het onderzoek en de hypotheses die worden getest zorgvuldig te ontwerpen om het aantal uitgevoerde tests te minimaliseren en ervoor te zorgen dat ze zinvol en relevant zijn voor de onderzoeksvraag.

Wason, J. M. S., & Robertson, D. S. (2021). Beheersing van type I fouten bij multi-arm klinische proeven: Een zaak voor de false discovery rate. Farmaceutische statistiek, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Meervoudige testen. Deel I. Eénstapsprocedures voor de controle van algemene type I foutenpercentages. Statistische toepassingen in genetica en moleculaire biologie, 3, Artikel13.

Lakens, D., Type 1 error control door Daniel Lakens, youtube

John Ludbrook (1998). PROCEDURES VOOR MEERVOUDIGE VERGELIJKING BIJGEWERKT. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x