Wat is het alfa-niveau? | Statistieken

In de frequentistische statistiek is het alfa-niveau (ook wel significantieniveau genoemd) de waarschijnlijkheid dat de nulhypothese wordt verworpen als deze waar is. In de context van fysiotherapeutisch onderzoek kan de nulhypothese zijn dat er geen verschil in pijnvermindering is tussen twee verschillende fysiotherapeutische interventies. Het alfa-niveau wordt gewoonlijk vastgesteld op 0,05, wat betekent dat er een kans van 5% is dat de nulhypothese (d.w.z. concluderen dat er een verschil in pijnvermindering is terwijl dat niet zo is) op de lange termijn onjuist wordt verworpen.

Het is vooral belangrijk om dit als een resultaat op lange termijn te beschouwen. Als er 100 vergelijkbare onderzoeken worden uitgevoerd, zullen gemiddeld 5 daarvan een vals positief resultaat laten zien als er geen effect is.

Uitgelegd met een voorbeeld

Stel dat in een onderzoek twee fysiotherapeutische interventies voor pijn in de onderrug worden vergeleken en de resultaten laten zien dat de gemiddelde pijnreductie voor interventie A 6 punten is op een pijnschaal en de gemiddelde pijnreductie voor interventie B 8 punten is op een pijnschaal. Met een alfa-niveau van 0,05 zouden de onderzoekers de nulhypothese verwerpen en concluderen dat er een statistisch significant verschil is in pijnvermindering tussen de twee interventies omdat het verschil in gemiddelden groter is dan wat door toeval verwacht zou worden.

Alle hagel p<0.05?

Het is belangrijk om op te merken dat het instellen van een alfa-niveau van 0,05 een conventie is en geen regel. De keuze van het alfa-niveau hangt af van de context van het onderzoek en de mogelijke gevolgen van een vals positief of vals negatief resultaat. Als bijvoorbeeld de gevolgen van een vals positief resultaat (d.w.z. concluderen dat een behandeling effectief is terwijl dat niet zo is) ernstiger zijn, kunnen onderzoekers ervoor kiezen om een lager alfa-niveau te gebruiken (bijv. 0,01) om de kans op een vals positief resultaat te verkleinen.

Langetermijnvisie

We willen nogmaals het belang benadrukken van een langetermijnvisie. Je kunt niet zomaar zeggen dat er een kans van 5% is dat het papier een vals positief resultaat is geworden. Wanneer het onderzoek wordt uitgevoerd, is het gewoon vals positief, of niet. De 5% heeft het over langetermijnresultaten. Als deze test in meerdere onderzoeken met vergelijkbare aandoeningen wordt uitgevoerd, zal in ongeveer 5% van de onderzoeken een vals positief resultaat worden gevonden.

Een fysiotherapeutische interventie kan zeer effectief lijken voor het verminderen van pijn in de onderrug, met een kleine p-waarde (die een statistisch significant verschil aangeeft) en een grote effectgrootte. Als dit ene onderzoek echter niet wordt herhaald in andere onderzoeken, is het moeilijk om te bepalen of de resultaten toe te schrijven zijn aan toeval of aan een echt effect.

Bij een langetermijnvisie worden de resultaten van meerdere studies in de loop der tijd in aanmerking genomen om een vollediger inzicht te krijgen in de doeltreffendheid van een interventie. Deze aanpak is bijzonder belangrijk in fysiotherapeutisch onderzoek, waar de resultaten van één enkel onderzoek niet generaliseerbaar zijn naar andere populaties of settings.

Misvattingen

Er bestaan verschillende misvattingen over de p-waarde:

• P-waarde is een maat voor de sterkte van het bewijs: De p-waarde meet niet de sterkte van het bewijs tegen de nulhypothese, maar eerder de waarschijnlijkheid dat een testgrootheid even extreem of extremer is dan de waargenomen waarde, aangenomen dat de nulhypothese waar is.
• Een kleine p-waarde betekent sterk bewijs tegen de nulhypothese: Een kleine p-waarde geeft alleen aan dat de gegevens niet consistent zijn met de nulhypothese, maar levert geen bewijs voor de alternatieve hypothese. Bovendien betekent een kleine p-waarde niet dat het effect groot of belangrijk is.
• Een P-waarde van 0,05 is een harde drempel voor significantie: De drempel van 0,05 is arbitrair en is aangenomen als een conventionele drempel voor statistische significantie, maar het betekent niet dat resultaten met p-waarden groter dan 0,05 automatisch niet significant zijn. De interpretatie van de p-waarde moet afhangen van de context en de onderzoeksvraag die wordt bestudeerd.
• P-waarde is de waarschijnlijkheid dat de nulhypothese waar is: De p-waarde is niet de waarschijnlijkheid dat de nulhypothese waar is, maar eerder de waarschijnlijkheid dat de gegevens worden waargenomen als de nulhypothese waar is.
• P-waarde kan worden gebruikt om een causale gevolgtrekking te maken: De p-waarde levert alleen bewijs voor of tegen een nulhypothese en impliceert niet noodzakelijk causaliteit. Causale gevolgtrekkingen vereisen aanvullende informatie, zoals een goed opgezet onderzoek met de juiste controles voor verstorende factoren.

Voor meer informatie over de P-waarde. Bekijk onze post erover hier!

Upshur, R. E. (2001). De ethiek van alfa: beschouwingen over statistieken, bewijzen en waarden in de geneeskunde. Theoretische geneeskunde en bio-ethiek, 22(6), 565-576.

Berger, V. W., & Hsieh, G. (2005). Heroverweging van de statistiek: alfa-niveaus van werkzaamheid baseren op veiligheidsgegevens in gerandomiseerde proeven. Israeli Journal of Emergency Medicine, 5(3), 55-60.

Neyman, J. en Pearson, E.S. (1928) On the Use and Interpretation of Certain Test Criteria for Purposes of Statistical Inference. Biometrika, 20A, 175-240.

Groenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statistische tests, P-waarden, betrouwbaarheidsintervallen en macht: een gids voor verkeerde interpretaties. Europees tijdschrift voor epidemiologie, 31(4), 337-350.