Wat is P-Hacking? | Statistieken

P-hacking is een term die gebruikt wordt om verschillende technieken te beschrijven die onderzoekers kunnen gebruiken om de kans op het vinden van statistisch significante resultaten in hun onderzoek te vergroten, zelfs als de resultaten eigenlijk niet betekenisvol zijn. Dit is een vorm van gegevensmanipulatie die kan leiden tot de publicatie van vals-positieve resultaten.

Bijvoorbeeld.

In een studie waarin de doeltreffendheid van twee verschillende fysiotherapeutische ingrepen voor rotator cuff-gerelateerde schouderpijn wordt vergeleken, kan een onderzoeker meerdere analyses van de gegevens uitvoeren en alleen de analyses rapporteren die een statistisch significant verschil tussen de twee ingrepen aantonen. Dit is p-hacking omdat de onderzoeker selectief alleen de resultaten rapporteert die zijn hypothese ondersteunen en de resultaten die dat niet doen, negeert.

Meerdere niet-gecorrigeerde vergelijkingen

Een ander voorbeeld van p-hacking in fysiotherapeutisch onderzoek is wanneer een onderzoeker meerdere vergelijkingen uitvoert tussen verschillende interventies, maar niet aanpast voor deze meervoudige vergelijkingen. Dit kan leiden tot een verhoogde kans op het vinden van statistisch significante resultaten door toeval, zelfs als de interventies niet echt verschillend zijn.

Door selectief een deel van de gegevens te verwijderen, "hackt" de onderzoeker in feite de resultaten, omdat het de kans vergroot dat er een statistisch significant verschil wordt gevonden tussen de twee interventies, zelfs als er geen echt verschil is. De onderzoeker kan de gegevens dan presenteren alsof het om een eerlijke vergelijking gaat, wat tot onjuiste conclusies kan leiden en toekomstig onderzoek en behandeling kan misleiden. Dit is slechts één van de manieren om dit te doen.

Onbedoeld

Het is belangrijk om op te merken dat P-hacking per ongeluk kan gebeuren en kan voortkomen uit het gebrek aan statistische kennis van een onderzoeker of de druk om veelbelovende resultaten te publiceren. Maar het kan ook een bewuste keuze zijn met een doel voor ogen. Onderzoekers moeten hun onderzoeksopzet en analyseplan vooraf registreren, alle bevindingen rapporteren en de juiste statistische technieken toepassen om rekening te houden met meervoudige vergelijkingen om p-hacking te voorkomen. Om het vertrouwen in de bevindingen te vergroten, kan ook gebruik worden gemaakt van replicatiestudies en onafhankelijke replicatie van bevindingen.

Meer over registratie in vooronderzoek

Pre-trial registratie, waaronder het indienen van uitgebreide details over de onderzoeksopzet, interventies, uitkomsten en het analyseplan valt, is het proces van het registreren van een klinische trial voordat deze van start gaat. Deze procedure wordt gezien als cruciaal voor het vergroten van de openheid en het minimaliseren van vooroordelen in klinisch onderzoek. Onderzoekers committeren zich aan een reeks doelen en procedures door een onderzoek publiekelijk te registreren voordat het wordt uitgevoerd, wat kan helpen om selectieve rapportage van resultaten en geknoei met gegevens te voorkomen. Pre-trial registratie maakt het ook eenvoudiger om toegang te krijgen tot gegevens over lopende en afgeronde onderzoeken en voorkomt overbodige onderzoeksinspanningen. Geregistreerde onderzoeken hebben meer kans om gepubliceerd te worden, wat publicatiebias kan verminderen en ervoor kan zorgen dat de resultaten van het onderzoek beschikbaar zijn voor gebruik in de klinische praktijk en beleidsvorming. Registratie voorafgaand aan de proef is een belangrijke stap om ervoor te zorgen dat klinisch onderzoek op een transparante en rigoureuze manier wordt uitgevoerd, wat leidt tot betrouwbaardere en bruikbaardere resultaten.

Gelman, A., & Loken, E. (2019). De tuin van splitsende paden: Waarom meervoudige vergelijkingen een probleem kunnen zijn, zelfs als er geen sprake is van "fishing expedition" of "p-hacking" en de onderzoekshypothese van tevoren is geformuleerd∗.

Daniele Fanelli (2012). Negatieve resultaten verdwijnen uit de meeste disciplines en landen. , 90(3), 891-904. doi:10.1007/s11192-011-0494-7.

Lakens, D. (2019). De waarde van preregistratie voor de psychologische wetenschap: Een conceptuele analyse. 心理学評論, 62(3), 221-230.

Storey, J. D. (2003). De positieve false discovery rate: een Bayesiaanse interpretatie en de q-waarde. De annalen van de statistiek, 31(6), 2013-2035.

Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., & van Aert, R. C. (2016). M., & van Assen, MALM (2016). Vrijheidsgraden bij het plannen, uitvoeren, analyseren en rapporteren van psychologische studies: Een checklist om p-hacking te voorkomen. Frontiers in Psychology, 7.