Hva er P-Hacking? | Statistikk

P-hacking er et begrep som brukes for å beskrive ulike teknikker som forskere kan bruke for å øke sjansene for å finne statistisk signifikante resultater i sin studie, selv om resultatene faktisk ikke er meningsfulle. Dette er en form for datamanipulering som kan føre til publisering av falske positive resultater .

F.eks.

I en studie som sammenligner effektiviteten av to forskjellige fysioterapiintervensjoner for rotatorcuff-relaterte skuldersmerter, kan en forsker utføre flere analyser av dataene, bare rapportere de som viser en statistisk signifikant forskjell mellom de to intervensjonene. Dette er p-hacking fordi forskeren selektivt rapporterer bare resultatene som støtter deres hypotese mens de ignorerer de som ikke gjør det.

Flere ujusterte sammenligninger

Et annet eksempel på p-hacking i fysioterapiforskning er når en forsker utfører flere sammenligninger mellom ulike intervensjoner, men ikke justerer for disse multiple sammenligningene . Dette kan føre til økt sjanse for å finne statistisk signifikante resultater ved en tilfeldighet , selv om intervensjonene ikke er helt forskjellige.

Ved selektivt å fjerne noen av dataene, "p-hacker" forskeren effektivt resultatene, da det øker sannsynligheten for å finne en statistisk signifikant forskjell mellom de to intervensjonene, selv om det ikke er noen reell forskjell. Forskeren kan da presentere dataene som om de var en rettferdig sammenligning, noe som kan føre til unøyaktige konklusjoner og villede fremtidig forskning og behandling. Dette er bare en av måtene å gjøre dette på.

Utilsiktet

Det er viktig å merke seg at P-hacking kan skje ved et uhell og kan stamme fra en forskers mangel på statistisk kunnskap eller presset til å publisere lovende resultater. Likevel kan det også være et valg gjort bevisst med et mål i tankene. Forskere bør forhåndsregistrere studiedesignet og analyseplanen, rapportere alle funnene og bruke de riktige statistiske teknikkene for å gjøre rede for flere sammenligninger for å forhindre p-hacking. For å øke tilliten til funnene kan replikasjonsstudier og uavhengig replikering av funn også brukes.

Mer om Pre-Trial-registrering

Registrering før forsøk, som inkluderer å sende inn omfattende detaljer om forskningsdesign, intervensjoner, resultater og analyseplan, er prosessen med å registrere en klinisk prøve før den starter. Denne prosedyren anses å være avgjørende for å øke åpenheten og minimere skjevhet i klinisk forskning. Forskere forplikter seg til et sett med mål og prosedyrer ved å offentlig registrere en studie før den utføres, noe som kan bidra til å forhindre selektiv rapportering av resultater og tukling av data. Forhåndsregistrering gjør det også lettere å få tilgang til data om pågående og gjennomførte forsøk og forhindrer overflødig forskningsinnsats. Det er mer sannsynlig at registrerte studier blir publisert, noe som kan redusere publikasjonsskjevhet og sikre at resultatene av studien er tilgjengelige for bruk i klinisk praksis og politikkutforming. Registrering før forsøk er et viktig skritt mot å sikre at klinisk forskning utføres på en transparent og streng måte, noe som fører til mer pålitelige og nyttige resultater.

Gelman, A., & Loken, E. (2019). Hagen med gaffelstier: Hvorfor flere sammenligninger kan være et problem, selv når det ikke er noen "fiskeekspedisjon" eller "p-hacking" og forskningshypotesen ble stilt på forhånd ∗.

Daniele Fanelli (2012). Negative resultater forsvinner fra de fleste fagområder og land. , 90(3), 891–904. doi:10.1007/s11192-011-0494-7

Lakens, D. (2019). Verdien av forhåndsregistrering for psykologisk vitenskap: En konseptuell analyse. 心理学評論, 62(3), 221-230.

Storey, J.D. (2003). Den positive falske oppdagelsesraten: en Bayesiansk tolkning og q-verdien. Statistikkens annaler, 31(6), 2013-2035.

Wicherts, J.M., Veldkamp, ​​C.L.S., Augusteijn, H.E.M., Bakker, M., & van Aert, R.C. (2016). M., & van Assen, MALM (2016). Frihetsgrader til å planlegge, kjøre, analysere og rapportere psykologiske studier: En sjekkliste for å unngå p-hacking. Frontiers in Psychology, 7.