Hva er en P-verdi? | Statistikk

Enkelt sagt uttrykker p-verdien hvor overrasket du er over dataene, forutsatt at det ikke er noen effekt. Jo lavere p-verdien er, jo mer inkompatible virker dataene med modellen din (dvs. antakelsen om at det ikke er noen effekt).

F.eks.

Behandling A sammenlignes med behandling B, du antar at det ikke er noen effekt eller ingen forskjell; du forventer at nullhypotesen er korrekt. Du utfører testen og får en p-verdi på 0,02. Det betyr at dataene du samlet er ganske overraskende, med tanke på at du antok at gruppene ikke ville være forskjellige.

P-verdien eksisterer for å beskytte deg mot tilfeldighet. Hvis du utfører en studie, er sjansen stor for at effektene du ser bare er tilfeldige – eller datastøy, som vi kaller det. Det er derfor du kan se merkbare forskjeller i gjennomsnittsverdiene mellom grupper, men ingen statistisk signifikant effekt. Det kan gå omvendt også. En studie kan vise et ikke-signifikant resultat, men det kan være en sann effekt; kanskje fordi prøvestørrelsen bare er for liten.

Hva påvirker p-verdien?

P-verdier påvirkes av noen få forskjellige faktorer: prøvestørrelse, effektstørrelse og type test med antagelser.

• Prøvestørrelse: jo større gruppe, jo raskere får du statistisk signifikante resultater med små forskjeller – og omvendt.
• Effektstørrelse : jo større effektstørrelse, jo raskere får du statistisk signifikante resultater, selv med mindre grupper – og omvendt
• Type test: en test blir mer følsom for forskjeller med visse antakelser om for eksempel datadistribusjon, uavhengighet av tiltak, homoskedastisitet, ensidig vs tosidig, mellom-gruppe vs innenfor-gruppe, etc.

F.eks. 

En stor studie kan finne statistisk signifikante resultater med selv de minste effekter. Disse effektene betyr kanskje ikke noe. Det er her den kliniske betydningen kommer inn i bildet. Den originale penicillinstudien brukte en liten prøve for å få dataene til å vise at det er enorme effekter på å eliminere bakterier.

P-verdi <0,05 terskel

Terskelen for statistisk signifikans de fleste forskere bruker (dvs. p < 0,05) er bare vilkårlig. Alt tatt i betraktning, bør det endres basert på studieoppsettet ditt. Hvis du virkelig ikke ønsker falske positive resultater (f.eks. en beslutning om å gjennomgå en livstruende operasjon), trenger du et lavt terskeltall. Hvis du virkelig ikke vil ha falske negativer (f.eks. diagnostisering av aggressive svulster), trenger du en kraftig studie med etterfølgende et høyere p-verditerskeltall. Dette illustrerer gi-og-ta-forholdet mellom type 1 (α) og type 2 (ß) feil.

Vær oppmerksom på at p-verdien er utledet fra dataene, ikke teorien. Du kan ikke "bevise" teorien din med en statistisk signifikant effekt. Det eneste du kan gjøre er å prøve å tilbakevise teorien din med forskjellige studier, hvis den holder, står teorien din. Dette er forfalskning.

Misoppfatninger rundt p-verdien

Noen vanlige misoppfatninger om p-verdien i medisinsk forskning inkluderer:

• En signifikant p-verdi betyr at effekten eller assosiasjonen er stor eller klinisk meningsfull.
  • Reality : P-verdien indikerer bare sannsynligheten for å oppnå det observerte resultatet eller mer ekstrem under nullhypotesen . Den gir ikke informasjon om størrelsen eller den kliniske betydningen av effekten eller assosiasjonen
• En ikke-signifikant p-verdi betyr at det ikke er noen effekt eller assosiasjon.
  • Reality : En ikke-signifikant p-verdi antyder bare at det observerte resultatet ikke er statistisk signifikant, men det betyr ikke nødvendigvis at det ikke er noen effekt eller assosiasjon. Det kan skyldes lav statistisk effekt eller andre faktorer som målefeil eller forvirrende variabler.
• En p-verdi på 0,05 er en universell terskel for statistisk signifikans.
  • Virkelighet : Valget av signifikansnivå avhenger av konteksten og bør være basert på faktorer som studiedesign, utvalgsstørrelse og konsekvensene av å gjøre en type I-feil . Et lavere signifikansnivå kan være passende i noen situasjoner, for eksempel i studier med flere sammenligninger eller høye innsatser
• En signifikant p-verdi beviser årsakssammenheng.
  • Reality : Statistisk signifikans indikerer bare sannsynligheten for å oppnå det observerte resultatet eller mer ekstrem under nullhypotesen. Det fastslår ikke årsakssammenheng, noe som krever ytterligere bevis fra studiedesign, biologisk plausibilitet og andre faktorer.
• En stor prøvestørrelse fører alltid til en signifikant p-verdi.
  • Reality : En stor prøvestørrelse øker muligheten til å oppdage en effekt eller assosiasjon, men det garanterer ikke en signifikant p-verdi. Effektstørrelsen , variasjonen og andre faktorer spiller også en rolle i å bestemme statistisk signifikans.

Elkins, MR, Pinto, RZ, Verhagen, A., Grygorowicz, M., Söderlund, A., Guemann, M., Gómez-Conesa, A., Blanton, S., Brismée, JM, Agarwal, S., Jette , A., Karstens, S., Harms, M., Verheyden, G., & Sheikh, U. (2022). Statistisk slutning gjennom estimering: anbefalinger fra International Society of Physiotherapy Journal Editors. Journal of manuell og manipulativ terapi, 30(3), 133–138 .
Neyman, J. og Pearson, ES (1928) Om bruk og tolkning av visse testkriterier for formål med statistisk slutning. Biometrika, 20A, 175-240.

Greenland, S., Senn, S.J., Rothman, K.J., Carlin, J.B., Poole, C., Goodman, S.N., & Altman, D.G. (2016). Statistiske tester, P-verdier, konfidensintervaller og kraft: en guide til feiltolkninger. European journal of epidemiology, 31(4), 337–350.

Kamper S.J. (2019). Tolke resultater 2-Statistisk betydning og klinisk meningsfullhet: Koble bevis til praksis. Journal of ortopedisk og sportsfysioterapi, 49(7), 559–560. 

Karl Popper, Conjectures and Refutations, London: Routledge og Keagan Paul, 1963, s. 33-39; fra Theodore Schick, red., Readings in the Philosophy of Science, Mountain View, CA: Mayfield Publishing Company, 2000, s. 9-13

Christley, R.M. (2010). Strøm og feil: Økt risiko for falske positive resultater i undersøkte studier. The Open Epidemiology Journal, 3, 16-19.

Fleming A. On the Antibacterial Action of Cultures of a Penicillium, with Special Reference to their Use in the Isolation of B. influenzæ. Br J Exp Pathol. 1929 Jun;10(3):226–36. PMCID: PMC2048009.

Erickson, R.A. og Rattner, B.A. (2020). Moving Beyond p < 0,05 in Ecotoxicology: En guide for utøvere. Miljøtoksikologi og kjemi, 39(9), 1657–1669.