Mikä on P-arvo? | Tilastot

Yksinkertaisesti sanottuna p-arvo ilmaisee, kuinka yllättynyt olet tiedoista, jos oletetaan, että vaikutusta ei ole. Mitä pienempi p-arvo on, sitä epäyhteensopivammalta aineisto näyttää mallisi kanssa (eli oletuksen, että vaikutusta ei ole).

Esim.

Jos hoitoa A verrataan hoitoon B, oletat, että vaikutusta tai eroa ei ole; oletat nollahypoteesin olevan oikea. Suoritat testin ja saat p-arvoksi 0,02. Se tarkoittaa, että keräämäsi tiedot ovat melko yllättäviä, kun otetaan huomioon, että oletit, että ryhmät eivät eroa toisistaan.

P-arvo on olemassa, jotta voit suojautua satunnaisuuksilta. Jos teet tutkimuksen, on mahdollista, että havaitsemasi vaikutukset ovat vain satunnaisia - tai datan kohinaa, kuten me sitä kutsumme. Siksi ryhmien välisissä keskiarvoissa saattaa olla huomattavia eroja, mutta tilastollisesti merkitsevää vaikutusta ei ole. Asia voi olla myös toisinpäin. Tutkimus saattaa osoittaa, että tulos ei ole merkitsevä, mutta sillä saattaa olla todellinen vaikutus; ehkä siksi, että otoskoko on vain liian pieni.

Mikä vaikuttaa p-arvoon?

P-arvoihin vaikuttavat muutamat eri tekijät: otoskoko, vaikutuksen koko ja testin tyyppi ja sen oletukset.

• Otoskoko: mitä suurempi ryhmä, sitä nopeammin saat tilastollisesti merkittäviä tuloksia pienistä eroista - ja päinvastoin.
• Efektikoko: mitä suurempi efektikoko on, sitä nopeammin saat tilastollisesti merkitseviä tuloksia myös pienemmillä ryhmillä - ja päinvastoin.
• Testityyppi: testi on herkempi eroille, kun käytetään tiettyjä oletuksia esimerkiksi aineiston jakaumasta, mittausten riippumattomuudesta, homoskedastisuudesta, yksipuolisuudesta vs. kaksipuolisuudesta, ryhmien välisestä vs. ryhmien sisäisestä jakaumasta jne.

Esim. 

Valtavassa tutkimuksessa voidaan löytää tilastollisesti merkitseviä tuloksia pienimmästäkin vaikutuksesta. Nämä vaikutukset eivät välttämättä merkitse mitään. Alkuperäisessä penisilliinitutkimuksessa käytettiin pientä näytettä, jotta tiedot osoittaisivat, että bakteerien eliminoinnilla on valtava vaikutus.

P-arvo <0.05 kynnysarvo

Useimpien tutkijoiden käyttämä tilastollisen merkitsevyyden kynnysarvo (eli p < 0,05) on vain mielivaltainen. Kaiken kaikkiaan sen pitäisi muuttua tutkimusasetelmasi perusteella. Jos et todellakaan halua vääriä positiivisia tuloksia (esim. päätös hengenvaarallisen leikkauksen suorittamisesta), tarvitset alhaisen kynnysarvon. Jos et todellakaan halua vääriä negatiivisia tuloksia (esim. aggressiivisten kasvainten diagnosointi), tarvitset tehokkaantutkimuksen, jossa p-arvon kynnysarvo on korkeampi. Tämä havainnollistaa tyypin 1 (α) ja tyypin 2 (ß) virheiden välistä suhdetta.

Huomaa, että p-arvo on johdettu datasta, ei teoriasta. Et voi "todistaa" teoriaasi tilastollisesti merkitsevällä vaikutuksella. Ainoa asia, jonka voit tehdä, on yrittää kumota teoriasi erilaisilla tutkimuksilla, ja jos se pitää paikkansa, teoriasi on voimassa. Tämä on vääristelyä.

P-arvoon liittyvät väärinkäsitykset

Lääketieteellisessä tutkimuksessa p-arvoon liittyviä yleisiä väärinkäsityksiä ovat muun muassa seuraavat:

• Merkittävä p-arvo tarkoittaa, että vaikutus tai yhteys on suuri tai kliinisesti merkityksellinen.
  • Todellisuus: P-arvo ilmoittaa vain todennäköisyyden saada havaittu tulos tai äärimmäisempi tulos nollahypoteesin mukaisesti. Se ei anna tietoa vaikutuksen koko tai kliininen merkitys tai yhdistys
• Merkityksetön p-arvo tarkoittaa, että vaikutusta tai yhteyttä ei ole.
  • Todellisuus: Merkityksetön p-arvo viittaa vain siihen, että havaittu tulos ei ole tilastollisesti merkitsevä, mutta se ei välttämättä tarkoita, että vaikutusta tai yhteyttä ei ole. Se voi johtua alhaisesta tilastollisesta tehosta tai muista tekijöistä, kuten mittausvirheestä tai sekoittavista muuttujista.
• Tilastollisen merkitsevyyden yleinen kynnysarvo on p-arvo 0,05.
  • Todellisuus: Merkitsevyystason valinta riippuu asiayhteydestä, ja sen olisi perustuttava sellaisiin tekijöihin kuin tutkimussuunnitelma, otoskoko ja tyypin I virheen seuraukset. Alempi merkitsevyystaso voi olla tarkoituksenmukainen joissakin tilanteissa, kuten tutkimuksissa, joissa on useita vertailuja tai joissa on suuria panoksia.
• Merkittävä p-arvo todistaa syy-yhteyden.
  • Todellisuus: Tilastollinen merkitsevyys ilmaisee vain todennäköisyyden saada havaittu tulos tai äärimmäisempi tulos nollahypoteesin mukaisesti. Se ei todista syy-yhteyttä, joka edellyttää lisänäyttöä tutkimussuunnitelmasta, biologisesta uskottavuudesta ja muista tekijöistä.
• Suuri otoskoko johtaa aina merkittävään p-arvoon.
  • Todellisuus: Suuri otoskoko lisää tehoa havaita vaikutus tai yhteys, mutta se ei takaa merkittävää p-arvoa. Myös vaikutuksen koolla, vaihtelulla ja muilla tekijöillä on merkitystä tilastollisen merkitsevyyden määrittämisessä.

Elkins, M. R., Pinto, R. Z., Verhagen, A., Grygorowicz, M., Söderlund, A., Guemann, M., Gómez-Conesa, A., Blanton, S., Brismée, J. M., Agarwal, S., Jette, A., Karstens, S., Harms, M., Verheyden, G., & Sheikh, U. (2022). Tilastollinen päättely estimoinnin avulla: Kansainvälisen fysioterapiajulkaisujen toimittajien yhdistyksen suositukset. The Journal of manual & manipulative therapy, 30(3), 133-138.
Neyman, J. ja Pearson, E.S. (1928) Eräiden testikriteerien käytöstä ja tulkinnasta tilastollista päättelyä varten. Biometrika, 20A, 175-240.

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Tilastolliset testit, P-arvot, luottamusvälit ja teho: opas virhetulkintoihin. European journal of epidemiology, 31(4), 337-350.

Kamper S. J. (2019). Tulosten tulkinta 2-tilastollinen merkitys ja kliininen mielekkyys: Todisteiden yhdistäminen käytäntöön. The Journal of orthopaedic and sports physical therapy, 49(7), 559-560. 

Karl Popper, Conjectures and Refutations, Lontoo: Routledge and Keagan Paul, 1963, s. 33-39; teoksesta Theodore Schick, ed., Readings in the Philosophy of Science, Mountain View, CA: Mayfield Publishing Company, 2000, s. 9-13.

Christley, R.M. (2010). Valta ja virhe: Väärien positiivisten tulosten riski kasvaa tutkimuksissa, joiden teho on liian pieni. The Open Epidemiology Journal, 3, 16-19.

Fleming A. Penicillium-viljelmien antibakteerisesta vaikutuksesta ja erityisesti niiden käytöstä B. influenzaen eristämisessä. Br J Exp Pathol. 1929 Jun;10(3):226-36. PMCID: PMC2048009.

Erickson, R. A., & Rattner, B. A. (2020). Ecotoxicology: Moving Beyond p < 0,05: Opas käytännön toimijoille. Environmental toxicology and chemistry, 39(9), 1657-1669.