Mi az a P-érték? | Statisztika

A p-érték azt mutatja, mennyire meglepődtél az adatokon, feltételezve, hogy nincs hatás. Minél alacsonyabb a p-érték, annál kevésbé valószínű, hogy az adatok egyeznek a modelljével (vagyis azzal, hogy nincs hatás).

Pl.

Az A kezelést a B kezeléssel hasonlítjuk össze, feltételezzük, hogy nincs hatás vagy különbség; elvárjuk, hogy a nullhipotézis helyes legyen. Elvégezzük a tesztet, és a p-érték 0,02 lesz. Ez azt jelenti, hogy az összegyűjtött adatok meglehetősen meglepőek, tekintettel arra, hogy feltételeztük, hogy a csoportok nem fognak különbözni.

A p-érték a véletlenszerűségtől véd meg. Ha végzel egy tanulmányt, valószínű, hogy a látott hatások csupán véletlenszerűek – vagy ahogy mi hívjuk, adat-zaj. Ezért láthatsz észrevehető különbségeket a csoportok közötti átlagértékekben, de nem statisztikailag szignifikáns hatást. Ez fordítva is előfordulhat. Egy tanulmány nem szignifikáns eredményt mutathat, de lehet, hogy van valódi hatás; talán azért, mert a minta mérete túl kicsi.

Mi befolyásolja a p-értéket?

A p-értékeket több tényező befolyásolja: mintanagyság, hatásméret, a teszt típusa és annak feltételezései.

• Minél nagyobb a csoport, annál gyorsabban érsz el statisztikailag jelentős eredményeket kis különbségekkel – és fordítva.
• Effekt méret: minél nagyobb az effekt méret, annál gyorsabban érsz el statisztikailag szignifikáns eredményeket, még kisebb csoportokkal is – és fordítva
• Teszt típusa: egy teszt érzékenyebb a különbségekre bizonyos feltételezésekkel, például az adatok eloszlására, a mérések függetlenségére, a homoszkedaszticitásra, az egyoldalú vagy kétoldalú, a csoportok közötti vagy csoporton belüli stb. vonatkozásokra.

Pl. 

Nagyobb tanulmányok statisztikailag is kimutathatóvá teszik a legkisebb hatásokat is. Ezek a hatások valójában jelentéktelenek lehetnek. Itt jön a képbe a klinikai jelentőség. Az eredeti penicillin tanulmány kis mintával mutatta be a baktériumok eliminálásának jelentős hatásait.

P-érték <0,05 küszöb

A statisztikai szignifikancia küszöbértéke (azaz p < 0,05), amelyet a legtöbb kutató használ, önkényes. Mindent figyelembe véve, érdemes a vizsgálat beállításaihoz igazítani. Ha valóban el akarod kerülni a tévesen pozitív eredményeket (pl. egy életveszélyes műtét elvégzését), alacsony küszöbszámra van szükséged. Ha pedig a tévesen negatív eredményeket (pl. agresszív daganatok diagnosztizálását) szeretnéd minimalizálni, nagyobb erejű vizsgálatra és magasabb p-értékre van szükséged. Ez jól mutatja az 1. típusú (α) és a 2. típusú (ß) hibák közötti kompromisszumot.

Ne feledd, a p-érték az adatokból származik, nem az elméletből. Nem „bizonyíthatod” az elméletedet egy statisztikailag szignifikáns hatással. Az egyetlen dolog, amit tehetsz, hogy megpróbálod megcáfolni az elméletedet különböző tanulmányokkal; ha helytálló, az elméleted megállja a helyét. Ez a hamisítás.

A p-értékkel kapcsolatos tévhitek

Néhány tévhit a p-értékkel kapcsolatban az orvosi kutatásban:

• A szignifikáns p-érték azt jelenti, hogy a hatás vagy kapcsolat nagymértékű vagy klinikailag jelentős.
  • Valóság: A p-érték csak annak a valószínűségét mutatja meg, hogy a megfigyelt eredményt vagy annál extrémebbet kapjuk a nullhipotézis mellett. Nem ad információt az effektus méretéről vagy klinikai jelentőségéről
• A nem szignifikáns p-érték azt jelenti, hogy nincs hatás vagy összefüggés.
  • Valóság: Egy nem szignifikáns p-érték csupán azt sugallja, hogy a megfigyelt eredmény statisztikailag nem szignifikáns, de ez nem feltétlenül jelenti azt, hogy nincs hatás vagy összefüggés. Ez alacsony statisztikai hatáskörnek, mérési hibának vagy zavaró változóknak köszönhető.
• A 0,05-ös p-érték az általános küszöb a statisztikai szignifikanciához.
  • A valóság: A szignifikancia szintjének megválasztása a kontextustól függ, és olyan tényezőkön kell alapulnia, mint a tanulmány tervezése, a mintanagyság és az I. típusú hiba elkövetésének következményei. Alacsonyabb szignifikancia szint lehet helyénvaló bizonyos helyzetekben, például többszörös összehasonlításokat vagy nagy téteket tartalmazó tanulmányokban
• A szignifikáns p-értékkel igazolhatod az ok-okozati összefüggést.
  • Valóság: A statisztikai szignifikancia csak az eredmény valószínűségét mutatja a nullhipotézis alapján. Ez nem bizonyítja az ok-okozati összefüggést; ehhez további bizonyítékok szükségesek a tanulmány tervezéséből és egyéb tényezőkből.
• Nagy mintaméret mindig szignifikáns p-értéket eredményez.
  • A valóság: A nagy mintaszám növeli az esélyét, hogy kimutassunk egy hatást vagy összefüggést, de nem garantál szignifikáns p-értéket. A hatás mértéke, a változékonyság és egyéb tényezők is szerepet játszanak a statisztikai szignifikancia meghatározásában.

Elkins, M. R., Pinto, R. Z., Verhagen, A., Grygorowicz, M., Söderlund, A., Guemann, M., Gómez-Conesa, A., Blanton, S., Brismée, J. M., Agarwal, S., Jette, A., Karstens, S., Harms, M., Verheyden, G., & Sheikh, U. (2022). Statisztikai következtetés becslésen keresztül: a Gyógytornászati Folyóiratok Nemzetközi Szerkesztőinek ajánlásai. The Journal of manual & manipulative therapy, 30(3), 133–138.
Neyman, J. és Pearson, E.S. (1928) Bizonyos tesztkritériumok felhasználásáról és értelmezéséről a statisztikai következtetés céljaira. Biometrika, 20A, 175-240.

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statisztikai tesztek, P-értékek, konfidencia intervallumok és a szignifikancia: útmutató az értelmezési hibákhoz. European journal of epidemiology, 31(4), 337–350.

Kamper S. J. (2019). Eredmények értelmezése 2 – Statisztikai szignifikancia és klinikai jelentőség: A bizonyítékok összekapcsolása a gyakorlattal. The Journal of orthopaedic and sports physical therapy, 49(7), 559–560. 

Karl Popper, Sejtések és cáfolatok, London: Routledge és Keagan Paul, 1963, 33-39. o.; Theodore Schick szerk., Readings in the Philosophy of Science, Mountain View, CA: Mayfield Publishing Company, 2000, 9-13. o

Christley, R.M. (2010). Teljesítmény és hiba: Alacsony teljesítményű vizsgálatokban a hamis pozitív eredmények fokozott kockázata. The Open Epidemiology Journal, 3, 16-19.

Fleming A. A Penicillium-kultúrák antibakteriális hatásáról, különös tekintettel a B. influenzæ izolálásában való felhasználásukra. Br J Exp Pathol. 1929 jún;10(3):226–36. PMCID: PMC2048009.

Erickson, R. A., & Rattner, B. A. (2020). Túl a p < 0,05-ön az ökotoxikológiában: Útmutató szakembereknek. Környezeti toxikológia és kémia, 39(9), 1657–1669.