Mi az a statisztikai hatékonyság? | Statisztika

A statisztikailag szignifikáns hatás (pl. p<0,05) kimutatásának hosszú távú valószínűsége azonos tanulmányok sorozatában, ha van ilyen hatás. Az azonos tanulmányok sorozatában előforduló 2-es típusú hiba valószínűsége egy mínusz a hatékonyság (1-ß, gyakran 20%).

Pl.

Száz tanulmány készül ugyanazon a populáción, ugyanazzal az A kezelés vs. B kezelés felépítéssel. A valós életben az A és B kezelés közötti különbség az, hogy az A kezelésnél 30%-kal nagyobb a teljes felépülés esélye. Amikor a statisztikákat ezen a száz tanulmányon elvégzik (azonos populáció, azonos variancia, azonos szórás), átlagosan körülbelül 20 tanulmány nem mutat szignifikáns hatást. Ez a 2-es típusú hibaarány, vagyis a téves negatív eredmény – közvetlenül összefügg a statisztikai erővel (1-ß).

Egyszerűen fogalmazva, ha egy tanulmány nem elég alapos, ritkábban mutat ki statisztikailag jelentős eltérést, pedig valós különbség áll fenn.

Ez befolyásolja az erőt

Az erő néhány tényezőtől függ, akárcsak a p-értékek esetében.

• Mintanagyság: nagyobb minta = nagyobb hatásfok (tisztább különbségek a csoportok között, kevesebb adat zaj).
• Variancia: minél kisebb a variancia, annál nagyobb a hatásfok
• Hatásméretek: nagyobb hatásméretek = nagyobb erő (a teszt könnyebben észleli)
• Statisztikai teszt típusa: egyes tesztek több erőt adnak több feltételezésért cserébe (a statisztikában sincs ingyen ebéd).

Fontos azonban megértened, hogy a statisztikai erő (pl. 80%) egy mérőeszközre, egy időpontra, egyetlen hatáserősségre vonatkozik.

Alacsony teljesítmény = megbízhatatlan tanulmány

Egy alultervezett tanulmány növeli a 2-es típusú hibák (téves negatív eredmények) kockázatát, de az 1-es típusú hibák kockázatát is (téves pozitív eredmények), túlzó hatásokkal. Ezt hívják „a győztes átkának”. Ezért nem vethetünk be többféle eredmény mérést egy mintán, és nem mérhetünk több időpontban anélkül, hogy a statisztikai erőnk összeomlana. A jó kutatók és klinikusok tudják, hogy a másodlagos eredmény mérések csupán javaslatok, mivel a tanulmány nem erre a mennyiségű mérésre épül. Új tanulmányokra van szükség a javaslatok megerősítéséhez. A fent leírt problémát többszörös összehasonlítási problémának nevezzük.

Tudom, ez elsőre furcsán hangzik. Nézzünk egy példát!

Pl.

200 hallgatót oktatsz, és úgy döntesz, két csoportra osztod őket. A vizsgálat célja, hogy van-e nemek közötti különbség, például több nő az egyik csoportban, mint a másikban. Nincs különbség. Ezután megnézed a szemszínt, a hajszínt, a mutatóujjuk hosszát, a fekvenyomás PR-t, az Életminőséget, az életkort, a testvérek számát stb. Valószínűleg valahol statisztikailag szignifikáns eredménybe fogsz ütközni. Ez a többszörös összehasonlítás problémája.

Megoldások

A gyenge tanulmányok és a téves pozitív vagy téves negatív eredmények elkerülése érdekében, a kutatóknak megfelelő erővel kell megtervezniük a vizsgálatokat. Ehhez figyelembe kell venni olyan tényezőket, mint a mintanagyság, a hatásméret, a szórás és az alkalmazott statisztikai teszt. A többszörös tesztelés is téves pozitív eredmények kockázatát hordozza, ami kezelhető olyan módszerekkel, mint a szignifikancia szint korrekciója vagy a False Discovery Rate kontroll használata. A statisztikai erő fogalmának és a hipotézisvizsgálatban betöltött szerepének megértésével megbízható és értelmes eredményeket hozó tanulmányokat tervezhetsz.

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statisztikai tesztek, P-értékek, konfidencia intervallumok és a hatáskör: útmutató az értelmezési hibákhoz. European journal of epidemiology, 31(4), 337–350. https://doi.org/10.1007/s10654-016-0149-3

Ingre M. (2013). Miért rosszabbak a kicsi, alacsony teljesítményű tanulmányok, mint a nagy, magas teljesítményűek, és hogyan védekezzünk a kutatásban a “triviális” eredmények ellen: hozzászólás Friston (2012) cikkéhez. NeuroImage, 81, 496–498. https://doi.org/10.1016/j.neuroimage.2013.03.030

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statisztikai tesztek, P-értékek, konfidencia intervallumok és a hatáskör: útmutató az értelmezési hibákhoz. European journal of epidemiology, 31(4), 337–350. https://doi.org/10.1007/s10654-016-0149-3