Mi az a P-Hacking? | Statisztika

A P-hacking azokra a módszerekre utal, amelyekkel a kutatók növelhetik a statisztikailag szignifikáns eredmények megtalálásának esélyét a tanulmányukban, még akkor is, ha az eredmények valójában nem relevánsak. Ez az adatok manipulációjának egy formája, ami tévesen pozitív eredmények publikálásához vezethet.

Pl.

Egy tanulmányban, mely két különböző, rotátorköpeny eredetű vállfájdalomra alkalmazott gyógytorna hatékonyságát veti össze, a kutató többször is elemezheti az adatokat, de csak azokat közli, amelyek statisztikailag szignifikáns eltérést mutatnak a két terápia között. Ez p-hacking, mivel a kutató szelektíven csak azokat az eredményeket közli, amelyek alátámasztják a hipotézisét, figyelmen kívül hagyva azokat, amelyek nem.

Többszörös, nem korrigált összehasonlítások

A p-hacking egy másik példája a gyógytorna kutatásban, amikor a kutató többször hasonlít össze különböző beavatkozásokat, de nem korrigálja ezeket a többszörös összehasonlításokat. Ez növelheti annak esélyét, hogy statisztikailag szignifikáns eredményeket találjunk a véletlen folytán, még akkor is, ha a beavatkozások valójában nem különböznek.

Az adatok szelektív eltávolításával a kutató valójában "p-hackeli" az eredményeket, növelve annak valószínűségét, hogy statisztikailag szignifikáns különbséget talál a két beavatkozás között, még akkor is, ha valójában nincs különbség. Ezután a kutató úgy mutathatja be az adatokat, mintha azok egy korrekt összehasonlítás lennének, ami pontatlan következtetésekhez vezethet, és félrevezetheti a jövőbeli kutatásokat és kezeléseket. Ez csak egy a sok módszer közül.

Véletlen

Fontos megjegyezni, hogy a P-hacking véletlenül is előfordulhat, a kutató statisztikai ismereteinek hiányából vagy a biztató eredmények publikálására nehezedő nyomásból eredően. Ugyanakkor ez tudatos döntés is lehet, egy célt szem előtt tartva. A p-hacking elkerülése érdekében előzetesen regisztráljuk a tanulmánytervet és az analitikai tervet, jelentsünk minden eredményt, és alkalmazzuk a megfelelő statisztikai technikákat a többszörös összehasonlítások figyelembevételéhez. Az eredményekbe vetett bizalom növelése érdekében replikációs tanulmányokat és az eredmények független megismétlését is alkalmazhatunk.

További információ a per előtti regisztrációról

A vizsgálat előtti regisztráció magában foglalja a kutatási terv, beavatkozások, eredmények és elemzési terv részletes benyújtását, azaz a klinikai vizsgálat regisztrálását a kezdés előtt. Ez az eljárás kulcsfontosságú a nyitottság fokozásához és a klinikai kutatások torzításának minimalizálásához. A kutatók célokat és eljárásokat határoznak meg a tanulmány nyilvános regisztrálásával a kivitelezés előtt, ami segít megelőzni az eredmények szelektív közlését és az adatokkal való manipulációt. A vizsgálat előtti regisztráció megkönnyíti a hozzáférést a jelenlegi és befejezett vizsgálatok adataihoz, és megakadályozza a felesleges kutatási erőfeszítéseket. A regisztrált vizsgálatok nagyobb valószínűséggel jelennek meg, ami csökkentheti a publikációs torzítást, és biztosíthatja, hogy a tanulmány eredményei felhasználhatók legyenek a klinikai gyakorlatban és a politikai döntéshozatalban. A vizsgálat előtti regisztráció fontos lépés annak biztosítására, hogy a klinikai kutatás átlátható és szigorú módon történjen, ami megbízhatóbb és hasznosabb eredményekhez vezet.

Gelman, A., & Loken, E. (2019). Az elágazó ösvények kertje: Miért okozhat problémát a többszörös összehasonlítás még akkor is, ha nincs "halászati expedíció" vagy "p-hackelés", és a kutatási hipotézist előre meghatározták ∗.

Daniele Fanelli (2012). A negatív eredmények eltűnőben vannak a legtöbb tudományágból és országból. , 90(3), 891–904. doi:10.1007/s11192-011-0494-7

Lakens, D. (2019). Az előregisztráció értéke a pszichológiai tudományban: Fogalmi elemzés. 心理学評論, 62(3), 221-230.

Storey, J. D. (2003). A pozitív téves felfedezési arány: Bayes-i értelmezés és a q-érték. The annals of statistics, 31(6), 2013-2035.

Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., & van Aert, R. C. (2016). M., & van Assen, MALM (2016). A pszichológiai tanulmányok tervezése, kivitelezése, elemzése és jelentése során meglévő szabadságfokok: Ellenőrzőlista a p-hacking elkerüléséhez. Frontiers in Psychology, 7.