Co je to P-Hacking? | Statistiky

P-hacking je termín, který se používá k popisu různých technik, které mohou výzkumní pracovníci použít ke zvýšení šance na nalezení statisticky významných výsledků ve své studii, i když výsledky nejsou ve skutečnosti významné. Jedná se o formu manipulace s daty, která může vést ke zveřejnění falešně pozitivních výsledků.

Např.

Ve studii, která porovnává účinnost dvou různých fyzioterapeutických intervencí při bolestech ramene souvisejících s rotátorovou manžetou, může výzkumný pracovník provést několik analýz dat a uvést pouze ty, které prokáží statisticky významný rozdíl mezi oběma intervencemi. Jedná se o p-hacking, protože výzkumník selektivně uvádí pouze výsledky, které podporují jeho hypotézu, zatímco ignoruje ty, které ji nepotvrzují.

Vícenásobná neupravená srovnání

Dalším příkladem p-hackingu ve fyzioterapeutickém výzkumu je situace, kdy výzkumník provádí vícenásobná srovnání mezi různými intervencemi, ale tato vícenásobná srovnání neupravuje. To může vést ke zvýšení šance na nalezení statisticky významné výsledky na základě náhody, i když se zásahy ve skutečnosti neliší.

Selektivním odstraněním některých údajů výzkumník fakticky "p-hackuje" výsledky, protože zvyšuje pravděpodobnost zjištění statisticky významného rozdílu mezi oběma intervencemi, i když žádný skutečný rozdíl neexistuje. Výzkumník pak může prezentovat údaje, jako by se jednalo o spravedlivé srovnání, což může vést k nepřesným závěrům a zavádějícímu budoucímu výzkumu a léčbě. Toto je jen jeden ze způsobů, jak toho dosáhnout.

Neúmyslné

Je důležité si uvědomit, že k P-hackingu může dojít náhodně a může být důsledkem nedostatečných statistických znalostí výzkumníka nebo tlaku na publikování slibných výsledků. Může se však jednat i o vědomou volbu s určitým cílem. Výzkumní pracovníci by měli předem zaregistrovat svůj návrh studie a analytický plán, oznámit všechna zjištění a použít správné statistické techniky pro zohlednění vícenásobných srovnání, aby se zabránilo p-hackingu. Pro zvýšení důvěry v závěry lze využít i replikační studie a nezávislé replikace závěrů.

Další informace o registraci před zahájením soudního řízení

Registrace před zahájením klinického hodnocení, která zahrnuje předložení podrobných údajů o plánu výzkumu, intervencích, výsledcích a plánu analýzy, je proces registrace klinického hodnocení před jeho zahájením. Tento postup je považován za klíčový pro zvýšení otevřenosti a minimalizaci zkreslení v klinickém výzkumu. Výzkumní pracovníci se zavazují k souboru cílů a postupů tím, že studii před jejím provedením veřejně zaregistrují, což může pomoci zabránit selektivnímu vykazování výsledků a manipulaci s údaji. Registrace před zahájením studie také usnadňuje přístup k údajům o probíhajících a ukončených studiích a zabraňuje nadbytečnému výzkumu. Registrované studie jsou s větší pravděpodobností publikovány, což může snížit publikační zkreslení a zajistit, že výsledky studie budou k dispozici pro použití v klinické praxi a při tvorbě politiky. Registrace před zahájením klinického hodnocení je důležitým krokem k zajištění toho, aby byl klinický výzkum prováděn transparentně a důsledně, což povede ke spolehlivějším a užitečnějším výsledkům.

Gelman, A., & Loken, E. (2019). Zahrada rozvětvených cest : Proč mohou být vícenásobná srovnání problémem , i když se nejedná o "rybářskou výpravu" nebo "p-hacking" a výzkumná hypotéza byla stanovena předem ∗.

Daniele Fanelli (2012). Negativní výsledky mizí z většiny oborů a zemí. , 90(3), 891-904. doi:10.1007/s11192-011-0494-7

Lakens, D. (2019). Význam předregistrace pro psychologickou vědu: Koncepční analýza. 心理学評論, 62(3), 221-230.

Storey, J. D. (2003). Pozitivní míra falešných objevů: bayesovská interpretace a hodnota q. The annals of statistics, 31(6), 2013-2035.

Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., & van Aert, R. C. (2016). M., & van Assen, MALM (2016). Stupně volnosti při plánování, provádění, analýze a vykazování psychologických studií: Kontrolní seznam, jak se vyhnout p-hackingu. Frontiers in Psychology, 7.