Čo je to P-Hacking? | Štatistiky

P-hacking je termín, ktorý sa používa na označenie rôznych techník, ktoré môžu výskumníci použiť na zvýšenie šancí na zistenie štatisticky významných výsledkov vo svojej štúdii, aj keď tieto výsledky v skutočnosti nie sú významné. Ide o formu manipulácie s údajmi, ktorá môže viesť k zverejneniu falošne pozitívnych výsledkov.

Napr.

V štúdii, v ktorej sa porovnáva účinnosť dvoch rôznych fyzioterapeutických zásahov pri bolestiach ramenného kĺbu súvisiacich s rotátorovou manžetou, môže výskumný pracovník vykonať viacero analýz údajov a uviesť len tie, ktoré preukážu štatisticky významný rozdiel medzi týmito dvoma zásahmi. Ide o p-hacking, pretože výskumník selektívne uvádza len tie výsledky, ktoré podporujú jeho hypotézu, a ignoruje tie, ktoré ju nepodporujú.

Viacnásobné neupravené porovnania

Ďalším príkladom p-hackingu vo fyzioterapeutickom výskume je, keď výskumník vykonáva viacnásobné porovnania medzi rôznymi intervenciami, ale neprispôsobuje sa týmto viacnásobným porovnaniam . To môže viesť k zvýšenej pravdepodobnosti nájdenia štatisticky významných výsledkov náhodne , aj keď sa zásahy v skutočnosti nelíšia.

Selektívnym odstránením niektorých údajov výskumník účinne "p-hackuje" výsledky, pretože zvyšuje pravdepodobnosť zistenia štatisticky významného rozdielu medzi dvoma intervenciami, aj keď v skutočnosti žiadny rozdiel neexistuje. Výskumník potom môže prezentovať údaje, akoby išlo o spravodlivé porovnanie, čo môže viesť k nepresným záverom a zavádzať pri budúcom výskume a liečbe. Toto je len jeden zo spôsobov, ako to urobiť.

Neúmyselné

Je veľmi dôležité poznamenať, že k P-hackingu môže dôjsť náhodne a môže vyplývať z nedostatočných štatistických znalostí výskumníka alebo z tlaku na publikovanie sľubných výsledkov. Môže však ísť aj o vedomé rozhodnutie s určitým cieľom. Výskumníci by mali vopred zaregistrovať svoj návrh štúdie a analytický plán, oznámiť všetky zistenia a použiť správne štatistické techniky na zohľadnenie viacnásobných porovnaní, aby sa zabránilo p-hackingu. Na zvýšenie dôvery v zistenia sa môžu použiť aj replikačné štúdie a nezávislé replikácie zistení.

Viac informácií o registrácii pred súdnym konaním

Registrácia pred začatím klinického skúšania, ktorá zahŕňa predloženie podrobných informácií o výskumnom pláne, intervenciách, výsledkoch a pláne analýzy, je proces registrácie klinického skúšania pred jeho začatím. Tento postup sa považuje za kľúčový pre zvýšenie otvorenosti a minimalizáciu zaujatosti v klinickom výskume. Výskumníci sa zaväzujú k súboru cieľov a postupov tým, že štúdiu pred jej uskutočnením verejne zaregistrujú, čo môže pomôcť zabrániť selektívnemu oznamovaniu výsledkov a falšovaniu údajov. Registrácia pred skúšaním tiež uľahčuje prístup k údajom o prebiehajúcich a ukončených skúšaniach a zabraňuje nadbytočnému výskumu. Je pravdepodobnejšie, že registrované štúdie budú publikované, čo môže znížiť skreslenie publikácie a zabezpečiť, že výsledky štúdie budú k dispozícii na použitie v klinickej praxi a pri tvorbe politiky. Registrácia pred skúšaním je dôležitým krokom k zabezpečeniu transparentného a prísneho klinického výskumu, ktorý vedie k spoľahlivejším a užitočnejším výsledkom.

Gelman, A., & Loken, E. (2019). Záhrada s rozvetvenými cestami : Prečo môžu byť viacnásobné porovnania problémom, aj keď nejde o "rybársku expedíciu" alebo "p-hacking" a výskumná hypotéza bola stanovená vopred ∗.

Daniele Fanelli (2012). Negatívne výsledky sa vo väčšine odborov a krajín vytrácajú. , 90(3), 891-904. doi:10.1007/s11192-011-0494-7

Lakens, D. (2019). Hodnota predregistrácie pre psychologickú vedu: Koncepčná analýza. 心理学評論, 62(3), 221-230.

Storey, J. D. (2003). Pozitívna miera falošných objavov: bayesovská interpretácia a hodnota q. The annals of statistics, 31(6), 2013-2035.

Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., & van Aert, R. C. (2016). M., & van Assen, MALM (2016). Stupne voľnosti pri plánovaní, realizácii, analýze a vykazovaní psychologických štúdií: Kontrolný zoznam na zabránenie p-hackingu. Frontiers in Psychology, 7.