Mitä on P-Hacking? | Tilastot

P-hakkerointi on termi, jota käytetään kuvaamaan erilaisia tekniikoita, joita tutkijat voivat käyttää lisätäkseen mahdollisuuksia löytää tilastollisesti merkitseviä tuloksia tutkimuksessaan, vaikka tulokset eivät olisikaan merkityksellisiä. Tämä on eräänlaista tietojen manipulointia, joka voi johtaa väärien positiivisten tulosten julkaisemiseen.

Esim.

Tutkimuksessa, jossa verrataan kahden eri fysioterapiatoimenpiteen tehokkuutta kiertäjäkalvosimen olkapääkivun hoidossa, tutkija voi tehdä useita analyysejä aineistosta ja raportoida vain ne analyysit, jotka osoittavat tilastollisesti merkitsevän eron kahden toimenpiteen välillä. Tämä on p-hakkerointia, koska tutkija raportoi valikoivasti vain ne tulokset, jotka tukevat hänen hypoteesiaan, ja jättää huomiotta ne, jotka eivät tue.

Useita oikaisemattomia vertailuja

Toinen esimerkki p-hakkeroinnista fysioterapiatutkimuksessa on se, että tutkija tekee useita vertailuja eri interventioiden välillä, mutta ei tee mukautuksia näiden moninkertaisten vertailujen osalta. Tämä voi johtaa siihen, että tilastollisesti merkitsevien tulosten löytyminen on todennäköisempää, vaikka interventiot eivät olisikaan todella erilaisia.

Poistamalla valikoivasti osan aineistosta tutkija "hakkeroi" tehokkaasti tuloksia, sillä se lisää todennäköisyyttä löytää tilastollisesti merkitsevä ero kahden toimenpiteen välillä, vaikka todellista eroa ei olisikaan. Tällöin tutkija saattaa esittää tiedot ikään kuin ne olisivat oikeudenmukainen vertailu, mikä voi johtaa virheellisiin johtopäätöksiin ja johtaa harhaan tulevassa tutkimuksessa ja hoidossa. Tämä on vain yksi tapa tehdä tämä.

Tahaton

On tärkeää huomata, että P-hakkerointi voi tapahtua vahingossa ja johtua tutkijan puutteellisesta tilastollisesta osaamisesta tai paineesta julkaista lupaavia tuloksia. Se voi kuitenkin olla myös valinta, joka on tehty tietoisesti ja jolla on jokin tavoite mielessä. Tutkijoiden olisi rekisteröitävä tutkimussuunnitelmansa ja analyysisuunnitelmansa etukäteen, raportoitava kaikki havainnot ja sovellettava asianmukaisia tilastollisia tekniikoita moninkertaisten vertailujen huomioon ottamiseksi p-hackingin estämiseksi. Luottamuksen lisäämiseksi havaintoihin voidaan käyttää myös toistotutkimuksia ja havaintojen riippumatonta toistamista.

Lisätietoja oikeudenkäyntiä edeltävästä rekisteröinnistä

Tutkimusta edeltävä rekisteröinti, johon kuuluu kattavien tietojen toimittaminen tutkimussuunnitelmasta, interventioista, tuloksista ja analyysisuunnitelmasta, on prosessi, jossa kliininen tutkimus rekisteröidään ennen sen aloittamista. Tätä menettelyä pidetään ratkaisevan tärkeänä avoimuuden lisäämiseksi ja puolueellisuuden minimoimiseksi kliinisessä tutkimuksessa. Tutkijat sitoutuvat tiettyihin tavoitteisiin ja menettelyihin rekisteröimällä tutkimuksen julkisesti ennen sen toteuttamista, mikä voi auttaa estämään tulosten valikoivan raportoinnin ja tietojen väärentämisen. Tutkimuksia edeltävä rekisteröinti helpottaa myös tietojen saantia meneillään olevista ja päättyneistä tutkimuksista ja ehkäisee päällekkäisiä tutkimustoimia. Rekisteröidyt tutkimukset julkaistaan todennäköisemmin, mikä voi vähentää julkaisuvirheitä ja varmistaa, että tutkimustulokset ovat käytettävissä kliinisissä käytännöissä ja poliittisessa päätöksenteossa. Tutkimusta edeltävä rekisteröinti on tärkeä askel sen varmistamiseksi, että kliininen tutkimus tehdään avoimesti ja tarkasti, mikä johtaa luotettavampiin ja hyödyllisempiin tuloksiin.

Gelman, A., & Loken, E. (2019). Haarautuvien polkujen puutarha : Miksi moninkertaiset vertailut voivat olla ongelma, vaikka kyseessä ei olisikaan "kalastusretki" tai "p-hakkerointi" ja tutkimushypoteesi olisi asetettu etukäteen∗.

Daniele Fanelli (2012). Negatiiviset tulokset ovat häviämässä useimmilta tieteenaloilta ja maista. , 90(3), 891-904. doi:10.1007/s11192-011-0494-7.

Lakens, D. (2019). Esirekisteröinnin arvo psykologian tieteenalalla: Käsitteellinen analyysi. 心理学評論, 62(3), 221-230.

Storey, J. D. (2003). Positiivisen väärän löydöksen määrä: Bayesin tulkinta ja q-arvo. The annals of statistics, 31(6), 2013-2035.

Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., & van Aert, R. C. (2016). M., & van Assen, MALM (2016). Vapausasteet psykologisten tutkimusten suunnittelussa, suorittamisessa, analysoinnissa ja raportoinnissa: Tarkistuslista p-hakkeroinnin välttämiseksi. Frontiers in Psychology, 7.