Mikä on moninkertaisen vertailun ongelma? | Tilastot

Useiden vertailujen ongelma on ongelma, joka ilmenee, kun samalle näytteelle suoritetaan useita testejä. Esimerkki havainnollistaa tätä.

Esim.

Oletetaan, että tutkimuksessa tarkastellaan 5000 aloittelevan juoksijan juoksuvammojen riskitekijöitä. Eri muuttujia testataan, koska emme vielä tiedä, mitkä muuttujat lisäävät riskiä. Esimerkkejä ovat: juoksun määrä, nilkkanivelen lasku, q-kulma, nelinkontin ja pakaralihaksen voima, kantapään ja etujalkaterän iskumalli, minimalistinen ja maksimalistinen kenkä sekä nilkan dorsifleksio ROM.

Vääriä positiivisia tuloksia usealla vertailulla

Useimmat tutkijat hyväksyvät 5 prosentin väärien positiivisten tulosten osuuden eli alfa- tai merkitsevyystason. Tämä koskee tiettyä muuttujaa, kuten nelipäisen lihaksen voimaa. Se tarkoittaa, että jos tämä tutkimus tehdään sata kertaa, noin viisi tutkimusta osoittaa väärän positiivisen tuloksen, vaikka todellisuudessa sitä ei ole.

Tutkijat tarkastelevat kuitenkin kymmenen muuttujaa, ei vain nelinpelin voimakkuutta, samassa otoksessa. Tämä aiheuttaa ongelman.

Tutkijat, jotka eivät ole tietoisia tästä ongelmasta, suorittavat kokeen. Kaksi vuotta myöhemmin saadaan tiedot, joiden mukaan kantapään iskukuvio ja pakaralihasten vahvuus ovat riskitekijöitä juoksuvammojen syntymiselle. Hienoa! Tämä on johtopäätös, ja artikkeli julkaistaan.

Kuten edellä todettiin, 5 prosentin merkitsevyystaso ei tarkoita, että tässä vaiheessa olisi 5 prosentin väärien positiivisten tulosten osuus, koska tutkittavien muuttujien määrä on suuri. Tutkijat siis hyväksyivät epäsuorasti paljon suuremman riskin väärien positiivisten tulosten syntymiseen, kun he tekivät tutkimuksen, jossa tarkasteltiin kymmentä muuttujaa.

Perhekohtainen virhetaso osoittaa tämän. Yksinkertaisella laskutoimituksella voimme tarkistaa väärien positiivisten tulosten osuuden, joka on 40 prosenttia! Kaava on esitetty alla.

Ratkaisut moninkertaisen vertailun ongelmaan

Uskon, että voimme olla yhtä mieltä siitä, että tämä muodostaa ongelman. Mitä me siis aiomme tehdä asialle? Ratkaisu on olemassa. Tutkijat voivat tehdä korjauksia tämän alfainflaation torjumiseksi tekemällä Bonferroni- tai Holm-korjauksen. Tätä käsitellään kohdassa "Tyypin 1 virhetason valvonta".

Perhekohtainen virheprosenttikaava:

1 - (1 - ɑ)x

ɑ: alfa- tai merkitsevyystaso desimaaleina.

x: testien lukumäärä

Tyypin II virheet

Kunkin yksittäisen testin merkitsevyystason säätäminen voi kuitenkin lisätä todennäköisyyttä, että kaikissa testeissä tehdään tyypin II virhe (väärä negatiivinen tulos). Tämä johtuu siitä, että tiukempi merkitsevyystaso vähentää kunkin yksittäisen testin tehoa havaita todellinen vaikutus tai suhde. Näin ollen joissakin testeissä saattaa jäädä merkittävä vaikutus huomaamatta, mikä johtaa vääriin negatiivisiin tuloksiin. Moninkertaisen vertailun ongelmasta johtuvien väärien negatiivisten tulosten välttämiseksi voimme käyttää tekniikoita, kuten hypoteesien esirekisteröintiä, toistotutkimuksia tai tehokkaampia tilastollisia menetelmiä, kuten Bayesin päättelyä. Lisäksi on tärkeää suunnitella tutkimus ja testattavat hypoteesit huolellisesti, jotta voidaan minimoida tehtyjen testien määrä ja varmistaa, että ne ovat merkityksellisiä ja relevantteja tutkimuskysymyksen kannalta.

Wason, J. M. S., & Robertson, D. S. S. (2021). Tyypin I virhetasojen hallinta monihaaraisissa kliinisissä tutkimuksissa: Väärän löydön prosenttiosuutta koskeva tapaus. Pharmaceutical statistics, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Moninkertainen testaus. Osa I. Yksivaiheiset menettelyt yleisten tyypin I virhetasojen valvomiseksi. Statistical applications in genetics and molecular biology, 3, Article13.

Lakens, D., Tyypin 1 virheiden hallinta, Daniel Lakens, youtube

John Ludbrook (1998). MONINKERTAISEN VERTAILUN MENETTELYT PÄIVITETTY. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x