Tyypin 1 virhetaso | Tilastot

Useiden muuttujien testaaminen kasvattaa tyypin 1 virhetasoa tai väärien positiivisten tulosten määrää. Tätä kutsutaan moninkertaisen vertailun ongelmaksi. Tämän alfainflaation korjaaminen ei ole vaikeaa. On olemassa kaksi päätapaa, Bonferroni-korjaus ja Holm-korjaus.

Bonferroni-korjaus

Bonferroni-korjaus on yksinkertainen mutta melko varovainen. Jaat alfatason suorittamiesi testien määrällä. Tämä on uusi merkitsevyystaso. Tässä tapauksessa:

ɑ / n

ɑ: alfa- tai merkitsevyystaso

n: testien lukumäärä

0.05 / 10 = 0.005

Voit siis tehdä tämän melko helposti itse lukiessasi paperia. Jos testataan viittä muuttujaa, tiedät, että alfatason pitäisi olla noin 0,01 eikä 0,05 (0,05/5). Tämä olettaen, että tutkijat eivät ole suorittaneet "kulissien takana" lukuisia testejä, joista he eivät ole raportoineet. Tätä kutsutaan tietojen kaivamiseksi tai p-hakkeroinniksi.

Toinen tapa on yksinkertaisesti kertoa paperissa oleva p-arvo testien lukumäärällä.

Esim.

P-arvo = 0,03

0.03 * 10 = 0.3

Tämä tarkoittaa, että aiemmin merkittävä p-arvo muuttui merkityksettömäksi, jos testattiin 10 muuttujaa.

Bonferronin korjauksen rajoitukset

Bonferroni-korjaus on laajalti käytetty menetelmä merkitsevyystason mukauttamiseksi moninkertaisten vertailujen osalta yleisen tyypin I virhetason hallitsemiseksi. Sillä on kuitenkin useita rajoituksia.

Yksi tärkeimmistä ongelmista on, että se voi olla liian tiukka, mikä voi johtaa tilastollisen tehon heikkenemiseen. Lisäksi siinä oletetaan, että kaikki vertailut ovat riippumattomia, mikä ei välttämättä pidä paikkaansa todellisissa tiedoissa, mikä voi johtaa korkeampaan tyypin II virhetasoon.

Bonferroni-korjauksen toinen rajoitus on se, että se lisää väärien negatiivisten tulosten tai tyypin II virheiden mahdollisuutta, mikä tarkoittaa, että todellisen vaikutuksen puuttumisen mahdollisuus on suurempi.

Bonferroni-korjaus soveltuu parhaiten tilanteisiin, joissa vertailujen määrä on suhteellisen pieni, sillä se ei välttämättä ole yhtä tehokas, kun vertailujen määrä on hyvin suuri. Siksi tutkijoiden olisi harkittava huolellisesti Bonferroni-korjauksen soveltuvuutta tutkimuskysymykseensä ja aineistoonsa ja oltava tietoisia sen rajoituksista.

Holmin korjaus

Toinen tapa korjata alfainflaatio on Holm-korjaus. Sanotaan, että tutkijat tekivät viisi testiä ja näin tuli viisi p-arvoa. Jotta Holm-korjaus toimisi, ne olisi asetettava paremmuusjärjestykseen alimmasta korkeimpaan.

Esim.

• 0,0004
• 0,0130
• 0,0172
• 0,0460
• 0,0600

Holmin kaava on seuraava: 

p-arvo * (m + 1 - k)

m = p-arvojen lukumäärä

k = p-arvon arvo

Kolmannen p-arvon osalta saamme...

0,0172 * (5 + 1 - 3) = 0,0516

... mikä tekee tuloksista merkityksettömiä.

Holmin korjauksen rajoitukset

Yksi rajoitus on se, että Holmin korjauksessa oletetaan, että kaikki testit ovat riippumattomia, eli yhden testin tulokset eivät vaikuta toisen testin tuloksiin. Joissakin tapauksissa testit voivat kuitenkin olla riippuvaisia toisistaan, esimerkiksi kun testataan useita tuloksia samasta näytteestä tai kun testataan eri ajankohtia samasta toimenpiteestä. Tällaisissa tapauksissa Holmin korjaus voi olla liian konservatiivinen tai liian liberaali, mikä johtaa virheellisiin johtopäätöksiin. Holmin korjauksen toinen rajoitus on se, että siinä ei oteta huomioon testien välistä korrelaatiota, joka voi vaikuttaa väärien positiivisten tulosten määrään. Jos esimerkiksi useat testit liittyvät samaan taustalla olevaan konstruktioon, todennäköisyys havaita merkittävä vaikutus kasvaa, eikä Holmin korjaus välttämättä ota tätä riittävästi huomioon. Vaikka Holmin korjaus on hyödyllinen menetelmä p-arvojen mukauttamiseksi monivertailutesteissä, on tärkeää ottaa huomioon sen rajoitukset erityisesti silloin, kun testit ovat riippuvaisia tai korreloituneita. Joissakin tapauksissa muut menetelmät, kuten väärän löytämisasteen valvonta tai Bayesin menetelmät, voivat olla tarkoituksenmukaisempia.

John Ludbrook (1998). Moninkertaiset vertailumenettelyt päivitetty. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x 

Giacalone, M., Agata, Z., Cozzucoli, P. C., & Alibrandi, A. (2018). Bonferroni-Holmin ja permutaatiotestit terveystietojen vertailussa: metodologisia ja sovellettavia kysymyksiä. BMC Medical Research Methodology, 18(1). doi:10.1186/s12874-018-0540-8.

Lakens, D., Tyypin 1 virheiden hallinta, Daniel Lakens, youtube