V čom spočíva problém viacnásobného porovnávania? | Štatistika

Problém viacnásobného porovnávania je problém, ktorý vzniká, keď sa vykonáva viacero testov na tej istej vzorke. Ukážeme si to na príklade.

Napr.

Povedzme, že štúdia skúma perspektívne rizikové faktory bežeckých zranení u 5000 začínajúcich bežcov. Testujú sa rôzne premenné, pretože zatiaľ nevieme, ktoré z nich zvyšujú riziko. Príkladmi sú: objem behu, pokles nártovej kosti, uhly q, sila štvorhlavého a hýžďového svalstva, spôsob došľapu päty vs. prednej časti chodidla, minimalistická vs. maximalistická obuv a ROM dorziflexie členka.

Falošne pozitívne výsledky pri viacnásobnom porovnaní

Väčšina výskumníkov akceptuje 5 % falošne pozitívnych výsledkov, čo je hladina alfa alebo hladina významnosti. To platí pre danú premennú, napríklad silu štvorhlavého svalu. To znamená, že ak sa táto štúdia vykoná stokrát, približne 5 štúdií ukáže falošne pozitívny výsledok, hoci v skutočnosti žiadny neexistuje.

Výskumníci sa však pozerajú na desať premenných, nielen na silu štvorkolky; v rámci tej istej vzorky. To predstavuje problém.

Výskumníci, ktorí o tomto probléme nevedia, vykonávajú skúšku. O dva roky neskôr prišli údaje, ktoré ukázali, že spôsob úderu pätou a sila hýždí sú rizikovým faktorom pre bežecké zranenie. Skvelé! To je záver a článok sa uverejní.

Ako už bolo uvedené, hladina významnosti na úrovni 5 % neznamená, že v tomto bode existuje 5 % falošne pozitívna miera vzhľadom na množstvo rôznych premenných, ktoré sú predmetom výskumu. Výskumníci teda implicitne akceptovali oveľa väčšie riziko falošne pozitívnych výsledkov tým, že vykonali skúšku a skúmali desať premenných.

Dokazuje to chybovosť v jednotlivých rodinách. Pomocou jednoduchého výpočtu môžeme skontrolovať mieru falošnej pozitivity, ktorá je 40 %! Vzorec je uvedený nižšie.

Riešenie problému viacnásobného porovnávania

Myslím, že sa zhodneme na tom, že to predstavuje problém. Čo s tým urobíme? Existuje riešenie. Výskumníci môžu vykonať korekcie proti tejto alfa-inflácii pomocou Bonferroniho alebo Holmovej korekcie. O tom sa hovorí v časti "Kontrola chybovosti typu 1".

Vzorec pre rodinnú chybovosť:

1 - (1 - ɑ)x

ɑ: alfa alebo hladina významnosti v desatinných číslach

x: počet testov

Chyby typu II

Úprava hladiny významnosti každého jednotlivého testu však môže zvýšiť pravdepodobnosť chyby typu II (falošne negatívna) vo všetkých testoch. Je to preto, že prísnejšia hladina významnosti znižuje schopnosť každého jednotlivého testu odhaliť skutočný účinok alebo vzťah. V dôsledku toho môže v niektorých testoch chýbať významný účinok, čo vedie k falošne negatívnym výsledkom . Aby sme sa vyhli falošne negatívnym výsledkom v dôsledku problému s viacnásobným porovnaním, môžeme použiť techniky, ako je predbežná registrácia hypotéz, replikačné štúdie alebo výkonnejšie štatistické metódy, ako je Bayesovská inferencia. Okrem toho je dôležité starostlivo navrhnúť štúdiu a testované hypotézy, aby sa minimalizoval počet vykonaných testov a zabezpečilo sa, že sú zmysluplné a relevantné pre výskumnú otázku.

Wason, J. M. S., & Robertson, D. S. (2021). Kontrola chybovosti typu I v klinických skúškach s viacerými ramenami: Prípad pre mieru falošných objavov. Farmaceutická štatistika, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Viacnásobné testovanie. Časť I. Jednokrokové postupy na kontrolu všeobecnej chybovosti typu I. Štatistické aplikácie v genetike a molekulárnej biológii, 3, Článok13.

Lakens, D., Kontrola chýb typu 1 podľa Daniela Lakensa, youtube

John Ludbrook (1998). AKTUALIZOVANÉ POSTUPY VIACNÁSOBNÉHO POROVNÁVANIA. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x