Care este problema comparației multiple? | Statistică

Problema comparației multiple este problema care apare atunci când sunt efectuate teste multiple pe același eșantion. Un exemplu va ilustra acest lucru.

Eg.

Să spunem că un studiu analizează factorii de risc potențiali pentru accidentele de alergare la 5 000 de alergători începători. Sunt testate diferite variabile, deoarece nu știm încă care dintre ele vor crește riscul. Exemplele sunt: volumul de alergare, căderea naviculară, unghiul q, forța cvadricepsului și a fesierilor, modelul de lovire a călcâiului vs. a antepiciorului, pantoful minimalist vs. maximalist și ROM de dorsiflexie a gleznei.

Falsi pozitivi cu comparații multiple

Majoritatea cercetătorilor vor accepta o rată a falselor pozitive de 5%, nivelul alfa sau de semnificație. Aceasta este pentru o variabilă dată, cum ar fi forța cvadricepsului. Aceasta înseamnă că, dacă acest studiu este efectuat de o sută de ori, aproximativ 5 studii vor arăta un rezultat fals pozitiv, când, de fapt, nu există niciunul.

Cu toate acestea, cercetătorii analizează zece variabile, nu doar forța cvadruplului; în cadrul aceluiași eșantion. Acest lucru ridică o problemă.

Cercetătorii, fără să știe de această problemă, efectuează studiul. Doi ani mai târziu sosesc datele, care arată că un model de lovire a călcâiului și forța feselor reprezintă un factor de risc pentru accidentarea în alergare. Grozav! Aceasta este concluzia și lucrarea este publicată.

După cum s-a menționat anterior, nivelul de semnificație de 5% nu înseamnă că există o rată fals pozitivă de 5% în acest moment, din cauza multitudinii de variabile diferite care sunt cercetate. Așadar, cercetătorii au acceptat implicit un risc mult mai mare de rezultate fals pozitive prin efectuarea studiului, analizând zece variabile.

Rata de eroare pe familii demonstrează acest lucru. Cu un calcul destul de simplu, putem verifica rata fals pozitivă, care este de 40%! Formula este prezentată mai jos.

Soluții la problema comparației multiple

Cred că putem fi de acord că acest lucru constituie o problemă. Deci, ce vom face în această privință? Există o soluție. Cercetătorii pot face corecții pentru a contracara această alfa-inflație prin efectuarea unei corecții Bonferroni sau Holm. Acest lucru este discutat în "Controlul ratei de eroare de tip 1".

Formula ratei de eroare în funcție de familie:

1 - (1 - ɑ)x

ɑ: alfa sau nivelul de semnificație în zecimale

x: numărul de teste

Erori de tip II

Cu toate acestea, ajustarea nivelului de semnificație al fiecărui test individual poate crește probabilitatea de a face o eroare de tip II (fals negativ) în toate testele. Acest lucru se datorează faptului că nivelul de semnificație mai strict reduce puterea fiecărui test individual de a detecta un efect sau o relație reală. În consecință, un efect semnificativ poate fi omis în unele teste, ducând la rezultate fals negative. Pentru a evita rezultatele fals negative datorate problemei comparațiilor multiple, putem utiliza tehnici precum înregistrarea prealabilă a ipotezelor, studii de replicare sau metode statistice mai puternice precum inferența bayesiană. În plus, este important să se conceapă cu atenție studiul și ipotezele testate pentru a minimiza numărul de teste efectuate și pentru a se asigura că acestea sunt semnificative și relevante pentru întrebarea de cercetare.

Wason, J. M. S., & Robertson, D. S. (2021). Controlul ratelor de eroare de tip I în studiile clinice cu mai multe brațe: Un caz pentru rata de descoperire falsă. Statistici farmaceutice, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Testare multiplă. Partea I. Proceduri într-o singură etapă pentru controlul ratelor generale de eroare de tip I. Aplicații statistice în genetică și biologie moleculară, 3, Articolul13.

Lakens, D., Type 1 error control de Daniel Lakens, youtube

John Ludbrook (1998). PROCEDURI DE COMPARARE MULTIPLĂ ACTUALIZATE. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x