O que é o problema de comparação múltipla? | Estatísticas

O problema da comparação múltipla é a questão que surge quando são realizados vários testes na mesma amostra. Um exemplo ilustrará isso.

Por exemplo.

Digamos que um estudo analise os fatores de risco prospectivos para lesões de corrida em 5.000 corredores iniciantes. Diferentes variáveis são testadas, pois ainda não sabemos quais aumentam o risco. Alguns exemplos são: volume de corrida, queda do navicular, ângulo q, força dos quadris e glúteos, padrão de batida do calcanhar ou do antepé, tênis minimalista ou maximalista e ADM de dorsiflexão do tornozelo.

Falsos positivos com comparação múltipla

A maioria dos pesquisadores aceitará uma taxa de 5% de falsos positivos, o nível alfa ou de significância. Isso é para uma determinada variável, como a força do quadríceps. Isso significa que, se esse estudo for realizado cem vezes, cerca de 5 estudos mostrarão um resultado falso positivo, quando, na verdade, não há nenhum.

No entanto, os pesquisadores estão analisando dez variáveis, não apenas a força do quadril, dentro da mesma amostra. Isso representa um problema.

Os pesquisadores, sem saber desse problema, conduzem o estudo. Dois anos depois, os dados chegam, mostrando que o padrão de batida do calcanhar e a força dos glúteos são um fator de risco para uma lesão na corrida. Excelente! Essa é a conclusão e o artigo é publicado.

Conforme observado anteriormente, o nível de significância de 5% não significa que haja uma taxa de 5% de falsos positivos neste momento, devido à grande quantidade de variáveis diferentes que estão sendo pesquisadas. Portanto, os pesquisadores aceitaram implicitamente um risco muito maior de resultados falsos positivos ao realizar o estudo, analisando dez variáveis.

A taxa de erro por família demonstra isso. Com um cálculo bastante simples, podemos verificar a taxa de falsos positivos, que é de 40%! A fórmula é mostrada abaixo.

Soluções para o problema de comparação múltipla

Acho que podemos concordar que isso constitui um problema. Então, o que vamos fazer a respeito? Há uma solução. Os pesquisadores podem fazer correções para neutralizar essa inflação alfa fazendo uma correção de Bonferroni ou Holm. Isso é discutido em "Controle de taxa de erro do tipo 1".

Fórmula de taxa de erro por família:

1 - (1 - ɑ)x

ɑ: alfa ou nível de significância em decimais

x: número de testes

Erros do tipo II

Entretanto, o ajuste do nível de significância de cada teste individual pode aumentar a probabilidade de cometer um erro do Tipo II (falso negativo) em todos os testes. Isso ocorre porque o nível de significância mais rigoroso reduz o poder de cada teste individual para detectar um efeito ou relacionamento verdadeiro. Consequentemente, um efeito significativo pode não ser percebido em alguns testes, levando a resultados falsos negativos. Para evitar resultados falsos negativos devido ao problema de comparação múltipla, podemos usar técnicas como o pré-registro de hipóteses, estudos de replicação ou métodos estatísticos mais avançados, como a inferência bayesiana. Além disso, é importante projetar cuidadosamente o estudo e as hipóteses que estão sendo testadas para minimizar o número de testes realizados e garantir que eles sejam significativos e relevantes para a questão da pesquisa.

Wason, J. M. S., & Robertson, D. S. (2021). Controle das taxas de erro tipo I em estudos clínicos com vários braços: Um caso para a taxa de descoberta falsa. Pharmaceutical statistics, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Testes múltiplos. Parte I. Procedimentos de etapa única para controle de taxas gerais de erro tipo I. Statistical applications in genetics and molecular biology (Aplicações estatísticas em genética e biologia molecular), 3, Artigo 13.

Lakens, D., Controle de erros do tipo 1 por Daniel Lakens, youtube

John Ludbrook (1998). PROCEDIMENTOS DE COMPARAÇÃO MÚLTIPLA ATUALIZADOS. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x