O que é um valor P? | Estatísticas

Em termos simples, o valor p expressa o quanto você está surpreso com os dados, supondo que não haja efeito. Quanto menor o valor p, mais incompatíveis os dados parecem ser com seu modelo (ou seja, a suposição de que não há efeito).

Por exemplo.

O tratamento A é comparado ao tratamento B, você presume que não há efeito ou diferença; você espera que a hipótese nula esteja correta. Você realiza o teste e obtém um valor p de 0,02. Isso significa que os dados que você coletou são bastante surpreendentes, considerando que você supôs que os grupos não seriam diferentes.

O valor p existe para se proteger da aleatoriedade. Se você realizar um estudo, é provável que os efeitos observados sejam apenas aleatórios - ou ruído de dados, como chamamos. É por isso que você pode ver diferenças perceptíveis nos valores médios entre os grupos, mas nenhum efeito estatisticamente significativo. Isso também pode ocorrer de forma inversa. Um estudo pode mostrar um resultado não significativo, mas pode haver um efeito verdadeiro, talvez porque o tamanho da amostra seja muito pequeno.

O que influencia o valor de p?

Os valores de p são influenciados por alguns fatores diferentes: tamanho da amostra, tamanho do efeito e o tipo de teste com suas suposições.

• Tamanho da amostra: quanto maior o grupo, mais rápido você obterá resultados estatisticamente significativos com pequenas diferenças, e vice-versa.
• Tamanho do efeito: quanto maior o tamanho do efeito, mais rápido você obterá resultados estatisticamente significativos, mesmo com grupos menores, e vice-versa
• Tipo de teste: um teste fica mais sensível a diferenças com determinadas suposições sobre, por exemplo, a distribuição dos dados, a independência das medidas, a homocedasticidade, unilateral vs. bilateral, entre grupos vs. dentro do grupo etc.

Por exemplo. 

Um grande estudo pode encontrar resultados estatisticamente significativos mesmo com os menores efeitos. Esses efeitos podem não significar nada. O estudo original da penicilina usou uma amostra minúscula para que os dados mostrassem que há efeitos enormes na eliminação de bactérias.

Valor de p <0,05

O limite de significância estatística usado pela maioria dos pesquisadores (ou seja, p < 0,05) é simplesmente arbitrário. Em suma, isso deve mudar de acordo com a configuração de seu estudo. Se você realmente não quiser resultados falsos positivos (por exemplo, uma decisão de se submeter a uma operação com risco de vida), precisará de um número limite baixo. Se você realmente não quiser falsos negativos (por exemplo, diagnosticar tumores agressivos), precisará de umestudo de alta potência com um limiar de valor p mais alto. Isso ilustra a relação de dar e receber entre os erros do tipo 1 (α) e do tipo 2 (ß).

Observe que o valor p é derivado dos dados, não da teoria. Você não pode "provar" sua teoria com um efeito estatisticamente significativo. A única coisa que você pode fazer é tentar refutar sua teoria com estudos diferentes; se ela se sustentar, sua teoria se mantém. Isso é falsificação.

Conceitos errôneos sobre o valor p

Algumas concepções errôneas comuns sobre o valor p em pesquisas médicas incluem:

• Um valor de p significativo significa que o efeito ou a associação é grande ou clinicamente significativo.
  • Realidade: O valor p indica apenas a probabilidade de obter o resultado observado ou mais extremo sob a hipótese nula. Ele não fornece informações sobre o tamanho ou importância clínica do efeito ou associação
• Um valor de p não significativo significa que não há efeito ou associação.
  • Realidade: Um valor de p não significativo sugere apenas que o resultado observado não é estatisticamente significativo, mas não significa necessariamente que não haja efeito ou associação. Isso pode ser devido ao baixo poder estatístico ou a outros fatores, como erro de medição ou variáveis de confusão.
• Um valor de p de 0,05 é um limite universal para significância estatística.
  • Realidade: A escolha do nível de significância depende do contexto e deve se basear em fatores como o projeto do estudo, o tamanho da amostra e as consequências de cometer um erro do Tipo I. Um nível de significância mais baixo pode ser apropriado em algumas situações, como em estudos com comparações múltiplas ou de alto risco
• Um valor de p significativo comprova a causalidade.
  • Realidade: A significância estatística indica apenas a probabilidade de obter o resultado observado ou mais extremo sob a hipótese nula. Ele não estabelece a causalidade, que requer evidências adicionais do projeto do estudo, da plausibilidade biológica e de outros fatores.
• Um tamanho de amostra grande sempre leva a um valor p significativo.
  • Realidade: Um tamanho de amostra grande aumenta o poder de detecção de um efeito ou associação, mas não garante um valor p significativo. O tamanho do efeito, a variabilidade e outros fatores também desempenham um papel na determinação da significância estatística.

Elkins, M. R., Pinto, R. Z., Verhagen, A., Grygorowicz, M., Söderlund, A., Guemann, M., Gómez-Conesa, A., Blanton, S., Brismée, J. M., Agarwal, S., Jette, A., Karstens, S., Harms, M., Verheyden, G., & Sheikh, U. (2022). Inferência estatística por meio de estimativa: recomendações da International Society of Physiotherapy Journal Editors. The Journal of manual & manipulative therapy, 30(3), 133-138.
Neyman, J. e Pearson, E.S. (1928) On the Use and Interpretation of Certain Test Criteria for Purposes of Statistical Inference (Sobre o uso e a interpretação de determinados critérios de teste para fins de inferência estatística). Biometrika, 20A, 175-240.

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Testes estatísticos, valores de P, intervalos de confiança e potência: um guia para interpretações errôneas. European journal of epidemiology, 31(4), 337-350.

Kamper S. J. (2019). Interpretação de resultados 2 - Significância estatística e significado clínico: Vinculando as evidências à prática. The Journal of orthopaedic and sports physical therapy, 49(7), 559-560. 

Karl Popper, Conjectures and Refutations, Londres: Routledge and Keagan Paul, 1963, pp. 33-39; de Theodore Schick, ed., Readings in the Philosophy of Science, Mountain View, CA: Mayfield Publishing Company, 2000, pp. 9-13

Christley, R.M. (2010). Poder e erro: Aumento do risco de resultados falsos positivos em estudos com pouca potência. The Open Epidemiology Journal, 3, 16-19.

Fleming A. On the Antibacterial Action of Cultures of a Penicillium, with Special Reference to their Use in the Isolation of B. influenzæ (Sobre a ação antibacteriana de culturas de Penicillium, com referência especial ao seu uso no isolamento de B. influenzæ). Br J Exp Pathol. 1929 Jun;10(3):226-36. PMCID: PMC2048009.

Erickson, R. A., & Rattner, B. A. (2020). Indo além do p < 0,05 em ecotoxicologia: Um guia para profissionais. Environmental toxicology and chemistry, 39(9), 1657-1669.