O que é P-Hacking? | Estatísticas

P-hacking é um termo usado para descrever várias técnicas que os pesquisadores podem usar para aumentar as chances de encontrar resultados estatisticamente significativos em seus estudos, mesmo que os resultados não sejam realmente significativos. Essa é uma forma de manipulação de dados que pode levar à publicação de resultados falsos positivos.

Por exemplo.

Em um estudo que compara a eficácia de duas intervenções de fisioterapia diferentes para dor no ombro relacionada ao manguito rotador, um pesquisador pode realizar várias análises dos dados, relatando apenas aquelas que mostram uma diferença estatisticamente significativa entre as duas intervenções. Isso é p-hacking porque o pesquisador está relatando seletivamente apenas os resultados que apoiam sua hipótese, ignorando os que não apoiam.

Comparações múltiplas não ajustadas

Outro exemplo de p-hacking na pesquisa em fisioterapia é quando um pesquisador realiza várias comparações entre diferentes intervenções, mas não faz ajustes para essas comparações múltiplas. Isso pode aumentar a chance de encontrar resultados estatisticamente significativos por acaso, mesmo que as intervenções não sejam realmente diferentes.

Ao remover seletivamente alguns dos dados, o pesquisador está efetivamente "p-hacking" os resultados, pois aumenta a probabilidade de encontrar uma diferença estatisticamente significativa entre as duas intervenções, mesmo que não haja nenhuma diferença real. O pesquisador pode, então, apresentar os dados como se fossem uma comparação justa, o que pode levar a conclusões imprecisas e induzir a erros em pesquisas e tratamentos futuros. Essa é apenas uma das maneiras de fazer isso.

Não intencional

É importante observar que o P-hacking pode ocorrer acidentalmente e pode resultar da falta de conhecimento estatístico de um pesquisador ou da pressão para publicar resultados promissores. No entanto, também pode ser uma escolha feita conscientemente com um objetivo em mente. Os pesquisadores devem registrar previamente o projeto do estudo e o plano analítico, relatar todos os resultados e aplicar as técnicas estatísticas adequadas para levar em conta as comparações múltiplas a fim de evitar o p-hacking. Para aumentar a confiança nos resultados, também podem ser usados estudos de replicação e replicação independente dos resultados.

Mais sobre o registro pré-julgamento

O registro pré-ensaio, que inclui o envio de detalhes abrangentes sobre o projeto da pesquisa, intervenções, resultados e plano de análise, é o processo de registro de um estudo clínico antes do seu início. Esse procedimento é considerado crucial para aumentar a abertura e minimizar o viés na pesquisa clínica. Os pesquisadores se comprometem com um conjunto de metas e procedimentos ao registrar publicamente um estudo antes de ele ser realizado, o que pode ajudar a evitar a divulgação seletiva de resultados e a adulteração de dados. O registro pré-julgamento também facilita o acesso a dados sobre estudos atuais e concluídos e evita esforços de pesquisa redundantes. Os estudos registrados têm maior probabilidade de serem publicados, o que pode reduzir o viés de publicação e garantir que os resultados do estudo estejam disponíveis para uso na prática clínica e na elaboração de políticas. O registro pré-julgamento é uma etapa importante para garantir que a pesquisa clínica seja conduzida de forma transparente e rigorosa, levando a resultados mais confiáveis e úteis.

Gelman, A., & Loken, E. (2019). O jardim de caminhos que se bifurcam: Por que as comparações múltiplas podem ser um problema, mesmo quando não há "expedição de pesca" ou "p-hacking" e a hipótese de pesquisa foi colocada com antecedência ∗.

Daniele Fanelli (2012). Os resultados negativos estão desaparecendo da maioria das disciplinas e países. (em inglês), 90(3), 891-904. doi:10.1007/s11192-011-0494-7

Lakens, D. (2019). O valor do pré-registro para a ciência psicológica: Uma análise conceitual. 心理学評論, 62(3), 221-230.

Storey, J. D. (2003). A taxa de descoberta falsa positiva: uma interpretação bayesiana e o valor q. The annals of statistics, 31(6), 2013-2035.

Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., & van Aert, R. C. (2016). M., & van Assen, MALM (2016). Graus de liberdade no planejamento, execução, análise e relatório de estudos psicológicos: Uma lista de verificação para evitar o p-hacking. Frontiers in Psychology, 7.