Что такое P-Hacking? | Статистика

P-hacking - это термин, используемый для описания различных техник, которые исследователи могут использовать, чтобы увеличить шансы на получение статистически значимых результатов в своем исследовании, даже если на самом деле эти результаты не являются значимыми. Это одна из форм манипуляции данными, которая может привести к публикации ложных положительных результатов.

Эг.

В исследовании, где сравнивается эффективность двух разных физиотерапевтических вмешательств при болях в плече, связанных с вращательной манжетой, исследователь может провести несколько анализов данных и сообщить только о тех, которые покажут статистически значимую разницу между двумя вмешательствами. Это p-hacking, потому что исследователь выборочно сообщает только те результаты, которые подтверждают его гипотезу, и игнорирует те, которые не подтверждают.

Множественные нескорректированные сравнения

Еще один пример p-hacking в физиотерапевтических исследованиях - когда исследователь проводит множественные сравнения между различными вмешательствами, но не делает поправку на эти множественные сравнения. Это может привести к увеличению шансов получить статистически значимые результаты случайно, даже если вмешательства действительно не отличаются друг от друга.

Выборочно удаляя часть данных, исследователь эффективно "р-хакирует" результаты, так как это повышает вероятность обнаружения статистически значимой разницы между двумя вмешательствами, даже если на самом деле разницы нет. Тогда исследователь может представить данные так, будто это честное сравнение, что может привести к неточным выводам и ввести в заблуждение относительно будущих исследований и лечения. Это лишь один из способов сделать это.

Непреднамеренный

Важно отметить, что P-hacking может произойти случайно и быть следствием недостатка статистических знаний у исследователя или давления, связанного с необходимостью опубликовать многообещающие результаты. Однако это может быть и осознанный выбор, сделанный с определенной целью. Исследователи должны заранее зарегистрировать дизайн и аналитический план своего исследования, сообщить обо всех полученных результатах и применить правильные статистические методы для учета множественных сравнений, чтобы предотвратить p-hacking. Чтобы повысить доверие к выводам, можно также использовать репликационные исследования и независимое повторение выводов.

Подробнее о предварительной регистрации

Предварительная регистрация, которая включает в себя предоставление исчерпывающей информации о дизайне исследования, вмешательствах, результатах и плане анализа, - это процесс регистрации клинического испытания до его начала. Считается, что эта процедура крайне важна для повышения открытости и минимизации предвзятости в клинических исследованиях. Исследователи обязуются соблюдать набор целей и процедур, публично регистрируя исследование перед его проведением, что может помочь предотвратить выборочное освещение результатов и фальсификацию данных. Досудебная регистрация также облегчает доступ к данным о текущих и завершенных испытаниях и предотвращает дублирование исследовательских усилий. Зарегистрированные испытания с большей вероятностью будут опубликованы, что может уменьшить предвзятость при публикации и гарантировать, что результаты исследования будут доступны для использования в клинической практике и разработке политики. Досудебная регистрация - важный шаг к тому, чтобы клинические исследования проводились прозрачно и строго, что приведет к получению более надежных и полезных результатов.

Gelman, A., & Loken, E. (2019). Сад развивающихся тропинок : Почему множественные сравнения могут быть проблемой, даже если нет "рыболовной экспедиции" или "p-hacking", а гипотеза исследования была выдвинута заранее ∗.

Даниэле Фанелли (2012). Отрицательные результаты исчезают из большинства дисциплин и стран. , 90(3), 891-904. doi:10.1007/s11192-011-0494-7

Лакенс, Д. (2019). Ценность предварительной регистрации для психологической науки: Концептуальный анализ. 心理学評論, 62(3), 221-230.

Стори, Дж. Д. (2003). Положительная частота ложных обнаружений: байесовская интерпретация и q-значение. Анналы статистики, 31(6), 2013-2035.

Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., & van Aert, R. C. (2016). M., & van Assen, MALM (2016). Степени свободы при планировании, проведении, анализе и составлении отчетов о психологических исследованиях: Чек-лист, чтобы избежать p-hacking'а. Frontiers in Psychology, 7.