Какво е P-Hacking? | Статистика

P-hacking е термин, използван за описание на различни техники, които изследователите могат да използват, за да увеличат шансовете за намиране на статистически значими резултати в своето проучване, дори ако резултатите всъщност не са значими. Това е форма на манипулиране на данните, която може да доведе до публикуването на фалшиви положителни резултати.

Напр.

В проучване, което сравнява ефективността на две различни физиотерапевтични интервенции за болки в рамото, свързани с ротаторния маншон, изследователят може да проведе множество анализи на данните, като докладва само тези, които показват статистически значима разлика между двете интервенции. Това е "p-hacking", тъй като изследователят избирателно съобщава само резултатите, които подкрепят неговата хипотеза, и пренебрегва тези, които не я подкрепят.

Множество некоригирани сравнения

Друг пример за "p-hacking" във физиотерапевтичните изследвания е, когато изследователят провежда многократни сравнения между различни интервенции, но не коригира тези многократни сравнения. Това може да доведе до повишен шанс за намиране на статистически значими резултати по случайност, дори ако интервенциите не са наистина различни.

Чрез селективно премахване на част от данните изследователят на практика "хаква" резултатите, тъй като увеличава вероятността да открие статистически значима разлика между двете интервенции, дори и да няма реална разлика. Тогава изследователят може да представи данните като че ли са справедливо сравнение, което може да доведе до неточни заключения и да подведе бъдещите изследвания и лечение. Това е само един от начините да го направите.

Непреднамерено

От решаващо значение е да се отбележи, че P-hacking може да се случи случайно и да е резултат от липсата на статистически познания на изследователя или от натиска да публикува обещаващи резултати. Но това може да бъде и съзнателен избор, направен с определена цел. Изследователите трябва предварително да регистрират своя проект на изследване и план за анализ, да докладват всички резултати и да прилагат подходящи статистически техники за отчитане на многобройни сравнения, за да предотвратят p-hacking. За да се повиши доверието в констатациите, могат да се използват и проучвания за повторение и независимо възпроизвеждане на констатациите.

Повече за регистрацията в досъдебното производство

Предварителната регистрация на клиничното изпитване, която включва подаване на подробна информация относно изследователския план, интервенциите, резултатите и плана за анализ, е процесът на регистрация на клиничното изпитване преди неговото започване. Тази процедура се счита за изключително важна за повишаване на откритостта и свеждане до минимум на пристрастията в клиничните изследвания. Изследователите се ангажират с набор от цели и процедури, като публично регистрират проучването преди провеждането му, което може да помогне за предотвратяване на избирателното докладване на резултатите и фалшифицирането на данните. Регистрацията на предварителни проучвания също така улеснява достъпа до данни за текущи и приключили проучвания и предотвратява излишни изследователски усилия. Регистрираните изпитвания е по-вероятно да бъдат публикувани, което може да намали пристрастията при публикуването и да гарантира, че резултатите от проучването са достъпни за използване в клиничната практика и при изготвянето на политики. Регистрацията на предварителното изпитване е важна стъпка към осигуряване на прозрачност и стриктност при провеждането на клиничните изследвания, което води до по-надеждни и полезни резултати.

Гелман, А. и Локен, Е. (2019). Градината с разклоняващи се пътеки : Защо многократните сравнения могат да бъдат проблем, дори когато няма "риболовна експедиция" или "p-hacking" и изследователската хипотеза е поставена предварително ∗.

Даниеле Фанели (2012). Отрицателните резултати изчезват от повечето дисциплини и държави. , 90 (3), 891–904. doi:10.1007/s11192-011-0494-7

Lakens, D. (2019). Стойността на предварителната регистрация за психологическите науки: Концептуален анализ. 心理学評論, 62(3), 221-230.

Стори, Дж. (2003). Положителният процент на фалшиви открития: байесова интерпретация и q-стойност. Анали на статистиката, 31 (6), 2013-2035.

Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., & van Aert, R. C. (2016). M., & van Assen, MALM (2016). Степен на свобода при планиране, провеждане, анализиране и отчитане на психологически изследвания: Контролен списък за избягване на p-hacking. Frontiers in Psychology, 7.