Степен на грешка тип 1 | Статистика

Тестването на множество променливи увеличава процента на грешка тип 1 или процента на фалшиво положителните резултати. Това се нарича проблем на множественото сравнение. Коригирането на тази алфа-инфлация не е трудно. Съществуват два основни начина, а именно корекцията на Бонферони и корекцията на Холм.

Корекция на Бонферони

Корекцията на Бонферони е проста, но доста консервативна. Разделяте вашите алфа ниво по броя на тестовете, които ще извършите. Това ще бъде новото ниво на значимост. В този случай:

ɑ / n

ɑ: алфа или ниво на значимост

n: брой тестове

0.05 / 10 = 0.005

По този начин можете лесно да направите това сами, когато четете даден документ. Ако се тестват пет променливи, знаете, че нивото на алфа-контрол трябва да е около 0,01 вместо 0,05 (0,05 / 5). Това е при условие, че изследователите не са извършили множество тестове "зад кулисите", без да ги докладват. Това се нарича "извличане на данни" или " p-hacking".

Друг начин е просто да умножите p-стойността в документа по броя на тестовете.

Напр.

P-стойност = 0,03

0.03 * 10 = 0.3

Това означава, че предишната значима p-стойност сега става незначителна, ако се тестват 10 променливи.

Ограничения на корекцията на Бонферони

Корекцията на Бонферони е широко използван метод за коригиране на нивото на значимост при многократни сравнения, за да се контролира общият процент на грешка от тип I. Той обаче има няколко ограничения.

Един от основните проблеми е, че тя може да бъде прекалено строга, което може да доведе до загуба на статистическа мощ. Освен това се предполага, че всички сравнения са независими, което може да не е така в реалните данни, което може да доведе до по-високи нива на грешка от тип II.

Друго ограничение на корекцията на Бонферони е, че тя увеличава вероятността от фалшиви отрицателни резултати или грешки от тип II, което означава, че има по-голяма вероятност да се пропусне истински ефект.

И накрая, корекцията на Бонферони е най-подходяща за ситуации, в които броят на сравненията е сравнително малък, тъй като тя може да не е толкова ефективна, когато броят на сравненията е много голям. Ето защо изследователите трябва внимателно да обмислят целесъобразността на корекцията на Бонферони за своя изследователски въпрос и набор от данни и да са наясно с нейните ограничения.

Корекция на Холм

Вторият начин за коригиране на алфа инфлацията е корекцията на Холм. Да кажем, че изследователите са направили пет теста и така са получили пет p-стойности. За да работи корекцията на Холм, те трябва да бъдат подредени от най-ниската до най-високата степен.

Напр.

• 0,0004
• 0,0130
• 0,0172
• 0,0460
• 0,0600

Формулата на Холм е следната: 

p-стойност * (m + 1 - k)

m = брой p-стойности

k = рангът на p-стойността

Така за третата p-стойност получаваме...

0,0172 * (5 + 1 - 3) = 0,0516

... което прави резултатите незначителни.

Ограничения за корекция на Холм

Едно от ограниченията е, че корекцията на Холм предполага, че всички тестове са независими, което означава, че резултатите от един тест не влияят на резултатите от друг. В някои случаи обаче тестовете могат да бъдат зависими, например при тестване на няколко резултата от една и съща извадка или при тестване на различни времеви точки от една и съща интервенция. В такива случаи корекцията на Холм може да бъде твърде консервативна или твърде либерална, което води до неправилни заключения. Друго ограничение на корекцията на Холм е, че тя не отчита корелацията между тестовете, което може да повлияе на процента на фалшивите положителни резултати. Например, ако няколко теста са свързани с един и същ основен конструкт, вероятността за откриване на значим ефект се увеличава и корекцията на Холм може да не отчита това адекватно. Въпреки че корекцията на Холм е полезен метод за коригиране на р-стойностите при тестване на множество сравнения, важно е да се вземат предвид нейните ограничения, особено когато тестовете са зависими или корелирани. В някои случаи други методи, като например контрол на честотата на фалшивите открития или Байесови методи, могат да бъдат по-подходящи.

Джон Лъдбрук (1998 г.). Актуализиране на процедурите за множествено сравнение. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x 

Giacalone, M., Agata, Z., Cozzucoli, P. C., & Alibrandi, A. (2018). Тестове на Бонферони-Холм и пермутационни тестове за сравняване на здравни данни: методологични и приложни въпроси. BMC Medical Research Methodology, 18(1). doi:10.1186/s12874-018-0540-8

Лакенс, Д., Контрол на грешките от тип 1 от Даниел Лакенс, youtube