Какъв е проблемът с множественото сравняване? | Статистика

Проблемът с многократното сравнение е проблем, който възниква, когато се извършват няколко теста върху една и съща извадка. Един пример ще илюстрира това.

Напр.

Да речем, че в едно проучване се разглеждат потенциални рискови фактори за травми при бягане при 5000 начинаещи бегачи. Тестват се различни променливи, тъй като все още не знаем кои от тях ще увеличат риска. Примери са: обем на бягането, спад на навуса, ъгъл q, сила на четириглавия и седалищния мускул, модел на удара на петата спрямо предния крак, минималистична спрямо максималистична обувка и ROM на дорсифлексията на глезена.

Фалшиви положителни резултати при многократно сравнение

Повечето изследователи приемат 5% процент на фалшиви положителни резултати, което е алфа нивото или нивото на значимост. Това се отнася за дадена променлива, например силата на четириглавия мускул. Това означава, че ако това изследване се проведе сто пъти, около 5 изследвания ще покажат фалшив положителен резултат, докато всъщност такъв няма.

Изследователите обаче разглеждат десет променливи, а не само силата на четирикраката, в рамките на една и съща извадка. Това поражда проблем.

Изследователите, без да знаят за този проблем, провеждат процеса. Две години по-късно идват данните, които показват, че моделът на удар на петата и силата на глутеула са рисков фактор за нараняване при бягане. Страхотно! Това е заключението и документът се публикува.

Както беше отбелязано по-горе, нивото на значимост от 5 % не означава, че на този етап има 5 % фалшиво положителни резултати поради множеството различни променливи, които се изследват. Така че изследователите имплицитно са приели много по-голям риск от фалшиви положителни резултати, провеждайки проучването, като са изследвали десет променливи.

Процентът на грешките по семейства показва това. С помощта на съвсем просто изчисление можем да проверим процента на фалшивите положителни резултати - той е 40%! Формулата е показана по-долу.

Решения на проблема с множественото сравнение

Мисля, че можем да се съгласим, че това представлява проблем. И така, какво ще направим по въпроса? Има решение. Изследователите могат да направят корекции, за да противодействат на тази алфа-инфлация, като направят корекция на Бонферони или Холм. Това е разгледано в "Контрол на нивото на грешките от тип 1".

Формула за процент на грешка по семейства:

1 - (1 - ɑ)x

ɑ: алфа или ниво на значимост в десетични дроби

x: брой тестове

Грешки от тип II

Въпреки това регулирането на нивото на значимост на всеки отделен тест може да увеличи вероятността от грешка от тип II (фалшиво отрицателна ) за всички тестове. Това се дължи на факта, че по-строгото ниво на значимост намалява силата на всеки отделен тест да открие истински ефект или връзка. Следователно при някои тестове може да се пропусне значителен ефект, което води до фалшиви отрицателни резултати. За да се избегнат фалшиво отрицателни резултати, дължащи се на проблема с многократното сравнение, можем да използваме техники като предварително регистриране на хипотези, проучвания за повторение или по-мощни статистически методи, като например Байесов извод. Освен това е важно внимателно да се планират изследването и проверяваните хипотези, за да се сведе до минимум броят на провежданите тестове и да се гарантира, че те са смислени и релевантни на изследователския въпрос.

Wason, J. M. S., & Robertson, D. S. (2021). Контролиране на процента на грешка от тип I при клинични изпитвания с няколко рамена: Случай за процента на фалшивите открития. Фармацевтична статистика, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Многократно тестване. Част I. Едностъпкови процедури за контрол на общите проценти на грешки от тип I. Статистически приложения в генетиката и молекулярната биология, 3, статия13.

Лакенс, Д., Контрол на грешките от тип 1 от Даниел Лакенс, youtube

Джон Лъдбрук (1998 г.). АКТУАЛИЗИРАНЕ НА ПРОЦЕДУРИТЕ ЗА МНОЖЕСТВЕНО СРАВНЕНИЕ. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x