Что такое проблема множественного сравнения? | Статистика

Проблема множественного сравнения - это проблема, возникающая при проведении нескольких тестов на одном и том же образце. Пример проиллюстрирует это.

Эг.

Допустим, в исследовании изучаются проспективные факторы риска беговых травм у 5000 начинающих бегунов. Проверяются разные переменные, так как мы пока не знаем, какие из них увеличат риск. Примерами могут служить: объем бега, падение навикулы, q-угол, сила квадрицепсов и ягодиц, модель удара пяткой и передней частью стопы, минималистическая и максималистическая обувь, а также ПЗУ дорсифлексии голеностопа.

Ложные срабатывания при множественном сравнении

Большинство исследователей примут уровень ложного срабатывания в 5 % - альфа-уровень или уровень значимости. Это касается такой переменной, как сила квадрицепса. Это значит, что если это исследование провести сто раз, то около 5 исследований покажут ложноположительный результат, когда на самом деле его нет.

Однако исследователи рассматривают десять переменных, а не только силу квадроцикла; в рамках одной и той же выборки. В связи с этим возникает проблема.

Исследователи, не подозревая об этой проблеме, проводят испытание. Через два года пришли данные, которые показали, что модель удара пяткой и сила ягодиц являются фактором риска беговой травмы. Отлично! Это вывод, и работа публикуется.

Как уже отмечалось, уровень значимости в 5% не означает, что на данный момент существует 5%-ный уровень ложного срабатывания из-за множества различных переменных, которые исследуются. Так что исследователи неявно приняли гораздо больший риск ложноположительных результатов, проводя испытание, рассматривая десять переменных.

Об этом свидетельствуют показатели ошибок по семействам. С помощью довольно простого расчета мы можем проверить процент ложных срабатываний, он составляет 40%! Формула показана ниже.

Решение проблемы множественного сравнения

Думаю, мы можем согласиться, что это формирует проблему. Так что же мы собираемся с этим делать? Решение есть. Исследователи могут внести коррективы, чтобы противостоять этой альфа-инфляции, сделав поправку Бонферрони или Хольма. Об этом мы поговорим в разделе "Контроль частоты ошибок первого типа".

Формула коэффициента ошибок для семейства:

1 - (1 - ɑ)x

ɑ: альфа или уровень значимости в десятичных цифрах

x: количество тестов

Ошибки второго типа

Однако корректировка уровня значимости каждого отдельного теста может увеличить вероятность совершения ошибки второго типа (ложноотрицательной) по всем тестам. Это происходит потому, что более строгий уровень значимости снижает мощность каждого отдельного теста для обнаружения истинного эффекта или взаимосвязи. Следовательно, значительный эффект может быть пропущен в некоторых тестах, что приведет к ложноотрицательным результатам. Чтобы избежать ложноотрицательных результатов из-за проблемы множественного сравнения, мы можем использовать такие техники, как предварительная регистрация гипотез, репликационные исследования или более мощные статистические методы, такие как байесовское умозаключение. Кроме того, важно тщательно продумать дизайн исследования и проверяемых гипотез, чтобы свести к минимуму количество проводимых тестов и убедиться, что они значимы и имеют отношение к вопросу исследования.

Wason, J. M. S., & Robertson, D. S. (2021). Контроль частоты ошибок первого типа в многоруких клинических испытаниях: Случай для коэффициента ложных обнаружений. Фармацевтическая статистика, 20(1), 109-116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Многократное тестирование. Часть I. Одношаговые процедуры для контроля общих показателей ошибок первого типа. Статистические приложения в генетике и молекулярной биологии, 3, статья13.

Лакенс, Д., Контроль ошибок первого типа от Дэниела Лакенса, youtube

Джон Ладбрук (1998). ОБНОВЛЕННЫЕ ПРОЦЕДУРЫ МНОЖЕСТВЕННОГО СРАВНЕНИЯ. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x