Статистика ошибок первого типа |

Тестирование нескольких переменных увеличивает коэффициент ошибок первого типа или коэффициент ложных срабатываний. Это называется проблемой множественного сравнения. Сделать поправку на эту альфа-инфляцию несложно. Существует два основных способа, а именно коррекция Бонферрони и коррекция Хольма.

Коррекция Бонферрони

Коррекция Бонферрони проста, но довольно консервативна. Раздели свой альфа-уровень на количество испытаний, которые ты собираешься провести. Это будет новый уровень значимости. Так и в этом случае:

ɑ / n

ɑ: альфа или уровень значимости

n: количество тестов

0.05 / 10 = 0.005

Таким образом, ты сам можешь довольно легко сделать это при чтении статьи. Если тестируется пять переменных, то ты знаешь, что альфа-уровень должен быть не 0,05, а около 0,01 (0,05 / 5). Это при условии, что исследователи не проводили кучу тестов "за кулисами", не сообщая о них. Это называется data-dredging или p-hacking.

Другой способ - просто умножить p-значение, указанное в статье, на количество тестов.

Эг.

P-значение = 0,03

0.03 * 10 = 0.3

Это значит, что ранее значимое p-значение теперь стало незначимым, если тестировать 10 переменных.

Ограничения, связанные с коррекцией Бонферрони

Поправка Бонферрони - это широко используемый метод корректировки уровня значимости для множественных сравнений с целью контроля общего коэффициента ошибок первого типа. Однако у него есть несколько ограничений.

Одна из главных проблем заключается в том, что он может быть слишком строгим, что может привести к потере статистической мощности. Кроме того, он предполагает, что все сравнения независимы, что может быть не так в реальных данных, потенциально приводя к более высокому уровню ошибок второго типа.

Еще одно ограничение поправки Бонферрони заключается в том, что она увеличивает вероятность ложноотрицательных результатов или ошибок II типа, то есть повышается вероятность пропустить истинный эффект.

Наконец, поправка Бонферрони больше всего подходит для ситуаций, когда количество сравнений относительно невелико, так как она может быть не столь эффективна, когда количество сравнений очень велико. Поэтому исследователи должны тщательно взвесить целесообразность применения поправки Бонферрони для своего исследовательского вопроса и набора данных, а также знать о ее ограничениях.

Коррекция хольма

Второй способ коррекции альфа-инфляции - это коррекция Хольма. Допустим, исследователи провели пять тестов и таким образом получили пять p-значений. Чтобы коррекция Хольма сработала, их нужно расположить по ранжиру от низшего к высшему.

Эг.

• 0,0004
• 0,0130
• 0,0172
• 0,0460
• 0,0600

Формула Хольма выглядит следующим образом: 

p-value * (m + 1 - k)

m = количество p-значений

k = ранг p-значения

Итак, для третьего p-значения мы получаем...

0,0172 * (5 + 1 - 3) = 0,0516

...что делает результаты незначительными.

Ограничения коррекции Холма

Одно из ограничений заключается в том, что поправка Хольма предполагает, что все тесты независимы, то есть результаты одного теста не влияют на результаты другого. Однако в некоторых случаях тесты могут быть зависимыми, например, при проверке нескольких исходов на одной и той же выборке или при проверке разных временных точек одного и того же вмешательства. В таких случаях поправка Хольма может быть слишком консервативной или слишком либеральной, что приведет к неправильным выводам. Еще одно ограничение поправки Хольма заключается в том, что она не учитывает корреляцию между тестами, что может повлиять на процент ложных срабатываний. Например, если несколько тестов связаны с одним и тем же базовым конструктом, вероятность обнаружения значимого эффекта возрастает, и поправка Хольма может неадекватно учесть это. Хотя поправка Хольма - полезный метод корректировки p-значений при тестировании множественных сравнений, важно учитывать его ограничения, особенно когда тесты зависимы или коррелируют. В некоторых случаях могут быть более уместны другие методы, такие как контроль коэффициента ложных обнаружений или байесовские методы.

Джон Ладбрук (1998). Обновленные процедуры множественного сравнения. , 25(12), 1032-1037. doi:10.1111/j.1440-1681.1998.tb02179.x 

Giacalone, M., Agata, Z., Cozzucoli, P. C., & Alibrandi, A. (2018). Тесты Бонферрони-Хольма и пермутационные тесты для сравнения данных о здоровье: методологические и прикладные вопросы. BMC Medical Research Methodology, 18(1). doi:10.1186/s12874-018-0540-8

Лакенс, Д., Контроль ошибок первого типа от Дэниела Лакенса, youtube