Что такое статистическая мощность? | Статистика

Мощность - это долгосрочная вероятность того, что серия одинаковых исследований обнаружит статистически значимый эффект (например, p<0.05), если таковой имеется. Вероятность ошибки второго типа в серии одинаковых исследований равна единице минус мощность (1-ß, часто 20%).

Эг.

Сто исследований проводятся в одной и той же популяции с одинаковой структурой "лечение А против лечения Б". Истинная разница в лечении в реальной жизни между А и Б - это на 30% более высокий шанс полного выздоровления при лечении А. Если провести статистику по этим ста исследованиям (та же популяция, та же дисперсия, то же стандартное отклонение), то в среднем около 20 исследований не покажут статистически значимого эффекта. Это коэффициент ошибок второго типа, или ложноотрицательных результатов, напрямую связанный со статистической мощностью (1-ß).

Так что, проще говоря, исследование с недостаточным питанием реже будет показывать статистически значимый эффект, в то время как на самом деле разница есть.

Это влияет на мощность

На мощность влияет несколько факторов, как и на p-значения.

• Размер выборки: больше выборка = больше мощность (более четкие различия между группами, меньше шума в данных).
• Дисперсия: меньше дисперсия - больше мощность
• Величина эффекта: больше величина эффекта = больше мощность (легче определить по тесту).
• Тип статистического теста: некоторые тесты дают большую мощность в обмен на большее количество допущений (в статистике не бывает бесплатных обедов).

Однако очень важно понимать, что статистическая мощность (например. 80%) существует для одного инструмента измерения, для одного момента времени, для одного размера эффекта.

Низкая мощность = ненадежное исследование

Таким образом, исследование с недостаточной мощностью увеличивает риск ошибок второго типа (ложноотрицательных), но оно также увеличивает риск ошибок первого типа (ложноположительных), при этом эффект завышен. Это называется "проклятие победителя". Вот почему ты просто не можешь набросить на выборку несколько показателей результатов и провести измерения в разные моменты времени без того, чтобы твоя статистическая мощность не рухнула. Хорошие исследователи и клиницисты знают, что вторичные показатели результатов являются лишь предположительными, потому что исследование не имеет достаточной мощности для такого количества показателей. Тебе нужны новые исследования, чтобы подтвердить эти предположения. Описанная выше проблема называется проблемой множественного сравнения.

Могу представить, что это звучит немного контринтуитивно. Давай рассмотрим пример.

Эг.

Ты читаешь лекцию группе из 200 студентов и решил разделить их на две группы. Цель твоего исследования - выяснить, есть ли гендерные различия, например, больше ли женщин в одной группе по сравнению с другой. Никакой разницы нет. Затем ты смотришь на цвет глаз, цвет волос, длину указательного пальца, PR в жиме лежа, QOL, возраст, количество братьев и сестер и т.д. Есть шанс, что где-то ты столкнешься со статистически значимым результатом. Это и есть проблема множественного сравнения.

Решения

Чтобы избежать недостаточно мощных исследований и риска ложноположительных или ложноотрицательных результатов, исследователи должны планировать свои исследования с учетом достаточной мощности. Для этого нужно учитывать такие факторы, как размер выборки, величина эффекта, дисперсия и используемый статистический тест. Многократное тестирование также создает риск ложных срабатываний, с которым можно бороться с помощью таких методов, как корректировка уровня значимости или контроль коэффициента ложных обнаружений. Понимая концепцию статистической мощности и ее важность при проверке гипотез, исследователи смогут разрабатывать исследования, которые дадут надежные и значимые результаты.

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Статистические тесты, значения P, доверительные интервалы и мощность: руководство по неправильной интерпретации. Европейский журнал эпидемиологии, 31(4), 337-350. https://doi.org/10.1007/s10654-016-0149-3

Ingre M. (2013). Почему маленькие маломощные исследования хуже больших мощных и как защититься от "тривиальных" находок в исследованиях: комментарий к Friston (2012). NeuroImage, 81, 496-498. https://doi.org/10.1016/j.neuroimage.2013.03.030

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Статистические тесты, значения P, доверительные интервалы и мощность: руководство по неправильной интерпретации. Европейский журнал эпидемиологии, 31(4), 337-350. https://doi.org/10.1007/s10654-016-0149-3