유형 1 오류율

다음으로 이동

학습

유형 1 오류율 | 통계

여러 변수를 테스트하면 유형 1 오류율 또는 오탐률이 높아집니다. 이를 다중 비교 문제라고 합니다. 이러한 알파 인플레이션을 수정하는 것은 어렵지 않습니다. 본페로니 보정과 홀름 보정의 두 가지 주요 방법이 있습니다.

본페로니 보정

본페로니 보정은 간단하지만 상당히 보수적인 방식입니다. 알파 레벨을 수행하려는 테스트 수로 나눕니다. 이것이 새로운 중요도 수준이 될 것입니다. 이 경우입니다:

ɑ / n

ɑ: 알파 또는 유의 수준

N: 테스트 횟수

0.05 / 10 = 0.005

따라서 논문을 읽을 때 이 작업을 아주 쉽게 직접 수행할 수 있습니다. 5개의 변수를 테스트하는 경우 알파 레벨은 0.05(0.05/5)가 아니라 약 0.01이 되어야 한다는 것을 알 수 있습니다. 이는 연구자들이 '뒤에서' 수많은 테스트를 수행하면서 이를 보고하지 않았다는 가정 하에 이루어진 것입니다. 이를 데이터 준설 또는 P-해킹이라고 합니다.

또 다른 방법은 단순히 논문의 p값에 테스트 횟수를 곱하는 것입니다.

예.

P-값 = 0.03

0.03 * 10 = 0.3

즉, 10개의 변수를 테스트했을 때 이전에 유의미했던 p-값이 이제는 유의미하지 않게 되었습니다.

본페로니 보정 제한 사항

본페로니 보정은 전체 유형 I 오류율을 제어하기 위해 여러 비교의 유의 수준을 조정하는 데 널리 사용되는 방법입니다. 하지만 몇 가지 제한 사항이 있습니다.

주요 문제 중 하나는 지나치게 엄격하여 통계적 신뢰도가 떨어질 수 있다는 점입니다. 또한 모든 비교가 독립적이라고 가정하는데, 실제 데이터에서는 그렇지 않을 수 있으므로 잠재적으로 유형 II 오류율이 높아질 수 있습니다.

본페로니 보정의 또 다른 한계는 오탐 또는 유형 II 오류의 가능성이 높아져 실제 효과를 놓칠 가능성이 높다는 점입니다.

마지막으로 본페로니 보정은 비교 수가 매우 많을 경우 효과가 떨어질 수 있으므로 비교 수가 상대적으로 적은 상황에 가장 적합합니다. 따라서 연구자는 연구 질문과 데이터 세트에 대한 본페로니 보정의 적합성을 신중하게 고려하고 그 한계에 유의해야 합니다.

홀름 보정

알파 인플레이션을 보정하는 두 번째 방법은 홀름 보정입니다. 연구원들이 5개의 테스트를 수행하여 5개의 p값을 얻었다고 가정해 보겠습니다. 홀름 보정이 작동하려면 가장 낮은 순위부터 가장 높은 순위까지 순위를 매겨야 합니다.

예.

0,0004
0,0130
0,0172
0,0460
0,0600

홀름 공식은 다음과 같습니다:

P-값 * (M + 1 - K)

m = P값 수

k = P값의 순위

따라서 세 번째 p값은 다음과 같습니다.

0,0172 * (5 + 1 - 3) = 0,0516

... 결과가 미미해집니다.

홀름 보정 제한

한 가지 한계는 Holm의 보정은 모든 테스트가 독립적이라고 가정하므로 한 테스트의 결과가 다른 테스트의 결과에 영향을 미치지 않는다는 것입니다. 그러나 동일한 샘플에서 여러 결과를 테스트하거나 동일한 개입에서 다른 시점을 테스트하는 경우와 같이 일부 경우에는 테스트가 서로 의존적일 수 있습니다. 이러한 경우 Holm의 보정이 너무 보수적이거나 너무 진보적이어서 잘못된 결론을 도출할 수 있습니다. Holm의 보정의 또 다른 한계는 테스트 간의 상관관계를 고려하지 않아 오탐률에 영향을 줄 수 있다는 점입니다. 예를 들어, 여러 테스트가 동일한 기본 구조와 관련된 경우 유의미한 효과를 감지할 확률이 높아지며, Holm의 보정이 이를 적절히 설명하지 못할 수 있습니다. 홀름 보정은 다중 비교 테스트에서 p값을 조정하는 데 유용한 방법이지만, 특히 테스트가 종속적이거나 상관관계가 있는 경우에는 그 한계를 고려하는 것이 중요합니다. 경우에 따라 오탐지율 제어 또는 베이지안 방법과 같은 다른 방법이 더 적합할 수 있습니다.