Tỷ lệ lỗi loại 1 | Thống kê

Kiểm tra nhiều biến số sẽ làm tăng tỷ lệ lỗi loại 1 hoặc tỷ lệ dương tính giả. Đây được gọi là bài toán so sánh bội . Việc điều chỉnh hiện tượng lạm phát alpha này không khó. Có hai cách chính, đó là hiệu chỉnh Bonferroni và hiệu chỉnh Holm.

Hiệu chỉnh Bonferroni

Phép hiệu chỉnh Bonferroni đơn giản nhưng khá bảo thủ. Bạn chia mức độ alpha của mình cho số lượng bài kiểm tra mà bạn sắp thực hiện. Đây sẽ là mức ý nghĩa mới. Vậy trong trường hợp này:

ɑ / n

ɑ: alpha hoặc mức độ ý nghĩa

n: số lượng bài kiểm tra

0,05 / 10 = 0,005

Vì vậy, bạn có thể tự mình thực hiện điều này khá dễ dàng khi đọc một bài báo. Nếu kiểm tra năm biến, bạn biết mức alpha phải vào khoảng 0,01 thay vì 0,05 (0,05 / 5). Điều này dựa trên giả định rằng các nhà nghiên cứu không thực hiện hàng loạt thử nghiệm “đằng sau hậu trường” mà không báo cáo chúng. Đây được gọi là khai thác dữ liệu hoặc hack p .

Một cách khác là chỉ cần nhân giá trị p trong bài báo với số lượng bài kiểm tra.

Ví dụ.

Giá trị P = 0,03

0,03 * 10 = 0,3

Điều này có nghĩa là giá trị p trước đây có ý nghĩa thì giờ đây trở nên không có ý nghĩa nếu 10 biến được thử nghiệm.

Giới hạn hiệu chỉnh Bonferroni

Hiệu chỉnh Bonferroni là một phương pháp được sử dụng rộng rãi để điều chỉnh mức độ ý nghĩa cho nhiều phép so sánh nhằm kiểm soát tỷ lệ lỗi loại I tổng thể. Tuy nhiên, nó có một số hạn chế.

Một trong những vấn đề chính là nó có thể quá nghiêm ngặt, dẫn đến mất đi sức mạnh thống kê. Ngoài ra, nó giả định rằng mọi so sánh đều độc lập, điều này có thể không đúng trong dữ liệu thực tế, có khả năng dẫn đến tỷ lệ lỗi loại II cao hơn.

Một hạn chế khác của phép hiệu chỉnh Bonferroni là nó làm tăng khả năng xảy ra kết quả âm tính giả hoặc lỗi loại II , nghĩa là có khả năng cao hơn là bỏ sót hiệu ứng thực sự.

Cuối cùng, phép hiệu chỉnh Bonferroni phù hợp nhất với những tình huống mà số lượng so sánh tương đối nhỏ vì nó có thể không hiệu quả khi số lượng so sánh rất lớn. Do đó, các nhà nghiên cứu nên cân nhắc cẩn thận tính phù hợp của phép hiệu chỉnh Bonferroni đối với câu hỏi nghiên cứu và tập dữ liệu của mình, đồng thời lưu ý đến những hạn chế của nó.

Sửa lỗi Holm

Cách thứ hai để hiệu chỉnh sự lạm phát alpha là hiệu chỉnh Holm. Giả sử các nhà nghiên cứu đã thực hiện năm thử nghiệm và do đó thu được năm giá trị p . Để phương pháp hiệu chỉnh Holm có hiệu quả, chúng phải được xếp hạng từ thấp đến cao.

Ví dụ.

• 0,0004
• 0,0130
• 0,0172
• 0,0460
• 0,0600

Công thức Holm như sau: 

giá trị p * (m + 1 – k)

m = số lượng giá trị p

k = thứ hạng của giá trị p

Vì vậy, đối với giá trị p thứ ba, chúng ta có…

0,0172 * (5 + 1 – 3) = 0,0516

…làm cho kết quả trở nên không đáng kể.

Giới hạn sửa lỗi Holm

Một hạn chế là bản sửa lỗi của Holm giả định rằng tất cả các bài kiểm tra đều độc lập, nghĩa là kết quả của một bài kiểm tra không ảnh hưởng đến kết quả của bài kiểm tra khác. Tuy nhiên, trong một số trường hợp, các xét nghiệm có thể phụ thuộc nhau, chẳng hạn như khi xét nghiệm nhiều kết quả từ cùng một mẫu hoặc khi xét nghiệm các thời điểm khác nhau từ cùng một biện pháp can thiệp. Trong những trường hợp như vậy, sự sửa chữa của Holm có thể quá bảo thủ hoặc quá tự do, dẫn đến kết luận không chính xác. Một hạn chế khác của phương pháp hiệu chỉnh của Holm là nó không tính đến mối tương quan giữa các xét nghiệm, điều này có thể ảnh hưởng đến tỷ lệ dương tính giả. Ví dụ, nếu nhiều thử nghiệm liên quan đến cùng một cấu trúc cơ bản, khả năng phát hiện ra tác động đáng kể sẽ tăng lên và phép hiệu chỉnh của Holm có thể không giải thích đầy đủ cho điều này. Mặc dù phương pháp hiệu chỉnh Holm là phương pháp hữu ích để điều chỉnh giá trị p trong thử nghiệm so sánh nhiều, nhưng điều quan trọng là phải cân nhắc đến những hạn chế của nó, đặc biệt là khi các thử nghiệm phụ thuộc hoặc có tương quan. Các phương pháp khác như kiểm soát Tỷ lệ phát hiện sai hoặc phương pháp Bayesian có thể phù hợp hơn trong một số trường hợp.

John Ludbrook (1998). Nhiều thủ tục so sánh được cập nhật. , 25(12), 1032–1037. doi:10.1111/j.1440-1681.1998.tb02179.x 

Giacalone, M., Agata, Z., Cozzucoli, P. C., & Alibrandi, A. (2018). Kiểm định Bonferroni-Holm và phép thử hoán vị để so sánh dữ liệu sức khỏe: các vấn đề về phương pháp luận và ứng dụng. Phương pháp nghiên cứu y khoa BMC, 18(1). doi:10.1186/s12874-018-0540-8

Lakens, D., Kiểm soát lỗi loại 1 của Daniel Lakens, youtube