P-Hacking là gì? | Thống kê

P-hacking là thuật ngữ dùng để mô tả nhiều kỹ thuật khác nhau mà các nhà nghiên cứu có thể sử dụng để tăng cơ hội tìm thấy kết quả có ý nghĩa về mặt thống kê trong nghiên cứu của họ, ngay cả khi kết quả thực sự không có ý nghĩa. Đây là một hình thức thao túng dữ liệu có thể dẫn đến việc công bố kết quả dương tính giả .

Ví dụ.

Trong một nghiên cứu so sánh hiệu quả của hai biện pháp vật lý trị liệu khác nhau để điều trị đau vai liên quan đến gân cơ chóp xoay, nhà nghiên cứu có thể tiến hành nhiều phân tích dữ liệu, chỉ báo cáo những phân tích cho thấy sự khác biệt có ý nghĩa thống kê giữa hai biện pháp can thiệp. Đây là p-hacking vì nhà nghiên cứu chỉ báo cáo có chọn lọc những kết quả ủng hộ giả thuyết của họ trong khi bỏ qua những kết quả không ủng hộ.

Nhiều So sánh Không điều chỉnh

Một ví dụ khác về p-hacking trong nghiên cứu vật lý trị liệu là khi một nhà nghiên cứu tiến hành nhiều so sánh giữa các biện pháp can thiệp khác nhau nhưng không điều chỉnh các so sánh này. Điều này có thể dẫn đến khả năng tìm thấy kết quả có ý nghĩa thống kê một cách tình cờ , ngay cả khi các biện pháp can thiệp không thực sự khác biệt.

Bằng cách loại bỏ một số dữ liệu một cách có chọn lọc, nhà nghiên cứu đang thực sự “hack” kết quả, vì nó làm tăng khả năng tìm thấy sự khác biệt có ý nghĩa thống kê giữa hai biện pháp can thiệp, ngay cả khi không có sự khác biệt thực sự nào. Sau đó, nhà nghiên cứu có thể trình bày dữ liệu như thể đó là một phép so sánh công bằng, điều này có thể dẫn đến kết luận không chính xác và gây hiểu lầm cho các nghiên cứu và điều trị trong tương lai. Đây chỉ là một trong những cách để thực hiện điều đó.

Không cố ý

Điều quan trọng cần lưu ý là việc hack P có thể xảy ra một cách vô tình và có thể xuất phát từ việc nhà nghiên cứu thiếu kiến thức thống kê hoặc áp lực phải công bố những kết quả khả quan. Tuy nhiên, đó cũng có thể là sự lựa chọn được đưa ra một cách có ý thức với một mục tiêu nào đó. Các nhà nghiên cứu nên đăng ký trước thiết kế nghiên cứu và kế hoạch phân tích, báo cáo tất cả các phát hiện và áp dụng các kỹ thuật thống kê thích hợp để tính đến nhiều so sánh nhằm ngăn chặn việc hack p. Để tăng cường độ tin cậy vào các phát hiện, các nghiên cứu lặp lại và sao chép độc lập các phát hiện cũng có thể được sử dụng.

Thêm thông tin về Đăng ký trước khi dùng thử

Đăng ký trước khi thử nghiệm, bao gồm việc nộp các thông tin chi tiết toàn diện về thiết kế nghiên cứu, can thiệp, kết quả và kế hoạch phân tích, là quá trình đăng ký thử nghiệm lâm sàng trước khi bắt đầu. Quy trình này được coi là rất quan trọng để tăng cường tính cởi mở và giảm thiểu sự thiên vị trong nghiên cứu lâm sàng. Các nhà nghiên cứu cam kết thực hiện một loạt các mục tiêu và quy trình bằng cách đăng ký công khai một nghiên cứu trước khi tiến hành, điều này có thể giúp ngăn chặn việc báo cáo kết quả có chọn lọc và việc giả mạo dữ liệu. Việc đăng ký trước khi thử nghiệm cũng giúp dễ dàng truy cập dữ liệu về các thử nghiệm hiện tại và đã hoàn thành và ngăn ngừa các nỗ lực nghiên cứu trùng lặp. Các thử nghiệm đã đăng ký có nhiều khả năng được công bố hơn, điều này có thể làm giảm sự thiên vị trong công bố và đảm bảo rằng kết quả nghiên cứu có thể được sử dụng trong thực hành lâm sàng và hoạch định chính sách. Đăng ký trước khi thử nghiệm là một bước quan trọng để đảm bảo nghiên cứu lâm sàng được tiến hành một cách minh bạch và nghiêm ngặt, mang lại kết quả đáng tin cậy và hữu ích hơn.

Gelman, A. và Loken, E. (2019). Khu vườn có nhiều con đường rẽ nhánh: Tại sao nhiều phép so sánh có thể là một vấn đề, ngay cả khi không có “cuộc thám hiểm câu cá” hay “p-hacking” và giả thuyết nghiên cứu đã được đưa ra trước thời hạn ∗.

Daniele Fanelli (2012). Những kết quả tiêu cực đang biến mất khỏi hầu hết các ngành và quốc gia. , 90(3), 891–904. doi:10.1007/s11192-011-0494-7

Lakens, D. (2019). Giá trị của việc đăng ký trước cho ngành khoa học tâm lý: Một phân tích khái niệm. 心理学評論, 62(3), 221-230.

Storey, J.D. (2003). Tỷ lệ phát hiện sai dương tính: cách giải thích theo Bayes và giá trị q. Biên niên sử thống kê, 31(6), 2013-2035.

Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., & van Aert, R. C. (2016). M., & van Assen, MALM (2016). Mức độ tự do trong việc lập kế hoạch, thực hiện, phân tích và báo cáo các nghiên cứu tâm lý: Danh sách kiểm tra để tránh hack p. Biên giới trong Tâm lý học, 7.