Co to jest wartość P? | Statystyka

Mówiąc prościej, wartość p wyraża, jak bardzo jesteś zaskoczony danymi, zakładając, że nie ma żadnego efektu. Im niższa wartość p, tym bardziej dane wydają się niezgodne z twoim modelem (tj. założeniem, że nie ma efektu).

Np.

Leczenie A jest porównywane z leczeniem B, zakładasz, że nie ma efektu lub nie ma różnicy; oczekujesz, że hipoteza zerowa jest prawidłowa. Przeprowadzasz test i otrzymujesz wartość p równą 0,02. Oznacza to, że zebrane dane są dość zaskakujące, biorąc pod uwagę, że zakładałeś, że grupy nie będą się różnić.

Wartość p istnieje po to, aby chronić Cię przed przypadkowością. Jeśli przeprowadzasz badanie, istnieje prawdopodobieństwo, że efekty, które widzisz, są po prostu przypadkowe - lub szum danych, jak to nazywamy. Dlatego możesz zobaczyć zauważalne różnice w średnich wartościach między grupami, ale bez statystycznie istotnego efektu. Może to również działać w drugą stronę. Badanie może wykazać nieistotny wynik, ale może istnieć prawdziwy efekt; być może dlatego, że wielkość próby jest po prostu zbyt mała.

Co wpływa na wartość p?

Wartości P zależą od kilku różnych czynników: wielkości próby, wielkości efektu i rodzaju testu wraz z jego założeniami.

• Wielkość próby: im większa grupa, tym szybciej uzyskasz statystycznie istotne wyniki przy niewielkich różnicach - i odwrotnie.
• Wielkość efektu: im większa wielkość efektu, tym szybciej uzyskasz statystycznie istotne wyniki, nawet w przypadku mniejszych grup - i odwrotnie.
• Rodzaj testu: test staje się bardziej wrażliwy na różnice przy pewnych założeniach dotyczących np. rozkładu danych, niezależności miar, homoscedastyczności, jednostronności vs dwustronności, międzygrupowej vs wewnątrzgrupowej itp.

Np. 

Ogromne badanie może znaleźć statystycznie istotne wyniki nawet przy najmniejszych efektach. Efekty te mogą nic nie znaczyć. W oryginalnym badaniu penicyliny wykorzystano niewielką próbkę, aby dane pokazały, że istnieje ogromny wpływ na eliminację bakterii.

Wartość p <0,05 progu

Próg istotności statystycznej stosowany przez większość badaczy (tj. p < 0,05) jest po prostu arbitralny. Biorąc wszystko pod uwagę, powinno się to zmienić w zależności od konfiguracji twojego badania. Jeśli naprawdę nie chcesz fałszywie pozytywnych wyników (np. decyzji o poddaniu się operacji zagrażającej życiu), potrzebujesz niskiej liczby progowej. Jeśli naprawdę nie chcesz fałszywie ujemnych wyników (np. diagnozowania agresywnych nowotworów), potrzebujeszbadania o dużej mocy, a następnie wyższej wartości progowej p. Ilustruje to relację "dawaj i bierz" między typ 1 (α) i typ 2 (ß) błędy.

Zwróć uwagę, że wartość p jest wyprowadzana z danych, a nie z teorii. Nie możesz "udowodnić" swojej teorii statystycznie istotnym efektem. Jedyne, co możesz zrobić, to spróbować obalić swoją teorię za pomocą innych badań, jeśli się utrzyma, to twoja teoria się utrzyma. To jest fałszerstwo.

Błędne przekonania dotyczące wartości p

Niektóre powszechne nieporozumienia dotyczące wartości p w badaniach medycznych obejmują:

• Istotna wartość p oznacza, że efekt lub związek jest duży lub ma znaczenie kliniczne.
  • Rzeczywistość: Wartość p wskazuje jedynie prawdopodobieństwo uzyskania obserwowanego wyniku lub bardziej skrajnego przy hipotezie zerowej. Nie dostarcza informacji o wielkości lub znaczeniu klinicznym efektu lub związku
• Nieistotna wartość p oznacza brak efektu lub związku.
  • Rzeczywistość: Nieistotna wartość p sugeruje jedynie, że zaobserwowany wynik nie jest istotny statystycznie, ale niekoniecznie oznacza, że nie ma żadnego efektu lub związku. Może to być spowodowane niską mocą statystyczną lub innymi czynnikami, takimi jak błąd pomiaru lub zmienne zakłócające.
• Wartość p równa 0,05 jest uniwersalnym progiem istotności statystycznej.
  • Rzeczywistość: Wybór poziomu istotności zależy od kontekstu i powinien opierać się na takich czynnikach, jak projekt badania, wielkość próby i konsekwencje popełnienia błędu typu I. Niższy poziom istotności może być odpowiedni w niektórych sytuacjach, takich jak badania z wielokrotnymi porównaniami lub badania o wysokiej stawce
• Znacząca wartość p dowodzi związku przyczynowego.
  • Rzeczywistość: Istotność statystyczna wskazuje jedynie prawdopodobieństwo uzyskania obserwowanego wyniku lub bardziej skrajnego przy hipotezie zerowej. Nie ustala przyczynowości, która wymaga dodatkowych dowodów wynikających z projektu badania, wiarygodności biologicznej i innych czynników.
• Duży rozmiar próby zawsze prowadzi do istotnej wartości p.
  • Rzeczywistość: Duży rozmiar próby zwiększa moc wykrywania efektu lub związku, ale nie gwarantuje istotnej wartości p. Wielkość efektu, zmienność i inne czynniki również odgrywają rolę w określaniu istotności statystycznej.

Elkins, M. R., Pinto, R. Z., Verhagen, A., Grygorowicz, M., Söderlund, A., Guemann, M., Gómez-Conesa, A., Blanton, S., Brismée, J. M., Agarwal, S., Jette, A., Karstens, S., Harms, M., Verheyden, G., & Sheikh, U. (2022). Wnioskowanie statystyczne poprzez estymację: zalecenia Międzynarodowego Stowarzyszenia Redaktorów Czasopism Fizjoterapeutycznych. The Journal of Manual & Manipative Therapy, 30(3), 133-138.
Neyman, J. i Pearson, E.S. (1928) On the Use and Interpretation of Certain Test Criteria for Purposes of Statistical Inference. Biometrika, 20A, 175-240.

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Testy statystyczne, wartości P, przedziały ufności i moc: przewodnik po błędnych interpretacjach. European Journal of Epidemiology, 31(4), 337-350.

Kamper S. J. (2019). Interpretacja wyników 2 - Znaczenie statystyczne i znaczenie kliniczne: Łączenie dowodów z praktyką. The Journal of orthopaedic and sports physical therapy, 49(7), 559-560. 

Karl Popper, Conjectures and Refutations, Londyn: Routledge and Keagan Paul, 1963, s. 33-39; z Theodore Schick, ed., Readings in the Philosophy of Science, Mountain View, CA: Mayfield Publishing Company, 2000, str. 9-13

Christley, R.M. (2010). Moc i błąd: Zwiększone ryzyko fałszywie pozytywnych wyników w badaniach o niewystarczającej mocy. The Open Epidemiology Journal, 3, 16-19.

Fleming A. On the Antibacterial Action of Cultures of a Penicillium, with Special Reference to their Use in the Isolation of B. influenzæ. Br J Exp Pathol. 1929 Jun;10(3):226-36. PMCID: PMC2048009.

Erickson, R. A., & Rattner, B. A. (2020). Wyjście poza p < 0,05 w ekotoksykologii: Przewodnik dla praktyków. Environmental toxicology and chemistry, 39(9), 1657-1669.