Mi az a többszörös összehasonlítási probléma? | Statisztika

A többszörös összehasonlítás problémája akkor merül fel, ha ugyanazon a mintán több tesztet végzünk. Egy példával szemléltetjük ezt.

Pl.

Tegyük fel, hogy egy tanulmány 5000 kezdő futónál vizsgálja a futósérülések lehetséges kockázati tényezőit. Különböző változókat tesztelünk, mivel még nem tudjuk, melyek növelik a kockázatot. Ilyenek például: futástérfogat, navicular drop, q-szög, combfeszítő és farizom izomerő, sarok- vagy elülsőláb érkezési minta, minimalista vagy maximalista cipő, és a boka dorsiflexió ROM.

Hamis pozitív eredmények többszörös összehasonlítás esetén

A legtöbb kutató elfogadja az 5%-os téves pozitív arányt, az alfa vagy szignifikancia szintet. Ez egy adott változóra, például a quadricepsz izomerőre vonatkozik. Ez azt jelenti, hogy ha ezt a tanulmányt százszor végezzük el, körülbelül 5 tanulmány téves pozitív eredményt fog mutatni, amikor valójában nincs is ilyen.

Azonban a kutatók tíz változót vizsgálnak, nem csak a combizom-erőt, ugyanazon a mintán belül. Ez problémát vet fel.

A kutatók, a probléma tudta nélkül, elvégzik a vizsgálatot. Két évvel később az adatok beérkeznek, és a sarok érintkezési mintázat és a farizom ereje a futási sérülés kockázati tényezője. Nagyszerű! Ez a következtetés, és a cikket közzéteszik.

Mint korábban említettük, az 5%-os szignifikancia szint nem jelent 5%-os téves pozitív arányt, a vizsgált változók sokasága miatt. A vizsgálat során tíz változót nézve, a kutatók ezzel hallgatólagosan elfogadták a téves pozitív eredmények nagyobb kockázatát.

Ezt a család-bölcs hibaarány mutatja. Egy egyszerű számítással ellenőrizheted a téves pozitív arányt, ami 40%! A képletet lent találod.

Megoldások a többszörös összehasonlítás problémájára

Ebben szerintem egyetérthetünk. Mit kezdjünk hát vele? Van megoldás! A kutatók Bonferroni- vagy Holm-korrekcióval ellensúlyozhatják ezt az alfa-inflációt. Erről a „Type 1 error rate control” szól.

Családonkénti hibaszázalék képlete:

1 – (1 – ɑ)x

ɑ: alfa vagy szignifikancia szint decimálisban

x: tesztek száma

II. típusú hibák

Viszont, ha módosítjuk az egyes tesztek szignifikancia szintjét, az növelheti a II. típusú hiba (tévesen negatív eredmény) valószínűségét az összes tesztben. Ez azért van, mert a szigorúbb szignifikancia szint csökkenti az egyes tesztek erejét a valódi hatások vagy összefüggések kimutatására. Ennek következtében előfordulhat, hogy néhány tesztben nem vesszük észre a szignifikáns hatást, ami tévesen negatív eredményekhez vezethet. A többszörös összehasonlítás problémája miatt fellépő tévesen negatív eredmények elkerülése érdekében olyan technikákat alkalmazhatunk, mint a hipotézisek előzetes regisztrálása, a replikációs vizsgálatok vagy az olyan hatékonyabb statisztikai módszerek, mint a Bayes-i következtetés. Ezenkívül fontos a vizsgálat és a vizsgált hipotézisek gondos megtervezése annak érdekében, hogy minimalizáljuk az elvégzett tesztek számát, és biztosítsuk, hogy azok értelmesek és relevánsak legyenek a kutatási kérdés szempontjából.

Wason, J. M. S., & Robertson, D. S. (2021). I. típusú hibaarányok kezelése többkarú klinikai vizsgálatokban: Érv a téves felfedezési arány mellett. Pharmaceutical statistics, 20(1), 109–116.

Dudoit, S., van der Laan, M. J., & Pollard, K. S. (2004). Többszörös tesztelés. I. rész: Egylépéses eljárások az általános I. típusú hibák arányának szabályozására. Statisztikai alkalmazások a genetikában és a molekuláris biológiában, 3, 13. cikk.

Lakens, D., 1-es típusú hiba kontroll Daniel Lakens-től, youtube

John Ludbrook (1998). FRISSÍTETT TÖBBSZÖRÖS ÖSSZEHASONLÍTÁSI ELJÁRÁSOK. , 25(12), 1032–1037. doi:10.1111/j.1440-1681.1998.tb02179.x