Mitä on tilastollinen teho? | Tilastot

Teho on identtisten tutkimusten sarjan pitkän aikavälin todennäköisyys havaita tilastollisesti merkitsevä vaikutus (esim. p<0,05), jos sellainen on olemassa. Tyypin 2 virheen todennäköisyys identtisten tutkimusten sarjassa on yksi miinus teho (1-ß, usein 20 %).

Esim.

Sata tutkimusta tehdään samassa populaatiossa samalla hoidon A vs. hoidon B rakenteella. Todellinen ero hoidon A ja B välillä todellisessa elämässä on 30 prosenttia suurempi mahdollisuus täydelliseen toipumiseen hoidossa A. Kun tilastot tehdään näille sadalle tutkimukselle (sama populaatio, sama varianssi, sama keskihajonta), keskimäärin noin 20 tutkimuksessa ei näy tilastollisesti merkitsevää vaikutusta. Tämä on tyypin 2 virhetaso eli väärien negatiivisten tulosten määrä, joka on suoraan yhteydessä tilastolliseen tehoon (1-ß).

Yksinkertaistaen voidaan siis sanoa, että riittämättömästi varustetussa tutkimuksessa havaitaan harvemmin tilastollisesti merkitsevää vaikutusta, vaikka eroa todella on.

Tämä vaikuttaa tehoon

Tehoon vaikuttavat muutamat tekijät, aivan kuten p-arvoihin.

• Otoskoko: suurempi otos = enemmän tehoa (selkeämmät erot ryhmien välillä, vähemmän datahäiriöitä).
• Varianssi: pienempi varianssi = enemmän tehoa
• Efektikoot: suuremmat efektikoot = enemmän tehoa (helpompi havaita testin avulla).
• Tilastollisen testin tyyppi: jotkin testit tuottavat enemmän tehoa vastineeksi useammista oletuksista (tilastoissa ei ole ilmaisia lounaita).

On kuitenkin tärkeää ymmärtää, että tilastollinen voima (esim. 80 %) koskee yhtä mittausmenetelmää, yhtä ajankohtaa ja yhtä vaikutuskokoa.

Pieni teho = epäluotettava tutkimus

Alimitoitettu tutkimus lisää siis tyypin 2 virheiden (väärien negatiivisten tulosten) riskiä, mutta se lisää myös tyypin 1 virheiden (väärien positiivisten tulosten) riskiä, jolloin vaikutukset ovat liian suuret. Tätä kutsutaan voittajan kiroukseksi. Tämän vuoksi otoskokoon ei yksinkertaisesti voi lisätä useita tulosmittareita ja mitata useina ajankohtina ilman, että tilastollinen teho romahtaa. Hyvät tutkijat ja lääkärit tietävät, että toissijaiset lopputulosmittarit ovat vain viitteellisiä, koska tutkimuksessa ei ole tehoa kyseiseen määrään toimenpiteitä. Tarvitaan uusia tutkimuksia näiden ehdotusten vahvistamiseksi. Edellä kuvattua ongelmaa kutsutaan moninkertaisen vertailun ongelmaksi.

Voin kuvitella, että tämä kuulostaa hieman intuition vastaiselta. Katsotaanpa esimerkkiä.

Esim.

Luennoit 200 opiskelijan ryhmälle ja päätät jakaa heidät kahteen ryhmään. Tutkimuksenne tavoitteena on selvittää, onko sukupuolten välillä eroja, esimerkiksi onko yhdessä ryhmässä enemmän naisia kuin toisessa. Ei ole mitään eroa. Sitten tarkastellaan silmien väriä, hiusten väriä, etusormen pituutta, penkkipunnerruksen PR:ää, elämänlaatua, ikää, sisarusten määrää jne. Todennäköisesti kohtaat tilastollisesti merkitsevän tuloksen jossain. Tämä on moninkertaisen vertailun ongelma.

Ratkaisut

Jotta vältettäisiin alimitoitetut tutkimukset ja väärien positiivisten tai negatiivisten tulosten riski, tutkijoiden on suunniteltava tutkimuksensa niin, että niiden teho on riittävä. Tämä edellyttää sellaisten tekijöiden kuin otoskoko, vaikutuskoko, varianssi ja käytetty tilastollinen testi huomioon ottamista. Moninkertainen testaus aiheuttaa myös väärien positiivisten tulosten riskin, jota voidaan käsitellä esimerkiksi säätämällä merkitsevyystasoa tai käyttämällä väärän löytämisasteen valvontaa. Kun tutkijat ymmärtävät tilastollisen tehon käsitteen ja sen merkityksen hypoteesien testauksessa, he voivat suunnitella tutkimuksia, jotka tuottavat luotettavia ja merkityksellisiä tuloksia.

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Tilastolliset testit, P-arvot, luottamusvälit ja teho: opas virhetulkintoihin. European journal of epidemiology, 31(4), 337-350. https://doi.org/10.1007/s10654-016-0149-3.

Ingre M. (2013). Miksi pienet, pienitehoiset tutkimukset ovat huonompia kuin suuret, suuritehoiset tutkimukset ja miten suojautua "vähäpätöisiltä" tutkimustuloksilta: kommentti artikkeliin Friston (2012). NeuroImage, 81, 496-498. https://doi.org/10.1016/j.neuroimage.2013.03.030.

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Tilastolliset testit, P-arvot, luottamusvälit ja teho: opas virhetulkintoihin. European journal of epidemiology, 31(4), 337-350. https://doi.org/10.1007/s10654-016-0149-3.