Tilastollisten tutkimusmenetelmien käyttö ja väärinkäyttö (terveystieteellisessä tutkimuksessa) Janne Pitkäniemi, Dosentti Suomen Syöpärekisteri Helsingin yliopisto Valtaosassa lääketieteellisiä tutkimuksia ja julkaisuita edellytetään nykyisin tilastollisten menetelmien tieteellisesti asianmukaista käyttöä. Useimmissa arvostetuissa lehdissä (esim. NEJM, BMJ ja Lancet) kiinnitetään erityistä huomiota tilastollisten menetelmien riittävälle ja oikealle käytölle. Kliinisissä kokeissa on erittäin tarkat normit tilastollisten menetelmien käytölle. 2 1
Tilastollinen päättely statistical inference Se on päättelymekanismi, jolla kerätyn otoksen/otosten (tutkimusaineiston) perusteella tutkittavasta asiasta pyritään tekemään johtopäätöksiä (päätelmiä) laajempaa perusjoukkoa (populaatiota) koskevaksi. Osa-alueet ovat arviointi (estimointi) ja hypoteesien testaaminen (testaus). Altisteiden ja sairauksien mittaamisesta k2008 3 Kohdeperusjoukko Suomen väestö μ Otoksesta laskettu otossuure (otoskeskiarvo) Otosperusjoukko Otos Otoksen Suomalaiset henkilöt x Perusjoukon Tuntematon suure Kolesterolikeskiarvo Väestörekisterin suomenkansalaiset (TAI Suomen Reumapotilaat) (TAI Reumasäätiösairaalan potilaat) (TAI Otos reumasäätiön Potilaista) 4 2
Oletetaan että olemme kiinnostuneet suomalaisten kolesterolin keskimääräisestä arvosta koko väestössä (merkitään µ) Satunnaismuuttuja on kolesteroli merk. X Koska kaikkia ei voi/kannata mitata => poimitaan 50 yksilön otos => (3.28,3.99,7.53,4.93,5.73,5.2,6.5,5.1,5.07,5.4,6.3,3.95,3.3,6.38,4.8,5.06,4.21,4.88,5.42,4.59,4.59,5.7,4.62,5.16,2.78,2.71,6.36,4.15,5.34,4.74,5.73,3.45,8.31,4.52,4.9,3.75,6.42,3.89,4.35,2.61,3.95,5.22,5.72,5.32,5.69,4.52,7,6.03,4.08,5.34) Havaittua muuttujan arvo: x 1 =3.28 mmol/l Jos poimittaisiin uusi otos saataisiin eri havaintoarvot => satunnaisuus 5 Tieteellisen tutkimuksen vaiheet 1. Tutkimuksen suunnittelu ja asetelma 2. Aineiston (tilastollinen) analysointi 3. Tutkimuksen dokumentointi 4. Aineiston ja tulosten esittäminen 5. Tulkinta 6. Päätelmät 3
Tutkimuksen suunnittelu ja asetelma Ennen varsinaista suunnittelua selvitä onko tutkimuskysymys (hypoteesi) järkevä => jos tutkittu ja tunnettu älä tee sitä edes opinnäytteenä Määrittele tavoite ja päätulosmuuttuja, motivoi tavoite selkeän vaikutuksen kautta Tee huolellinen voimalaskelma Tutkimuksen suunnittelu ja asetelma Otoskoko ja voima tulee arvioida Harhojen perusteellinen käsittely on tärkeää Niin paljon kuin mahdollista hoidettava tutkimusasetelman avulla Satunnaista, sokkouta, poimi satunnaisotos Edustavuus ja harhattomuus tavoitteena Kuvaa ne huolella 4
Tutkimuksen suunnittelu ja asetelma Mihin tai kehen (potilaita) verrataan?????? Tutkimuksen suunnittelun virheet 1. Tavoitetta tai päätulosmuuttujaa ei ole kerrottu (Tutkimushypoteesia ei ole kerrottu) 1. Tutkimusjoukosta poistettuja havaintoja ei ole kerrottu klinikka aineistot 2. A priori - otoskoko ja voimalaskemia ei ole tehty 3. Satunnaistamista/Sokkouttamista ei ole kerrottu tai se on puutteellisesti kerrottu 4. Lähtötilanteen taustamuuttujien tasapainoa ei ole kuvattu 5. Vertailuryhmää ei ole tai se on epäsopiva 5
Poistetaan epämieluisat havainnot/aineistot Tehdään 40 koetta vaikuttamattomalla aineella - keskimäärin 95% merkitsevyystasolla 38 inkonklusiivista ja 1 haitallisen vaikutuksen ja 1 hyödyllisen vaikutuksen tulos. Julkaistaan tai tuetaan muuten vain sopivaa tulosta. Ihmelääkkeitä mainostavien yritysten taktiikka. The Vioxx Scandal How could a drug get approved by the FDA and put out to market if the drug was unsafe? When the original studies about the drug were published, several of the Merck authors neglected to include three myocardial infarctions (heart attacks) in the final revision of the paper. They knew about the heart attacks, but also knew that including those three cases would make it statistically significant enough that the drug would not be approved. Three cases washed under the carpet were enough to turn an event from a statistically insignificant one (i.e. the drug got approved) to a significant one (the drug would not have got approved). 6
Tilastollisen analyysin tavallisimmat virheet Hypoteesiin nähden väärä tilastollinen testi Havaintojen pariutettua luonnetta ei ole huomioitu til. analyysissa Monivertailukorjausta ei ole tehty t-testin oletukset eivät täyty Khi-toiseen testi ilman jatkuvuuskorjausta Nollahypoteesia ei ole kerrottu Tehdään post-hoc alaryhmäanalyyseja, joita ei ole alkuperäisessä suunnitelmassa Ei yritettykään sekoittavien tekijöiden hallintaa Tutkimuksen raportoinnin ongelmia Testaus menettelyt kuvattu huonosti where appropriate Testeillä vääriä nimiä Jos analyysi tehty ei tavallisilla menetelmillä riittävä kuvaus Tarkka kuvaus siitä mikä testi missäkin tilanteessa 7
Tulosten esittämisen tilastolliset virheet Riittämätön tai väärä numeerinen/graafinen aineiston kuvaus Aineiston vaihtelua ei kerrota vain keskiluku Kerrotaan SE aineiston vaihtelun mittarina pitäisi olla SD Jos ei-normaalinen muuttuja anna prosenttipisteet Ei osata käyttää ± merkintää vaihtelua kuvaamassa Tulokset vain p-arvoina Ei parametrin luottamusvälejä Ryhmien keskiarvojen luottamusvälit annetaan mutta ei ryhmäkeskiarvojen erojen Ei anneta tarkkoja p-arvoja - p = NS, p <0.05 Tulosten tarkkuus johdonmukainen ja looginen Johtopäätösten muotoilu Väärät päätelmät tuloksista ei merkitsevä vs. ei vaikutusta, ei eroa Vedetään johtopäätöksia, joita aineisto ei tue Julistetaan merkitsevyys, mutta ilman tilastollista merkitsevyyttä Analyysi oikein mutta tulokset tulkitaan huonosti Tyypin 2 virheen mahdollisuutta ei huomioida kun päätellään ettei tulos ole merkitsevä ei voimaa Monivertailua ei huomioida edes johtopäätelmissä Ei pohdita huolella harhoja ja/tai sekoittavia tekijöitä 8
Poistetaan epämieluisat havainnot/aineistot Tehdään 40 koetta vaikuttamattomalla aineella - keskimäärin 95% merkitsevyystasolla 38 inkonklusiivista ja 1 haitallisen vaikutuksen ja 1 hyödyllisen vaikutuksen tulos. Julkaistaan tai tuetaan muuten vain sopivaa tulosta. Ihmelääkkeitä mainostavien yritysten taktiikka. The Vioxx Scandal How could a drug get approved by the FDA and put out to market if the drug was unsafe? When the original studies about the drug were published, several of the Merck authors neglected to include three myocardial infarctions (heart attacks) in the final revision of the paper. They knew about the heart attacks, but also knew that including those three cases would make it statistically significant enough that the drug would not be approved. Three cases washed under the carpet were enough to turn an event from a statistically insignificant one (i.e. the drug got approved) to a significant one (the drug would not have got approved). 9
Osoitetaan ettei eroa ole Tyypin 2 virhe (nollahypoteesi hyväksytään, silloin kun se on epätosi) oikea ero on mutta tutkimus päättelee väärin että eroa ei ole. Vaaditaan paljon havaintoja/potilaita toteamaan ettei eroa ole verrattuna siihen että ero oikeasti on Kaurapuuro ja kolesteroli Artikkeli NEJM lehdessä joka sai laajaa huomioita USA:ssa - 1990 Tutkimuspäätteli että kaurapuuron syönti ei alentanut kolesterolia merkittävästi Swain JF, Rouse IL, Curley CB, Sacks FM. Comparison of the effects of oat bran and low-fiber wheat on serum lipoprotein levels and blood pressure. N Engl J Med 1990; 322:147-52 10
Kaurapuuro ja kolesteroli Otoskoko oli 20 henkeä ja jotta voitaisiin osoittaa ettei vaikutusta ole tarvitaan isompi otoskoko. Tutkimus oli siis liian heikkovoimainen => johtopäätökset vääriä Valikoitunut joukko alentunut rasvojen saanti koko väestöön verrattuna, erikoisruokavaliota noudattanut joukko Kaurapuuro ja kolesteroli The authors have managed to confuse the American public further with a poorly designed and underpowered trial that draws erroneous conclusions. What does a small study of dietitians with desirable cholesterol levels tell us about the population of the American public at risk?" 11
Tilastotiede lääketieteessä nytparempaa kuin ennen? Tilastollinen laskenta sekä mallinnus on helpottunut => Parempaa tutkimusta, jolla on myös osoitettavissa olevaa vaikutusta? Onko mekaaninen laskenta korvannut ajattelun => odotetaan tilasto-ohjelmia joissa voi tehdä valinnat helposti ja laskennan nopeasti? Big data => Vähemmän ajattelua parempaa tutkimusta? Tilastotieteilijä => renki vai isäntä? Oh yes, the past can hurt. But from the way I see it, you can either run from it, or... learn from it. Rafiki travels his own road, sings his own songs and knows what he knows. The Lion King (1994) 12