Parametrittomat ja robustit menetelmät Jukka Nyblom Jyväskylän yliopisto 2009 1
Sisältö 1 Satunnaistamismalli ja permutaatiotestit 4 1.1 Täysin satunnaistettu koe, käsittely ja kontrolli 4 1.2 Vastinparivertailu, käsittely ja kontrolli.... 20 1.3 Täysin satunnaistettu koe, useita käsittelyjä.. 28 1.4 Satunnaistetut täydelliset lohkot, useita käsittelyjä 31 2 Järjestyslukuihin perustuvat menetelmät 33 3 Populaatio ja satunnaisotos 33 2
4 Robusteja menetelmiä 33 5 Bootstrap 33 6 Riippuvuuden testaus ja estimointi 33 7 Robusti regressio 33 8 Epäparametrinen regressio 33 3
1 Satunnaistamismalli ja permutaatiotestit Tässä luvussa tarkastellaan eräitä kokeellisen tutkimuksen yksinkertaisia satunnaistamismalleja. 1.1 Täysin satunnaistettu koe, käsittely ja kontrolli Aloitetaan esimerkillä. Kuvitellaan, että haluamme tutkia uuden psyykenlääkkeen vaikutusta mielenterveyspotilaisiin. 4
Oletetaan, että koehenkilöinä on N kpl mahdollisimman samanlaisia ja samantyyppisistä oireista karsiviä potilaita. Jaamme potilaat satunnaisesti 2 ryhmään n kpl koeryhmään, joille annetaan uutta lääkettä ja m kpl kontrolliryhmään (N = m + n), joille annetaan lumelääkettä (placebo). Jonkin ajan kuluttua tutkiva lääkäri arvio tai mittaa lääkeen vaikutuksen. Oletamme, että kysymyksessä on kaksoissokkokoe: potilaat eikä tutkiva lääkäri tiedä, kumpaa lääkettää koehenkilöt ovat saaneet. 5
Miksi satunnaistaminen? Potilaiden huomiotta jätetty erilaisuus tai tuntemattomista syistä johtuvat seikat vaikuttavat mittauksiin. Tästä johtuva harha voidaan eliminoida satunnaistamalla. Miksi lumelääkettä? Potilas reagoi yleensä saamaansa hoitoon ja huomioon. Pelkkä usko lääkkeen tehoon vaikuttaa. Miksi kaksoisokkokoe? Potilas reagoi eri tavalla, kun hän saa oikeaa tai lumelääkettä. Lääkärin mittauksiin saattaa tieto vaikuttaa, erityisesti jos mittaus perustuu osin subjektiiviseen arviointiin. 6
Oletaan nyt, että koe on suoritettu ja että mittaustulokset ovat Kontrolli: x 1,x 2,...,x m Koe: y 1,y 2,...,y n Oletetaan nyt hetken, ettei lääkkeellä ole vaikutusta. Tätä sanotaan nollahypoteesiksi. Silloin koeryhmän mittaustulokset olisivat samat kuin siinä siinä tapaukseesa, että koeryhmän henkilöt olisvatkin joutuneet kontrolliryhmään. Voimme myös ajatella, että mittaustulokset oikeastaan ovat olemassa jo ennen koetta. Me emme vain saa niitä selville kuin tehdyn mittauksen kautta. 7
Tämä asiaintila itse asiassa tarkoittaa, että meidän satunnaistamisoperaatiomme on jakanut mittaukset x 1,x 2,...,x m,y 1,y 2,...,y n satunnaisesti 2 ryhmään. Jokainen ositus kahteen ryhmään, m kpl toisessa ja n kpl toisessa, on myös yhtätodennäkoinen. Siis havaitun jaon todennäköisyys on 1 m! n! ) =. N! ( N n Tähän voidaan perustaa kokeen tilastollinen analyysi. Huom. Emme siis tarvitse olettamusta normaalijakaumasta tai edes olettamusta, että koehenkilöt ovat satunnaisotos jostakin populaatiosta. Palaamme kuitenkin tähän myöhemmin. 8
Seuraavaksi teemme olettamuksen siitä, miten lääke vaikuttaa silloin kun sillä on vaikutusta. Oletetaan yksinkertaisuuden vuoksi, että lääke vaikuttaa additiivisesti mittaustukoksiin. Jos vaikutus on multiplikatiivinen, voimme siirtyä mittausten logaritmeihin. Oletamme, että lääke vaikuttaa Δ:n verran, Δ < 0 tai Δ > 0 tai Δ=0. Haluaame saada selville, onko Δ 0,ja myönteisessä tapauksessa arvioida Δ:n suuruutta. 9
Ryhmiä voidaan vertailla esim. keskiarvojen tai mediaanien tai jonkin muun sopivan tunnusluvun avulla: t x = T m (x 1,...,x m ), t y = T n (y 1,...,y n ). Käytännössä tunnusluku valitaan useimmiten niin, että se toteuttaa ehdot T k (z 1 + a,...,z k + a) =T k (z 1,...,z k )+a, (1) kaikilla z 1,...,z k,k,a, T k (z 1,...,z k )=T k (z π1,...,z πk ), (2) kaikilla lukujen 1, 2,..., k permutaatioilla π1,... πk. 10
Kun oletetaan, että lääkkeen vaikutus on Δ, niin mikäli koeryhmän jäsenet olisivat joutuneet kontrolliryhmään, heidän mittauksensa olisivat olleet y i Δ. Luonnollinen estimaatti vaikutukselle saadaan, kun etsitään sellainen Δ, että T n (y 1 Δ,...,y n Δ) T m (x 1,...,x m )=0. Additiivisuus ominaisuus (1) antaa helposti, että Δ =t y t x. Poikkeaako havaittu estimaatti merkitsevästi nollasta? 11
Merkitsevä poikkeama tarkoittaa, että havaitun suuruinen tai suurempi poikkeama on riittävän harvinainen, kun todellista eroa ei ole. Vastaus merkitsevyysongelmaan saadaan siis käymällä läpi kaikki ( N 1 n) aineiston jakoa, ja laskemalla niiden jakojen suhteellinen osuus, jotka tuottavat yhtä suuren tai suuremman pseudovaikutuksen Δ kuin mita saatiin kokeessa. Voimme tehdä vertailun yksisuuntaisesti ottamalla huomioon, mitä etukäteen oletamme Δ:n etumerkistä, tai vertailemalla vaikutuksen ja pseudovaikutusten itseisarvoja. Täsmällisemmin 12
1. Laske aineistosta käsittelyvaikutus Δ =t y t x. 2. Käy läpi aineiston (z 1,...,z m,z m+1,...,z m+n )=(x 1,...,x m,y 1,...,y n ) kaikki ositukset (z 1,...,z m), (z m+1,...,z m+n) ja laske Δ = T n (z m+1,...,z m+n) T m (z 1,...,z m). 3. Saat arvot Δ 1,...,Δ M, M = ( N n). 4. Kaksisuuntainen p-arvo on p = 1 M M j=1 I( Δ j Δ ). 13
Huom. Saatu p-arvo on todellakin todennäköisyys, että nollahypoteesin vallitessa saadaan havaitun arvon Δ suuruinen tai suurempi suurempi poikkeama. Todennäköisyys lasketaan siis kokeeseen liittyvän satunnaistamisen generoiman jakauman avulla. Kun kokeen tekijä huolehtii, että satunnaistaminen on oikein tehty p-arvo on täsmälleen oikea. 14
Käytännössä kaikkien jakojen läpi käyminen on tietysti mahdotonta jo kohtalaisen pienissäkin aineistoissa. Silloin täydellinen luetteleminen voidaan korvata Monte Carlo -simuloinnilla: Kohdassa 2 jono (x 1,...,x m,y 1,...,y n ) permutoidaan satunnaisesti. Siiten m ensimmäistä mudostaa kontrollia vastaavan ryhmä ja n viimeistä käsittelyä vastaavan ryhmän. 15
Saatu p-arvo on eksakti sellaisenaan riippumatta toistojen määrästä, so. p- arvo ei ole likiarvo. Mutta jos toistoja on vähän eri tutkijat voivat tehdä erilaisia johtopäätöksiä saman aineiston perusteella. johtopäätökset vaihtelevat paljon kerrasta toiseen. Lisäksi testin voimakkuus saattaa kärsiä, jos toistoja on vähän. Tilastollinen puoli tulee siis kuntoon varsin vähäisillä olettamuksilla, jotka vieläpä ovat tutkijan kontrolloitavissa. Mikä tämän hinta on? 16
Ongelma on yleistettävyys. Edellä saadut johtopäätökset koskevat vain kokeeseen osallistuneita. Jos osallistuneet ovat satunnaisotos sopivasti määritellystä populaatiosta, voimme tehdä yleistyksiä. Jos osallistujat ovat jotenkin valikoituneita tarvitsemme tietoa mahdollisista valikoitumisen tuomista ongelmista johtopäätösten suhteen. Tarvitaan luultavasti uusia kokeita uusilla yksilöillö eri olosuhteissa. 17
Olettamus käsittelyn vakioisesta vaikutuksesta ei ole yhtä vakava. Oletetaan, että käsittely vaikuttaa koeyksilöihin eri lailla: Ilman käsittelyä vaste on y ja käsiteltäessä y +Δ y. Jos aina käsittelyvaikutus Δ y on samanmerkkinen kaikille yksilöille, testi on edelleen validi. Ongelmana on se, että jos käsittelyn vaikutus ei ole dramaattisen suuri se hukkuu yksilöiden luontaisen vaihtelun joukkoon. 18
Erityisen ongelmallista on se, jos joillekin yksilöille Δ y > 0 ja joillekin Δ y < 0. Käytännössä täytyy pyrkiä löytämään ne yksilöt jotka reagoivat käsittelyyn vastakkaisilla tavoilla. Jos käsittelyvaikutus riippuu yksilösta, sanotaan, että käsittelyn ja yksilön valillä on interaktiota. 19
1.2 Vastinparivertailu, käsittely ja kontrolli Kuten edellä huomattiin, johtopäätökset käsittelyvaikutuksesta kärsivät koeyksilöiden epähomogeenisuudesta. Tavallinen parannuskeino tähän ongelmaan on jakaa koeyksilöt mahdollisimman homogeenisiin osajoukkoihin eli lohkoihin. 20
Veratilu tapahtuu saman lohkoon kuuluvien yksilöiden välillä. Käsittelemme seuraavaksi tilannetta, missä lohkon koko on 2. Koeyksilöille etsitään vastinparit. Satunnaistaminen tehdään nyt arpomalla toinen vastinparin yksilöistä kontrolliryhmään ja toinen koeryhmään. Arvonnat tehdään toisistaan riippumatta. 21
Tyypillisiä vastinparitilanteita: 1. kaksoset, oikea ja vasen käsi yms. 2. yksilö on oma parikkinsa, esim ennen-jälkeen -tutkimukset 3. taustamuuttujien avulla tehty kaltaistaminen (sukupuoli, ikä taudin vakavuusaste jne.) 22
Oletetaan, että meillä on N vastinparia. Kun koe on suoritettu, mittaukset ovat (x 1,y 1 ),...,(x N,y N ), missä x i :t viittaavat kontrollitapaukseen ja y i käsiteltyyn tapaukseen. Käsittelyllä on vaikutusta, voimme mitata sen vaikutusta erotusten d i = y i x i kautta. Voimme käyttää keskiarvoa, mediaania tai muuta sopivaa mittaa: Δ =T N (d 1,...,d N ). (3) 23
Oletetaan taas ensin, ettei käsittelyllä ole vaikutusta (= nollahypoteesi). Silloin voimme ajatella, että arvot x i,y i ovat olemassa jo ennen mittausta. Se kumpi arvo tulee käsittelyn arvoksi ja kumpi kontrollin arvoksi seuraa yksinomaan sattumasta, so. tekemästämme arvonnasta. Tämä tarkoittaa, että arvot +d i ja d i ovat yhtätodennäköisia, so. molempien todennäköisyys on 1. 2 Lisäksi etumerkit ovat toisistaan riippumattomia. Tähän perustuvat tilastolliset johtopäätökset. 24
Oletetaan taas, että T N (d 1 + a,...,d N + a) =T N (d 1,...,d N )+a, (4) kaikilla d 1,...,d N,N,a, T N (d 1,...,d N )=T N (d π1,...,d πn ), (5) kaikilla lukujen 1, 2,..., N permutaatioilla π1,... πn. Käsittelyvaikutus Δ voidaan taas estimoida yhtälöstä T N (d 1 Δ,...,d N Δ)=0. 25
Käsittelyvaikutuksen testi voidaan taas tehdä seuraavalla tavalla. 1. Laske käsittelyvaikutus Δ. 2. Laske arvot Δ = T N (±d 1,...,±d N ) kaikilla etumerkkivaihtehdoilla, joita on 2 N kpl. 3. Saat arvot Δ 1,...,Δ M, M =2N. 4. Kaksisuuntainen p-arvo on p = 1 M M j=1 I( Δ j Δ ). 26
Koska 2 N on suuri jo aika pienilläkin N:n arvoilla käytännössä on tyydyttävä Monte Carlo-simulointiin: Arvotaan etumerkit satunnaisesti ja lasketaan arvoja Δ j. Tulosten yleistämistä koskevat varaukset ovat tietysti samat kuin täysin satunaistetussa kokeessa. Samoin vastinparin ja käsittelyn interaktio, so. pariin i liittyvä käsittelyvaikutus Δ i riippuu i:stä, vaikeuttaa vertailua. 27
1.3 Täysin satunnaistettu koe, useita käsittelyjä Monissa kokeissa käsittelyllä on useita tasoja. Oletetaan, että kontrollin lisäksi käsittelyllä on k 1 tasoa. Yksilöt, N kpl, arvotaan satunnaisesti k ryhmään, ryhmien koot n 1,...,n k, N = n 1 + + n k. Merkitään mittaustuloksia y ij :llä, missä i viittaa ryhmään, i =1,...,k ja j yksilöön ryhmän sisällä j =1,...,n i. Oletetaan, että käsittelyvaikutus on additiivinen. 28
Oletetaan, että meillä on vaikutusta mittaavat tunnusluvut, jotka toteuttavat ehdot (1) ja (2), kustakin ryhmästä t 1,t 2...,t k, t i = T ni (y i1,...,y ini ). Tarvitsemme vielä tunnusluvun, joka mittaa, onko käsittelyllä mitään vaikutusta. Tällaisia ovat esim. S 2 = k i=1 n i (t i t all ) 2, (6) M = max i,i t i t i / 1/n i +1/n i, (7) missä t all = T N (y 11,...,y knk ). 29
Jos käsittelyllä ei ole vaikutusta, voimme ajatella, että itse mittaluvut y ij ovat satunnaisesti arvottu eri ryhmiin. Testin merkitsevyys lasketaan samaan tapaan kuin kahden käsittelyn tapauksessa. Nyt käydään kuitenkin läpi kaikki ( ) N N! = n 1,...,n k n 1!...n k! ositusta. Käytännössä tyydytään Monte Carlo -simuluointiin. 30
1.4 Satunnaistetut täydelliset lohkot, useita käsittelyjä Kun vertaillaan k>2 käsittelyä, pyritään löytämään k mahdollisimman samankaltaista koeyksilöä. Sitten käsittelyt arvotaan tällaisen lohkon sisällä ja riippumattomasti lohkosta toiseen. Oletetaan, että meillä on N lohkoa. Mittaustulokset ovat y ij, i =1,...,N, j =1...,k. 31
Oletetaan taas, että käsittelyvaikutus on additiivinen. Lasketaan tunnusluvut t j = T N [(y 1j a 1 )/s 1,...,(y Nj a N )/s N ], missä a i :t ja s i :t ovat symmetrisiä funktioita a i = a(y i1,...,y ik ) s i = s(y i1,...,y ik ). Nämä funktiot voivat olla esim. keskiarvo ja keskihajonta, joilla yritetään korjata lohkojen väliset erot. Voi myös valita a i :t nolliksi ja s i :t ykkösiksi. 32
Nollahypoteesia, ettei käsittelyllä ole vaikutusta, voidaan tutkia esim. suureella (6) tai A = k j=1 t i t all. missä t all on sopiva tunnusluku koko aineistosta. Testin merkitsevyys saadaan nyt permutoimalla arvoja y ij erikseen ja riippumattomasti lohkojen sisällä. Kaiken kaikkiaan permutointeja on (k!) N kpl. 33
2 Järjestyslukuihin perustuvat menetelmät 3 Populaatio ja satunnaisotos 4 Robusteja menetelmiä 5 Bootstrap 6 Riippuvuuden testaus ja estimointi 34