Epävarmuuden hallinta bootstrap-menetelmillä

Transkriptio

1 1/17 Epävarmuuden hallinta bootstrap-menetelmillä Esimerkkinä taloudellinen arviointi Jaakko Nevalainen Tampereen yliopisto Metodifestivaalit 2015

2 2/17 Sisältö 1 Johdanto 2 Tavanomainen bootstrap Bootstrap-menettelyn perusteet Inkrementaalisen kustannus-vaikuttavuussuhteen tarkkuuden arviointi 3 Mitä muuta on hyvä tietää bootstrap'n mahdollisuuksista 4 Yhteenveto

3 3/17 Johdanto I Aineistosta tapahtuvaan päättelyyn liittyy lähes aina epävarmuutta. Tunnuslukuihin kuten keskiarvot, keskiarvojen erotukset korrelaatiokertoimet, autokorrelaatio regressiokertoimet jakauman kvantiilit liittyvää epävarmuutta voidaan arvioida keskivirheiden ja luottamusvälien avulla. Koska kokeita tai aineistoja ei yleensä kerätä toistetusti, joudutaan arvio tekemään vain yhden aineiston perusteella.

4 4/17 Johdanto II Päättelyn taustalla on useimmiten tilastollinen malli, esimerkiksi aikasarjamalli lineaarinen sekamalli (esim. monitasomallit, satunnaiskertoimien regressio, splinit) yleistetty lineaarinen malli, GEE-mallit... joiden avulla voidaan analyyttisesti estimoida mallin parametrit ja niihin liittyvä epävarmuus nojautuen ns. uskottavuuden ja uskottavuusfunktion käyttöön.

5 5/17 Johdanto III Milloin siis ylipäätään tarvitaan jotain muuta menettelyä? 1 Realistisen tilastollisen mallin muotoilu on vaikeaa tai mahdotonta. 2 Tunnuslukujen tarkka otantajakauma on hankala, eikä voida määrittää analyyttisesti. Esim. suhdeluvut. 3 Malliin pohjautuvat keskivirheet nojautuvat usein suurten otosten teoriaan, samoin ns. delta-menetelmä. Pienillä otoksilla on hyödyllistä varmistaa, että arvioitu keskivirhe tai luottamusväli on oikein.

6 6/17 Johdanto IV Esimerkki Yhdysvaltain väkiluku n = 49 kaupungissa vuosina 1920 (U) ja 1930 (X ). Lukujen suhde X /U mahdollistaa Yhdysvaltain kokonaisväkiluvun arvioinnin vuonna 1930 vuoden 1920 tietojen pohjalta. Selkeän tilastollisen mallin puuttuessa suhde voidaan arvioida havaittujen keskiarvojen suhteena X /Ū. On kiinnostavaa tietää kuinka tarkan arvion kokonaisväkiluvusta tämä tunnusluku antaa. Lähde: Davison & Hinkley: Bootstrap Methods and Their Application. Cambridge University Press, 1997.

7 7/17 Johdanto V Figure: Väkiluku (tuhansina) 49 Yhdysvaltain kaupungissa vuosina 1920 ja 1930 (Davison & Hinkley, 1997).

8 8/17 Tavanomainen (epäparametrinen) bootstrap I Tarinan mukaan paroni von Münchhausen nosti itsensä järven pohjasta vetämällä saappaansa remmeistä (bootstraps). Bootstrap-menettelyn idea on samankaltainen; suoritetaan toistettua uudelleenotantaa aineistosta itsestään. Argumentti: Parhaan kuvan todellisesta kohdepopulaation jakaumasta antaa juuri tämä havaittu aineisto kokoa n.

9 9/17 Tavanomainen (epäparametrinen) bootstrap II Bootstrap-menettely: Uudelleenotanta palauttaen (sampling with replacement) havaitusta aineistosta. Antaa samaa kokoa olevat simuloidut aineistot. Sama havainto voi esiintyä useita kertoja simuloiduissa aineistoissa, tai ei lainkaan. Lasketaan halutun tunnusluvun arvo jokaiselle bootstrap-otokselle erikseen. Kun menettelyä toistetaan lukuisia kertoja, saadaan käsitys tunnusluvun otantajakaumasta. Lasketaan harha, varianssi ja sen avulla keskivirhe.

10 10/17 Yhdysvaltain väkiluvun arviointi I Figure: Yhdeksän bootstrap-otosta Yhdysvaltain kaupungit -aineistosta (Davison & Hinkley, 1997).

11 11/17 Yhdysvaltain väkiluvun arviointi II Harha on varsinaisesta aineistosta lasketun tunnusluvun ja bootstrap otosten keskiarvon erotus, tässä b = = Tunnusluvun varianssi saadaan laskemalla vaihtelu bootstrap-otoksesta toiseen, tässä , ja sen perusteella arvion keskivirhe on ŜE( X /Ū) = = Epävarmuuden arviointitarkkuutta voidaan parantaa simuloimalla yhä uusia bootstrap-otoksia. Tuhat otosta on yleinen valinta ja tässä sillä saadaan b = , ŜE( X /Ū) =

12 12/17 Valohoidon kustannus-vaikuttavuussuhde ja siihen liittyvä epävarmuus I Data set with observations and 9 variables simnum costsgr1 effectgr1 costsgr2 effectgr2 incr_eff incr_costs

13 13/17 Valohoidon kustannus-vaikuttavuussuhde ja siihen liittyvä epävarmuus II Histogram of ICER Frequency ICER

14 14/17 Valohoidon kustannus-vaikuttavuussuhde ja siihen liittyvä epävarmuus III In R, > # ICER = (C koe - C kontr)/(e koe - E kontr). > icer_nom <- (md1$costsgr1 - md1$costsgr2) > icer_denom <-(md1$effectgr1 - md1$effectgr2) > ICER<- icer_nom/icer_denom > > mean(icer) [1] > # keskivirhe > sd(icer) [1]

15 15/17 Valohoidon kustannus-vaikuttavuussuhde ja siihen liittyvä epävarmuus IV > # 95% luottamusväli > # poimitaan otantajakauman vastaavat kvantiilit > quantile(icer,probs=c(0.025,0.975)) 2.5% 97.5% Huomaa, että koska otantajakauma on lievää vinoutta lukuun ottamatta normaalia muistuttava, saadaan tavanomaisella kaavalla ± samankaltainen vastaus: ,

16 16/17 Bootstrap'n mahdollisuuksia Bootstrap-menettelyä voidaan käyttää myös tilastollisen testin rakentamiseen, mutta se vaatii nollahypoteesin mukaisen validin uudelleenotantakehikon (ei välttämättä helppoa). Regressio-bootstrap'ssa otos palauttaen selittäjistä, joista satunnaisesti poimittujen jäännösten avulla luodaan tulosmuuttujien bootstrap-arvot lasketaan regressiokertoimet otoksesta toiseen Aikasarjoissa ja/tai pitkittäisaineistoissa toimitaan kuten regressiossa ja/tai voidaan suorittaa uudelleenotantaa lohkoissa (pre-whitening + post-blackening). Cluster bootstrap ryvästyneille aineistoille (Field & Welsh, 2007).

17 17/17 Yhteenveto Bootstrap on laskennallisesti intensiivinen tapa laskea keskivirheitä ja luottamusvälejä. Yleiskäyttöinen, mutta rakenteeltaan vaativissa aineistoissa tavanomainen bootstrap vaatii säätöä. Hyvin saatavilla eri ohjelmistoissa tutkijan käyttöön. Esimerkiksi R:n boot()-paketti on helppokäyttöinen. SAS/SURVEYSELECT työläämpi, mutta osaava pärjää.