BOOTSTRAPPING? Jukka Nyblom Jyväskylän yliopisto. Metodifestivaali

Transkriptio

1 BOOTSTRAPPING? Jukka Nyblom Jyväskylän yliopisto Metodifestivaali

2 1 Mitä ihmettä on bootstrap? Webster: 1. a loop of leather or cloth sewn at the top rear, or sometimes on each side of a boot to facilitate pulling it on. 2. pull oneself up by one s (own) bootstraps, to help oneself without the aid of others ; use one s own resources. 2

3 Tilastotiede on silkkaa bootstrappingia: Paitsi, että voidaan antaa arvio, että Puolueen kannatus on mittauksessa 25%, voidaan sanoa myös, että virhemarginaali on ±2%. Bootstrap liittyy sellaisiin käsitteisiin kuin estimaatin keskivirhe ja luottamusvälit. 3

4 2 Bootstrap ja keskivirhe Tavanomainen aineiston tiivistys: estimaatti θ ja sen keskivirhe s.e.( θ). Matemaattinen tilastotiede antaa keinoja keskivirheen laskemiseksi. 4

5

6 Keskivirhe bootstrapilla: 1. Satunnaisotos x 1,...,x n. Estimaatti θ = θ(x 1,x 2,...,x n ). 2. Satunnaisotos x 1,x 2,...,x n palauttaen {x 1,x 2,...,x n } :stä. Lasketaan θ = θ(x 1,x 2,...,x n). 3. Toistetaan kohta (2) B kertaa; saadaan θ 1,..., θ B. 5

7 4. Bootstrap keskivirhe on s boot = [ 1 B 1 ] 1 2 B ( θ j θ ) 2 j=1, θ = 1 B B j=1 θ j. 6

8

9 Esimerkki. Korrelaatiokerroin Satunnaisotos (x 1,y i ),...,(x n,y n ). Tunnusluku = korrelatiokerroin r. Populaation korrelaatiokerroin ρ. Halutaan r:n keskivirhe. Jos otos on 2-ulotteisesta normaalijakaumasta, pätee likimäärin s.e.(r) 1 r2. n 7

10 Aineisto = law school. 15 amerikkalaista lakikoulua v kustakin sisäänpäässeiden keskiarvot muuttujista LSAT = pistemäärä kansallisesta law testistä GPA = undergraduate pistemäärä otoksesta r =0.776 Normaaliteorian keskivirhe Bootstrap keskivirhe s boot =0.132, B = 1000 Bootstrap-arvojen keskiarvo on (käytännöllisesti katsoen harhaton). 8

11 Law school aineisto Frekvenssi Korrelaatiokerroin bootstrap otoksessa 9

12 Jotkin tapaukset tulevat bootstrap-otokseen useamman kerran jotkin eivät kertaakaan. Tn, että tietty tapaus ei ole bootstrap-otoksessa on ( 1 n) 1 n e Kuinka suuri B tarvitaan keskivirheen laskemiseksi? Efron: B =200riittää lähes aina. 10

13 Mihin keskivirhettä käytetään? Kun oletetaan estimaatin likimääräinen normaalisuus, niin estimaatti ± keskivirhe 67 %:n luottamusväli estimaatti ± 2 keskivirhe 95 %:n luottamusväli estimaatti ± 3 keskivirhe 99,7 %:n luottamusväli Voiko Bootstrapilla laske luottamusvälejä suoraan (kiertamättä keskivirheen kautta)? Vastaus: Kyllä! 11

14 3 Bootstrap ja luottamusvälit Parametri θ Estimaatti θ Bootstrap-arvot θ j, j =1,...,B Järjestä θ (1) θ (2) θ (B) Laske k = Bα Luottamusväli [ θ (k), θ ] (B k+1), luottamuskerroin 1 2α 12

15 Esimerkki. Law school -aineisto (jatkoa). 95%:n luottamusväli, α =0.025, B =1000, k = B α =25. Tavallinen normaaliapproksimaatio ± 1.96 ( )/ 15 = [0.575, 0.977] Normaaliapprokksimaatio + Bootstrap-keskivirhe ± = [0.517, 1.036] Prosenttipistemenetelmä [r(25),r (976)]=[0.458, 0.961]. 13

16 Esimerkki. Score-aineisto. (Efron & Tibshirani, 1993, alk. Mardia, Kent & Bibby, 1979). 88 opiskelijaa 5 tenttitulosta: mekaniikka, vektorit, algebra, analyysi, tilastotiede Pääkomponenttianalyysi: Kovarianssimatriisin ominaisarvot: pääkomponentin selitysaste: 678/( ) = Bootstrap 14

17 B = 5000, keskivirhe s boot = %:n luottamusväli ± = [0.526, 0.712] Prosenttipistemenetelmä [ θ 125, θ 4876] =[0.523, 0.709]. 15

18 Score aineisto Frekvenssi Selitysaste bootstrap otoksessa 16

19 1. Pääkomponentti mec vec alg ana sta Siis PC1 on suunnilleen sama kuin testien summa tai keskiarvo. Poikkevatko painot merkitsevästi toisistaan? 17

20 Lataukset Ensimmäinen pääkomponentti Testit 18

21 Lataukset PC1, luottamusväli ja keskiarvo Testit 19

22 4 Kysymyksiä bootstrapista Efron & Tibshirani (1993) Mitä hyötyä on bootstrapista? Voidaan arvioida monimutkaisten tilastollisten menetelmien tarkkuutta. Vältetään monimutkainen ja vaikea matemaattinen analyysi. 20

23 Saadaan ratkaisu silloinkin kun matemaattinen analyysi on mahdotonta. Voidaan välttää rajoittavia jakaumaolettamuksia (usein olettamus normaalijakaumasta). 21

24 Onko bootstrap eräänlaista simulointia? Kyllä, bootstrap yleensä edellyttää simulointia: otantaa palauttaen aineistosta (epäparametrinen bootstrap) tai estimoidusta mallista (parametrinen bootstrap). Ei tutkita menetelmien ominaisuuksia yleensä vaan käsillä olevan aineiston suhteen. 22

25 Milloin bootstrap on sopiva menetelmä ja milloin muut menetelmät sen sijasta? Vaikea kysymys, riippuu monista tekijöistä. Perustuu frekventistiseen todennäköisyysteoriaan (ei niinkään bayes-teoriaan). Sopiva menetelmä, kun ei haluta tai voida tehdä laajaa mallitustyötä. Suurissa otoksissa epäparametrinen bootstrap on tehokas. 23

26 Bootstrap ei ole eksakti toisin kuin permutaatiotestit äärellisissä otoksissa. Voi tehdä traditionaalisen analyysin ja bootstrap-analyysin samasta aineistosta ja verrata tuloksia. Bootstrap ja havaintojen riippuvuus (esim. aikasarjat) Parametrisessa bootstrapissa ei periaattelisia ongelmia. 24

27 Epäparametrinen bootstrap edellyttää riippumattomiahavaintoja. Käytetään mallin jäännöksiä. Liukuvien blokkien tekniikka. 25

28 Viitteet Davison, A.C. and Hinkley, D.V. (1997). Bootstrap Methods and Their Applications. Cambridge University Press, Cambridge. Efron, B. and Tibshirani, R.J. (1993). An Introduction to the Bootstrap. Chapman & Hall, New York. R packages: boot, bootstrap. 26