Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 1/35 Uskottavuusperusteisten luottamusvälien korjaaminen bootstrap-menetelmällä Pro gradu -esitelmä 29.4.2009 Anna Wiksten
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 2/35 Johdanto Informatiivinen tapa tehdä tilastollista päättelyä jollekin kiinnostuksen kohteena olevalle parametrifunktiolle on laskea luottamusvälejä Yleisesti käytetty menetelmä on delta-metodi, jonka erikoistapaus on Waldin väli Toinen menetelmä on muodostaa välit profiiliuskottavuusfunktiosta Profiiliuskottavuusvälit ovat yleensä approksimatiivisia Tutkielman tarkoitus on yrittää parantaa profiiliuskottavuusvälien peittotodennäköisyyttä bootstrapin avulla
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 3/35 Johdanto Tutkielman rakenne: 1. Hyvän luottamusvälin kriteereistä 2. Profiiliuskottavuusperusteinen luottamusväli 3. Bootstrap-korjaus profiiliuskottavuusperusteiselle luottamusvälille 4. Bootstrap-metodilla muodostettujen luottamusvälien pituus
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 4/35 Hyvän luottamusvälin kriteereistä Tutkielmassa hyvän luottamusvälin kriteereinä pidetään uskottavuuslain toteutumista ja hyvää peittotodennäköisyyttä Kumpikaan ei ole yksinään riittävä ehto
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 5/35 Uskottavuuslaki Välin sisäpuolella olevien arvojen tulisi olla jollakin tapaa parempia ψ:n estimaatteja kuin välin ulkopuolella olevien arvojen Uskottavuusperusteiset välit noudattavat uskottavuuslakia Uskottavuuslaki. Havaintoaineisto y obs tukee parametrin arvoa ω 1 enemmän kuin arvoa ω 2, silloin ja vain silloin, jos L M (ω 1 ; y obs ) > L M (ω 2 ; y obs ). Toisin sanoen, jos Pr (y obs ω 1 ) on suurempi kuin Pr (y obs ω 2 ).
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 6/35 Peittotodennäköisyys Havaitun aineiston satunnaisvaihtelusta johtuen luottamusväli [ ˆψ L, ˆψ U ] on satunnainen Välin peittotodennäköisyys: CP (ψ) = Pr( ˆψL ψ ˆψ ) U ;ψ Jos peittotodennäköisyys on suurempi kuin nominaalinen luottamustaso, välejä sanotaan konservatiivisiksi Jos peittotodennäköisyys on pienempi kuin nominaalinen luottamustaso, välejä sanotaan liberaaleiksi
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 7/35 Peittotodennäköisyys Otos standardoidusta normaalijakaumasta 0 0 0 tinterval Profilelikelihoodbased interval Delta method interval
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 8/35 Tilastollinen evidenssi ja uskottavuusfunktio Tilastollinen evidenssi koostuu ainakin kahdesta komponentista, havaintoaineistosta y obs ja sen tilastollisesta mallista M M = {p(y; ω) : y Y, ω Ω} Uskottavuusfunktio määritellään seuraavasti L M (ω; ỹ) = c(ỹ)p(ỹ; ω), jossa c(ỹ) on sattumanvarainen positiivinen vakio Logaritminen uskottavuusfunktio l M (ω; ỹ) = ln(l M (ỹ; ω))
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 9/35 Profiiliuskottavuusfunktio Olkoon g(ω) kiinnostuksen kohteena oleva parametrifunktio, jonka arvo on reaaliarvoinen vektori ψ Tällöin L g (ψ; y obs ) = max L(ω; y obs) = L( ω ψ ; y obs ) {ω Ω:g(ω)=ψ} on kiinnostuksen kohteena olevan parametrifunktion g profiiliuskottavuusfunktio ja l g (ψ; y obs ) = max l(ω; y obs) = l( ω ψ ; y obs ) = ln(l g (ψ; y obs )) {ω Ω:g(ω)=ψ} on logaritminen profiiliuskottavuusfunktio
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 10/35 Profiiliuskottavuusperusteisen luottamusvälin muodostaminen Uskottavuusosamäärästatistikalla o 2r g (ψ; y obs )(= 2{l g ( ˆψ; y obs ) l g (ψ; y obs )}) on likimäärin χ 2 1 α [1]-jakauma Joukko { ψ : l g (ψ; y obs ) l g ( ˆψ; y obs ) χ2 1 α [1] } 2 = [ ˆψ L, ˆψ U ] muodostaa likimääräisen (1-α)-tason luottamusvälin ψ:lle
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 11/35 Esimerkki M =IndependenceModel [SamplingModel[PoissonModel[µ 1 ],3],[SamplingModel[PoissonModelµ 2 ],2] Kiinnostuksen kohteena oleva parametrifunktio on keskiarvojen suhde Olkoon havaitut aineistot (6,1,2) ja (6,2) ψ = µ 1 µ 2 L M ((µ 1, µ 2 ); y obs ) = e 3µ 1 2µ 2 µ 9 1 µ8 2 2073600 (1) l M ((µ 1, µ 2 ); y obs ) = 2µ 2 3µ 1 Log[2073600] + 8Log[µ 2 ] + 9Log[µ 1 ]. (2)
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 12/35 Esimerkki Uudelleen parametrisoitu uskottavuusfunktio l M ((ψ, µ 2 );y obs ) = 2µ 2 3µ 2 ψ Log[2073600] + 8Log[µ 2 ] + 9Log[µ 2 ψ]. (3) ψ:n profiiliuskottavuusfunktio l g (ψ; y obs ) = 34 2 + 3ψ 51ψ Log (2073600) (4) 2 + 3ψ ( ) ( ) 17 17ψ +8Log + 9Log. 2 + 3ψ 2 + 3ψ
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 13/35 Esimerkki 0.0 Standardised loglikelihood Interest function: ΜI1 ΜI2 0.5 1.0 1.5 2.0 0.9 0.95 2.5 3.0 0.5 1.0 1.5 2.0 2.5
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 14/35 Esimerkki Plot of profile curve Interest function: ΜI1 ΜI2 6 5 ΜI2 4 3 2 1.5 2.0 2.5 3.0 3.5 4.0 4.5 ΜI1
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 15/35 Bootstrap Bradley Efron 1979 Simulointiin perustuva menetelmä tilastollisten estimointiin On olemassa epäparametrinen ja parametrinen bootstrap
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 16/35 Parametrinen bootstrap Olkoon y obs = y 1,..., y n satunnaisotos jostakin jakaumasta F, jonka parametrivektori on ω ˆω on ω:n suurimman uskottavuuden estimaatti ˆF, jonka parametrivektori on ˆω, on tällöin jakauman F estimaatti Parametrisessa bootstrapissa otetaan B n:n kokoista satunnaisotosta ˆF :sta ˆF (y 1,..., y n). Tutkielmassa sovelletaan parametrista bootstrappia uskottavuusosamäärästatistikan jakauman estimoimiseen
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 17/35 Korjaus tapa 1 Esitetty aiemmin kirjallisuudessa Lasketaan uskottavuusosamäärästatistika w H ( y b obs ) = 2rg (ψ;y b obs ) = 2(l( ˆψ;y b obs ) l( ˆψ b ;y b obs )) jokaiselle bootstrap-otokselle Muodostetaan uskottavuusosamäärästatistikan empiirinen jakauma ja lasketaan haluttu kvantiili Uskottavuusosamäärästatistikan muodostaminen saattaa olla vaikeaa monimutkaisemmille parametrifunktioille
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 18/35 Korjaus tapa 2 Lasketaan kiinnostuksen kohteena olevan parametrifunktion luottamusvälejä eri luottamustasoilla Muodostetaan interpoloimalla kiinnostuksen kohteena olevan parametrifunktion profiiliuskottavuuskäyrän approksimaatio Lasketaan uskottavuusosamäärästatistikan arvo profiilikäyrästä Muodostetaan uskottavuusosamäärästatistikan empiirinen jakauma ja lasketaan haluttu kvantiili
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 19/35 Korjaus tapa 2 r g Ψ ;y b obs Ψ b Ψ r g Ψ ;y b
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 20/35 UO-statistikan bootstrap-jakauma B 50 B 100 B 500 B 1000 B 1500 B 2000
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 21/35 Korjaus tapa 3 Lasketaan luottamusvälejä halutun luottamustason läheisyydestä Lasketaan välien peittotodennäköisyydet bootstrap-otoksissa Sovitetaan suora nominaalisten luottamustasojen ja bootstrap-otoksista laskettujen peittotodennäköisyyksien muodostamaan pistejoukkoon Lasketaan suorasta nominaalinen luottamustaso, jolla saadaan haluttu peittotodennäköisyys
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 22/35 Korjaus tapa 3 1.00 0.95 Nominal level 0.90 0.85 0.80 0.80 0.85 0.90 0.95 1.00 Bootstrap coverage probability
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 23/35 Sovellus t-väliin Normaalijakauman tapauksessa voidaan laskea tarkkoja luottamusvälejä t-jakaumasta Voidaan osoittaa, että t-välit ovat myös profiiliuskottavuusperusteisia väleja Jos havaintoaineiston koko on 5 käytettävä kvantiili saadaan seuraavasti: { q 0.95 = nlog 1 + F } 0.95 [1, n 1] n 1 { = 5log 1 + 7.709 } 5 1 = 5.370 (5)
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 24/35 Sovellus t-väliin Profiiliuskottavuusfunkio normaalijakauman keskiarvolle 0 1 2 3 4 1.2 1.0 0.8 0.6 0.4 0.2 0.0 0.2
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 25/35 Sovellus t-väliin 0 1000 2000 3000 4000 5000 Method 1 Method 2 Method 3 8 7 0.95quantile 6 5 4 B
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 26/35 Simulointi Korjausten toimivuutta tutkittiin simuloimalla tilanteessa, jossa uskottavuusosamäärästatistikan tarkkaa jakaumaa ei tunneta Simuloiduille havaintoaineistoille laskettiin peittotodennäköisyydet ja uskottavuusosamäärästatistikan empiirisen jakauman 95%:n kvantiilit Simulointeja tehtiin yhteensä 1000
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 27/35 Tilastollinen malli M =IndependenceModel [{SamplingModel[WeibullModel[κ, λ 1 ],5],SamplingModel[WeibullModel[κ, λ 2 ],5]}] Mallin parametrivektori on ω = (κ, λ 1, λ 2 ) Weibulljakauman tiheys- ja kertymäfunktiot ovat muotoa p(y; κ, λ) = e ( y λ )κ y 1+κ κλ κ Pr (Y y) = 1 e ( y λ )κ
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 28/35 Kvantiilien suhde Kiinnostuksen kohteena oleva parametrifunktio ψ = q 1 q 2 = λ 1( log (1 p)) 1 κ λ 2 ( log (1 p)) 1 κ = λ 1 λ 2 p q 1 q 2
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 29/35 Simuloinnin tulokset Method Coverage Coverage Lower Upper probability error error error Delta 0.854 0.096 0.043 0.103 Profile likelihood-based 0.899 0.051 0.058 0.043 Bootstrap adjusted B profile likelihood-based Method 1 500 0.956 0.006 0.027 0.017 1000 0.959 0.009 0.025 0.016 1500 0.959 0.009 0.025 0.016 2000 0.958 0.008 0.027 0.015
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 30/35 Simuloinnin tulokset Method Coverage Coverage Lower Upper probability error error error Bootstrap adjusted B profile likelihood-based Method 2 500 0.956 0.006 0.027 0.017 1000 0.956 0.006 0.027 0.017 1500 0.957 0.007 0.026 0.017 2000 0.958 0.008 0.027 0.015 Method 3 500 0.961 0.011 0.024 0.015 1000 0.959 0.009 0.024 0.017 1500 0.958 0.008 0.026 0.016 2000 0.959 0.009 0.026 0.015
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 31/35 Luottamusvälin pituus Simuloinnin perusteella jo 500 bootstrap-otosta riittäisi korjaamaan peittotodennäköisyyden Todellisuudessa korjaus saavutettaisiin jo huomattavasti pienemmilläkin bootstrap -otosten lukumäärillä Liian pieni bootstrap-otosten lukumäärä vaikuttaa kuitenkin luottamusvälien pituuteen
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 32/35 Luottamusvälin pituus 100 bootstrap-korjattua luottamusväliä normaalijakauman keskiarvolle 0.0 0.0 0.5 0.5 1.0 1.0 1.5 1.5 2.0 2.0 2.5 2.5 3.0 3.0 3.5 3.5 1.2 1.0 0.8 0.6 0.4 0.2 0.0 0.2 B 500 1.2 1.0 0.8 0.6 0.4 0.2 0.0 0.2 B 2000
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 33/35 Luottamusvälin pituus 1.4 Length of confidence interval of normal mean 1.3 1.2 1.1 1.0 0.9 0.8 0 20 40 60 80 100
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 34/35 Luottamusvälin pituus Simuloitujen aineistojen kvantiilien sirontakuvioita 8 7 6 5 4 0 200 400 600 800 1000 8 7 6 5 B 500 4 0 200 400 600 800 1000 B 1500 8 7 6 5 4 0 200 400 600 800 1000 8 7 6 5 B 1000 4 0 200 400 600 800 1000 B 2000
Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 35/35 Lopuksi Tutkielmissa tehtyjen simulointien perusteella myös kaksi uutta korjausta toimivat peittotodennäköisyyden korjaamisessa Peittotodennäköisyyttä ei voida pitää ainoana kriteerinä muodostettaessa luottamusvälejä bootstrap-metodilla