Uskottavuusperusteisten luottamusvälien korjaaminen bootstrap-menetelmällä Pro gradu -esitelmä

Transkriptio

1 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 1/35 Uskottavuusperusteisten luottamusvälien korjaaminen bootstrap-menetelmällä Pro gradu -esitelmä Anna Wiksten

2 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 2/35 Johdanto Informatiivinen tapa tehdä tilastollista päättelyä jollekin kiinnostuksen kohteena olevalle parametrifunktiolle on laskea luottamusvälejä Yleisesti käytetty menetelmä on delta-metodi, jonka erikoistapaus on Waldin väli Toinen menetelmä on muodostaa välit profiiliuskottavuusfunktiosta Profiiliuskottavuusvälit ovat yleensä approksimatiivisia Tutkielman tarkoitus on yrittää parantaa profiiliuskottavuusvälien peittotodennäköisyyttä bootstrapin avulla

3 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 3/35 Johdanto Tutkielman rakenne: 1. Hyvän luottamusvälin kriteereistä 2. Profiiliuskottavuusperusteinen luottamusväli 3. Bootstrap-korjaus profiiliuskottavuusperusteiselle luottamusvälille 4. Bootstrap-metodilla muodostettujen luottamusvälien pituus

4 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 4/35 Hyvän luottamusvälin kriteereistä Tutkielmassa hyvän luottamusvälin kriteereinä pidetään uskottavuuslain toteutumista ja hyvää peittotodennäköisyyttä Kumpikaan ei ole yksinään riittävä ehto

5 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 5/35 Uskottavuuslaki Välin sisäpuolella olevien arvojen tulisi olla jollakin tapaa parempia ψ:n estimaatteja kuin välin ulkopuolella olevien arvojen Uskottavuusperusteiset välit noudattavat uskottavuuslakia Uskottavuuslaki. Havaintoaineisto y obs tukee parametrin arvoa ω 1 enemmän kuin arvoa ω 2, silloin ja vain silloin, jos L M (ω 1 ; y obs ) > L M (ω 2 ; y obs ). Toisin sanoen, jos Pr (y obs ω 1 ) on suurempi kuin Pr (y obs ω 2 ).

6 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 6/35 Peittotodennäköisyys Havaitun aineiston satunnaisvaihtelusta johtuen luottamusväli [ ˆψ L, ˆψ U ] on satunnainen Välin peittotodennäköisyys: CP (ψ) = Pr( ˆψL ψ ˆψ ) U ;ψ Jos peittotodennäköisyys on suurempi kuin nominaalinen luottamustaso, välejä sanotaan konservatiivisiksi Jos peittotodennäköisyys on pienempi kuin nominaalinen luottamustaso, välejä sanotaan liberaaleiksi

7 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 7/35 Peittotodennäköisyys Otos standardoidusta normaalijakaumasta tinterval Profilelikelihoodbased interval Delta method interval

8 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 8/35 Tilastollinen evidenssi ja uskottavuusfunktio Tilastollinen evidenssi koostuu ainakin kahdesta komponentista, havaintoaineistosta y obs ja sen tilastollisesta mallista M M = {p(y; ω) : y Y, ω Ω} Uskottavuusfunktio määritellään seuraavasti L M (ω; ỹ) = c(ỹ)p(ỹ; ω), jossa c(ỹ) on sattumanvarainen positiivinen vakio Logaritminen uskottavuusfunktio l M (ω; ỹ) = ln(l M (ỹ; ω))

9 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 9/35 Profiiliuskottavuusfunktio Olkoon g(ω) kiinnostuksen kohteena oleva parametrifunktio, jonka arvo on reaaliarvoinen vektori ψ Tällöin L g (ψ; y obs ) = max L(ω; y obs) = L( ω ψ ; y obs ) {ω Ω:g(ω)=ψ} on kiinnostuksen kohteena olevan parametrifunktion g profiiliuskottavuusfunktio ja l g (ψ; y obs ) = max l(ω; y obs) = l( ω ψ ; y obs ) = ln(l g (ψ; y obs )) {ω Ω:g(ω)=ψ} on logaritminen profiiliuskottavuusfunktio

10 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 10/35 Profiiliuskottavuusperusteisen luottamusvälin muodostaminen Uskottavuusosamäärästatistikalla o 2r g (ψ; y obs )(= 2{l g ( ˆψ; y obs ) l g (ψ; y obs )}) on likimäärin χ 2 1 α [1]-jakauma Joukko { ψ : l g (ψ; y obs ) l g ( ˆψ; y obs ) χ2 1 α [1] } 2 = [ ˆψ L, ˆψ U ] muodostaa likimääräisen (1-α)-tason luottamusvälin ψ:lle

11 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 11/35 Esimerkki M =IndependenceModel [SamplingModel[PoissonModel[µ 1 ],3],[SamplingModel[PoissonModelµ 2 ],2] Kiinnostuksen kohteena oleva parametrifunktio on keskiarvojen suhde Olkoon havaitut aineistot (6,1,2) ja (6,2) ψ = µ 1 µ 2 L M ((µ 1, µ 2 ); y obs ) = e 3µ 1 2µ 2 µ 9 1 µ (1) l M ((µ 1, µ 2 ); y obs ) = 2µ 2 3µ 1 Log[ ] + 8Log[µ 2 ] + 9Log[µ 1 ]. (2)

12 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 12/35 Esimerkki Uudelleen parametrisoitu uskottavuusfunktio l M ((ψ, µ 2 );y obs ) = 2µ 2 3µ 2 ψ Log[ ] + 8Log[µ 2 ] + 9Log[µ 2 ψ]. (3) ψ:n profiiliuskottavuusfunktio l g (ψ; y obs ) = ψ 51ψ Log ( ) (4) 2 + 3ψ ( ) ( ) 17 17ψ +8Log + 9Log ψ 2 + 3ψ

13 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 13/35 Esimerkki 0.0 Standardised loglikelihood Interest function: ΜI1 ΜI

14 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 14/35 Esimerkki Plot of profile curve Interest function: ΜI1 ΜI2 6 5 ΜI ΜI1

15 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 15/35 Bootstrap Bradley Efron 1979 Simulointiin perustuva menetelmä tilastollisten estimointiin On olemassa epäparametrinen ja parametrinen bootstrap

16 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 16/35 Parametrinen bootstrap Olkoon y obs = y 1,..., y n satunnaisotos jostakin jakaumasta F, jonka parametrivektori on ω ˆω on ω:n suurimman uskottavuuden estimaatti ˆF, jonka parametrivektori on ˆω, on tällöin jakauman F estimaatti Parametrisessa bootstrapissa otetaan B n:n kokoista satunnaisotosta ˆF :sta ˆF (y 1,..., y n). Tutkielmassa sovelletaan parametrista bootstrappia uskottavuusosamäärästatistikan jakauman estimoimiseen

17 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 17/35 Korjaus tapa 1 Esitetty aiemmin kirjallisuudessa Lasketaan uskottavuusosamäärästatistika w H ( y b obs ) = 2rg (ψ;y b obs ) = 2(l( ˆψ;y b obs ) l( ˆψ b ;y b obs )) jokaiselle bootstrap-otokselle Muodostetaan uskottavuusosamäärästatistikan empiirinen jakauma ja lasketaan haluttu kvantiili Uskottavuusosamäärästatistikan muodostaminen saattaa olla vaikeaa monimutkaisemmille parametrifunktioille

18 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 18/35 Korjaus tapa 2 Lasketaan kiinnostuksen kohteena olevan parametrifunktion luottamusvälejä eri luottamustasoilla Muodostetaan interpoloimalla kiinnostuksen kohteena olevan parametrifunktion profiiliuskottavuuskäyrän approksimaatio Lasketaan uskottavuusosamäärästatistikan arvo profiilikäyrästä Muodostetaan uskottavuusosamäärästatistikan empiirinen jakauma ja lasketaan haluttu kvantiili

19 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 19/35 Korjaus tapa 2 r g Ψ ;y b obs Ψ b Ψ r g Ψ ;y b

20 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 20/35 UO-statistikan bootstrap-jakauma B 50 B 100 B 500 B 1000 B 1500 B 2000

21 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 21/35 Korjaus tapa 3 Lasketaan luottamusvälejä halutun luottamustason läheisyydestä Lasketaan välien peittotodennäköisyydet bootstrap-otoksissa Sovitetaan suora nominaalisten luottamustasojen ja bootstrap-otoksista laskettujen peittotodennäköisyyksien muodostamaan pistejoukkoon Lasketaan suorasta nominaalinen luottamustaso, jolla saadaan haluttu peittotodennäköisyys

22 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 22/35 Korjaus tapa Nominal level Bootstrap coverage probability

23 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 23/35 Sovellus t-väliin Normaalijakauman tapauksessa voidaan laskea tarkkoja luottamusvälejä t-jakaumasta Voidaan osoittaa, että t-välit ovat myös profiiliuskottavuusperusteisia väleja Jos havaintoaineiston koko on 5 käytettävä kvantiili saadaan seuraavasti: { q 0.95 = nlog 1 + F } 0.95 [1, n 1] n 1 { = 5log } 5 1 = (5)

24 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 24/35 Sovellus t-väliin Profiiliuskottavuusfunkio normaalijakauman keskiarvolle

25 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 25/35 Sovellus t-väliin Method 1 Method 2 Method quantile B

26 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 26/35 Simulointi Korjausten toimivuutta tutkittiin simuloimalla tilanteessa, jossa uskottavuusosamäärästatistikan tarkkaa jakaumaa ei tunneta Simuloiduille havaintoaineistoille laskettiin peittotodennäköisyydet ja uskottavuusosamäärästatistikan empiirisen jakauman 95%:n kvantiilit Simulointeja tehtiin yhteensä 1000

27 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 27/35 Tilastollinen malli M =IndependenceModel [{SamplingModel[WeibullModel[κ, λ 1 ],5],SamplingModel[WeibullModel[κ, λ 2 ],5]}] Mallin parametrivektori on ω = (κ, λ 1, λ 2 ) Weibulljakauman tiheys- ja kertymäfunktiot ovat muotoa p(y; κ, λ) = e ( y λ )κ y 1+κ κλ κ Pr (Y y) = 1 e ( y λ )κ

28 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 28/35 Kvantiilien suhde Kiinnostuksen kohteena oleva parametrifunktio ψ = q 1 q 2 = λ 1( log (1 p)) 1 κ λ 2 ( log (1 p)) 1 κ = λ 1 λ 2 p q 1 q 2

29 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 29/35 Simuloinnin tulokset Method Coverage Coverage Lower Upper probability error error error Delta Profile likelihood-based Bootstrap adjusted B profile likelihood-based Method

30 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 30/35 Simuloinnin tulokset Method Coverage Coverage Lower Upper probability error error error Bootstrap adjusted B profile likelihood-based Method Method

31 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 31/35 Luottamusvälin pituus Simuloinnin perusteella jo 500 bootstrap-otosta riittäisi korjaamaan peittotodennäköisyyden Todellisuudessa korjaus saavutettaisiin jo huomattavasti pienemmilläkin bootstrap -otosten lukumäärillä Liian pieni bootstrap-otosten lukumäärä vaikuttaa kuitenkin luottamusvälien pituuteen

32 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 32/35 Luottamusvälin pituus 100 bootstrap-korjattua luottamusväliä normaalijakauman keskiarvolle B B 2000

33 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 33/35 Luottamusvälin pituus 1.4 Length of confidence interval of normal mean

34 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 34/35 Luottamusvälin pituus Simuloitujen aineistojen kvantiilien sirontakuvioita B B B B 2000

35 Uskottavuusperusteisten luottamusvlien korjaaminen bootstrap-menetelmllpro gradu -esitelm p. 35/35 Lopuksi Tutkielmissa tehtyjen simulointien perusteella myös kaksi uutta korjausta toimivat peittotodennäköisyyden korjaamisessa Peittotodennäköisyyttä ei voida pitää ainoana kriteerinä muodostettaessa luottamusvälejä bootstrap-metodilla