Luento 2. Yksiparametrisia malleja. Binomi-malli. Posteriorijakauman esittämisestä. Informatiivisista priorijakaumista. Konjugaattipriori.

Transkriptio

1 Luento 2 Binomi-malli Posteriorijakauman esittämisestä Informatiivisista priorijakaumista Konjugaattipriori Slide 1 Yksiparametrisia malleja Binomi Jacob Bernoulli ( ), Bayes ( ) Normaali Gauss ( ) Poisson Poisson ( ) Exponential Laplace ( ) Slide 2

2 Binomijakauma Data y 1,...,y n, joista jokainen on 0 tai 1 Luonnollinen malli kun tehdään keskenään vaihtokelpoisia (exchangeable) toistokokeita tai poimintoja suuresta populaatiosta, joissa jokaisen kokeen tulos voi olla yksi kahdesta vaihtoehdosta (usein success ja failure ) Esimerkkejä Slide 3 - Bernoullin koe, missä laatikosta poimitaan kahden värisiä palloja - kolikonheitto - tyttö- ja poikavauvojen suhde Binomijakauma Vaihtokelpoisuuden vuoksi data voidaan esittää kertomalla onnistumisten määrä y ja kokeiden kokonaismäärä n Olettamalla binomi-malli ja onnistumistodennäköisyyttä kuvaava parametri θ, voidaan toimia aivan kuin kokeiden tulokset olisivat riippumattomia (independent) ja identtisesti jakautuneita ehdolla malli M ja parametri θ Slide 4 p(y θ,n, M) = Bin(y n,θ) = ( ) n θ y (1 θ) n y y missä n oletetaan fiksatuksi ja osaksi koesuunnittelua (eli ei parametri)

3 θ :n posteriori Bayesin kaavan mukaan p(θ y, n, M) = p(y θ,n, M)p(θ n, M) p(y n, M) Yksinkertaistuksen vuoksi aloitetaan helpolla priorilla Slide 5 p(θ n, M) = p(θ M) = 1, kun 0 θ 1 Jolloin p(θ n, M) θ y (1 θ) n y Ja kaikkihan heti tunnistavat tästä, että θ y, n Beta(y + 1, n y + 1) Jakaumista Jos p(θ)dθ =, p(θ) on improper Jos p(θ)dθ = Z = 1, p(θ) on normalisoimaton Jos p(θ)dθ = 1, p(θ) on proper ja normalisoitu Slide 6

4 Matlab demonstraatio: Beta-jakauma n=5, y=3 n=20, y=12 n=100, y=60 n=1000, y=600 Slide 7 Esimerkki: tyttövauvojen suhteellinen osuus Pariisissa syntyi tyttöä ja poikaa vuosina Laplace ei vielä osannut Beta-integraalia, joten kehitti normaalijakauma-approksimaation Slide 8 Laplace laski ˆθ = σ = ( ) p(θ 0.5 y, n, M) Laplace kirjoitti olevansa morally certain, että θ<0.5

5 Ennustaminen Laplace laski (Laplace s law of succession) Slide 9 p(ỹ = 1 y, n, M) = = = y + 1 n + 2 p(ỹ = 1 θ, y, n, M)p(θ y, n, M)dθ θp(θ y, n, M)dθ Ääritapaukset p(ỹ = 1 y = 0, n, M) = 1 n + 2 p(ỹ = 1 y = n, n, M) = n + 1 n + 2 Vrt. maximum likelihood Posteriorijakaumien esittäminen Posteriorijakauma sisältää kaiken sen hetkisen informaation parametrista θ Ideaalitapauksesa voisi raportoida koko posteriorijakauman Usein käytettyjä yhteenvetoesityksiä paikalle (location) - keskiarvo (mean) Slide 10 - mediaani - moodi(t) Usein käytettyjä yhteenvetoesityksiä variaatiolle (variation) - hajonta (standard deviation) - kvantiilit

6 Posteriorijakaumien esittäminen Keskiarvo on parametrin posterioriodotusarvo optimaalinen valinta neliösummavirheen perusteella Mediaanin molemilla puolilla yhtä paljon todennäköisyysmassaa optimaalinen valinta absoluuttivirheen perusteella Slide 11 Moodi on yksittäinen todennäköisin arvo Hajonta kuvaa normaalijakauman leveyden, joten kuvaa hyvin myös lähellä normaalijakaumaa olevia jakaumia Posteriorijakaumien esittäminen Kun posteriorijakaumalla on suljettu muoto voidaan keskiarvo, mediaani ja hajonta usein saada myös suljetussa muodossa esim. Beta(y + 1, n y + 1):n keskiarvo on y+1 n+2 Jos suljettua muotoa ei ole, voidaan käyttää normaalijakauma-approksimaatiota tai numeerista integrointia (esim. Monte Carlo) Slide 12

7 Posteriori-intervallit Luottovälit (credible interval) (vrt. frekventistit: luottamusväli (confidence interval) Highest posterior density (HPD) interval Slide 13 Suljetunmuodon jakaumille usein helppo laskea kumulatiivisista jakaumista (CDF), ja muille sitten numeerisesti Todennäköisyydet Todennäköisyydet, p-arvot p(θ A y, M) Slide 14

8 Päätösanalyysi Tästä myöhemmin... Slide 15 Ongelmallisia Moniulotteiset jakaumat Multimodaaliset jakaumat Slide 16

9 Priorijakaumista Populaatioon perustuvat - eli populaation perustuva posteriorijakauma priorina Tietämyksen tilaan perustuvat - helppoa jos tietämyksen epävarmuus pieni (informatiiviset) - vaikeaa jos tietämyksemme on epävarmaa (ei-informatiiviset) Slide 17 - esitettävä myös epävarmuus Priorijakaumista Priorijakauman pitäisi kattaa kaikki edes jotenkin mahdolliset parametrin arvot - jos dataa riittävästi likelihood voi dominoida posteriorijakaumassa ja priorin muodolla ei niin paljon väliä - jos dataa vähän voi priorijakauman muoto vaikuttaa paljon Slide 18

10 Perustelu aiemmin käyttämällemme priorille Uniformi priori θ:lle, jolloin prioriprediktiivinen jakauma p(y n) = 1 n + 1, y = 0,...,n Slide 19 Bayesin perustelu ilmeisesti perustui tähän - mukava perustelu, koska se voidaan esittää pelkästään havaittavien suureiden y ja n avulla Laplacen perustelu ilmeisesti suoraan θ:lle indifference periaatteen mukaisesti Konjugaattipriorit Virallinen määritelmä jos p( y) P kaikille p(y ) F ja p( ) P tämä kuitenkin liian väljä määritelmä jos valitaan, että P on kaikkien jakaumien joukko Slide 20 Kiinnostavampia ovat luonnolliset konjugaattipriorit, jolloin priori ja posteriori samasta funktioperheestä (samat parametrit) Laskennallisesti mukavia Voidaan tulkita prioridatana

11 Beta-priori Binomi-jakaumalle Priori Beta(θ α, β) θ α 1 (1 θ) β 1 Slide 21 Posteriori p(θ y, n, M) θ y (1 θ) n y θ α 1 (1 θ) β 1 = θ y+α 1 (1 θ) n y+β 1 = Beta(θ α + y,β+ n y) Voidaan tulkita, että (α 1) ja (β 1) priorinäytteitä Uniformipriori kun (α 1) = 0 ja (β 1) = 0 Beta-priori Binomi-jakaumalle Posteriori p(θ y, n, M) = Beta(θ α + y,β+ n y) Odotusarvo ja hajonta Slide 22 E[θ] = α + y α + β + n E[θ](1 E[θ]) Var[θ] = α + β + n + 1

12 Konjugaattiprioreista Konjugaattipriorit mukavia kuten myös standardimallitkin - tulkinnan helppous - jakaumat suljettua muotoa - laskennallinen mukavuus - tärkeitä rakennuspalikoita monimutkaisemmissakin malleissa Slide 23 - mixturepriorit ja -mallit laajentavat mahdollisuuksia Ei-konjugaattiset käsitteellisesti yhtä helppoja - laskenta vaikeampaa, mutta ei mahdotonta - ei tarvetta tehdä kompromissia tietämyksen esittämisessä Esimerkki priorin vaikutuksesta Eteisistukkatapauksissa 437 tyttövauvaa ja 543 poikavauvaa - Poikkeaako tyttövauvan todennäköisyys yleisestä (0.485)? Slide 24 Uniformipriorilla posteriori on Beta(438, 544) - keskiarvo ja hajonta % posterioriväli [0.415, 0.477] - p(θ < 0.485) = 0.99 Matlab-demo