- voidaan käyttä lisämään tieteellistä ymmärrystä ilmiöstä. - joidenkin havaittavien suureiden vaikutus voi olla paljon suurempi kuin toisten

Transkriptio

1 Viime kerralla Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-mallli Exponentiaalinen malli Slide 1 Cauchy-jakauma Ei-informatiivisista priorijakaumista Bayesilaisen mallintamisen perusteet Malli - pyrkii ennustamaan ilmiön käyttäytymistä - usein yksinkertaistaa todellisuutta - voidaan käyttää ennustamaan tulevaisuutta - voidaan käyttä lisämään tieteellistä ymmärrystä ilmiöstä Slide Yksinkertaistaa koska - ilmiöstä saadut havainnot rajoitettuja - joidenkin havaittavien suureiden vaikutus voi olla paljon suurempi kuin toisten - yksinkertainenkin malli voi tuottaa hyödyllisiä ennusteita

2 Esimerkki Pudotetaan palloa eri korkeuksilta ja mitataan putoamisaika sekunttikellolla käsivaralla - Newtonin mekaniikka - ilmanvastus, ilmanpaine, pallon muoto, pallon pintarakenne - ilmavirtaukset Slide 3 - suhteellisuusteoria Ottaen huomioon mittaukset, kuinka tarkka malli kannattaa tehdä? On olemassa hyvin paljon tilanteita, joissa yksinkertaiset mallit hyödyllisiä ja käytännön kannalta yhtä tarkkoja kuin monimutkaisemmat! Luento Marginalisointi Marginaalijakauma nuisance parameters - "kiusaparametri" (huono termi parametreille, jotka voivat olla erittäin tärkeitä ja hyödyllisiä) Slide Normaalijakauma - ei-informatiivinen priori - konjugaattipriori - semi-konjugaattipriori Multinomijakauma - binomijakauman yleistys Moniulotteinen normaalijakauma

3 Marginalisointi - marginaalijakauma Yhteisjakauma p(θ 1, θ y) p(y θ 1, θ )p(θ 1, θ ) Marginalisointi p(θ 1 y) = p(θ 1, θ y)dθ Slide 5 p(θ 1 y) on marginaalijakauma Marginalisointi - marginaalijakauma Tavoitteena saada marginaaliposteriorijakauma kiinnostavasta tuntemattomasta suureesta - jokin mallin parametreista - joku muu ei havaittu suure kuten havainto tulevaisuudessa Periaate Slide - muodostetaan kaikkien tuntemattomien yhteisposteriorijakauma p(θ 1, θ y) p(y θ 1, θ )p(θ 1, θ ) - integroidaan tämä jakauma kaikkien niiden tuntemattomien yli, joiden arvot eivät suoraan kiinnosta meitä p(θ 1 y) = p(θ 1, θ y)dθ

4 Esimerkki marginalisoinnista - ennustava jakauma Yhteisjakauma p(ỹ, θ y) p(ỹ θ)p(θ y) Slide 7 Marginalisointi p(ỹ y) = p(ỹ y) on ennustava jakauma p(ỹ θ)p(θ y)dθ Esimerkki marginalisoinnista - ennustava jakauma Ennustava jakauma simuloinnilla Koska tässä tapauksessa p(ỹ y) = p(ỹ θ)p(θ y)dθ Slide 8 voidaan ensin poimia näytteitä θ i jakaumasta p(θ y) ja sitten näytteitä ỹ i jakaumasta p(ỹ θ), nyt ỹ i ovat jakaumasta p(ỹ y) Usein yhteisjakauma faktoroidaan ja integraali p(θ 1 y) = voidaan helposti approksimoida simuloinnilla p(θ 1 θ, y)p(θ y)dθ

5 Esimerkki marginalisoinnista - normaalijakauma Normaalijakaumamalli y µ, σ N(µ, σ ) µ = θ 1 ja σ = θ Usein µ kiinnostavampi Jos molemmat parametrit kiinnostavia, marginaalijakaumilla voidaan havainnollistaa yhteisjakaumaa Slide 9 Matlab-demo (esim_1.m) y = [93, 11, 1, 135, 1, 150, 118, 90, 1, 11] Normaalijakauma - viime kerralla Normaalijakaumamalli tunnetulla varianssilla σ ja θ:n priorilla N(µ 0, τ0 ), jos prioriprecision 1/τ0 pieni verrattuna data precisioniin n/σ, niin posteriorijakauma on melkein sama kuin jos τ 0 p(θ y) N(θ ȳ, σ /n) =, eli p(θ) 1 Slide Normaalijakaumamalli tunnetulla keskiarvolla ja scaled inverse-χ priori σ :lle, jos priorin vapauasteet ν 0 pieni verrattuna datan vapausasteisiin n, niin posteriorijakauma on melkein sama kuin jos ν 0 = 0, eli p(σ ) 1/σ missä v = 1 n ni=1 (y i θ) p(σ y) Inv χ (σ n, v)

6 Normaalijakauma - ei-informatiivinen priori Edellisen kalvon mukainen perustelu tai Jeffreysin priori-menetelmän (luento 3) mukaisesti normaalijakaumalla ei-informatiivinen priori p(µ, σ ) 1/σ Slide 11 Normaalijakauma - ei-informatiivinen priori Slide 1 Yhteisposteriorijakauma ( ) p(µ, σ y) σ n exp 1 n σ (y i µ) i=1 ( [ n ]) = σ n exp 1 σ (y i ȳ) + n(ȳ µ) i=1 ( = σ n exp 1 [ σ (n 1)s + n(ȳ µ) ]) missä s = 1 n 1 n (y i ȳ) i=1 ȳ ja s (ja n) ovat sufficient statistics

7 Normaalijakauma - ei-informatiivinen priori Faktoroidaan p(µ, σ y) = p(µ σ, y)p(σ y) Ehdollinen posteriorijakauma p(µ σ, y) µ σ, y N(ȳ, σ /n) sama kuin normaalijakauma tunnetulla varianssilla Slide 13 Marginaaliposteriorijakauma p(σ y) p(σ y) σ n exp ( = σ n exp ( 1 [ σ (n 1)s + n(ȳ µ) ]) dµ ) 1 (n 1)s σ (σ ) (n+1)/ exp ( σ y Inv χ (n 1, s ) (n 1)s σ ) πσ /n Normaalijakauma - ei-informatiivinen priori Slide 1 Jos µ on kiinnostava, niin marginaaliposteriori p(µ y) on kiinnostava Muuttujanvaihdos z = p(µ y) = 0 p(µ, σ y)dσ A σ, missä A = (n 1)s + n(µ ȳ) Tunnistetaan, että tulos on normalisoimaton gamma-integraali p(µ y) A n/ z (n )/ exp( z)dz 0 [(n 1)s + n(µ ȳ) ] n/ ] n(µ ȳ) [1 + (n 1)s µ y t n 1 (ȳ, s /n)

8 Normaalijakauma - posterioriprediktiivinen jakauma p(ỹ y) = p(ỹ µ, σ, y)p(µ, σ y)dµdσ tästä on helppo vetää näytteitä, vetämällä ensin näytteitä ( µ, σ ) posteriorijakaumasta ja sitten näytteitä ỹ jakaumasta N( µ, σ ) Slide 15 Posterioriorediktiivinen jakauma voidaan myös laskea tarkasti; lasketaan ensin tunnetulla varianssilla p(ỹ σ, y) = p(ỹ µ, σ, y)p(µ σ, y)dµ = N(ỹ ȳ, (1 + 1 n )σ ) tämä on skaalaa lukuunottamatta sama kuin p(µ σ, y), joten edellisen kalvon perusteella ỹ y t n 1 (ȳ, (1 + 1 n )s ) Normaalijakauma - esimerkki Simon Newcombin koe vuonna 188 mittasi valon nopeutta Matlab-demo (esim_.m) Posterioripäätelmät voivat olla ainoastaan yhtä hyviä kuin käytetty malli ja kokeet jotka datan tuottivat Slide 1

9 Normaalijakauma - konjugaattipriori Konjugaattipriorin oltava tulomuotoa p(σ )p(µ σ ) Kätevä parametrisointi on µ σ N(µ 0, σ /κ 0 ) σ Inv χ (ν 0, σ0 ) Slide 17 joka voidaan merkitä myös p(µ, σ ) = N Inv χ (µ 0, σ 0 /κ 0; ν 0, σ 0 ) Tässä muodossa µ ja σ riippuvia a priori - esim: jos σ on iso, niin µ:n priorijakaumakin on leveä Normaalijakauma - konjugaattipriori Yhteisposteriorijakauma (tehtävä 3.9) p(µ, σ y) = N Inv χ (µ n, σ n /κ n; ν n, σ n ) Slide 18 missä µ n = κ 0 κ 0 + n µ 0 + n κ 0 + n ȳ κ n = κ 0 + n ν n = ν 0 + n ν n σ n = ν 0σ 0 + (n 1)s + κ 0n κ 0 + n (ȳ µ 0)

10 Normaalijakauma - konjugaattipriori Ehdollinen jakauma p(µ σ, y) µ σ, y N(µ n, σ /κ n ) = N ( κ0 µ σ 0 + n ȳ σ κ 0 + n, σ σ 1 κ 0 σ + n σ ) Slide 19 Marginaalijakauma p(σ y) σ y Inv χ (ν n, σ n ) Marginaalijakauma p(µ y) µ y t νn (µ µ n, σ n /κ n) Normaalijakauma - semikonjugaattipriori Usein käytetty semikonjugaattipriori µ σ N(µ 0, τ0 ) σ Inv χ (ν 0, σ0 ) missä µ ja σ a priori riippumattomia Slide 0 Ehdollinen jakauma p(µ σ, y) µ σ, y N(µ n, τ n ) missä µ n = 1 µ τ0 0 + n ȳ σ 1 τ 0 + n ja τn = 1 1 σ τ 0 + n σ

11 Normaalijakauma - semikonjugaattipriori Marginaalijakauma p(σ y) n p(σ y) τ n N(µ n, µ 0, τ0 )Inv χ (σ ν 0, σ0 ) N(y i µ n, σ ) i=1 Ei suljettua muotoa, mutta voidaan laskea numeerisesti Slide 1 Myöhemmin opitaan kuinka Markov-ketju Monte Carlolla voidaan helposti poimia näytteitä yhteisposteriorijakaumasta tässä semikonjugaattiprioritapauksessa Multinomijakauma Multinomijakauma on binomijakauman yleistys kun mahdollisia lopputuloksia useampi kuin kaksi Sopii yksinkertaiseksi malliksi esimerkiksi vaaligalluppeihin Jos y on vektori jossa eri lopputulosten havaitut lukumäärät, niin Slide p(y θ) k j=1 θ y j j, missä k j=1 θ j = 1 ja k j=1 y j = n

12 Multinomijakauma Konjugaattipriori on Beta-priorin moniulotteinen yleistys Dirichlet-jakauma missä k j=1 θ j = 1 p(θ α) k j=1 θ α j 1 j, Slide 3 Posteriorijakauma on Dirichlet(α + y) Priori vastaa k j=1 α j havaintoa, joista α j havaintoa lopputulosten luokasta j Uniformi priori jos α j = 1 kaikille j Esimerkki harjoituksissa Moniulotteinen normaalijakauma Havainnot moniulotteisia ja yhteisjakauman oletetaan olevan normaalijakautunut Likelihood y µ, N(µ, ) Slide missä µ on d:n pituinen vektori ja on d d kokoinen symmetrinen ja positiividefiniitti varianssimatriisi ( ) p(y µ, ) n/ exp 1 n (y i µ) T 1 (y i µ) i=1 ( = n/ exp 1 ) tr( 1 S 0 ) missä S 0 = n (y i µ)(y i µ) T i=1

13 Moniulotteinen normaalijakauma - konjugaattipriori Konjugaattipriori Marginaalijakauma p(µ y) Inv Wishart ν0 ( 1 0 ) µ N(µ 0, /κ 0 ) Slide 5 µ y t νn d+1(µ n, n /(κ n (ν n d + 1))) Moniulotteinen normaalijakauma - ei-informatiivinen priori Moniulotteinen Jeffreysin priori p(µ, ) (d+1)/ Marginaalijakauma p(µ y) µ y t n d ( µ, S/(n(n d))) Slide

14 Moniulotteinen normaalijakauma - ei-konjugaattiset priorit* Oikeissa ongelmissa Jeffreysin priori ja Inv-Wishart-priori toimivat usein hyvin huonosti Useita ei-konjugaattisia vaihtoehtoja Slide 7 Kirjan esimerkki: myrkyllisyyskoe Dose, x i Number of Number of (log g/ml) animals, n i deaths, y i Slide Logistinen regressio logit(θ i ) = α + βx i Likelihood p(y i α, β, n i, x i ) [logit 1 (α + βx i )] y i [1 logit 1 (α + βx i )] n i y i Posteriori n p(α, β y, n, x) p(α, β) p(y i α, β, n i, x i ) i=1

15 Loppuhuomioita Harvoille malleille sujettu muotoinen posteriorijakauma, mutta ei haittaa koska voimme käyttää - normaalijakauma-approksimaatiota (luku ) - hierarkisia malleja (luku 5) - simulaatioita (luku 11) Slide 9 - variaatiolaskentaa* Yhteenveto yksinkertaisten mallien käsittelystä Kirjoita likelihood, jätä θ:sta riippumattomat termit pois Valitse priori Kirjoita posteriori Tee karkea arvio θ:lle Slide 30 Poimi näytteitä posteriorijakaumasta Poimi näytteitä prediktiivestä jakaumasta

16 Impedanssi Tomografia (EIT) -käänteisongelma Päättellään johtavuusjakauma impedanssimittauksista Ongelman tiedetään olevan vaikeasti kääntyvä 1 Slide Simuloitu potentiaalikenttä putkessa Relative change in U Electrode 15 Injection Potentiaalierot vierekkäisissä elektrodeissa 8 Käänteisongelman approksimaatio Bayesilaisella MLP-verkolla Slide Relative potentials Injection Electrode EIT-mittaus PCA-projektio Bayesilainen PCA-hajotelma Rekonstruktio 18 0 MLP