Luento 3 Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-malli Exponentiaalinen malli Slide 1 Cauchy-jakauma Lisää konjugaattiprioreista Ei-informatiivisista priorijakaumista *-merkatut kalvot extra-materiaalia ei kysytä tentissä) Normaalijakauma Gaussian) Usein käytetty ja hyödyllinen osa monimutkaisempiakin malleja Havainto y voi saada reaaliarvoja Slide 2 Normaalijakauman parametrit keskiarvo θ ja varianssi σ 2 oletetaan ensin σ 2 tunnetuksi) py θ) = 1 2πσ exp y Nθ, σ 2 ) 1 ) 2σ 2y θ)2 4 2 0 2 4
Normaalijakauman perusteluita* Keskeinen raja-arvolause central limit theorem) Vaihtokelpoisuus ja pallosymmetrisyys Laskennallinen helppous Slide 3 Keskeisestä raja-arvolauseesta* De Moivre, Laplace, Gauss, Chebysev, Liapounov, Markov, et al. Tietyt ehdot täyttävistä jakaumista tulevien satunnaismuuttujien summa tai keskiarvo) lähestyy normaalijakautunutta kun n Esim. jos eri kohinalähteitä, niin oletetaan, että summa lähellä normaalijakaumaa Slide 4 Ongelmia - ei päde kaikille, esim. Cauchy-jakauma - voi tarvita paljon näytteitä ennenkuin pätee, esim. Binomi-jakauma, kun θ melkein 0 tai 1 - ei päde jos jonkun muuttujan jakauma dominoi Esim: http://noppa5.pc.helsinki.fi/koe/flash/clt/clt2.html
Keskeisen raja-arvolauseen seuraus Sopiva jos oletetaan, että epävarmuus syntyy useiden tuntemattomien vaihtokelpoisten tai riippumattomien tekijöiden summana - olettaen, että jakaumien skaalat suunnillen samat - olettaen, että jakaumien hännät eivät kovin paksut Käytetään myös positiivisen datan logaritmille, jolloin oletetaan, että epävarmuus Slide 5 syntyy useiden tuntemattomien vaihtokelpoisten tai riippumattomien tekijöiden tulona Vaihtokelpoisuus ja pallosymmetrisyys* Satunnaisia reaalilukuja x 1,..., x n Oletetaan vaihtokelpoisuus ja pallosymmetria, eli identtinen uskomus kaikille tuloksille x 1,..., x n joilla sama arvo luvulle x 2 1 + + x2 n - voidaan toimia aivan kuin havainnot olisivat ehdollisesti riippumattomia normaalijakautuneita varianssilla σ 2 Slide 6 Oletetaan vaihtokelpoisuus ja keskitetty pallosymmetria - voidaan toimia aivan kuin havainnot olisivat ehdollisesti riippumattomia normaalijakautuneita keskiarvolla θ ja varianssilla σ 2 Ongelma - milloin oletus aiheellinen? Esimerkkejä muista symmetrioista - sama arvo luvulle x 1 + + x n Laplace-jakauma - minimi ja maksimi fiksattu tasajakauma
Laskennallinen helppous* Negatiivinen log-likelihood mukavaa muotoa py θ) = 1 2πσ exp log py θ) = αy θ) 2 + C 1 ) 2σ 2y θ)2 Slide 7 Neg-log-likelihoodin minimointi sama kuin pienimmän neliösumman menetelmä Gauss) Lineaariregressiossa selvitään analyytisella matriisilaskennalla Ennen tehokkaita tietokoneita laskennallinen helppous oli erittäin tärkeää Ongelma - malli voi olla väärä Normaalijakauma Puutteista huolimatta monessa mukana, koska - usein riittävä sellaisenaan - jos laskenta on ongelma, on parempi saada joku tulos kuin ei tulosta ollenkaan - käytetään osana hierarkkisia malleja Slide 8 - käytetään osana sekamalleja mixture model) - käytetään osana t-jakauman skaalasekaesitystä scale mixture) t-jakauma hyvä robustimpi vaihtoehto normaalijakaumalle
Normaalijakauma - konjugaattipriori θ :lle Oletetaan, että σ tunnettu Likelihood py θ) exp 1 ) 2σ 2y θ)2 Slide 9 Priori Posteriori pθ) exp pθ y) exp ) 1 2τ0 2 θ µ 0 ) 2 1 2 [ ]) y θ) 2 σ 2 + θ µ 0) 2 τ0 2 Normaalijakauma - konjugaattipriori θ :lle Slide 10 Posteriori ks. tehtävä 2.14a) [ ]) pθ y) exp 1 y θ) 2 2 σ 2 + θ µ 0) 2 τ0 2 ) exp 1 2τ1 2 θ µ 1 ) 2 θ y Nµ 1, τ 2 1 ), missä µ 1 = 1 µ τ0 2 0 + 1 y σ 2 1 τ 2 0 + 1 σ 2 ja 1 τ 2 1 = 1 τ 2 0 + 1 σ 2 1/varianssi = tarkkuus precision) Posterioritarkkuus on prioritarkkuus plus datan tarkkuus Posteriorikeskiarvo on tarkkuuksilla painotettu keskiarvo priorikeskiarvosta ja datan keskiarvosta
Normaalijakauma - esimerkki Populaatio ÄO: θ N100, 15 2 ) ja mittaus: y θ Nθ, 10 2 ) arvio henkilön ÄO:lle annettuna mittaus y Slide 11 Eθ y) = τ 0 2 τ0 2 + σ 2 y + σ 2 τ0 2 + σ 2µ 0 ) 1/2 1 Stdθ y) = + 1 σ 2 τ 2 0 τ 0 = 15, σ = 10 : Eθ y) 0.7y + 30 ja sdθ y) 8 vrt. maximum likelihood vastaus Eθ y) = y ja sdθ y) = 10 Normaalijakauma - esimerkki Testin tulos y = 77 esim3_1.m) Eθ y) 84 sdθ y) 8 pθ > 100 y) 0.03 Slide 12 Posteriori 40 60 80 100 120 140
Normaalijakauma Posterioriprediktiivinen jakauma pỹ y) = pỹ y) pỹ θ)pθ y)dθ exp 1 2σ 2ỹ θ)2 ) ) exp 1 2τ1 2 θ µ 1 ) 2 dθ Slide 13 ỹ y Nµ 1, σ 2 + τ 2 1 ) Ennusteen varianssi on mallin varianssin σ 2 ja parametrin posteriorivarianssin τ 2 1 summa Normaalijakauma - esimerkki Populaatio ÄÖ: θ N100, 15 2 ) ja mittaus: y θ Nθ, 10 2 ) arvio saman henkilön toisen testin tulokselle ỹ annettuna ensimmäisen testin tulos y Eỹ y) = µ 1 0.7y + 30 Stdỹ y) = σ 2 + τ1 2 )1/2 13 Slide 14
Normaalijakauma - esimerkki Testin tulos y = 77 esim3_1.m) Eθ y) 84 sdθ y) 8 Eỹ y) 84 sdỹ y) 13 Slide 15 Posteriori Ennustava 40 60 80 100 120 140 Normaalijakauma - useita havaintoja Useita havaintoja y = y 1,..., y n ) ja oletetan, että voidaan toimia aivan kuin olisivat riippumattomia ja identtisesti jakatuneita Slide 16 pθ y) pθ)py θ) n = pθ) py i θ) i=1 = Nθ µ n, τ 2 n ) missä µ n = missä ȳ = 1 n 1 µ τ0 2 0 + n ȳ σ 2 1 τ0 2 i y i + n σ 2 ja 1 τ 2 n = 1 τ 2 0 + n σ 2 ks. tehtävä 2.14b
Tyhjentävä tunnusluku sufficient statistic) ty) on tyhjentävä tunnusluku, jos θ:n likelihoodin arvo riippuu datasta y vain ty):n kautta Slide 17 Esimerkkejä - Binomi-malli: ty 1,..., y n ) = i y i, n) - Normaalijakauma tunnetulla varianssilla: ty 1,..., y n ) = 1 n i y i, n) = ȳ, n) Normaalijakauma - useita havaintoja Useita havaintoja y = y 1,..., y n ) pθ y) = Nθ µ n, τ 2 n ) Slide 18 missä µ n = 1 µ τ0 2 0 + n ȳ σ 2 1 τ 2 0 + n σ 2 ja 1 τ 2 n = 1 τ 2 0 Jos τ 2 0 = σ 2, vastaa priori yhtä priorinäytettä arvolla µ 0 + n σ 2 Jos τ 0 kun n kiinteä tai jos n kun τ 0 kiinteä pθ y) Nθ ȳ, σ 2 /n)
Normaalijakauma - tunnettu keskiarvo Likelihood 1 havainto py σ 2 ) σ 1 exp 1 ) 2σ 2y θ)2 Slide 19 Likelihood monta havaintoa ) py σ 2 ) σ n exp 1 n 2σ 2 y i θ) 2 i=1 = σ 2 ) n/2 exp n ) 2σ 2v missä v = 1 n n y i θ) 2 i=1 Normaalijakauma - tunnettu keskiarvo Likelihood monta havaintoa py σ 2 ) σ 2 ) n/2 exp n 2σ 2v ) Slide 20 missä Konjugaattipriori on inverse-gamma v = 1 n n y i θ) 2 i=1 pσ 2 ) σ 2 ) α+1) exp βσ ) 2
Normaalijakauma - tunnettu keskiarvo Konjugaattipriori on inverse-gamma pσ 2 ) σ 2 ) α+1) exp βσ ) 2 Käytetään mukavempaa parametrisointia Inv-gammaα = ν 2, β = ν 2 s2 ) Slide 21 pσ 2 ) = ν/2)ν/2 Ŵν/2) sν σ 2 ) ν/2+1) exp νs 2 /2σ 2 )) σ 2 Inv-χ 2 ν, s 2 ) Normaalijakauma - tunnettu keskiarvo Mukava parametrisointi konjugaattipriorille on σ 2 Inv-χ 2 ν 0, σ 2 0 ) Slide 22 jolloin posteriori on σ 2 y Inv-χ 2 ν 0 + n, ν 0σ0 2 + nv ) ν 0 + n Priorin voidaan ajatella tarjoavan vastaavan informaation kuin ν 0 havaintoa varianssilla σ 2 0
Normaalijakauma - tunnettu keskiarvo - esimerkki Jalkapallodata kirjasta, mallina N0, σ 2 ) ν 0 = 0 vastaa pσ 2 ) σ 2 ei-aito) Posteriori on kuitenkin aito, σ 2 d Inv-χ 2 n, v), n = 672 ja v = 13.85 2 Slide 23 13 14 15 Poisson-jakauma Malli tapahtumien lukumäärälle kun vaihtokelpoisia tapahtumia ajassa - ajallisesti riippumattomia tapahtumia, joka ajanhetkellä yhtä suuri todennäköisyys tapahtua Esim. käytetään epidemiologiassa arvioimaan tautien esiintymistodennäköisyyksiä Slide 24 Likelihood yhdelle havainnolle, missä θ on keskimääräinen tapahtumataajuus py θ) = θ y e θ, y = 0, 1, 2,... y! Likelihood usealle havainnolle py θ) θ ty) e nθ, missä ty) = n i=1 y i
Poisson-jakauma Likelihood usealle havainnolle py θ) θ ty) e nθ, missä ty) = Konjugaattipriori on gamma-jakauma pθ) e βθ θ α 1 n i=1 y i Slide 25 Posteriori on θ y Gammaα + nȳ, β + n) Priorin voidaan ajatella olevan lukumäärien summa α 1), β priorihavainnosta Prediktiivinen jakauma on negative binomial ỹ y Neg-binα + nȳ, β + n) Neg-biny α, β) = Poissony θ) Gammaθ α, β)dθ Poisson-jakauma - esimerkki Liikenneturvan mukaan viime vuosina liikentessä kuollut noin 400 per vuosi Vuonna 2006 Suomen liikenteessä kuoli 336 ihmistä Slide 26 Onko vuosi 2006 poikkeuksellinen? - py 2006 336 θ = 400) 10 4 - py 2006 336 y 1995,...,2005, vakio riski) 4 10 4
Poisson-jakauma - esimerkki* Liikenneturvallisuus koostuu monesta asiasta jotka muuttuvat hitaasti - liikennekuoleman riski mahdollisesti laskemassa - aikasarjamalli riskin logaritmille gaussinen prosessi -priori ajassa) py 2006 336 y 1995,...,2005, muuttuva riski) 0.03 Slide 27 450 400 350 300 Liikennekuolemat 1995 2005 θ 95% posteriorivali Ennustavan jakauman 95% vali Liikennekuolemat 2006 1995 2000 2005 Poisson-jakauma - esimerkki* Alkuvuoden perusteella Liikenneturvan ennuste vuodelle 2007 on 390 kuollutta - Liikenneturva: "Turvallisuus teillämme on murtumassa" - otetaan malliin mukaan vuoden 2006 havainto py 2007 390 y 1995,...,2006, muuttuva riski) 0.99 Slide 28 450 400 350 300 Liikennekuolemat θ 95% posteriorivali Ennustavan jakauman 95% vali Liikenneturvan ennuste 2007 1995 2000 2005
Exponentiaalinen jakauma Malli tapahtumien odotusajalle kun vaihtokelpoisia tapahtumia ajassa - ajallisesti riippumattomia tapahtumia, joka ajanhetkellä yhtä suuri todennäköisyys tapahtua Esimerkiksi elinaikadata Likelihood Slide 29 py θ) = θ exp yθ), y > 0 Konjugaattipriori on gamma-jakauma Gammaθ α, β) Posteriori Gammaθ α + n, β + nȳ) Konjugaattiprioreista ja tyhjentävistä tunnusluvuista Yleisesti, vain exponentiaaliperheen jakaumilla on luonnollinen konjugaattipriori Tiettyjä epäsäännöllisiä tapauksia lukuunottamatta vain exponentiaaliperheen jakaumilla on tyhjentävä tunnusluku Jakauma kuuluu exponentiaaliperheseen jos se on muotoa Slide 30 py i θ) = f y i )gθ)e φθ)t uy i ) Tähän mennessä käsitellyt jakaumat kuuluvat exponentiaaliperheseen
Cauchy-jakauma Likelihood py i θ) = 1/1 + y i θ) 2 ) Varianssi ääretön, eli hyvin pitkähäntäinen t-jakauman ääritapaus kun ν = 1 Slide 31 Malli-esimerkki: Merellä olevan majakan pyörivä vilkkuva valo havaitaan suoralla rannalla eri kohdissa. Missä kohtaa kohtaa rantaa majakka on? Järkevämpiä esimerkkejä - kahden nollakeskiarvoisen normaalijakautuneen luvun suhde X/Y - resonanssimalli fysiikassa - spektroskopia Cauchy-jakaumaa tai puoli-cauchy) käytetään myös robustina priorina Ei-informatiivisia prioreja Konjugaattipriorien rajatapaukset Indifference Invarianssi-argumentti Jeffreysin priori Slide 32 Referenssipriorit Hierarkkiset priorit
Konjugaattipriorien rajatapaukset: normaalijakaumaesimerkki Normaalijakaumamalli tunnetulla varianssilla σ 2 ja θ:n priorilla Nµ 0, τ0 2 ), jos prioritarkkuus 1/τ0 2 pieni verrattuna datan tarkkuuteen n/σ 2, niin posteriorijakauma on melkein sama kuin jos τ 2 0 pθ y) Nθ ȳ, σ 2 /n) =, eli pθ) 1 Slide 33 Normaalijakaumamalli tunnetulla keskiarvolla ja Inv-χ 2 priori σ 2 :lle, jos priorin vapausasteet ν 0 pieni verrattuna datan vapausasteisiin n, niin posteriorijakauma on melkein sama kuin jos ν 0 = 0, eli pσ 2 ) 1/σ 2 pσ 2 y) Inv-χ 2 σ 2 n, v) Principle of insufficient reason / indifference Laplace: If we can enumerate a set of basic mutually exclusive possibilities, and have no reason to believe that any one of these is more likely to be true than another, then we should assign the same probability to all - voidaan määritellä parametrille suoraan Laplace) tai havaintojen kautta Bayes) Vaihtokelpoisuus Slide 34 Rajoitettu tapauksiin, joissa suljettu numeroituva maailma ja toisensa poissulkevat tapaukset - esim. kombinatoriset ongelmat
Invarianssiargumentti* Indifference jatkuville parametreille Paikkaparametrin priori invariantti origon paikalle - pθ) 1 Slide 35 Skaalaparametri invariantti mittayksikölle - pσ) 1/σ - pσ 2 ) 1/σ 2 - tulos yhtäläinen priorin plogσ)) 1 kanssa Muuttujanvaihdos Esimerkki muuttujan vaihdoksesta - Jos pσ) = 1/σ niin mikä on plogσ)) plogσ) = J pσ) kirja s. 24) = dσ 1 dlogσ) σ Slide 36 = σ 1 σ = 1 ei-aito)
Jeffreysin priori indifferencen yleistys) Fisherin informaatiomatriisi on Iθ), missä Iθ) i j = E Valitaan priori siten, että pθ) detiθ)) 1/2 ) 2 l θ i θ j Slide 37 Tämä priori on invariantti muuttujanvaihdoksille vrt. edellinen kalvo) Ongelmallinen usean muuttujan malleille Usean muuttujien malleissa, paikka-, skaala- ja mixingparametrit käsitellään erikseen Esim: y Binn, θ) : pθ) θ 1/2 1 θ) 1/2 y Nµ, σ 2 ) : pµ, σ 2 ) 1/σ 2 Referenssipriori Bernardo ja Berger-Bernardo)* Referenssipriori tarkoittaa joskus myös yleisesti mitä tahansa ei-informatiivista prioria) Yleistää Jeffreysin priorin - sama yksinkertaisissa tapauksissa Informaatioteoreettinen määrittely Slide 38 Toimii paremmin myös usean muuttujan mallille - priori riippuu kuitenkin siitä missä järjestyksessä ja miten ryhmiteltynä parametrit huomioidaan
Ei-informatiivisten priorien ongelmia Väljät priorit voivat olla herkkiä parametrisoinille Osa menetelmistä tuottaa ei-aidon priorin, jolloin tarkistettava onko posteriori aito Valmiit menetelmät eivät poista miettimisen tarvetta Slide 39 Heikosti informatiiviset priorit Ottavat huomioon vähäisenkin informaation - voidaan varmuudeksi vielä siitä hieman väljentää - hyvä olla paksuhäntäisiä, jolloin robustimpi jos käytetty informaatio olikin ristiriidassa datan kanssa - esim. väljät t-jakaumat ja Cauchy-jakaumat Slide 40
Hierarkkisista prioreista lisää luvussa 5) Jos et tiedä sopivaa arvoa jonkun priorijakauman parametreille, tee siitä parametrista tuntematon ja aseta ylemmän tason priori Näin fiksatut, tai arvatut, valinnat voidaan siirtää hierarkkisen mallin ylemmille tasoille Slide 41 Hierarkkisissa malleissa data sisältää vähemmän informaatiota korkeamman tason hyperparametreista, jolloin priori ja posteriori näille hyperparametreille on samankaltainen Siten nämä mallit ovat vähemmän herkkiä ylemmällä tasolla tehdyille valinnoille, josta seuraa, että ylemmän tason priorit ovat yleisesti vähemmän informatiivisia