MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Bayeslainen tilastollinen päättely Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi II

Sisältö Tietämyksen kvantifiointi ja subjektiivinen todennäköisyys Tietämyksen päivittäminen Posterijakauman tulkinta: Piste-estimaatit Bayeslainen päättely jatkuvilla malleilla Lisämateriaalia: Kolikonheiton bayeslainen malli

Esimerkki: Kolikko Kolikkoa heitettäessä (0 = klaava, 1 = kruuna) saatiin tulokset x = (0, 0, 0, 0, 0, 0, 0, 0, 1, 0). Kruunan odotettua esiintyvyyttä kuvaavan parametrin p suurimman uskottavuuden estimaatti ˆp(x) = 10% poikkeaa vahvasti tasosta 50%. Tulee hankkia lisää dataa (entä jos ei saatavilla?) Tulee jättää kokeen tulos huomiotta (ja uskoa sokeasti siihen, että kolikko on tasainen?) Voidaanko yo. kokeen tulos sovittaa aiempaan tietämykseen kruunan odotetusta esiintyvyydestä? Tällöin pitää kvantifioida termi tietämys

Tietämyksen mallintaminen Yksilön (ihminen tai kone) tietämystä tuntemattoman parametrin arvosta mallinnetaan tulkitsemalla parametri satunnaismuuttujaksi Θ. P(a Θ b) = 95% tarkoittaa, että yksilö uskoo parametrin arvon sijaitsevan välillä [a, b] todennäköisyydellä 95%. Frekventistit rajoittuvat analysoimaan vain objektiivisia todennäköisyyksiä (toistettavissa olevat tilastokokeet) Protonin massa on välillä a ± 10 12 tn:llä 99.999999% Tupakointi lisää riskiä sairastua keuhkosyöpään Todennäköisyyden käyttäminen tietämyksen kvantifiointiin tekee todennäköisyydestä subjektiivisen käsitteen Huomenna sataa tn:llä 10% Aarnio tuomittiin rikoksesta todennäköisin syin Relativismi: Todennäköisyys on suhteellista Thomas Bayes 1701 1761

Esimerkki: Tuntematon kolikko Laatikossa on kolme tasaista kolikkoa (kruunan tn θ = 0.5) sekä yksi lievästi vino (θ = 0.6) ja yksi vahvasti vino (θ = 0.9). Satunnaisesti valittua kolikkoa heitettäessä havaitaan klaava. Millä tn heitetty kolikko oli tasainen? Kolikon tyypin Θ jakauma ennen datan havaitsemista on Osituskaavasta θ 0.5 0.6 0.9 P(Θ = θ) 0.6 0.2 0.2 Bayesin kaavasta P( klaava ) = 0.6 0.5 + 0.2 0.4 + 0.2 0.1 = 0.4 P(Θ = 0.5 klaava ) = P(Θ = 0.5) P( klaava Θ = 0.5) P( klaava ) Kolikon tyypin jakauma datan havaitsemisen jälkeen = 0.6 0.5 0.4 = 0.75 θ 0.5 0.6 0.9 P(Θ = θ klaava ) 0.75 0.20 0.05

Tietämyksen päivityskaava: Diskreetti malli Tietämys Θ:n arvosta ennen datan x 1 havaitsemista: Priorijakauma p 0 (θ) = P(Θ = θ) Tietämys Θ:n arvosta datan x 1 havaitsemisen jälkeen: Posteriorijakauma p 1 (θ x 1 ) = P(Θ = θ X 1 = x 1 ). Datalähteen stokastinen malli: Uskottavuusfunktio f 1 (x 1 θ) = P(X 1 = x 1 Θ = θ) Fakta Posteriorijakauma p 1 (θ x 1 ) saadaan priorijakaumasta p 0 (θ) painottamalla ja normittamalla sitä uskottavuudella f 1 (x 1 θ): p 1 (θ x 1 ) = p 0 (θ) f 1 (x 1 θ) θ p 0(θ ) f 1 (x 1 θ ).

Tietämyksen päivityskaava: Todistus Osituskaavasta P(X 1 = x 1 ) = θ P(Θ = θ ) P(X 1 = x 1 Θ = θ ) = θ p 0 (θ ) f 1 (x 1 θ), joten Bayesin kaavasta p 1 (θ x 1 ) = P(Θ = θ X 1 = x 1 ) = P(Θ = θ) P(X 1 = x 1 Θ = θ) P(X 1 = x 1 ) = p 0(θ)f 1 (x 1 θ) P(X 1 = x 1 ) p 0 (θ)f 1 (x 1 θ) = θ p 0(θ ) f 1 (x 1 θ).

Esimerkki: Tuntematon kolikko Tuntematon parametri: Heitetyn kolikon tyyppi Θ Priorijakauma p 0 (θ) = P(Θ = θ) Data x 1 = 0 (havaittiin klaava) Uskottavuus f (x 1 θ) = P(X 1 = x 1 Θ = θ) θ Priori p 0 (θ) Uskottavuus f (0 θ) Normittamaton posteriori Posteriori p 1 (θ 0) 0.5 0.6 0.5 0.30 0.75 0.6 0.2 0.4 0.08 0.20 0.9 0.2 0.1 0.02 0.05

Esimerkki: Tuntematon kolikko Kolikon tyypin priorijakauma: θ 0.5 0.6 0.9 p 0 (θ) 0.6 0.2 0.2 Uskottavuusfunktio datapisteelle x 1 = 0 (klaava): θ 0.5 0.6 0.9 f (0 θ) 0.5 0.4 0.1 Kolikon tyypin posteriorijakauma: θ 0.5 0.6 0.9 p 1 (θ 0) 0.75 0.20 0.05

Kolikon tyypin priori- ja posteriorijakaumat p 0 (θ) p 1 (θ 0) p 1 (θ 1)

Tuntematon kolikko: Monta havaintoa Laatikossa on kolme tasaista kolikkoa (kruunan tn θ = 0.5) sekä yksi lievästi vino (θ = 0.6) ja yksi vahvasti vino (θ = 0.9). Satunnaisesti valittua kolikkoa heitettäessä havaitaan 2 klaavaa. Millä tn heitetty kolikko oli tasainen? Uskottavuusfunktio datajoukolle (x 1, x 2 ) = (0, 0), θ 0.5 0.6 0.9 f (0, 0 θ) 0.25 0.16 0.01 θ Priori p 0 (θ) Uskottavuus f (0, 0 θ) Normittamaton posteriori Posteriori p 1 (θ 0, 0) 0.5 0.6 0.25 0.150 0.815 0.6 0.2 0.16 0.032 0.174 0.9 0.2 0.01 0.002 0.001

Kolikon tyypin priori- ja posteriorijakauma p 0 (θ) p 1 (θ 0) p 1 (θ 00) p 1 (θ 00000) Sadan klaavan havaitsemisen jälkeen posteriorijakauman massa keskittyy tähtitieteellisen pientä poikkeamaa vaille arvoon 0.5. Tämä tuntuu paradoksaaliselta, sillä tn saada 100 klaavaa peräkkäin tasaisella kolikolla on 2 100. Paradoksi selittyy priorin valinnalla: Ylläoleva priori p 0 (θ) kuvastaa absoluuttista 100% varmuutta siitä, että kolikko ei puolla klaavan suuntaan: P(Θ < 0.5) = 0.

Tietämyksen 2-vaiheinen päivityskaava Tietämys Θ:n arvosta ennen datan havaitsemista: Priorijakauma p 0 (θ) = P(Θ = θ) Tietämys Θ:n arvosta datan havaitsemisen jälkeen: Posteriorijakauma p 1 (θ x 1 ) = P(Θ = θ X 1 = x 1 ). Posteriorijakauma p 2 (θ x 1, x 2 ) = P(Θ = θ X 1 = x 1, X 2 = x 2 ). Datalähteen stokastinen malli: Uskottavuusfunktio f 1 (x 1 θ) = P(X 1 = x 1 Θ = θ) Uskottavuusfunktio f 2 (x 2 θ, x 1 ) = P(X 2 = x 2 Θ = θ, X 1 = x 1 ) Fakta Posteriorijakauma p 2 (θ x 2 ) saadaan posteriorijakaumasta p 1 (θ x 1 ) painottamalla ja normittamalla sitä uskottavuudella f 2 (x 2 θ, x 1 ): p 2 (θ x 1, x 2 ) = p 1 (θ x 1 ) f 2 (x 2 θ, x 1 ) θ p 1(θ x 1 ) f 2 (x 2 θ, x 1 ).

Tietämyksen 2-vaiheinen päivityskaava: Todistus Kun D 1 = {X 1 = x 1 } ja D 2 = {X 2 = x 2 }, saadaan tulokaavasta P(Θ = θ, D 1, D 2 ) = P(D 1 ) P(Θ = θ D 1 ) P(D 2 Θ = θ, D 1 ) osituskaavasta (ehdoton) = P(D 1 ) p 1 (θ x 1 ) f 2 (x 2 θ, x 1 ), P(D 1, D 2 ) = θ P(Θ = θ, D 1, D 2 ) = θ P(D 1 ) p 1 (θ x 1 ) f 2 (x 2 θ, x 1 ), ja nämä yhdistämällä p 2 (θ x 1, x 2 ) = P(Θ = θ, X 1 = x 1, X 2 = x 2 ) P(X 1 = x 1, X 2 = x 2 ) P(D 1 ) p 1 (θ x 1 ) f 2 (x 2 θ, x 1 ) = θ P(D 1) p 1 (θ x 1 ) f 2 (x 2 θ, x 1 ) p 1 (θ x 1 ) f 2 (x 2 θ, x 1 ) = θ p 1(θ x 1 ) f 2 (x 2 θ, x 1 ).

Tietämyksen päivitys: Yhteenveto Priorijakauma p 0 (θ) mallintaa yksilön tietämystä tuntemattoman parametrin arvosta Θ Uskottavuusfunktio f (x θ) vastaa datalähteen stokastista mallia Posteriorijakauma mallintaa yksilön tietämystä, johon on yhdistetty priorijakauma sekä havaittu data Posteriorijakauma p 1 (θ x) lasketaan priorijakaumasta ja havaitusta datasta x painottamalla prioritodennäköisyyksiä uskottavuusfunktion arvoilla ja sen jälkeen normittamalla Yksilön tietämyksen mallintamista subjektiivisilla todennäköisyyksillä kutsutaan bayeslaiseksi lähestymistavaksi

Posteriorijakauman estimaatit Miten päätellään tuntemattoman parametrin θ estimaatti posteriorijakaumasta p 1 (θ x)? 1. Suurimman posterioritodennäköisyyden estimaatti ˆθ: p 1 (ˆθ x) = max p 1 (θ x) θ 2. Posteriorijakauman odotusarvo ˆθ: ˆθ = θ θp 1 (θ x) 3. Raportoidaan koko posteriorijakauma Yo. vaihtoehdoista 1. ja 2. ovat usein lähellä toisiaan. Vaihtoehto 1. voidaan määrittää tuntematta posteriorijakauman normitusvakiota.

Esimerkki: Tasajakauman ylärajan estimointi Tuntemattoman välin {1, 2,..., θ} tasajakaumaa noudattavasta datalähteestä on havaittu x 1 = 21, x 2 = 7 ja x 3 = 22. Mikä on paras arvaus (estimaatti) tuntemattoman parametrin θ arvolle? Datalähteen uskottavuusfunktio: f (x i θ) = { 1 θ, 1 x i θ, 0, muuten { 1 θ 3, 1 x 1, x 2, x 3 θ, f (x 1, x 2, x 3 θ) = 0, muuten SU-estimaatti: ˆθ(x) = max(x 1, x 2, x 3 ) = 22. Entä jos meillä on ennakkoon muodostettu näkemys, että tuntemattoman parametrin arvo on todennäköisesti lähellä arvoa 30?

Tasajakauman yläraja: bayeslainen estimointi Tuntemattoman välin {1, 2,..., θ} tasajakaumaa noudattavasta datalähteestä on havaittu x 1 = 21, x 2 = 7 ja x 3 = 22. Ennakkotietämys: Parametri on todennäköisesti lähellä arvoa 30. Tulkitaan tuntematon parametri satunnaismuuttujana Θ, jonka odotusarvo on 30? Miten valitaan Θ:n priorijakauma? Valitaan yksikertaisin diskreetti jakauma, jonka odotusarvo on 30 ja jolla on positiivinen tn saada mikä tahansa pos. kokonaisluku. Poisson-jakauma parametrina λ = 30: p 0 (θ) = e λ λθ, θ = 0, 1, 2,... θ! Uskottavuusfunktio { 1 θ 3, 1 x 1, x 2, x 3 θ, f (x 1, x 2, x 3 θ) = 0, muuten

Tasajakauman ylärajan estimointi: bayeslainen estimointi Havaittu data: x = (21, 7, 22) Priori p 0 (θ) = e 30 30θ, θ = 0, 1, 2,... θ! Uskottavuus f (x θ) = { 1 θ, 3 θ 22, 0, muuten Posteriori lasketaan päivityskaavasta p 1 (θ x) = p 0 (θ)f (x θ) θ p 0(θ )f (x θ ) = {c 1 30 30θ 1 e θ! θ, 3 θ 22, 0, muuten, missä normitusvakio c = θ p 0(θ )f (x θ ) ei riipu θ:sta. Suurimman posterioritodennäköisyyden estimaatti on ˆθ, joka maksimoi funktion θ 30θ 1 θ! θ joukossa θ 22. 3 Maksimin voi etsiä kokeilemalla tai piirtämällä ko. funktio.

Tasajakauman yläraja: Priori ja posteriori Data: x = (21, 7, 22) Priori: Poisson-jakauma odotusarvona λ = 30 Priori p 0 (θ) Posteriori p 1 (θ x) 0.00 0.02 0.04 0.06 0.08 0.00 0.02 0.04 0.06 0.08 0 10 20 30 40 50 0 10 20 30 40 50 Suurimman posterioritodennäköisyyden estimaatti: ˆθ(x) = 26

Bayeslainen malli Havaittu data x = (x 1,..., x n ). Kokonaisuuden (tietämys ja datalähde) stokastinen malli = parametrin ja datan (Θ, X ) yhteisjakauma Priori: parametrin Θ jakauma ennen datan havaitsemista Uskottavuus: datan X jakauma ehdolla Θ = θ Posteriori: parametrin Θ jakauma ehdolla X = x Diskreetti parametri ja diskreetti data: Priori: p 0 (θ) ptnf Uskottavuus: f (x θ) on ehdollinen ptnf Posteriori: p 1 (θ x) ehdollinen ptnf Jatkuva parametri ja jatkuva data: Priori: p 0 (θ) tiheysf Uskottavuus: f (x θ) on ehdollinen tiheysf Posteriori: p 1 (θ x) ehdollinen tiheysf

Esim. Kohinainen kanava Pisteestä A lähetetään (tuntematon) signaali θ Pisteessä B vastaantotetun signaalin arvo on normaalijakautunut odotusarvona θ ja keskihajontana σ = 2. Kun sama signaali lähetettiin 3 kertaa peräkkäin, vastaanotettiin arvot x = (3, 8, 7). Lähetetyn signaalin arvon SU-estimaatti on vastaanotettujen arvojen keskiarvo m(x) = (3 + 8 + 7)/3 = 6 Pisteessä B arvellaan ennalta, että lähetetyn signaalin Θ arvo on normaalijakautunut odotusarvona µ 0 = 5 ja keskihajontana σ 0 = 1. H5B3: Määritä tehtyjen havaintojen valossa: 1. Satunnaismuuttujan Θ posteriorijakauman odotusarvo. 2. Väli, joka sisältää tuntemattoman signaalin todellisen arvon 90% todennäköisyydellä.

Bayeslainen normaalimalli Tuntemattoman parametrin priorijakauma: Θ Nor(µ 0, σ 0 ), p 0 (θ) = (2πσ0) 2 1/2 e (θ µ 2 0) 2σ 0 2 Datan uskottavuusfunktio: (X i θ) Nor(θ, σ), f (x i θ) = (2πσ 2 ) 1/2 e (x i θ) 2 2σ 2 f (x 1,..., x n θ) = f (x 1 θ) f (x n θ) Esim. Kohinainen kanava: Lähetetyn signaalin priori: Θ Nor(µ 0, σ 0 ), µ 0 = 5, σ 0 = 1 Vastaanotettu signaali: (X i θ) Nor(θ, σ), σ = 2

Bayeslainen normaalimallin posteriorijakauma Priorijakauma Θ Nor(µ 0, σ 0 ) Uskottavuus: (X i θ) Nor(θ, σ) Fakta Bayeslaisen normaalimallin posteriorijakauma havaitun datajoukon x = (x 1,..., x n ) suhteen on normaalijakauma Nor(µ 1, σ 1 ), missä µ 1 = 1 µ σ0 2 0 + n m(x) σ 2 1 + n, σ 1 = σ0 2 σ 2 1, 1 + n σ0 2 σ 2 ja m(x) = 1 n n i=1 x i on havaitun datajoukon keskiarvo.

Esim. Kohinainen kanava Pisteessä B vastaantotetun signaalin arvo on normaalijakautunut odotusarvona θ ja keskihajontana σ = 2. Pisteessä B arvellaan ennalta, että lähetetyn signaalin Θ arvo on normaalijakautunut odotusarvona µ 0 = 5 ja keskihajontana σ 0 = 1. Lähetetyn signaalin posteriorijakauma vastaanotettujen arvojen x = (3, 8, 7) suhteen on Nor(µ 1, σ 1 ), missä µ 1 = 1 µ σ0 2 0 + n m(x) σ 2 1 + n = σ0 2 σ 2 1 1 2 5 + 3 2 2 6 1 1 2 + 3 2 2 5.43 ja σ 1 = 1 = 1 + n σ0 2 σ 2 1 0.756 1 + 3 1 2 2 2

Kohinainen kanava: Piste- ja väliestimaatit Lähetetyn signaalin posteriorijakauma datan x = (3, 8, 7) suhteen on Nor(µ 1, σ 1 ), missä µ 1 = 5.43 ja σ 1 = 0.756. Lähetetyn signaalinarvon bayeslaisia piste-estimaatteja: Posteriorijakauman odotusarvo: µ 1 = 5.43 Suurimman posterioritodennäköisyyden estimaatti: µ 1 = 5.43 Määritä väli, joka sisältää lähetetyn signaalin todellisen arvon 90% todennäköisyydellä. Ratkaistaan c yhtälöstä ( ) Θ µ1 0.90 = P(Θ = µ 1 ±c) = P = 0 ± c/σ 1 = P( Z c/σ 1 ) σ 1 Taulukoista: P( Z 1.64) = 0.90, joten c = 1.64 0.756 = 1.24. Väli 5.43 ± 1.24 = [4.19, 6.67] siis peittää lähetetyn signaalin arvon 90% todennäköisyydellä. (Piirrä posteriorijakauman kuva ja vertaa priorijakaumaan)

Lisämateriaalia: Kolikonheiton bayeslainen malli Nämä asiat eivät kuulu tenttivaatimuksiin, mutta näihin voi silti olla kiinnostava tutustua.

Tuntematon kolikko Tuntematonta kolikkoa heitettäessä (0=klaava, 1=kruuna) on havaittu data x = (0, 0, 0, 0, 0, 0, 1, 0, 1, 0). Kolikosta ei ole mitään taustatietoja. Määritä parametrin Θ (kruunan tn) posteriorijakauma. Valitaan prioriksi jatkuvan välin [0, 1] tasajakauma tiheysfunktiona { 1, θ [0, 1], p 0 (θ) = 0, muuten. Uskottavuusfunktio f (x θ) = θ 2 (1 θ) 8 Posteriorijakauman tiheysfunktio { c θ 2 (1 θ) 8, θ [0, 1], p 1 (θ x) = c p 0 (θ)f (x θ) = 0, muuten, missä normitusvakio c = ( 1 0 t2 (1 t) 8 dt) 1

Tuntematon kolikko Data: x = (0, 0, 0, 0, 0, 0, 1, 0, 1, 0) Priori Posteriori p 0 (θ) dθ = 1 dθ p 1 (θ x)dθ = c θ 2 (1 θ) 8 dθ

Beta-jakauma Beta(a, b)-jakauman parametreina a > 0 ja b > 0 tiheysfunktio on { c θ a 1 (1 θ) b 1, kun θ [0, 1], f (θ) = 0, muuten, normitusvakiona c = (a+b 1)! (a 1)!(b 1)!. Beta(1, 1) Beta(3, 9) Beta(9, 3) Beta(9, 9) Arvojoukko = [0, 1] Odotusarvo µ = a a+b ja keskihajonta σ = Kertymäfunktiota ei tunneta suljetussa muodossa µ(1 µ) a+b+1 dbeta(theta,a,b); pbeta(theta,a,b)

Tuntematon kolikko Data: x = (0, 0, 0, 0, 0, 0, 1, 0, 1, 0) Priori: Tasajakauma Beta(1, 1) Posteriori: Beta(3, 9) Priori Posteriori p 0 (θ) dθ = 1 dθ p 1 (θ x)dθ = c θ 2 (1 θ) 8 dθ

Tuntematon kolikko: Kruunien lukumäärä Kolikkoa n kertaa heitettäessä havaittiin k kruunaa. Kolikosta ei ole taustatietoja. Määritä parametrin Θ (kruunan tn) posteriorijakauma. Priorijakauman tiheysfunktio: p 0 (θ) = 1, θ [0, 1] Uskottavuusfunktio datapisteelle x = k saadaan Bin(n, θ)-jakaumasta ( ) n f (k θ) = θ k (1 θ) n k k Posterioritiheys p 1 (θ k) = p 0 (θ)f (k θ) p0 (t)f (k t) dt = c θ k (1 θ) l on Beta(k + 1, l + 1), missä l = n k on klaavojen lkm. Huom Kun n = 10 ja k = 2, saadaan sama posteriori Beta(3, 9), mitä yksityiskohtaiselle datalle x = (0, 0, 0, 0, 0, 0, 1, 0, 1, 0). Normitusvakion c arvo määräytyy ehdosta 1 0 p 1(θ k)dθ = 1. Beta-jakauman taulukoista = c = (k+l+1)! k!l!

Tuntematon kolikko: Kruunien lukumäärä n = 10 Beta(3, 9): k = 2, l = 8 Beta(6, 6): k = 5, l = 5 n = 100 Beta(21, 81): k = 20, l = 80 Beta(51, 51): k = 50, l = 50

Loppuviikolla vertaillaan bayeslaisia väliestimaatteja frekventistisiin luottamusväleihin.