S-114.2601 Bayesilaisen mallintamisen perusteet Laajuus: 5 op, L Opettajat: Dos. TkT Aki Vehtari, DI Jarno Vanhatalo Slide 1 Sisältö: Bayesilainen todennäköisyysteoria ja bayesilainen päättely. Bayesilaiset mallit ja mallien analysointi. Laskennalliset menetelmät, Markov-ketju Monte Carlo. Suorittaminen: Tentti ja harjoitustyö Kirjallisuus: Gelman, Carlin, Stern & Rubin: Bayesian Data Analysis, Second Edition. Aikataulu: Luennot maanantaisin klo 12-14 sali E111 Mikroharjoitukset keskiviikkoisin klo. 12-14, mikroluokka Maari-B (Alkaen 12.9.). URL: http://www.lce.hut.fi/teaching/s-114.2601/ Bayesilaisen mallintamisen perusteet kurssin sisältö Johdanto Yksiparametrisia malleja Moniparametrisia malleja Slide 2 Päättely suurten otosten tapauksessa ja bayesilaisen päättelyn frekvenssiominaisuudet Hierarkkiset mallit Laskennallisia menetelmiä, Markov-ketju Monte Carlo Päätösanalyysi Mallien tarkistus, vertailu ja parannus Yhteenveto ja katsaus lisäaiheisiin
Suorittaminen Harjoitusraportti ja tentti Arvosana lasketaan tentin ja raportin pisteiden keskiarvosta - kummastakin osasuorituksesta max 90 pistettä - alustava pistetaulukko 45-53=1, 54-62=2, 63-71=3, 72-80=4, 81-90=5 Slide 3 Harjoitusraportti palautetaan osasta (14 tehtävää, joista yksi tuplatehtävä) viikottaisista mikroluokkaharjoitustehtävistä Tenttiin voi saada 6 lisäpistettä palauttamalla 3 laskutehtävää Mikroluokkaharjoitukset Läpikäytävät tehtävät listattu kurssin www-sivulla - raportoitavista koko ohjeet - muihin vinkkejä Alkupäässä joitakin laskutehtäviä, loput simulaatioita Assistentti auttaa tehtävien tekemisessä Slide 4 * merkityistä (14 kpl) palautetaan raportti - parityöskentely erittäin suositeltavaa + merkityt itseopiskeluun, osa muistuttaa tenttitehtäviä ++ merkityistä voi saada 3x2 lisäpistettä tenttiin
Harjoitusraportti */** merkityistä palautetaan raportti - 0-5 pistettä per tulokset - 0-1 pistettä per pohdinta - **-merkityistä tuplapisteet - maksimipisteet 15*6=90 Slide 5 - välipalautus Luennot ja kirja Melkein kaikki tentissä kysyttävä löytyy kirjasta - lisäksi pieni lisämateriaali täydentämään kirjaa liittyen Monte Carlo-menetelmiin ja mallien arviointiin (kurssin www-sivulla) - kirja erittäin suositeltava, toimii myös referenssikirjana myöhemmin Luennot helpottavat kirjallisen materiaalin lukemista Slide 6 - jos luennolla käydään extramateriaalia, mainitaan siitä erikseen (kalvoissa merkattu *:llä) - extramateriaalin tarkoitus on auttaa hahmottamaan kokonaisuuksia paremmin Luentokalvot päivittyvät verkkoon ennen luentoa (viimeistään samana aamuna)
Tiedotus http://www.lce.hut.fi/teaching/s-114.2601/ s-114.2601 at lists lce hut fi - Topin kautta ilmoittautuneet lisätään listalle tänään - voit itse lisätä tai poistaa itsesi - erikseen englanninkielinen lista (s-114.2601-en) Slide 7 Luento 1 Joitakin sovellusalueita Bayesilainen-termin historiasta Todennäköisyys epävarmuuden mittana Epävarmuuksien yhdistäminen todennäköisyyslaskennalla Slide 8 Bayesin kaava Bayesilainen malli Integroinnin merkityksestä
Joitakin Bayes-menetelmien sovellusalueita Slide 9 Arkeologia Astronomia Biotieteet Ekonomia Epidemiologia Fysiikka Genetiikka Kognitiotiede Kuvankäsittely Lakitiede Luotettavuusanalyysi Lääketiede Metereologia Prosessimallinnus Päätösanalyysi Signaalinkäsittely Sosiaalitieteet Tiedon louhinta Mikä tahansa todelliseen maailmaan liittyvä sovellusalue, jossa havaintojen perusteella halutaan päätellä jotakin Joitakin LCE:n projekteja, joissa käytetty Bayes-menetelmiä Betonin laadun mallintaminen ja ennustaminen Ihmisen aivotoiminnan kuvantaminen MEG:llä Teollisuusputken sisällön kuvantaminen impedanssitomografialla Kaupan alueellisen kulutuskysynnän mallintaminen Slide 10 Puiden tilavuuden arviointi kuvasta Robotin näköjärjestelmä Spatiaalinen epidemiologia Terveydenhuollon prosessit Teräksen valuprosessi Biospektroskopia
Bayesilaisen mallintamisen perusteet Bayesilaiseen todennäköisyysteoriaan perustuva - epävarmuus esitetään todennäköisyyksillä - todennäköisyyksien päivittäminen uuden tiedon avulla - Laskutoimitukseksi pelkistettyä tervettä järkeä, Laplace 1819 Thomas Bayes (170? 1761) Slide 11 - englantilainen antikonformisti, presbyteeri reviisori, harrastelijamatemaatikko - Richard Price julkaisi Bayesin artikkelin ehdollisista todennäköisyyksistä Bayesin kuoleman jälkeen 1763 - käsitteli käänteisen todennäköisyyden ongelmaa oleellinen osa bayesilaista teoriaa palataan tähän kohta Moderni bayesilainen teoria perusteellisine todistuksineen kehittyi 1900-luvulla Bayesilainen-termi käyttöön 1900-luvun puolivälissä Aiemmin oli vain "probability theory" - todennäköisyyden käsite ei ollut vielä tiukasti määritelty vaikkakin vastasi nykyistä bayesilaista tulkintaa - 1800-luvun lopulla ja lisääntyivät vaatimukset todennäköisyyskäsitteen tiukalle määrittelylle (matemaattinen ja tieteenfilosofinen ongelma) Slide 12 1900-luvun alkupuoliskolla yleistyi frekventistinen näkökulma - hyväksyy todennäköisyyksien määrittelyn vain frekvenssien kautta - ei hyväksy käänteistä todennäköisyyttä tai priorin käyttöä - yleistyi näennäisen objektiivisuutensa ja keittokirjamaisten kirjojen ansiosta Frekventistiläinen R. A. Fisher käytti 1950 ensimmäistä kertaa termiä bayesilainen korostaessaan eroa aiempaan todennäköisyysteoriaan - termi yleistyi nopeasti, koska vaihtoehtoiset kuvaukset ovat pidempiä - bayesilaiset ottivat tämän jälkeen käyttöön termin frekventistiläinen
Bayesilaisten menetelmien suosio kasvaa kovaa vauhtia Todennäköisyyksille modernin Bayes-teorian mukainen aksiomaattinen perusta 1900-luvulla - filosofinen kiista frekventistien kanssa jatkui Laskentatehon kasvaessa bayesilaisen lähestymistavan vahvuus kompleksisten ongelmien mallintamisessa johtanut suosion valtavaan kasvuun Slide 13 - suurin osa käyttäjistä pragmaattisia, eli käyttävät koska menetelmät toimivat Huom. bayesilainen teoria ei sulje pois frekvenssejä ja frekvenssiominaisuudet tärkeitä (tästä lisää myöhemmin) Joillakin aloilla säilynyt yksinkertaisesti probability theory termi, koska se on ollut ainoa järkevä todennäköisyyspohjainen vaihtoehto Bayesilaisen mallintamisen perusteet Epävarmuus kuvataan todennäköisyyksillä Epävarmuudet yhdistetään todennäköisyyslaskennan säännöillä - käänteinen todennäköisyys Slide 14
Todennäköisyys epävarmuuden mittana A tapahtuma, I taustatieto p(a I) A:n todennäköisyys ehdolla I Mittaa epävarmuutta tiedon I valossa: - p(a I) = 1 jos olet varma, että A tapahtuu - p(a I) = 0 jos olet varma, että A ei tapahdu Slide 15 - p(a I) = 0.4: A:han liittyy epävarmuutta (mutta ei välttämättä satunnaisuutta) - jos A:n tapahtumisen varmuus on suurempi kuin B:n, niin p(a I) > p(b I) Aleatorinen vs. episteeminen epävarmuus Epävarmuus voidaan jakaa Aleatoriseen (satunnaiseen) epävarmuuteen, joka johtuu satunnaisuudesta - emme voi saada havaintoja, jotka auttaisivat sen epävarmuuden pienentämisessä Episteemiseen (tietämykselliseen) epävarmuuteen, joka johtuu tiedon puutteesta Slide 16 - voimme saada havaintoja jotka auttavat sen epävarmuuden pienentämisessä Vertaa kolikko - kahdella tarkastelijalla voi olla eri episteeminen epävarmuus - episteeminen todennäköisyys muuttuu, kun informaatio muuttuu
Esimerkki: Kahdenvärisiä nappuloita pussissa Jos eriväristen nappuloiden määrän suhde tunnettu - aleatorista epävarmuutta seuraavaksi ilmestyvän nappulan väristä Jos eriväristen nappuloiden määrän suhde tuntematon - lisäksi episteemistä epävarmuutta - episteeminen epävarmuus muuttuu kun nappuloita nostetaan Slide 17 Jos yksittäin noston sijasta aikoisimme kumota koko pussin ja laskea värien määrän suhteen - ei aleatorista epävarmuutta - vain episteeminen epävarmuus pussin sisällöstä Epävarmuuksien yhdistäminen? Merkitään - y havaitut nappulat - θ nappuloiden suhde - I taustatieto ongelmasta Aleatorinen epävarmuus, jos nappuloiden suhde θ tunnettu Slide 18 p(y θ, I) Episteeminen epävarmuus ennen havaintoja p(θ I) Kuinka päivittää episteeminen epävarmuus kun nappuloita havaittu? p(θ y, I)? - θ tuntematon, eli halutaan tietää käänteinen todennäköisyys
Aksiomaattiset perustelut todennäköisyydelle* Todennäköisyyksien käyttö epävarmuuden esittämiseen ja todennäköisyyskalkyyli voidaan perustella aksiomaattisesti - useita variaatioita, joissa samat perusideat, mutta hieman esitystavassa eroa Slide 19 - kaksi peruslinjaa todennäköisyys ja hyöty erikseen (esim. Cox, DeGroot,...) todennäköisyys ja hyöty erottamattomia (esim. de Finetti, Savage, Bernardo & Smith,...) Eräs aksiomaattinen formulointi (sanallisesti)* (A1) Kaikkia tapahtumia voidaan vertailla (A2) Vertailut ovat transitiivisia ja mielivaltaisen tarkkoja vertailuja voidaan tehdä (A3) Mikään tapahtuma ei ole epätodennäköisempi kuin varmasti epätosi ja varmasti epätosi on epätodennäköisempi kuin varmasti tosi Slide 20 (A4) Numeroituva additiivisuus alenevalle joukolle tapahtumia (A5) Kvantifiointi mittatikulla (esim. idealisoitu ruletti) - uniikit kvantitatiiviset todennäköisyysarvot
Aksiomaattinen formulointi* Aksioomista saadaan todennäköisyyskalkyyli, ja muuta ei tarvitakaan (P1) p(tapahtuma) 0 ja p(varmastitosi) = 1. (P2) Summasääntö jos A ja B eksklusiiviset, niin p(a, B) = p(a) + p(b) Slide 21 (P3) Summasääntö äärettömille sarjoille (P4) Bayesin kaava p(a B) = p(a, B)/p(B) - tulosääntö johdettavissa tästä p(a, B) = p(b A)p(A) Jos epävarmuudet yhdistetään jotenkin muuten, rikkoo silloin kyseinen tapa jotakin edellämainituista aksioomista Bayesin kaava Voidaan siis valita p(y θ, I) sekä p(θ I) ja laskea Bayesin kaavalla p(θ y, I) = p(y θ, I)p(θ I) p(y I) Kaavan osien nimet Slide 22 - p(θ y, I) = posteriori (posterior) - p(y θ, I) = malli / uskottavuus (likelihood) - p(θ I) = priori (prior) - p(y I) = normalisointitermi
Bayesilaisen mallin osat Malli p(y θ, I) - matemaattinen kuvaus havaintomallille / datan generoivalle prosessille / aleatorinen osa - jos ilmiö tunnettu θ, I millä todennäköisyydellä havaittaisiin / generoituisi y tietyllä arvolla Slide 23 Uskottavuus (likelihood) p(y θ, I) - kun y fiksattu p(y θ, I) kutsutaan myös uskottavuusfunktioksi (likelihood function) θ:n suhteen - usein uskottavuustermiä käytetetty myös tilanteessa, missä pitäisi käyttää termiä malli Bayesilaisen mallin osat Priori p(θ I) - matemaattinen kuvaus mitä tiedetään θ:sta - episteeminen epävarmuus ennen havaintoja - malli (uskottavuus) ja priori erottamattomat (kytketty mallin kautta) + jos ilmiö tunnettu, ei episteemistä epävarmuutta Slide 24 + jos ei havaintoja, ei episteeminen epävarmuus muutu
Bayesin kaava Posteriorijakauma esittää päivitetyn episteemisen epävarmuuden kun informaatio havainnoista ja priorista yhdistetään Slide 25 p(y θ, I)p(θ I) p(θ y, I) = p(y I) p(y θ, I)p(θ I) = p(y θ, I)p(θ I)dθ p(y θ, I)p(θ I) Normalisointitermi normalisoi posteriorin kokonaistodennäköisyyden olemaan 1 Mistä saadaan I, p(θ I), ja p(y θ, I)? Erittäin hyvä kysymys! Sama ongelma ei-bayesilaisissa lähestymistavoissa! - malli on kuitenkin valittava - prioria p(θ I) vastaava termi, esim. regularisointitermi, usein myös mukana - priorin poisjättäminen vastaa uniformiprioria θ:lle Slide 26
Subjektiivisuus Aletorinen epävarmuus näennäisen objektiivinen - aletorista epävarmuutta kuvaavan mallin valinta subjektiivista Episteeminen epävarmuus selkeästi subjektiivista - ehdolla tarkastelijan tietämys - kahdella tarkastelijalla voi olla eri käsitys epävarmuudesta ( eri I ) Slide 27 Tieteellinen objektivisuus saavutetaan inter-subjektiivisuudella - jos tieteentekijät samaa mieltä oletuksista ( sama I ) Bayesilaisen mallintamisen perusteet Malli - pyrkii ennustamaan ilmiön käyttäytymistä - usein yksinkertaistaa todellisuutta - voidaan käyttää ennustamaan tulevaisuutta - voidaan käyttä lisämään tieteellistä ymmärrystä ilmiöstä Slide 28 Yksinkertaistaa koska - ilmiöstä saadut havainnot rajoitettuja - joidenkin havaittavien suureiden vaikutus voi olla paljon suurempi kuin toisten - yksinkertainenkin malli voi tuottaa hyödyllisiä ennusteita
Esimerkki Pudotetaan palloa eri korkeuksilta ja mitataan putoamisaika sekunttikellolla käsivaralla - Newtonin mekaniikka - ilmanvastus, ilmanpaine, pallon muoto, pallon pintarakenne - ilmavirtaukset Slide 29 - suhteellisuusteoria Ottaen huomioon mittaukset, kuinka tarkka malli kannattaa tehdä? On olemassa hyvin paljon tilanteita, joissa yksinkertaiset mallit hyödyllisiä ja käytännön kannalta yhtä tarkkoja kuin monimutkaisemmat! "Kaikki mallit ovat vääriä, mutta jotkut niistä ovat hyödyllisiä", George P. Box Laskuesimerkki: Hemofilia Perinnöllinen tauti, X-kromosomiin kytkeytyvä, väistyvä Naisen veli sairastaa hemofiliaa, äiti ja isä terveitä Slide 30
Laskuesimerkki: Hemofilia Perinnöllinen tauti, X-kromosomiin kytkeytyvä, väistyvä Naisen veli sairastaa hemofiliaa, äiti ja isä terveitä Slide 31 Taustatietojen perusteella muodostetaan malli M - malli on yksinkertaistettu todellisuudesta, koska ei huomioi kaksosia ei huomioi mutaation mahdollisuutta oltetaan, että geenin olemassaolo ei vaikuta lapsen syntymätodennäköisyyteen jne. Esimerkki: Hemofilia Perinnöllinen tauti, X-kromosomiin kytkeytyvä, väistyvä Naisen veli sairastaa hemofiliaa, äiti ja isä terveitä Nainen on kantaja (θ = 1) tai ei (θ = 0) p(θ = 1 M) = p(θ = 0 M) = 1 2 Slide 32 Naisella on 2 tervettä poikaa p(y 1 = 0, y 2 = 0 θ = 1, M) = (0.5)(0.5) = 0.25 p(y 1 = 0, y 2 = 0 θ = 0, M) = (1)(1) = 1 Posteriori p(y θ = 1)p(θ = 1) p(θ = 1 y, M) = p(y θ = 1)p(θ = 1) + p(y θ = 0)p(θ = 0) (0.25)(0.5) p(θ = 1 y, M) = (0.25)(0.5) + (1.0)(0.5) = 0.125 0.625 = 0.2
Ennustaminen Esim, y = (y 1,..., y n ) ovat mittauksia jostakin asiasta ỹ on uusi ei vielä tehty mittaus samasta asiasta - ỹ on tuntematon johon liittyy epävarmuutta Slide 33 ỹ:n ennuste p(ỹ y, M) = p(ỹ θ, y, M)p(θ y, M) θ=0,1 = p(ỹ θ, M)p(θ y, M) θ=0,1 Ennusteen epävarmuus sisältää sekä aleatorista että episteemistä epävarmuutta Esimerkki: Hemofilia Kolmas poika? p(y 3 = 0 y 1, y 2, M) Slide 34 Ennuste p(y 3 = 0 y 1, y 2, M) = p(y 3 = 0 θ, M)p(θ y 1, y 2, M) θ=0,1 p(y 3 = 0 y 1, y 2, M) = p(y 3 = 0 θ = 1, M)p(θ = 1 y 1, y 2, M) + p(y 3 = 0 θ = 0, M)p(θ = 0 y 1, y 2, M) p(y 3 = 0 y 1, y 2, M) = (0.5)(0.2) + (1)(0.8) = 0.9
Esimerkki: Hemofilia Kolmas poika syntyy ja on terve - uutta havaintoa voidaan käyttää päivittämään äidin tilan todennäköisyys Ketjusääntö - edellinen posteriori on nyt uusi priori Slide 35 p(θ = 1 y 1, y 2, y 3 ) = p(y 3 θ = 1, M)p(θ = 1 y 1, y 2, M) θ=0,1 p(y 3 θ, M)p(θ y 1, y 2, M) (0.5)(0.2) = (0.5)(0.2) + (1)(0.8) = 0.111 Integrointi Bayes-menetelmissä Summa yleistyy integroinniksi jatkuville muuttujille - usein notaation yksinkertaistamiseksi integrointimerkkiä käytetään myös diskreeteille muuttujille Slide 36 Normalisointitermi Ennustaminen p(y M) = p(ỹ y, M) = p(y θ, M) p(θ M)dθ p(ỹ θ, M)p(θ y, M)dθ Marginalisointi p(y θ 1, M) = p(y θ 1, θ 2, M)p(θ 2 M)dθ 2
Integrointi Bayes-menetelmissä Integroinnin korvaaminen optimoinilla: posteriorin maksimi (MAP) - toimii helpoissa tapauksissa Analyyttinen integrointi - toimii yksinkertaisilla malleilla Slide 37 Analyytiset approksimaatiot - toimii yksinkertaisilla malleilla tai vaatii paljon vaivaa Numeerinen integrointi - tarvitaan laskentatehoa Numeerinen Integrointi Slide 38 Monte Carlo (MC) - integraali approksimoidaan posteriorijakaumsta vedettyjen näytteiden (A (t) ) avulla E(A) 1 N N t=1 A (t) - vaikea saada riippumattomia näytteitä tehokkaasti Markov Chain Monte Carlo (MCMC) - käytetään apuna Markov-ketjuja - riippuvia näytteitä (vaikeuttaa tarkkusarvioita) - yleistyi 1990-luvulla huomattavasti
Bayes-menetelmien suosion kasvu 1990-luvulle asti käytettiin analyyttisiä menetelmiä mallit välttämättä yksinkertaisempia Konetehon jatkuva kasvu ja numeeristen integrointimentelmien kehitys suosio jyrkkään kasvuun 1990-luvulla Slide 39 mahdollisuus käyttää monipuolisempia paremmin todellisuutta kuvaavia malleja käyttöön lukuisilla vaikeilla sovellusalueilla Bayesilaisen mallintamisen vaiheet Oletusten perusteella muodostetaan malli - malli/uskottavuustermi - rakenteellinen priori Täydennetään taustaoletuksilla - priori parametreille Slide 40 Lasketaan Bayesin kaavaa ja marginalisointia hyväksi käyttäen jakaumat halutuille tuntemattomille - esim. ennuste tulevalle havainnolle
Esimerkki: Saturnuksen massa Malli ja havainnot - θ = Saturnuksen massa (tuntematon) - D = observatorioiden mittaamaat häiriöt Jupiterin ja Saturnuksen radoissa (havainnot) - M = Newtonilainen mekaniikka (mallioletukset) Slide 41 - p(d θ, M) = jos Saturnuksen massa olisi θ, niin kuinka todennäköistä olisi havaita mittaukset D - p(θ M) = järkevä rajoitus massalle; ei niin pieni että Saturnus menettäisi renkaansa, ei niin suuri että koko aurinkokunta järkkyisi (priori) Laplace laski ja totesi...veikkaus 11000:1, että tämän tuloksen virhe ei ole 1% arvostaan - nykyestimaatista Laplacen tulos poikkesi 0.63% Huomatkaa, että Laplace laski jakauman Saturnuksen massan epävarmuudelle, jolloin pystyi esittämään myös arvion estimaatin tarkkudesta Esimerkki: Betonin laadun ennustaminen Reseptin ja kiviaineksen vaikutus betonin laatuun - paljonko vettä, sementtiä, kiviainesta ja lisäaineita - kiviaineksen fysikaaliset ja kemialliset ominaisuudet Slide 42
Esimerkki: Betonin laadun ennustaminen Mallina gaussinen prosessi - epälineaarinen regressiomalli - samankaltaiset lähtötiedot tuottavat samankaltaista laatua - samankaltaisuus kuvataan kovarianssifunktiolla, jonka parametrit tuntemattomia Slide 43 Mallin ja siihen pohjautuvien TkT Hanna Järvenpään tekemien johtopäätösten avulla oli mahdollista - vähentää raaka-ainekustannuksia 5-15% - vähentää luonnon soran osuus betonin kiviaineksista 5-20%:iin verrattuna aiempaan 60-100%:iin Yhteenveto Bayesilaisen mallintamisen taustaa Todennäköisyys epävarmuuden mittana Epävarmuuksien yhdistäminen todennäköisyyslaskennalla Bayesin kaava Slide 44 Bayesilainen malli