S-114.600 Bayesilaisen mallintamisen perusteet Laajuus: 2 ov Opettajat: TkT Aki Vehtari, DI Toni Tamminen Slide 1 Sisältö: Bayesilainen todennäköisyysteoria ja bayesilainen päättely. Bayesilaiset mallit ja mallien analysointi. Laskennalliset menetelmät, Markov-ketju Monte Carlo. Suorittaminen: Tentti tai oppimispäiväkirja, ja harjoitustyö Kirjallisuus: Gelman, Carlin, Stern & Rubin: Bayesian Data Analysis, Second Edition Aikataulu: Luennot maanantaisin klo 12-14 sali E111 (Alkaen 15.9.2002). Mikroharjoitukset tiistaisin klo. 14-16, mikroluokka F402 (Alkaen 16.9.2002). URL: http://www.lce.hut.fi/teaching/s-114.600/ Bayesilaisen mallintamisen perusteet Johdanto Yksiparametrisia malleja Moniparametrisia malleja Slide 2 Päättely suurten otosten tapauksessa ja bayesilaisen päättelyn frekvenssiominaisuudet Hierarkiset mallit Laskennallisia menetelmiä, Markov-ketju Monte Carlo Päätösanalyysi Mallien tarkistus, vertailu ja parannus Datankeruuprosessin mallintaminen Yhteenveto ja katsaus lisäaiheisiin
Suorittaminen Harjoitusraportti ja tentti tai Harjoitusraportti ja oppimispäiväkirja Slide 3 Kurssin arvosana määräytyy kahdesta osasuorituksesta seuraavasti arvosana = 0.5 * harjoitusraportti + 0.5 * tentti tai arvosana = 0.5 * harjoitusraportti + 0.5 * oppimispäiväkirja Harjoitusraportti palautetaan osasta (11 tehtävää) viikottaisista mikroluokkaharjoitustehtävistä Tentti on perinteisen mukainen kurssin aihealueesta Tentin voi korvata oppimispäiväkirjalla Mikroluokkaharjoitukset Läpikäytävät tehtävät listattu kurssin www-sivulla Alkupäässä joitakin laskutehtäviä, loput simulaatioita Assistentti auttaa tehtävien tekemisessä Slide 4 Tähdellä merkatuista palautetaan raportti - 1 piste per tulokset - 1 piste per analyysi Parityöskentely suositeltavaa
Oppimispäiväkirja Lyhyt essee ja vastaus kotitehtävään joka viikko liittyen viikon luennon ja harjoituksen aiheeseen Opiskelija oppii miettimällä oppimaansa ja kirjoittamalla siitä Toimii myös palautekanavana Slide 5 Katsokaa lisää TKK:n Opetuksen ja opiskelun tuen www-sivulta (linkki kurssin sivulta) Jokaisesta esseestä 1 piste ja jokaisesta kotitehtävästä 1 piste Joitakin Bayes-menetelmien sovellusalueita Slide 6 Arkeologia Astronomia Biotieteet Ekonomia Epidemiologia Fysiikka Genetiikka Kognitiotiede Kuvankäsittely Lakitiede Luotettavuusanalyysi Lääketiede Metereologia Prosessimallinnus Päätösanalyysi Signaalinkäsittely Sosiaalitieteet Tiedon louhinta
Bayesilaisen mallintamisen perusteet Bayesilaiseen todennäköisyysteoriaan perustuva - epävarmuus esitetään todennäköisyyksillä - todennäköisyyksien päivittäminen uuden tiedon avulla - Laskutoimitukseksi pelkistettyä tervettä järkeä, Laplace 1819 Thomas Bayes (1702 1761) Slide 7 - englantilainen antikonformisti, presbyteeri reviisori, harrastelijamatemaatikko - Richard Price julkaisi Bayesin artikkelin ehdollisista todennäköisyyksistä Bayesin kuoleman jälkeen 1763 - käsitteli seuraavaa probleemaa: Jos X Bin(n,θ), niin mikä on p(a <θ<b X = x)? Bayesilainen-termi käyttöön 1900-luvun puolivälissä Todennäköisyys epävarmuuden mittana E tapahtuma, H taustatieto (joskus hypoteesi) p(e H) E:n todennäköisyys ehdolla H Mittaa epävarmuutta tiedon H valossa: - p(e H) = 1 jos olet varma, että E tapahtuu Slide 8 - p(e H) = 0 jos olet varma, että E ei tapahdu - p(e H) = 0.4: E:hen liittyy epävarmuutta (mutta ei välttämättä satunnaisuutta) - jos E:n epävarmuus on pienempi kuin F:n, niin p(e H) >p(f H) Kahdella tarkastelijalla voi olla eri käsitys epävarmuudesta ( eri H ) Todennäköisyys muuttuu, kun informaatio muuttuu Bayes-teoria perustuu subjektiivisiin todennäköisyyksiin
Subjektiivisuus vs. objektiivisuus Subjektiivisuus - (In Bayesian theory)...any probability assignment is necessarily "subjective" in the sense that it describes only a state of knowledge... - "Kenen tietämyksen tila?" - "Kenen tahansa joka saa saman informaation ja päättelee vaatimusten mukaan." Slide 9 Objektiivisuus - Inter-subjektiivisuus Miksi todennäköisyys on järkevä tapa määrittää epävarmuutta Analogiat Axiomatiiviset ja normatiiviset perustelut Vedonlyöntiargumentti Pragmaattisuus Slide 10
Mistä saadaan p(e H)? Suoraan - symmetria tai vaihtokelpoisuus - frekvenssit Slide 11 Mallin avulla - kiinnitetään rakenteellisia asioita joita tiedetään ja epävarmoja asioita varten käytetään parametreja - päivitetään epävarmoja uudella informaatiolla - uutta informaatioita kutsutaan usein dataksi Bayesilaisen mallintamisen perusteet Malli - Pyrkii ennustamaan ilmiön käyttäytymistä - Usein yksinkertaistaa todellisuutta - Voidaan käyttää ennustamaan tulevaisuutta - Voidaan käyttä lisämään tieteellistä ymmärrystä ilmiöstä Slide 12
Malli Mallin parametrien ja datan yhteistodennäköisyys annettuna malli p(θ, y M) Usein kiinnostuksen kohteena päivittää prioritietämys p(θ M) posterioritietämyksesi p(θ y, M) Slide 13 Bayesin kaava p(θ y, M) = p(θ, y M) p(y M) = p(y θ, M)p(θ M) p(y M) Bayesin kaava p(θ M) = prior p(θ y, M) = p(y θ, M)p(θ M) p(y M) p(y θ, M) = likelihood Slide 14 p(y M) = p(y θ, M)p(θ M)dθ = normalization, evidence p(θ y, M) = posterior
Mistä saadaan M, p(θ M), ja p(y θ, M)? Erittäin hyvä kysymys! Sama ongelma myös ei-bayesilaisissa lähestymistavoissa! Slide 15 Esimerkki: Hemofilia Perinnöllinen tauti, X-kromsomiin kytkeytyvä, väistyvä Naisen veli sairastaa hemofiliaa, äiti ja isä terveitä Nainen on kantaja (θ = 1) tai ei (θ = 0) p(θ = 1 M) = p(θ = 0 M) = 1 2 Slide 16 Naisella on 2 tervettä poikaa p(y 1 = 0, y 2 = 0 θ = 1, M) = (0.5)(0.5) = 0.25 p(y 1 = 0, y 2 = 0 θ = 0, M) = (1)(1) = 1 Posteriori p(y θ = 1)p(θ = 1) p(θ = 1 y, M) = p(y θ = 1)p(θ = 1) + p(y θ = 0)p(θ = 0) (0.25)(0.5) p(θ = 1 y, M) = (0.25)(0.5) + (1.0)(0.5) = 0.125 0.625 = 0.2
Ennustaminen Esim, y = (y 1,...,y n ) ovat mittauksia jostakin asiasta ỹ on uusi ei vielä tehty mittaus samasta asiasta Slide 17 ỹ:n ennuste p(ỹ y, M) = = p(ỹ θ, y, M)p(θ y, M)dθ p(ỹ θ, M) p(θ y, M)dθ Esimerkki: Hemofilia Kolmas poika? p(y 3 = 0 y 1, y 2, M) Ennuste p(y 3 = 0 y 1, y 2, M) = p(y 3 = 0 θ, M)p(θ y 1, y 2, M)dθ Slide 18 p(y 3 = 0 y 1, y 2, M) = p(y 3 = 0 θ = 1, M)p(θ = 1 y 1, y 2, M) +p(y 3 = 0 θ = 0, M)p(θ = 0 y 1, y 2, M) p(y 3 = 0 y 1, y 2, M) = (0.5)(0.2) + (1)(0.8) = 0.9
Esimerkki: Hemofilia Kolmas poika syntyy ja on terve Slide 19 Käytetään ketjusääntöä p(θ = 1 y 1, y 2, y 3 ) = p(y 3 θ = 1, M)p(θ = 1 y 1, y 2, M) θ=1,2 p(y 3 θ, M)p(θ y 1, y 2, M) (0.5)(0.2) = (0.5)(0.2) + (1)(0.8) = 0.111 Integrointi Bayes-menetelmissä Normalisointitermi p(y M) = p(y θ, M) p(θ M)dθ Slide 20 Ennustaminen p(ỹ y, M) = p(ỹ θ, M) p(θ y, M)dθ
Integrointi Bayes-menetelmissä Integroinnin korvaaminen optimoinilla: MAP - toimii helpoissa tapauksissa Analyyttinen integrointi - toimii yksinkertaisilla malleilla Slide 21 Analyytiset approksimaatiot - toimii yksinkertaisilla malleilla tai vaatii paljon vaivaa Numeerinen integrointi - tarvitaan laskentatehoa Numeerinen Integrointi Slide 22 Monte Carlo (MC) - integraali approksimoidaan posteriorijakaumsta vedettyjen näytteiden (A (t) ) avulla E(A) 1 N N t=1 A (t) - vaikea saada riippumattomia näytteitä tehokkaasti Markov Chain Monte Carlo (MCMC) - käytettään apuna Markov-ketjuja - riippuvia näytteitä (ei haittaa) - yleistynyt 1990-luvulla huomattavasti
Bayes-menetelmien suosion kasvu 1990-luvulle asti käytettiin analyyttisiä menetelmiä mallit välttämättä yksinkertaisempia Konetehon jatkuva kasvu ja numeeristen integrointimentelmien kehitys suosio jyrkkään kasvuun 1990-luvulla Slide 23 mahdollisuus käyttää monipuolisempia paremmin todellisuutta kuvaavia malleja käyttöön lukuisilla vaikeilla sovellusalueilla Joitakin LCE:n projekteja, joissa käytetty Bayes-menetelmiä Betonin laadun mallintaminen ja ennustaminen Ihmisen aivotoiminnan kuvantaminen MEG:llä Teollisuusputken sisällön kuvantaminen impedanssitomografialla Puiden tilavuuden arviointi kuvasta Slide 24 Viemäriputkien kunnonvalvonta Robotin näköjärjestelmä
Esimerkki: Betonin laadun ennustaminen Reseptin ja kiviaineksen vaikutus betonin laatuun - paljonko vettä, sementtiä, kiviainesta ja lisäaineita - kiviaineksen fysikaaliset ja kemialliset ominaisuudet Slide 25 Esimerkki: Betonin laadun ennustaminen Bayesilaisen mallin ja siihen pohjautuvien TkT Hanna Järvenpään tekemien johtopäätösten avulla on mahdollista - vähentää raaka-ainekustannuksia 5-15% - vähentää luonnon soran osuus betonin kiviaineksista 5-20%:iin verrattuna nykyiseen 60-100%:iin Slide 26