Bayesilainen päätöksenteko / Bayesian decision theory

Transkriptio

1 Bayesilainen päätöksenteko / Bayesian decision theory Todennäköisyysteoria voidaan perustella ilman päätösteoriaa, mutta vasta päätösteorian avulla siitä on oikeasti hyötyä Todennäköisyyteoriassa tavoitteena on päättely Päätösteoriassa tavoitteena on päätös

2 Bayesilaisen päätöksenteon oleelliset osat Rationaalinen päätös Todennäköisyys Toimenpiteiden (action) mahdolliset seuraamukset Seuraamusten hyöty tai kustannus

3 Rationaalinen päätöksenteko Rationaalinen päätös maksimoi odotetun hyödyn tai minimoi odotetun kustannuksen Toimenpiteen a odotettu kustannus c voidaan laskea seuraavasti c(a x (n+1), D, M) = L(a, y)p(y x (n+1), D, M)dy, missä L(a, y) on kustannus toimenpiteelle a jos tapahtuma on todellisuudessa y, jap(y x (n+1), D, M) on ennustetun tapahtuman posterioriprediktiivinen jakauma Toimenpiteistä valitaan se joka minimoi odotetun kustannuksen a = argmax a c(a x (n+1), D, M).

4 Esimerkki bayesilaisesta päätöksenteosta Oletetaan että metsässä on havaittu suuri käpälän jälki, joka näyttää koiran tai suden jäljeltä Jäljen pituus on 14 cm ja sen perusteella yritetään päätellä onko otus susi vai koira 0.4 Todennäköisyys p(x C) C= Susi C= Iso koira Jäljen pituus x (cm)

5 Esimerkki bayesilaisesta päätöksenteosta Oletetaan lisäksi, että irrallaan juoksevia koiria on sata kertaa enemmän kuin susia, tällöin siis a priori todennäköisyys sudelle, kun mitään piirteitä ei ole havaittu, on n. 1%. Eri luokkien uskottavuudet ja posteriori-todennäköisyydet Luokitus Uskottavuus Posteriori-todennäköisyys Susi Koira

6 Esimerkki bayesilaisesta päätöksenteosta Tässä esimerkissä voitaisiin haluta päättää, kannattaako lähteä lähimetsään sieniä poimimaan Oikealle luokitukselle voitaisiin asettaa nollariski Jos otus on koira ja pysytään kotona, seuraa pieni tappio, kun sieniretki jää aiheettomasti tekemättä Jos taas otus on susi, mutta sitä luullaan koiraksi ja lähdetään sienimetsään, on tappio paljon suurempi, koska susi voi syödä sienestäjän suihinsa. Otuksen luokka Toiminta Susi Koira Toiminta Ehdollinen riski Pysytään kotona 1 1 Lähdetään metsään Tappiomatriisi Pysytään kotona 1 Lähdetään metsään 100 Eri toimintojen ehdolliset riskit

7 Esimerkki bayesilaisesta päätöksenteosta Sudesta jää havaitun kokoinen jälki paljon todennäköisemmin kuin koirasta, joten suurimman uskottavuuden luokitus on susi. Havaitun kokoinen jälki on paljon todennäköisemmin jäänyt koirasta, koska koirat ovat niin paljon yleisempiä, ja suurimman todennäköisyyden luokitus on koira. Minimiriskipäätös on pysyä kotona, vaikka otus on todennäköisemmin koira. Lähtöoletusten mukaan suden tapaaminen metsässä aiheuttaa suuren odotetun tappion, ja se huomioon ottaen otukseen kannattaa suhtautua kuin se olisi susi, jotta kokonaisriski minimoituu.

8 1) Varmasti 1 tai todennäköisyydellä p ja 1 p 1 0 2) Varmasti 1 tai p 2 10 Varmasti 10 tai p Varmasti 100 tai p Varmasti 1000 tai p

9 Jos seuraavat vaihtoehdot samanarvoiset henkilölle Varmasti 10 tai todennäköisyydellä 55% 20 ja 45% 0 Varmasti 20 tai todennäköisyydellä 55% 30 ja 45% 10 Varmasti x tai todennäköisyydellä 55% (x+10) ja 45% (x-10), x=30,40,50,... niin mikä on y Varmasti y tai todennäköisyydellä 50% 1 miljardi ja 50% 0

10 Jos seuraavat vaihtoehdot samanarvoiset henkilölle Varmasti 10 tai todennäköisyydellä 55% 20 ja 45% 0 Varmasti 20 tai todennäköisyydellä 55% 30 ja 45% 10 Varmasti x tai todennäköisyydellä 55% (x+10) ja 45% (x-10), x=30,40,50,... niin mikä on y Varmasti y tai todennäköisyydellä 50% 1 miljardi ja 50% 0 y on jotain välillä 30 40!

11 Elämän hinta? 1) Kuinka paljon pitäisi sinulle maksaa, että suostuisit kuolemaan?

12 Elämän hinta? 1) Kuinka paljon pitäisi sinulle maksaa, että suostuisit kuolemaan? 2) Saat valita (a) jatkat elämistä (b) todennäköisyydellä p kuolet ja todennäköisyydellä (1- p) saat 1000

13 Onko mallin puutteilla huomattavaa vaikutusta todelliseen päättellyyn Usein mallin valintaan vaikuttavat laskennalliset seikat Miten voi tarkistaa ovatko tulokset herkkiä valinnoille? - parametrien posteriorijakauman vertaaminen oleelliseen informaation tai muuhun dataan - posterioriprediktiivisten jakaumien vertaaminen oleelliseen informaation tai muuhun dataan - posterioriprediktiivisten jakaumien vertaaminen havaittuun dataan

14 Posterioriprediktiivisten jakaumien vertaaminen havaittuun dataan Jos malli sopii, pitäisi mallilla generoidun replikoidun datan näyttää samalta kuin havaittu data Eli, havaitun datan pitäisi näyttää posteriorijakauman mukaan uskottavalta posterior predictive checking

15 Posterioriprediktiivinen tarkistus Replikaatiot posterioriprediktiivisestä jakaumasta p(y rep y) = p(y rep θ)p(θ y)dθ Scatter-plot: y vs. y rep Scatter-plot: y vs. (y y rep )

16 Posterioriprediktiivinen p-arvo Mallin ja datan välistä erilaisuutta mitataan testisuureella T (y,θ) Klassinen p-arvo (useimmiten piste-estimaatti θ:lle) Klassinen p-arvo = p(t (y rep ) T (y) θ) Posterioriprediktiivinen p-arvo Bayes p-value = p(t (y rep,θ) T (y,θ) y) = I T (y rep,θ) T (y,θ) p(θ y)p(y rep θ)dθdy rep

17 Posterioriprediktiivinen tarkistus Monte Carlo menetelmiä käytettäessä, on jo valmiiksi L näytettä θ l parametrien posteriorijakaumasta Poimitaan yksi y rep prediktiivisestä jakaumasta annettuna θ l, jolloin sadaan L näytettä jakaumasta p(y rep,θ y) l = 1,...,L, Verrataan suureita T (y,θ l ) ja T (y rep,θ l ) p-arvo on niiden vertailujen osuus L simulaatioista joille T (y rep,θ l ) T (y,θ l ), l = 1,...,L

18 Esimerkki: Riippumattomuusoletuksen tarkistus binomi-jakaumamallissa Havaittu data tässä järjestyksessä: 1,1,0,0,0,0,0,1,1,1,1,1,0,0,0,0,0,0,0,0 Testisuureena 0:n ja 1:n vaihtojen määrä, joka datalle on 3 y rep saadaan simuloimalla ensin θ jakaumasta Beta(8, 14) ja sitten y rep riippumattomina Bernoulli-jakaumasta todennäköisyydellä θ p-arvo 0.03

19 Testisuureen valinta Testisuureen pitäisi mitata asioita, jotka ovat tieteellisen päättelyn kannalta relevantteja aiotussa sovelluksessa Testisuure usein mittaa jotain sellaista datan ominaisuutta, jota ei suoraan huomioida mallissa χ 2 on yleiskäyttöinen mitta T (y,θ)= i (y i E(y i θ)) 2 var(y i θ)

20 Herkkyysanalyysi Kokeile onko malli herkkä erilaisille malli- ja priorioletuksille