= true C = true) θ i2. = true C = false) Näiden arvot löydetään kuten edellä Kun verkko on opetettu, niin havainto [x 1

Transkriptio

1 35 Naiivi Bayes Luokkamuuttua C o Bayes-verko uuri a attribuutit X i ovat se lehtiä Naiivi oletus o, että attribuutit ovat ehdollisesti riippumattomia toisistaa aettua luokka Ku käytössä o Boole muuttuat, ii parametrit ovat θ = P(C = true) θ i = P(X i = true C = true) θ i = P(X i = true C = false) Näide arvot löydetää kute edellä Ku verkko o opetettu, ii havaito [x,, x ], oka luokkamuuttua C arvo o tutemato, voidaa luokitella P(C x,, x ) = α P(C) i P(x i C) 36 Jatkuva-arvoiset muuttuat Tarkastellaa yhde muuttua Gaussise tiheysfuktio parametrie oppimista Aieisto siis tuottaa ( x μ ) σ P( x) = e πσ Malli parametrit ovat keskiarvo μ a haota σ Olkoot havaitut arvot x,, x Nyt uskottavuude logaritmi o L = = log = ( log e πσ ( x μ ) σ π logσ ) = ( x μ) σ

2 37 Osittaisderivaattoe ollakohdat: L = μ σ L = 3 σ σ σ = ( x = μ) = 0 ( x μ) = 0 μ = σ = ( x μ) Siis keskiarvo maksimaalise uskottavuude arvo o havaitoe keskiarvo a haoa vastaava arvo o variassi eliöuuri Jällee saatii siis ituitiivisesti oikeat arvot x 38 EM-algoritmi Havaiot eivät käytäössä ole täydellisiä, kute edellä oletettii Se siaa o olemassa piilomuuttuia l. latettea muuttuia, oide arvoa ei ole mukaa havaioissa Lateti muuttua ottamie mukaa Bayes-verkkoo voi vähetää tarvittavie parametrie lukumäärää oleellisesti a site helpottaa verko oppimista Tupakka Dietti Haroitus Tupakka Dietti Haroitus Sydäsairaus 3 3 = Oire Oire 3 6 Oire Oire Oire 3 Oire = =708

3 39 Ku edellisessä esimerkissä kullaki muuttualla o 3 mahdollista arvoa ovat Bayes-verkkoe parametrie lukumäärät 78 a 708 Piilomuuttuat kuiteki hakaloittavat oppimisogelmaa Kuika esim. oppia solmu Sydäsairaus ehdolliset todeäköisyydet aettua se vahemmat, koska muuttua arvoa ei voida havaioida? Sama ogelma koskee oireide todeäköisyysakaumie oppimista EM-algoritmi (expectatio-maximizatio) o yleie algoritmi tämä ogelma ratkaisemiseksi 30 Ohaamato klusteroiti Tapaukset, oita saamme ähtäväksemme, ovat luokittelemattomia Siitä huolimatta usei voidaa tuistaa tapausluokkia Peruslähtökohta luokittelulle o, että havaitoaieisto o tuottaut sekoiteakauma P (mixture distributio), ossa o osaa k akaumaa Tapaukse geeroimiseksi esi valitaa kompoettiakauma a sitte arvotaa satuaie otos valitu akauma mukaa Olkoo C valittua kompoettia vastaava satuaismuuttua, oka mahdolliset arvot ovat,, k

4 3 Sekoiteakauma o P(x) = i=,,k P(C = i) P(x C = i), missä x o tapaukse attribuuttiarvot Jatkuva-arvoiselle datalle luoteva valita kompoettiakaumiksi o moimuuttuaie (multivariate) ormaaliakauma Sekoiteakauma o siis mixture of Gaussias, oka parametrit ovat kompoettiakaumie paiot w i = P(C = i) sekä kuki kompoeti keskiarvo μ i a kovariassi Σ i Tehtävää o löytää aieisto perusteella sekoitemalli, oka olisi voiut tuottaa havaitoaieisto 3

5 33 Jos tietäisimme mikä kompoettiakaumista tuotti mikäki pistee, voisimme oudattaa ormaalia Gaussise akauma oppimista Jos toisaalta tietäisimme kompoettiakaumie parametriarvot, ii pisteide (probabilistie) akamie kompoetteihi olisi helppoa Kumpaakaa ei kuitekaa tueta EM-algoritmi toimii kui tutisimme malli parametrie arvot a se perusteella lasketaa todeäköisyydet kaikille pisteille kaikkii kompoetteihi kuulumiselle Se älkee kuki kompoetti sovitetaa uudellee koko aieistoo, pisteet paiotettua ko. kompoettii kuulumise todeäköisyydellä 34 Edellä maiittua askeleita toistetaa kues meetelmä kovergoituu Meetelmä täydetää aieistoa päätelle piilomuuttuie akaumia ykyise malli perusteella Piilomuuttaia tässä tapauksessa ovat pisteide kuulumista kompoettiakaumii idikoivat biääriset satuaismuuttuat Z i : os x : o tuottaut i:s kompoettiakauma Z i = 0 muute Sekoitemalli parametrit alustetaa satuaisesti a se älkee toistetaa seuraavia askeleita

6 35. E-askel: Laske todeäköisyydet, että havaio x o tuottaut kompoettiakauma i, p i = P(C = i x ) Bayesi kaava perusteella p i = α P(x C = i) P(C = i) Tekiä P(x C = i) o i:e Gaussi akauma todeäköisyys pisteessä x P(C = i) o i:e akauma paioparametri arvo Olkoo p i = p i. M-askel: Päivitä malli parametrit: μ i p i x /p i Σ i p i x x T /p i w i p i 36 E-askel laskee piilomuuttuie Z i odotusarvot p i M-askel puolestaa hakee malli parametreille uudet arvot, otka maksimoivat aieisto log-uskottavuude aettua odotusarvot p i EM-algoritmi parataa aieisto log-uskottavuutta okaisella iteraatiolla Joissai tapauksissa EM: voidaa todistaa saavuttava uskottavuude lokaali maksimi (huom. ilma askelkokoa) Ogelmatilateita: Kompoettiakauma supistuu kattamaa vai yhde havaio, variassi = 0 uskottavuus = Kaksi kompoettia kattavat samat pisteet (iillä o samat keskiarvot a variassit)

7 37 Bayes-verkossa piilomuuttuat ovatki havaitsemattomie muuttuie arvot kullaki esimerkillä Piilo-Markov-mallissa (hidde Markov model, HMM) piilomuuttuia ovat tilasiirtymätodeäköisyydet EM-algoritmista saadaa eri istatiaatioita erilaisii malleihi Yleisimmässä muodossaa algoritmi typistyy päivityssääöksi θ (i) = arg max θ z P(Z = z x, θ (i) ) L(x, Z = z θ), x o kaikki havaitut arvot, Z o kaikki piilomuuttuat a θ o kaikki parametrit Summaus vastaa E-askelta a maksimoiti M-askelta 38 Yhteeveto Tekoäly o todella laaa tutkimuskettä, myös metodologisesti Merkittävää kehitystä tutkimuksessa tapahtuu päivittäi Probabilistie lähestymie o aaut ohi loogise suutaukse Näyttäviä demostraatioita meetelmie mahdollisuuksista saadaa kiihtyvällä tahdilla Myös vähemmälle ulkisuudelle äävät arkisovellukset lisäätyvät Fyysise ageti iteraktio toimitaympäristösä sekä ihmiste kassa kaipaa vielä edistysaskelia