1 Bayesin teoreeman käyttö luokittelijana

Transkriptio

1 1 Bayesin teoreeman käyttö luokittelijana Bayesin kaavan mukaan merkityksen kontekstille c ehdollistettu todennäkköisyys voidaan määrittää alla olevan yhtälön perusteella: P ( c) = P (c )P ( ) P (c) (1) Tämä yhtälö voidaan tulkita sanoin seuraavasti. Todennäköisyys, että on se luokka, joka kuvaa kontekstia c on sama kuin todennäköisyys sille, että konteksti c löytyy luokasta kertaa luokan esiintymisen todennäköisyys jaettuna kontekstin c esiintymisen (priori) todennäköisyydellä. 1.1 Naiivi bayesluokitin Yhtälö 1 voidaan yksinkertaistaa ns. naiiviksi olettamalla, että konteksti c koostuu piirteistä w i, jotka ovat toisistaan riippumattomia. Tämän olettamuksen perusteella saadaan yhtälö s = argmax P (c )P ( ) (2) N 1 s = argmax(p ( ) P (w i )) (3) Nyt yhtälössä (3) esiintyvä w i kuvaa jonkin piirteen esiintymistodennäköisyyttä kontekstissa c ehdolla (luokassa). Yhtälöissä esiintyvä s kuvaa luokituksen tulosta eli luokkaa mihin tutkittava näyte bayesiläisen todennäköisyyden mukaan kuuluu. Edellä esitetty yhtälö voidaan kirjoittaa myös logaritmimuotoon seuraavasti: i=0 N 1 s = argmax(log P ( ) + log P (w i )) (4) 1.2 Naivin bayesluokittimen käyttäminen Olkoon, että bayesluokittimemme tuntee 32 sanaa (N l = 32). Nämä sanat on saatu kahdeksasta lauseesta, joista kolme on lauseita jotka ovat mielestämme kiinnostavia (merk. iin ) ja loput viisi ovat roskaa (merk. s rosk ). Näin ollen bayesluokittimemme voisi pitää sisällään seuraavaa tietoa luokasta s roska : i=0 1

2 sana esiintymiskerrat yht. hello china girl viagra thomas ja vastavasti tietoa luokasta iin : sana esiintymiskerrat yht. hello china girl viagra thomas Nyt haluamme tutkia, ovatko seuraavat tuntemattomat lauseet yllä olevan luokittimemme perusteella roskaa vai kiinnostavia. a) w = {hello, thomas, can, you, buy, me, a, drink} b) w = {hello, do, you, need, a, viagra} Ennen kuin voimme tutkia lauseiden kiinnostavuutta, tulee meidän määrittää mitä on todennäköisyys P (w i ) eli piirteen w i todennäköisyys luokassa. Esimerkkimme tapauksessa todennäköisyys voidaan tulkita seuraavasti: mikä on kontekstissa esiintyvän sanan w i esiintymisen todennäköisyys luokassa? Nyt määritetään, että P (w i ) = C(w i ) + λ C( ) + N l λ (5) missä C(w i ) on sanan w i esiintymisen lukumäärä luokassa ja termi λ on menetelmän käyttäjän määrittämä arvo, joka kuvaa prioriuskomuksen vahvuutta. Termin tarkoituksena on estää tilanne, jossa jonkin sanan esiintymistodennköisyys olisi nolla. Termi C( ) on arvo, joka kertoo kuinka monta opetusnäytettä kuuluu luokkaan. Edellisessä yhtälössä esiintyvä N l on luku, joka kuvaa sitä kuinka monta erillistä sanaa luokittimemme tunnistaa. a) Nyt lauseemme on muotoa w = {hello, thomas, can, you, buy, me, a, drink}. Olkoon prioriuskomuksemme vahvuus λ = 0.5. Tutkitaan ensin, kuuluuko lause luokkaan s rosk. Sovelletaan yhtälöitä 2 ja 5 sekä edellä esi- 2

3 tettyä taulukkoa. Näiden perusteella saadaan sanojen esiintymistodennäköisyyksiksi P (hello s rosk ) = P (thomas s rosk ) = P (can s rosk ) = P (you s rosk ) =... = P (drink s rosk ) = lause kuuluu luokkaan s rosk : s rosk = 5 8 P (hello s rosk)... P (drink s rosk ) s rosk = s rosk = Seuraavaksi laskemme todennäköisyyden, että lause kuuluu luokkaa iin. Nyt sanojen esiintymistodennäköisyydet ovat P (hello iin ) = P (thomas iin ) = P (can iin ) = P (you iin ) =... = P (drink iin ) = lause kuuluu luokkaan iin : iin = 3 8 P (hello iin)... P (drink iin ) iin = iin = Koska iin > s rosk päättelemme, että lauseen w luokitus s on kiinnostava. 3

4 b) Nyt lauseemme on muotoa w = {hello, do, you, need, a, viagra} Tutkitaan ensin, että kuuluuko lause luokkaan s rosk. Sovelletaan yhtälöitä 2 ja 5 sekä edellä esitettyä taulukkoa. Näiden perusteella saadaan sanojen esiintymistodennäköisyyksiksi P (hello s rosk ) = P (do s rosk ) = P (you s rosk ) = P (need s rosk ) = P (a s rosk ) = P (viagra s rosk ) = lause kuuluu luokkaan s rosk : s rosk = 5 8 P (hello s rosk)... P (viagra s rosk ) s rosk = s rosk = Seuraavaksi laskemme todennäköisyyden, että lause kuuluu luokkaa iin. Nyt sanojen esiintymistodennäköisyydet ovat P (hello iin ) = P (do iin ) = P (you iin ) = P (need iin ) = P (a iin ) = P (viagra iin ) = lause kuuluu luokkaan iin : iin = 3 8 P (hello iin)... P (viagra iin ) iin = iin =

5 Koska s rosk > iin päättelemme, että lauseen w luokitus s on roskaa. 5