T Luonnollisen kielen tilastollinen käsittely Vastaukset 8, ti , 8:30-10:00 Tilastolliset yhteydettömät kieliopit, Versio 1.

Transkriptio

1 T Luonnollisen kielen tilastollinen käsittely astaukset 8, ti , 8:30-10:00 Tilastolliset yhteydettömät kielioit, ersio Jäsennysuun todennäköisyys lasketaan aloittelemalla se säännöstön yksiköiden kokoisiin aloihin ja kertomalla näiden alojen todennäköisyydet yhteen. Esimerkiksi muunnoksen ( hän) todennäköisyys voidaan suoraan oimia säännöstöstä ja on 0.3. amoin esimerkiksi muunnos (I ) on. Kuvaan 1 on oimittu taulukoidut todennäköisyydet P 0.1 I 0.02 P I P 0.08 P 0.1 I I Hän näki koiran joka haukkui ja lähti Hän näki koiran joka haukkui ja lähti Kuva 1: Jäsennykset Nyt voimmekin laskea kummankin jäsennyksen todennäköisyydet kertomalla kaikki kuvasta löytyvät todennäköisyydet P(uu1) = = P(uu2) = = Huomataan, että mallin mukaan toinen jäsennys on todennäköisemi. Ilman muuta tietoa tai oikein ilkutettua tekstiä lienee mahdotonta äätellä, kumi jäsennys on oikea. 2. isäuoli-algoritmi (inside algorithm) on hyvin samanlainen kuin eteenäin algoritmi. Algoritmissa lasketaan uun todennäköisyyttä lähtemällä lehdistä ja kasaamalla koko ajan suuremia yksikköjä kunnes äästään juureen asti. Algoritmia läikäydessä tullaan samalla kokeilleeksi kaikki mahdolliset jäsennykset. Merkitään β j (, d) todennäköisyyttä, että uulla, joka kattaa sanat :stä d:hen on juurena jäsennys j. Nyt siis voimme alustaa algoritmin β j (k, k) arvot lehdille. Koska

2 suurin osa lauseen sanoista voi olla kotoisin vain yhdestä ei-terminaalisymbolista, alustus on heloa: β (1, 1) = 0.3 β (2, 2) = 0.29 Todennäköisyys, että toisen sanan ilana on ja havaitaan sana tunsi β (3, 3) = sanan tila ja havainto tuulen β (3, 3) = sanan tila ja havainto tuulen β A (4, 4) = sanan tila A ja havainto kaleilla β (5, 5) = sanan tila ja havainto kasvoillaan Todennäköisyys, että ensimmäisen sanan tilana on ja havaitaan sana hän Kaikki muut todennäköisyydet ovat nollia. Alustuksesta voidaan edetä uun juureen summaamalla kaikkien todennäköisyyksin yli seuraavan kaavan mukaisesti: β j (, q) = r,s q 1 P(N j N r N s )β r (, d)β s (d + 1, q) d= Tässä siis summataan kaikkien mahdollisten sääntöjen (r, s) ja kaikkien mahdollisten jakojen (d:stä q:hun) yli. Koska yleensä sekä transitio-, että havaintosäännöt ovat melko harvoja, on suurin osa summan termeistä nollia. Lasketaana sitten seuraavat arvot. Nyt kukin aliuulla koostuu kahdesta lasesta ja juuresta: β x (1, 2) = β y (1, 1) β z (2, 2) P(x y z) = 0 y,z β P (2, 3) = β (2, 2) β (3, 3) P( P ) = = β x (3, 4) = 0 x β PP (4, 5) = β A (4, 4)β (5, 5)P(PP A ) = = Todennäköisyys,että sanat hän, tunsi kattavan uun juuren sanaluokka olisi x Kaikki muut summan termit ovat nollia Koskaa kielioissa yhdellä solmulla olla vain kaksi lasta, saadaan seuraavalle kierrokselle todennäköisyydet summaamalla: β (1, 3) = β (1, 1)β P (2, 3)P( P) + x,y β x (1, 2)β y (3, 3)P( x y) = = β x (2, 4) = 0 x β (3, 5) = β (3, 3)β PP (4, 5)P( PP) = =

3 ielä on ari kierrosta jäljellä: β x (1, 4) = y,z β y (1, 1)β z (2, 4)P(x y z) + y,z β y (1, 2)β z (3, 4)P(x y z) + y,z β y (1, 3)β z (4, 4)P(x y z) = 0 β P (2, 5) = β (2, 2) β (3, 5) P( P ) +β P (2, 3) β PP (4, 5) P( P PP) = , = = Tässä kohtaa kannattaa huomata, että laskettaessa β P (2, 5), yhdistetään kahden erilaisen jäsennyksen todennäköisyydet. Jos nyt tehtäisi iterbi-hakua, valittaisiin näistä kahdesta todennäköisemi ja merkattaisiin, kumi jäsennys on aremi. Tässä taauksessa siis on aremi jäsentää sanat tunsi ja tuulen verbilauseeksi ja sanat kaleilla kasvoillaan liittolauseeksi. Toinen vaihtoehto olisi ollut jäsentää sana tunsi verbiksi ja tuulen kaleilla kasvoillaan liitolauseeksi. Lasketaana vielä homma louun ennen tarkemia ohdintoja. β (1, 5) = β (1, 1) β P (2, 5) P( P) = = Kuvaan 2 on iirretty mahdolliset jäsennykset. Mallin mukaan hieman todennäköisemi jäsennys on väärä, johtunee siitä että alkueräinen malli oli hihasta ravistettu. P P PP P PP A A Hän tunsi tuulen kaleilla kasvoillaan Hän tunsi tuulen kaleilla kasvoillaan Kuva 2: Mahdolliset jäsennykset. asen uu on hiukan todennäköisemi. 3. Merkitään q = 1. Olkoon F(n) todennäköisyysmassa kaikissa n-syvyisissä tai matalammissa uissa (katso kuva 3). Nyt huomataan, että F(n + 1) voidaan ilmaista 3

4 F(1) 0 F(2) q w F(3) q+q 2 + w w w F(4) q+f(3) 2 + w F(3) F(3) F(n+1) q+f(n) 2 + w F(n) F(n) Kuva 3: F(n) eli kaikkiin n-syvyisiin tai matalamiin uihin uonnut todennäköisyysmassa. F(n):n avulla. Joko F(n + 1) terminoituu suoraan todennäköisyydellä q tai sitten se jakautuu kahdeksi uuksi todennäköisyydellä. Näiden uiden maksimisyvyys on n. aadaan siis F(n + 1) = q + F(n) 2 = 1 + F(n) 2 Oletetaan, että sarja konvergoi johonkin arvoon (todistetaan myöhemmin). Tällaisessa tilanteessa F(n + 1) = F(n) eli F(n + 1) = 1 + F(n) 2 = F(n) F(n) 2 F(n) + 1 = 0 Toisen asteen yhtälön ratkaisukaavasta saadaan yhtälölle juuret F(n) = { Jotta voidaan todistaa, että funktio konvergoi, itää todistaa, että se on kasvava. Tutkitaan erotusta F(n + 1) F(n): F(n + 1) F(n) > F(n) 2 F(n) > 0 Toisen asteen yhtälön ratkaisukaavan avulla saadaan, että funktio on kasvava jos: 1 : F(n) > 1 ja < 0 2 : F(n) < 1 ja > 0 4

5 Näistä toinen alue on relevantti meille. Osoitetaan vielä, että funktio kasvaa asymtoottisesti kohti ienemää juurta (min(1, 1 1)). Jos F(n + 1) > 1, mitä ehtoja se asettaa F(n):lle? F(n + 1) = 1 + F(n) 2 > 1 F(n) 2 > F(n) < 1 tai F(n) > 1 Eli sarja voi saada yhtä suuremia arvoja vain, jos sarjan edellinen arvo oli jo suuremi kuin yksi. Nyt lähdemme liikkeelle nollasta F(1) = 0, joten yli yhden arvoja ei voida saada. Entää toinen juuri, mitä jos F(n + 1) > 1 1? F(n + 1) = 1 + F(n) 2 > 1 1 F(n) 2 > F(n) 2 > ( 1 2 ) 2 aadaan ehdot 1 : F(n) > 1 1 edellinen arvo oli jo suuremi kuin juuri 2 : F(n) < 1 1 F kasvava ja F(2)=1 <1 1 kun < 1 tai >1. Ehto ei täyty. Myöskään tämän juuren ohi ei voi äästä. arjan summa on siis min(1, 1 1). Todennäköisyysjakauma on siis oikea todennäköisyysjakauma, kun. Kun >, malli rueaa generoimaan äärettömiä uita (missä generoidaan aina vaan uusia eiterminaaleja) ja todennäköisyysmassaa katoaa näihin uihin. Ovelami matemaatikko ystynee ratkaisemaan muutamalla rivillä. Tarkastelemalla mallin generoimien ei-terminaalien määrän oletusarvoa verrattuna mallin generoimien terminaalien määrän oletusarvoon, äätynee samaan tulokseen. 5