T Luonnollisten kielten tilastollinen käsittely

Transkriptio

1 T-6.8 Luonnollisten kielten tilastollinen käsittely Vastaukset, ti 4..00, 6:5-8:00 Entropia, hämmentyneisyys, kontekstivapaa kieli, Versio.. a) Sijoitetaan entropian kaavaan tehtävässä annetut arvot: H(X) x X H(X) log + 6 log log log log log 4.50 bittiä b) Lähteen entropia, kun tiedetään, että edellinen symboli kuului joukkoon S on H(X i X i S) p(s S)H(V s S) S{ kissa, tuuli, kiipeilijä } Tämän laskemiseksi meidän pitää osata laskea ehdollinen entropia H(V s). Jos s kissa, todennäköisyys, että sitä seuraa sana naukaisi on ja todennäköisyys, että sitä seuraa sana katosi on. Kaikkien vaihtoehtojen yli summattuna todennäköisyydenhän pitää olla yksi, eli taulukossa annettuja todennäköisyyksiä joudutaan hieman skaalaamaan, tässä tapauksessa vakiolla 6. Tällaisen lähteen entropiahan on H(V s kissa ) log ( ) + log () Kun sijoitamme jokaista joukon S sanaa vastaavat todennäköisyydet, saamme H(X i X i S) 6 ( log ( 7 log log 0.90 bittiä + log ) + 8 ( 6 log log 7 6 ) log 6) Huomataan, että kun tunnemme lähteen toiminnan paremmin, sen tuottamat sanat ovat vähemmän yllättäviä ja voimme koodata ne vähemmällä määrällä bittejä.. a) Kunkin alkeistapauksen todennäköisyys on. Alkeistapauksia on 0. Sijoitetaan entropian 0 kaavaan: H(X) x X 0 i 0 log (0) log (0) 4.9 bittiä

2 b) Sanan, jossa on vain yksi merkki, sanotaan vaikka joukon ensimmäinen merkki, todennäköisyys on P(s t ) 0 0 sillä ensimmäisen merkin pitää olla joukon ensimmäinen ja sitten pitää tulla sanaväli. Tällaisia sanoja on 9 kappaletta. Vastaavasti, tietyn kahden merkin pituisen sanan todennäköisyys on P(s t, t ) 0 0 Tällaisia sanoja on 9 kappaletta. Homma jatkuu samalla tavalla useammille sanoille. Lasketaan tällaisen lähteen entropia: H(X) x X 9 ( 0 ) log (0 ) + 9 ( 0 ) log (0 ) + 9 ( 0 )4 log (0 4 ) +... ( (9 ) ( ) ( ) ) 9 9 log 9 0 (0) + log 0 (0) log 0 (0) +... ( log (0) ( ) ) i 9 i 0 i0 Nyt tarvitaan suluissa olevan summan arvoa. Ratkaistaan annettu sarja seuraavasti: iq i q + q + q + 4q () Kerrotaan yhtälö q:lla. q i0 0 iq i q + q + q 4 + 4q () i0 Vähennetään yhtälö puolittain yhtälöstä ( q) iq i q + q + q + q () i0 i0 iq i q + q + q + q q Kerrotaan yhtälö 4 vielä kerran q:lla q iq i q + q + q 4 + q q i0 Nyt vähennetään yhtälöt 4 ja 5 toisistaan ja saadaan ratkaisu: ( q) iq i q q i0 (6) iq i q ( q) (7) i0 (4) (5)

3 Kun tämä hässäkkä sijoitetaan alkuperäiseen ongelmaan, saadaan log (0) ( ( 9)) 0 log (0)(0 0 ) 47 bittiä Ensi silmäyksellä tämä tulos saattaa tuntua hämmentävältä, eikä tuloksen pitäis olla sama kuin a)-kohdassa? Pikainen likimainen matematiikka ehkä hälventää hieman epäluuloja: Sanan pituuden oletusarvo on 9, eli entropia per merkki on n. 47/95.0 bittiä. Korostettakoon vielä, että tämä viimeinen lasku on vain karkea approksimaatio. On myös syy, miksi tulosten ei pitäisi olla aivan samat: Ensimmäinen lähde voi tuottaa sanan, jossa on kaksi välilyöntiä peräkkäin, kun taas toinen lähde ei voi annetun formuloinnin mukaan sitä tuottaa. Tästä johtuen pitäisi toisen lähteen entropia per merkki olla hieman alempi.. a) Merkitään mallin yksi antamaa hämmentyneisyyttä Perp, mallin puolestaan Perp ja niin edelleen. Perp ( kissa, menee, puuhun ) P (sana kissa, sana menee, sana puuhun ) (P (sana kissa )P (sana menee )P (sana puuhun )) ( ) 0 Malli siis valitsee koko ajan keskimäärin kymmenestä eri sanasta. Tulos vaikuttaa oikealta. Entäpä malli? Perp ( kissa, menee, puuhun ) P (sana subjekti, sana verbi, sana kohde) (P (sanasubjekti)p (sanaverbi)p (sanakohde)) ( ) Malli valitsee keskimäärin :sta eri vaihtoehdosta, tulos vaikuttaa järkevältä. Perp ( kissa, menee, puuhun ) P (sana kissa, sana menee, sana puuhun ) (P (sana kissa sanaensimmäinen) P (sana menee edellinen_sana kissa ) P (sana puuhun edellinen_sana menee )) ( ). Tämä malli valitsee siis keskimäärin. sanasta koko ajan. Tämän esimerkin valossa kielimallit ja ovat vertailukelpoiset. Kielimalli vaikuttaa näistä selvästi paremmalta. Kielimalli ei voi verrata muihin, sillä se operoi selvästi pienemmällä symbolijoukolla. Selvempi esimerkki olisi ehkä kielimalli, jonka mielestä kaikki sanat kuuluvat ryhmään ja tämän ryhmän todennäköisyys on siis. Tämä kielimalli siis hämmentyneisyyden mukaan täydellinen, sillä se ei ole yhtään yllättynyt mistään sanasta.

4 b) Tarkastellaanpa vielä toista testilausetta. Mallille Perp ( valas, on, kala, paitsi, ettei ) (P (sana valas )P (sana on )P (sana kala ) P (sana paitsi )P (sana ettei )) 5 ( ) Huomataan, ettei hämmentyneisyyttä voida laskea, jos malli asettaa testijoukon sanalle todennäköisyyden nolla. Usein nämä sanat jätetään huomiotta ja saadaan siis Perp ( valas, on, kala ) (P (sana valas )P (sana on )P (sana kala )) 0 Jotta tulos olisi mielekäs, on nyt myös ilmoitettava ohi kieliopin menneet sanat, tässä tapauksessa siis 00% 40% sanoista ei osunut kielioppiin. Mallille 5 sadaan vastaavasti Perp ( valas, on ) (P (sanasubjekti)p (sanaverbi)) (0. 0.) Ohi kieliopin menee myös 60% sanoista. Malliin kolme sopii vain kaksi ensimmäistä sanaa: Perp ( valas, on ) (P (sana valas sanaensimmäinen) P (sana on edellinen_sana valas ))) (0.5 0.).5 Tässä siis 60% sanoista menee ohi kieliopin. Ovatko b)-kohdan tulokset vertailukelpoisia? Malli voidaan diskata samoilla perusteilla kuin a)-kohdassakin. Malleja ja voidaan vertailla, kun otetaan myös huomioon ohi kieliopin menneet sanat. Malli kattaa sanaston paremmin, mutta malli antaa paremman hämmentyneisyyden. Usein kielimallin laatiminen on tasapainottelua näiden kahden ominaisuuden välillä. Mikä siis on tarinan opetus? Hämmentyneisyydellä voidaan verrata kahta kielimallia, jos tulokset lasketaan samalla tavalla ja myös ohi kieliopin menneitten sanojen osuus ilmoitetaan. Hämmentyneisyydellä voidaan myös ilmoittaa lähes millaisia tuloksia tahansa, jos laskuja on haluttu rukata johonkin suuntaan tai ohi sanaston menevää osuutta ei ilmoiteta. Kannattaa olla tarkkana ainakin eri lähteistä saatujen tulosten vertailussa. 4. Annetut lauseet on jäsennetty alhaalta ylöspäin. Kun säännöt eivät muuten sopineet, kokeiltiin, auttaisiko tyhjän symbolin e lisääminen jonnekin. Katso kuvat ja. Järjetön lause, jonka kielioppi hyväksyy voisi olla: Hyppäsi rapistunut oven. Kieliopilla ei ole säännöstöä, millä se pystyisi jäsentämään monimutkaisempia lauseita. Hylätty lause voisi olla: Kieltolause ei onnistunut, kuten ei sivulausekaan. 4

5 L V Gen Verb Keltaisen oven e karmi oli rapistunut Kuva : Jäsennys L V Vikkelä jänis Verb hyppäsi e laatikkoon Kuva : Jäsennys 5