CLT131: Tekstityökalut 2011, kahdeksas luento

Transkriptio

1 CLT131: Tekstityökalut 2011, kahdeksas luento Tommi A Pirinen tommi.pirinen@helsinki.fi Helsingin yliopisto Kieliteknologian oppiaine, Nykykielten laitos / 17

2 Asialista 1 Käytännön asiat 2 Ongelman kuvaus 3 Menetelmät ja aineistot Aineistot Menetelmät 4 Toteutus / 17

3 Merkistöistä ja kalvostoista Huomattiin, taas, harjoitustehtävistä, että kalvostoista kopioidut ja liitetyt esimerkit eivät suoraan toimi Windowsilla/Puttyllä, johtuen eräiden koodiesimerkkien esitysmuotojen erilaisuudesta: kahdesta viivasta tulee kalvoissa helposti ajatusviiva: - suorista konekirjoituslainausmerkeistä tulee kaarevat: sirkumfleksistä tulee vääränlainen: ˆ jne. sen sijaan tehtävien malliratkaisuissa on varmasti oikeat merkinnät / 17

4 Asialista 1 Käytännön asiat 2 Ongelman kuvaus 3 Menetelmät ja aineistot Aineistot Menetelmät 4 Toteutus / 17

5 Mitataan oikaisulukujen (tai muun kt-sovelluksen) toimivuutta Tehtäväkuvaus tekstissä olevien kirjoitusvirheiden korjaavia sovelluksia pitää vertailla tarvitaan jonkinmoisiin tilastollisiin lukuihin perustuvaa luokittelua korjauksista Lähtökohdat Ongelmat / 17

6 Mitataan oikaisulukujen (tai muun kt-sovelluksen) toimivuutta Tehtäväkuvaus tekstissä olevien kirjoitusvirheiden korjaavia sovelluksia pitää vertailla tarvitaan jonkinmoisiin tilastollisiin lukuihin perustuvaa luokittelua korjauksista Lähtökohdat tunnetaan väärinkirjoitettu sana ja oikea korjaus on joukko oikaisulukimia, jotka arvuuttelevat oikeaa korjausta [0..n] järjestettyä korjausehdotusta Ongelmat / 17

7 Mitataan oikaisulukujen (tai muun kt-sovelluksen) toimivuutta Tehtäväkuvaus tekstissä olevien kirjoitusvirheiden korjaavia sovelluksia pitää vertailla tarvitaan jonkinmoisiin tilastollisiin lukuihin perustuvaa luokittelua korjauksista Lähtökohdat tunnetaan väärinkirjoitettu sana ja oikea korjaus on joukko oikaisulukimia, jotka arvuuttelevat oikeaa korjausta [0..n] järjestettyä korjausehdotusta Ongelmat millä mitataan oikaisuluvun hyvyyttä (tarkemmin ks. CLT255) miten täsmätään oikeat korjaukset järjestettyihin ehdotuksiin / 17

8 Asialista 1 Käytännön asiat 2 Ongelman kuvaus 3 Menetelmät ja aineistot Aineistot Menetelmät 4 Toteutus / 17

9 Oikaisulukuvirhekorpus oikaisuluvun testaamiseen tarvitaan kirjoitusvirheitä ja oikeita korjauksia nyt meillä on Wikipediasta käsin kerättyjä virheitä käytettävän virheiden keruu ja korjausten tarkistaminen on usein työläs tehtävä, esim. tässä on tehty: omorfi-analyse.sh fgrep +? less / 17

10 Oikaisulukuvirhekorpus oikaisuluvun testaamiseen tarvitaan kirjoitusvirheitä ja oikeita korjauksia nyt meillä on Wikipediasta käsin kerättyjä virheitä käytettävän virheiden keruu ja korjausten tarkistaminen on usein työläs tehtävä, esim. tässä on tehty: omorfi-analyse.sh fgrep +? less fgrep virhe jokaiselle löydetylle selvittämään oikeaa käännöstä käsin tehdyssä tiedostossa muodon saa päättää itse; päätetään että väärin\<tab>oikein on helppo käsitellä / 17

11 Vertailtavat oikaisulukuaineistot oikaisuluvun korjaimen tehtävä on siis antaa käyttäjälle järjestetty lista ehdotuksista listojen järjestämisessä voi yhdistellä erilaisia menetelmiä: mallintaa näppäilyvirheitä näppäimistöllä (Levenshtein-etäisyys): kisas kisa,kissa,kisasi,... kaikki menetelmät tuottavat yleensä oikeita ja vääriä ehdotuksia; pitää arvioida paras / 17

12 Vertailtavat oikaisulukuaineistot oikaisuluvun korjaimen tehtävä on siis antaa käyttäjälle järjestetty lista ehdotuksista listojen järjestämisessä voi yhdistellä erilaisia menetelmiä: mallintaa näppäilyvirheitä näppäimistöllä (Levenshtein-etäisyys): kisas kisa,kissa,kisasi,... katsoa saneiden yleisyyttä: kissa > kisa > kisasi kaikki menetelmät tuottavat yleensä oikeita ja vääriä ehdotuksia; pitää arvioida paras / 17

13 Vertailtavat oikaisulukuaineistot oikaisuluvun korjaimen tehtävä on siis antaa käyttäjälle järjestetty lista ehdotuksista listojen järjestämisessä voi yhdistellä erilaisia menetelmiä: mallintaa näppäilyvirheitä näppäimistöllä (Levenshtein-etäisyys): kisas kisa,kissa,kisasi,... katsoa saneiden yleisyyttä: kissa > kisa > kisasi kaikki menetelmät tuottavat yleensä oikeita ja vääriä ehdotuksia; pitää arvioida paras voidaan järjestellä ehdotukset myös riveittäin: ehdotus1\<tab>\<tab>ehdotus / 17

14 Tiedostojen yhdistely vierekkäin: paste jotta voitaisiin laskea esim. awkilla oikeita korjauksia, helpottaa kun saadaan samaan tiedostoon vastaavat rivit kun tässä tapauksessa rivit aina täsmäävät, voidaan käyttää paste-komentoa sellaisenaan; se liittää kahden tiedoston rivit tabilla eroteltuna: paste virhekorpus korjausehdotukset-1 > korjauskorpus-1 nyt korjauskorpuksessa on toinen sarake on oikea sana ja se pitäisi löytyä korjausehdotuksista sarakkeissa kolmannesta eteenpäin / 17

15 Sarakkeiden yhdistely awkilla tutusti nyt awk osaa käsitellä rivejä saneittain eli sarakkeittain awkin komentoriveissä käytetyt ehdot voivat puuttua sarakkeiden samuuteen vertailuoperaattorilla ==: awk $2 == $3 {print} tulosta rivit joilla kolmas sarake on sama kuin toinen / 17

16 Tulosten vertailu ja tulostus awkilla awkilla voi myös tehdä laskelmia; erikoisehdoissa BEGIN ja END voi alustaa ja tulostaa laskelmia. Usein halutaankin prosentteja absoluuttisten lukujen sijaan: / 17

17 Tulosten vertailu ja tulostus awkilla awkilla voi myös tehdä laskelmia; erikoisehdoissa BEGIN ja END voi alustaa ja tulostaa laskelmia. Usein halutaankin prosentteja absoluuttisten lukujen sijaan: BEGIN {ekat = 0; kaikki = 0;} nollataan laskurit / 17

18 Tulosten vertailu ja tulostus awkilla awkilla voi myös tehdä laskelmia; erikoisehdoissa BEGIN ja END voi alustaa ja tulostaa laskelmia. Usein halutaankin prosentteja absoluuttisten lukujen sijaan: BEGIN {ekat = 0; kaikki = 0;} nollataan laskurit $2 == $3 {ekat++;} lasketaan täsmäävät {kaikki++;} lasketaan rivien määrää / 17

19 Tulosten vertailu ja tulostus awkilla awkilla voi myös tehdä laskelmia; erikoisehdoissa BEGIN ja END voi alustaa ja tulostaa laskelmia. Usein halutaankin prosentteja absoluuttisten lukujen sijaan: BEGIN {ekat = 0; kaikki = 0;} nollataan laskurit $2 == $3 {ekat++;} lasketaan täsmäävät {kaikki++;} lasketaan rivien määrää END {printf("oikeita tuloksia %d/%d = %.2f %%",ekat,kaikki, 100*ekat/kaikki);} tulostetaan täsmäävien osuus riveistä kirjoitettaessa komentoriville koko rimpsu menisi yhdeksi riviksi; myös awkit voi tallentaa tiedostoihin ja suorittaa awk -f skripti.awk / 17

20 Tulosten vertailu ja tulostus awkilla awkilla voi myös tehdä laskelmia; erikoisehdoissa BEGIN ja END voi alustaa ja tulostaa laskelmia. Usein halutaankin prosentteja absoluuttisten lukujen sijaan: BEGIN {ekat = 0; kaikki = 0;} nollataan laskurit $2 == $3 {ekat++;} lasketaan täsmäävät {kaikki++;} lasketaan rivien määrää END {printf("oikeita tuloksia %d/%d = %.2f %%",ekat,kaikki, 100*ekat/kaikki);} tulostetaan täsmäävien osuus riveistä kirjoitettaessa komentoriville koko rimpsu menisi yhdeksi riviksi; myös awkit voi tallentaa tiedostoihin ja suorittaa awk -f skripti.awk ohita vaihtoehto? / 17

21 Vaihtoehtoinen, awkiton täsmäystapa: join voidaan käsitellä virhekorpusta ja ehdotustiedostoja tietokantoina join on siis tietokantamaailman join-komento; yhdistää rivit jos annetut sarakkeet täsmäävät (Helsingin yliopisto Kieliteknologian CLT131: oppiaine, 8. luento Nykykielten laitos) / 17

22 Vaihtoehtoinen, awkiton täsmäystapa: join voidaan käsitellä virhekorpusta ja ehdotustiedostoja tietokantoina join on siis tietokantamaailman join-komento; yhdistää rivit jos annetut sarakkeet täsmäävät joinin komento on yleensä join -1 sarake1-2 sarake2 tiedosto1 tiedosto2, joissa siis sarake1 on ensimmäisen tiedoston sarake joka täsmätään toisen tiedoston sarakkeeseen sarake2: join virhekorpus korjaukset tulostaa rivit joissa korjausten ensimmäinen sarake on oikea / 17

23 Vaihtoehtoinen, awkiton täsmäystapa: join voidaan käsitellä virhekorpusta ja ehdotustiedostoja tietokantoina join on siis tietokantamaailman join-komento; yhdistää rivit jos annetut sarakkeet täsmäävät joinin komento on yleensä join -1 sarake1-2 sarake2 tiedosto1 tiedosto2, joissa siis sarake1 on ensimmäisen tiedoston sarake joka täsmätään toisen tiedoston sarakkeeseen sarake2: join virhekorpus korjaukset tulostaa rivit joissa korjausten ensimmäinen sarake on oikea (rivien sisältö on tässä irrelevantti, sillä haluamme vain laskea ne, mutta lopputulos on sellainen rivi jossa on yhdistetty sarake kerran ja sitten muut sarakkeet järjestyksessä) / 17

24 Asialista 1 Käytännön asiat 2 Ongelman kuvaus 3 Menetelmät ja aineistot Aineistot Menetelmät 4 Toteutus / 17

25 Työsuunnitelma 1 rakennetaan Make-skriptiä tulevia aineistoja varten 2 noudetaan pari oikaisulukuaineistoa 3 yhdistellään virhekorpuksen kanssa 4 lasketaan prosentit ensimmäisenä oikein annetuille riveille / 17

26 Oikaisulukuaineistojen nouto haetaan kurssisivuaineistosta: wget clt131/materiaalit/fiwiki.virhekorpus wget clt131/materiaalit/fiwiki.1.korjaukset wget clt131/materiaalit/fiwiki.2.korjaukset / 17

27 Oikaisulukuaineistojen nouto haetaan kurssisivuaineistosta: wget clt131/materiaalit/fiwiki.virhekorpus wget clt131/materiaalit/fiwiki.1.korjaukset wget clt131/materiaalit/fiwiki.2.korjaukset Make-skriptissä tiedostojen noudon voi esittää muodossa: fiwiki.virhekorpus: <tab>wget / 17

28 Korjausaineistojen yhdistely yhdistely pastella oli suoraviivainen: paste virhekorpus korjaukset / 17

29 Korjausaineistojen yhdistely yhdistely pastella oli suoraviivainen: paste virhekorpus korjaukset Make-skriptin sääntö monelle tiedostolle on monimutkaisempi, muttei paljoa: %.korjauskorpus: fiwiki.%.korjaukset fiwiki.virhekorpus <tab>paste fiwiki.virhekorpus $< / 17

30 Mittaustulosten esitys mittaustuloksille oli pitkähkö awk-skripti: BEGIN {ekat = 0; kaikki = 0;} $2 == $3 {ekat++;} {kaikki++;} END {printf("oikeita tuloksia %d/%d = %.2f %%",ekat,kaikki, 100*ekat/kaikki);} / 17

31 Mittaustulosten esitys mittaustuloksille oli pitkähkö awk-skripti: BEGIN {ekat = 0; kaikki = 0;} $2 == $3 {ekat++;} {kaikki++;} END {printf("oikeita tuloksia %d/%d = %.2f %%",ekat,kaikki, 100*ekat/kaikki);} jos sen tallentaa tiedostoon ekat-prosentit.awk, voidaan rakentaa Make-skripti: %.tulokset: %.korjauskorpus <tab>awk -f ekat-prosentit.awk < $< > $@ / 17

32 Mittaustulosten esitys mittaustuloksille oli pitkähkö awk-skripti: BEGIN {ekat = 0; kaikki = 0;} $2 == $3 {ekat++;} {kaikki++;} END {printf("oikeita tuloksia %d/%d = %.2f %%",ekat,kaikki, 100*ekat/kaikki);} jos sen tallentaa tiedostoon ekat-prosentit.awk, voidaan rakentaa Make-skripti: %.tulokset: %.korjauskorpus <tab>awk -f ekat-prosentit.awk < $< > $@ nyt siis make 1.tulokset saa aikaan korpuksen 1 tulosprosentin tiedostoon / 17