CLT131: Tekstityökalut 2010, toinen luento

Transkriptio

1 CLT131: Tekstityökalut 2010, toinen luento Tommi A Pirinen tommi.pirinen@helsinki.fi Helsingin yliopisto Kieliteknologian oppiaine, Nykykielten laitos päivitetty:

2 Asialista Käytännön asioita vielä Ongelman kuvaus Menetelmät ja aineistot Työkalut Viitteitä

3 Laskuharjoitukset: ke / valitaan parempi aika huutoäänestyksellä laskareissa käydään siis läpi palautettuja ratkaisuja: korjataan toistuvia virheitä kerrotaan lisätietoja / vastauksia joita kukaan ei ole vastannut selvitetään taustoja ym. lisätietoja käytännön ongelmia ympäristöissä, komennoissa jne. tarpeen mukaan, saa ehdottaa muutakin

4 Tammikuun ohjelma Aloitetaan tammikuu viikolta 4: kurssin kalenteri on kit/2010s/clt131/kalenteri.shtml tarkemmin alku tulee tietoon lähempänä, mutta todennäköisesti perjantain luennoilla aloitetaan

5 hippu ja.bashrc Hipulle luotavassa tiedostossa.bashrc oli viime kalvoissa viivaparista tullut ajatusviiva, verkkosivuilla copypastettava versio oli kuitenkin oikea. Lisäksi module load riviin pitänee lisätä tätä luentoa varten jo: export GREP_OPTIONS=- -colour=auto module load gcc/4.4.4 openfst/1.2 libtool hfst/2.4.1 hfst/3 python/3.1.1-gcc omorfi Lisäksi joillakuilla on hipulla käytössä csh eikä bash, joten ohje ei toimi suoraan. Komennolla chsh voi vaihtaa bashiin, jos tämä ei toimi tai haluaa käyttää csh:ta tms., csh-ohjeita voi kysellä sähköpostitse

6 Asialista Käytännön asioita vielä Ongelman kuvaus Menetelmät ja aineistot Työkalut Viitteitä

7 Tutkimusongelma: tekstin morfologisen jäsennyksen selvittely Tehtäväkuvaus: Lähtökohdat: Ongelma:

8 Tutkimusongelma: tekstin morfologisen jäsennyksen selvittely Tehtäväkuvaus: halutaan selvittää erään tekstin morfologinen jäsennys tulevaa tutkimusta varten Lähtökohdat: Ongelma:

9 Tutkimusongelma: tekstin morfologisen jäsennyksen selvittely Tehtäväkuvaus: halutaan selvittää erään tekstin morfologinen jäsennys tulevaa tutkimusta varten Lähtökohdat: morfologinen analysaattori, joka osaa analysoida saneita yksi kerrallaan gutenbergistä napattu raakateksti, joka pitää analysoida Ongelma:

10 Tutkimusongelma: tekstin morfologisen jäsennyksen selvittely Tehtäväkuvaus: halutaan selvittää erään tekstin morfologinen jäsennys tulevaa tutkimusta varten Lähtökohdat: morfologinen analysaattori, joka osaa analysoida saneita yksi kerrallaan gutenbergistä napattu raakateksti, joka pitää analysoida Ongelma: miten jakaa teksti analysaattorin haluamiksi saneiksi (ns. tokenisointi-ongelma) miten tallentaa saneet sellaiseen muotoon, jota analysaattori ymmärtää

11 Asialista Käytännön asioita vielä Ongelman kuvaus Menetelmät ja aineistot Työkalut Viitteitä

12 Perinteisen tyhmän morfologisen analysaattorin rakenteesta syötteenä valmiita leksikaalisia yksikköjä tai tokeneja:

13 Perinteisen tyhmän morfologisen analysaattorin rakenteesta syötteenä valmiita leksikaalisia yksikköjä tai tokeneja: saneita välimerkkejä koodeja ym. ilmauksia idiomeja ym. moniosaisia yksiköitä

14 Perinteisen tyhmän morfologisen analysaattorin rakenteesta syötteenä valmiita leksikaalisia yksikköjä tai tokeneja: saneita välimerkkejä koodeja ym. ilmauksia idiomeja ym. moniosaisia yksiköitä syötteen pitää olla yksi em. yksikkö per rivi

15 Perinteisen tyhmän morfologisen analysaattorin rakenteesta syötteenä valmiita leksikaalisia yksikköjä tai tokeneja: saneita välimerkkejä koodeja ym. ilmauksia idiomeja ym. moniosaisia yksiköitä syötteen pitää olla yksi em. yksikkö per rivi moniselitteisistä saneista tulee monta tulkintaa

16 Esimerkki: omorfi-interactive.sh hipulla kirjaudu hippu.csc.fi

17 Esimerkki: omorfi-interactive.sh hipulla kirjaudu hippu.csc.fi käynnistä omorfi-interactive.sh jollei toimi: module load omorfi ja module load hfst/2.4.1

18 Esimerkki: omorfi-interactive.sh hipulla kirjaudu hippu.csc.fi käynnistä omorfi-interactive.sh jollei toimi: module load omorfi ja module load hfst/2.4.1 syötä suomenkielisiä sanoja (esimerkiksi): omorfi-interactive.sh kissa kissa kissansgnom koiralle koiralle koiransgall

19 Gutenberg-aineistot tekstitiedostoja vanhoista, tekijänoikeudettomista kaunokirjallisuusteoksista

20 Gutenberg-aineistot tekstitiedostoja vanhoista, tekijänoikeudettomista kaunokirjallisuusteoksista sisältävät mm. lisenssitekstejä, joista pitää päästä eroon ennen analysointia

21 Gutenberg-aineistot tekstitiedostoja vanhoista, tekijänoikeudettomista kaunokirjallisuusteoksista sisältävät mm. lisenssitekstejä, joista pitää päästä eroon ennen analysointia... ja lisenssitekstit eivät ole vakiomuotoisia saati mittaisia

22 Gutenberg-aineistot tekstitiedostoja vanhoista, tekijänoikeudettomista kaunokirjallisuusteoksista sisältävät mm. lisenssitekstejä, joista pitää päästä eroon ennen analysointia... ja lisenssitekstit eivät ole vakiomuotoisia saati mittaisia välimerkit saattavat olla poikkeuksellisiakin, esim. vanhan ortografian mukaisia (toki sisältökin usein)

23 Gutenberg-aineistot tekstitiedostoja vanhoista, tekijänoikeudettomista kaunokirjallisuusteoksista sisältävät mm. lisenssitekstejä, joista pitää päästä eroon ennen analysointia... ja lisenssitekstit eivät ole vakiomuotoisia saati mittaisia välimerkit saattavat olla poikkeuksellisiakin, esim. vanhan ortografian mukaisia (toki sisältökin usein) merkistöt ja merkkaus pitää valita oikein (nykyään raakateksti ja UTF-8 Plain Text UTF-8 löytyvät suoraan sivustolta)

24 Gutenbergistä: Juhani Aho Rautatie Suora linkki:

25 Asialista Käytännön asioita vielä Ongelman kuvaus Menetelmät ja aineistot Työkalut Viitteitä

26 Työsuunnitelma 1. haetaan kirja gutenbergistä hipulle ( wget)

27 Työsuunnitelma 1. haetaan kirja gutenbergistä hipulle ( wget) 2. jos gutenberg olisi vielä vanhan malliin koodattu, tässä muunettaisiin koodaus, nyt tarvitsee lähinnä korjata rivinvaihdot, jos sitäkään ( recode, dos2unix)

28 Työsuunnitelma 1. haetaan kirja gutenbergistä hipulle ( wget) 2. jos gutenberg olisi vielä vanhan malliin koodattu, tässä muunettaisiin koodaus, nyt tarvitsee lähinnä korjata rivinvaihdot, jos sitäkään ( recode, dos2unix) 3. hankiudutaan eroon englanninkielisistä osioista ( head-tail riittää aluksi)

29 Työsuunnitelma 1. haetaan kirja gutenbergistä hipulle ( wget) 2. jos gutenberg olisi vielä vanhan malliin koodattu, tässä muunettaisiin koodaus, nyt tarvitsee lähinnä korjata rivinvaihdot, jos sitäkään ( recode, dos2unix) 3. hankiudutaan eroon englanninkielisistä osioista ( head-tail riittää aluksi) 4. tehdään tekstistä saneita (ja välimerkkejä, ym. otuksia) ( tr)

30 Työsuunnitelma 1. haetaan kirja gutenbergistä hipulle ( wget) 2. jos gutenberg olisi vielä vanhan malliin koodattu, tässä muunettaisiin koodaus, nyt tarvitsee lähinnä korjata rivinvaihdot, jos sitäkään ( recode, dos2unix) 3. hankiudutaan eroon englanninkielisistä osioista ( head-tail riittää aluksi) 4. tehdään tekstistä saneita (ja välimerkkejä, ym. otuksia) ( tr) 5. analysoidaan lopputulos ( omorfi-interactive.sh)

31 Työsuunnitelma 1. haetaan kirja gutenbergistä hipulle ( wget) 2. jos gutenberg olisi vielä vanhan malliin koodattu, tässä muunettaisiin koodaus, nyt tarvitsee lähinnä korjata rivinvaihdot, jos sitäkään ( recode, dos2unix) 3. hankiudutaan eroon englanninkielisistä osioista ( head-tail riittää aluksi) 4. tehdään tekstistä saneita (ja välimerkkejä, ym. otuksia) ( tr) 5. analysoidaan lopputulos ( omorfi-interactive.sh) 6. käytetään analyysi hyödyksi ( fgrep)

32 Verkkosivun haku etäpäätteelle selaimella paikalliselle koneella haku ja siirto (scp:llä tms.) on aina mahdollista eri järjestelmien välillä siirtely voi kuitenkin aiheuttaa vaikeuksia

33 Verkkosivun haku etäpäätteelle selaimella paikalliselle koneella haku ja siirto (scp:llä tms.) on aina mahdollista eri järjestelmien välillä siirtely voi kuitenkin aiheuttaa vaikeuksia myös etäpäätteillä voi joskus käyttää (graafisiakin) selaimia (lynx, firefox) näiden automatisointi on kuitenkin hankalaa

34 Verkkosivun haku etäpäätteelle selaimella paikalliselle koneella haku ja siirto (scp:llä tms.) on aina mahdollista eri järjestelmien välillä siirtely voi kuitenkin aiheuttaa vaikeuksia myös etäpäätteillä voi joskus käyttää (graafisiakin) selaimia (lynx, firefox) näiden automatisointi on kuitenkin hankalaa wget on tehokkaimpia verkkohakimia unixeille: wget /pg10481.txt

35 Koodausasiat koodauksella tässä tarkoitetaan miten kirjaimet esitetään tietokoneen muistissa: eritoten ääkköset ym. ei alkuperäiseen US-ASCII-aakkostoon sisältyvät merkit, ja rivinvaihdot

36 Koodausasiat koodauksella tässä tarkoitetaan miten kirjaimet esitetään tietokoneen muistissa: eritoten ääkköset ym. ei alkuperäiseen US-ASCII-aakkostoon sisältyvät merkit, ja rivinvaihdot lähes kaikissa nykysovelluksissa merkistökoodaus on UTF-8, myös gutenbergissä

37 Koodausasiat koodauksella tässä tarkoitetaan miten kirjaimet esitetään tietokoneen muistissa: eritoten ääkköset ym. ei alkuperäiseen US-ASCII-aakkostoon sisältyvät merkit, ja rivinvaihdot lähes kaikissa nykysovelluksissa merkistökoodaus on UTF-8, myös gutenbergissä recode ja iconv muuntavat koodauksia (jos esim. vanhat gutenbergit ovat ns. latin1:tä): iconv -f latin1 -t utf8 < vanha > konvertoitu recode l1..u8 vanha

38 Koodausasiat koodauksella tässä tarkoitetaan miten kirjaimet esitetään tietokoneen muistissa: eritoten ääkköset ym. ei alkuperäiseen US-ASCII-aakkostoon sisältyvät merkit, ja rivinvaihdot lähes kaikissa nykysovelluksissa merkistökoodaus on UTF-8, myös gutenbergissä recode ja iconv muuntavat koodauksia (jos esim. vanhat gutenbergit ovat ns. latin1:tä): iconv -f latin1 -t utf8 < vanha > konvertoitu recode l1..u8 vanha gutenbergissä on vielä joitain enimmäkseen harmittomia rivinvaihtoja (jotka näkyvät vimissä ikävästiˆm:inä)

39 Koodausasiat koodauksella tässä tarkoitetaan miten kirjaimet esitetään tietokoneen muistissa: eritoten ääkköset ym. ei alkuperäiseen US-ASCII-aakkostoon sisältyvät merkit, ja rivinvaihdot lähes kaikissa nykysovelluksissa merkistökoodaus on UTF-8, myös gutenbergissä recode ja iconv muuntavat koodauksia (jos esim. vanhat gutenbergit ovat ns. latin1:tä): iconv -f latin1 -t utf8 < vanha > konvertoitu recode l1..u8 vanha gutenbergissä on vielä joitain enimmäkseen harmittomia rivinvaihtoja (jotka näkyvät vimissä ikävästiˆm:inä) fromdos tai dos2unix muuntavat rivinvaihdot: dos2unix rautatie.txt fromdos rautatie.txt

40 Vakiomuotoisten tekstiosioiden poisto Lisenssiä Ahon Rautatiessä ovat ensimmäiset 27 ja viimeiset 396 riviä head näyttää ensimmäiset n riviä ja tail viimeiset m riviä tiedostosta

41 Vakiomuotoisten tekstiosioiden poisto Lisenssiä Ahon Rautatiessä ovat ensimmäiset 27 ja viimeiset 396 riviä head näyttää ensimmäiset n riviä ja tail viimeiset m riviä tiedostosta haluamme tiedoston keskeltä osan joka sisältää viimeiset tiedoston koko x miinus 27 riviä ja tästä ensimmäiset jäljellejäävistä paitsi 396 riviä: tail -n +28 rautatie.txt head -n 4314

42 Vakiomuotoisten tekstiosioiden poisto Lisenssiä Ahon Rautatiessä ovat ensimmäiset 27 ja viimeiset 396 riviä head näyttää ensimmäiset n riviä ja tail viimeiset m riviä tiedostosta haluamme tiedoston keskeltä osan joka sisältää viimeiset tiedoston koko x miinus 27 riviä ja tästä ensimmäiset jäljellejäävistä paitsi 396 riviä: tail -n +28 rautatie.txt head -n mutta 4314 on tässä laskettu käsin

43 Tekstin saneistus ks. myös tämän vuoden CLT130 johdatus atk-järjestelmiin haluttiin jokainen sane omalle rivilleen ja välimerkit omilleen, tai pois

44 Tekstin saneistus ks. myös tämän vuoden CLT130 johdatus atk-järjestelmiin haluttiin jokainen sane omalle rivilleen ja välimerkit omilleen, tai pois tr on yleistyökalu yksinkertaisiin merkkimuunnoksiin:

45 Tekstin saneistus ks. myös tämän vuoden CLT130 johdatus atk-järjestelmiin haluttiin jokainen sane omalle rivilleen ja välimerkit omilleen, tai pois tr on yleistyökalu yksinkertaisiin merkkimuunnoksiin: tr -s \n muuntaa välilyönnit rivivaihdoiksi (ts. sijoittaa välilyöntien erottamat saneet omille riveilleen) tr -d.,?!:;- poistaa välimerkit

46 Lopulta: analysointi saneiden analysointiinhan käytettiin omorfi-interactive.sh:ta

47 Lopulta: analysointi saneiden analysointiinhan käytettiin omorfi-interactive.sh:ta putkituksen avulla voimme koostaa kaikesta tästäkin vain yhden toiminnon (seuraava kohta on yksi komento ilman rivinvaihtoja): tail -n +28 rautatie.txt head -n 4314 tr -s \n tr -d.,;!?- omorfi-interactive.sh

48 Lopulta: analysointi saneiden analysointiinhan käytettiin omorfi-interactive.sh:ta putkituksen avulla voimme koostaa kaikesta tästäkin vain yhden toiminnon (seuraava kohta on yksi komento ilman rivinvaihtoja): tail -n +28 rautatie.txt head -n 4314 tr -s \n tr -d.,;!?- omorfi-interactive.sh tiedämme jo, miten haetaan tarkkoja merkkijonoja fgrepillä, katsotaan siis esimerkiksi tekstin mahdollisia abessiiveja lisäämällä vielä yksi putki:... fgrep Abe

49 Asialista Käytännön asioita vielä Ongelman kuvaus Menetelmät ja aineistot Työkalut Viitteitä

50 Linkit omorfista lisää ks. tai suomeksi vanhahko graduni htmledition/tokenization-1.html merkistöasioista sisältää mm. Unicode-kirjan verkkoversion suomen kieliopista mm. Ison suomen kieliopin verkkoversio morfologinen analyysi käydään tarkemmin kurssilla clt260