CLT131: Tekstityökalut 2010, ensimmäinen luento

Transkriptio

1 CLT131: Tekstityökalut 2010, ensimmäinen luento Tommi A Pirinen tommi.pirinen@helsinki.fi Helsingin yliopisto Kieliteknologian oppiaine, Nykykielten laitos (päivitetty: )

2 Asialista Käytännön asiat Kurssin motivaatio ja sisältö Perustyökaluja Kirjallisuusvihjeet

3 Asialista Käytännön asiat Kurssin motivaatio ja sisältö Perustyökaluja Kirjallisuusvihjeet

4 Yleistä: Osoitteet luennoitsija Tommi A Pirinen tommi.pirinen+clt131@helsinki.fi kurssiassistentti Pinja Pennala pinja.pennala@helsinki.fi käyttäkää sähköpostin otsikossa aina muotoa CLT131: jotain jotain

5 Yleistä: Osoitteet luennoitsija Tommi A Pirinen tommi.pirinen+clt131@helsinki.fi kurssiassistentti Pinja Pennala pinja.pennala@helsinki.fi käyttäkää sähköpostin otsikossa aina muotoa CLT131: jotain jotain kurssisivut http: // kurssin kuvaus, kalenteri, luentokalvot ja tehtävät

6 Yleistä: Osoitteet luennoitsija Tommi A Pirinen tommi.pirinen+clt131@helsinki.fi kurssiassistentti Pinja Pennala pinja.pennala@helsinki.fi käyttäkää sähköpostin otsikossa aina muotoa CLT131: jotain jotain kurssisivut http: // kurssin kuvaus, kalenteri, luentokalvot ja tehtävät wikisivut view/kitwiki/hyclt131s2010 Opiskelijoiden muistiinpanot ja yhteistyö

7 Yleistä: Osoitteet luennoitsija Tommi A Pirinen tommi.pirinen+clt131@helsinki.fi kurssiassistentti Pinja Pennala pinja.pennala@helsinki.fi käyttäkää sähköpostin otsikossa aina muotoa CLT131: jotain jotain kurssisivut http: // kurssin kuvaus, kalenteri, luentokalvot ja tehtävät wikisivut view/kitwiki/hyclt131s2010 Opiskelijoiden muistiinpanot ja yhteistyö kurssin shellipalvelin ssh:hippu.csc.fi

8 Yleistä: kurssin suoritus laajuus 3 op luennot perjantaisin 12 14, laskuharjoitukset torstaisin (ellei muuta sovita)

9 Yleistä: kurssin suoritus laajuus 3 op luennot perjantaisin 12 14, laskuharjoitukset torstaisin (ellei muuta sovita) yleinen arvosteluasteikko 1 5 (48 % pisteistä hyväksytty 1, 96 % tai enemmän 5) viikottaiset laskuharjoitukset 50 % ja harjoitustyö 50 %, tai laajempi harjoitustyö 100 % pisteistä

10 Yleistä: kurssin suoritus laajuus 3 op luennot perjantaisin 12 14, laskuharjoitukset torstaisin (ellei muuta sovita) yleinen arvosteluasteikko 1 5 (48 % pisteistä hyväksytty 1, 96 % tai enemmän 5) viikottaiset laskuharjoitukset 50 % ja harjoitustyö 50 %, tai laajempi harjoitustyö 100 % pisteistä harjoitustöistä ja etäsuorituksesta on aina sovittava kurssiassistentin tai luennoitsijan kanssa

11 Yleistä: Laskuharjoitukset tehtävät kurssisivujen yksityisessä osiossa clt131/priv/index.shtml käyttäjätunnuksen ja salasanan saa luennoitsijalta tai kurssiassistentilta laskuharjoitukset palautetaan laskuharjoitustilaisuutta edeltävänä päivänä ennen puoltapäivää (11.59) sähköpostitse

12 Yleistä: Laskuharjoitukset tehtävät kurssisivujen yksityisessä osiossa clt131/priv/index.shtml käyttäjätunnuksen ja salasanan saa luennoitsijalta tai kurssiassistentilta laskuharjoitukset palautetaan laskuharjoitustilaisuutta edeltävänä päivänä ennen puoltapäivää (11.59) sähköpostitse laskuharjoitustilaisuudessa käsitellään palautettuja harjoituksia ja laajennetaan niihin liittyviä aiheita, esim. esitellään parempia ratkaisuja laskuharjoitustilaisuudet ei pakollisia mutta niissä käytäviä asioita ei kerrata luennoilla laskuharjoitustilaisuus dokumentoidaan enintään wikissä, siis jos tehtävien sisältö ei auennut, kannattanee tulla

13 Yleistä: Harjoitustyö laajempi harjoitustehtävä joka toteuttaa kokonaisen toiminnon oikeassa tai keksityssä kieliteknologiasovelluksessa sisältää vapaamuotoisen kirjoitelman joka kuvailee lingvistisen ongelman ja ratkaisun toteutuksen sekä käyttöohjeen

14 Yleistä: Harjoitustyö laajempi harjoitustehtävä joka toteuttaa kokonaisen toiminnon oikeassa tai keksityssä kieliteknologiasovelluksessa sisältää vapaamuotoisen kirjoitelman joka kuvailee lingvistisen ongelman ja ratkaisun toteutuksen sekä käyttöohjeen deadline

15 Yleistä: Harjoitustyö laajempi harjoitustehtävä joka toteuttaa kokonaisen toiminnon oikeassa tai keksityssä kieliteknologiasovelluksessa sisältää vapaamuotoisen kirjoitelman joka kuvailee lingvistisen ongelman ja ratkaisun toteutuksen sekä käyttöohjeen deadline harjoitustyötä voi aloittaa työstää kurssin edetessä kun keksii mielenkiintoisia aiheita, kannattaa kuitenkin varmistaa aihe assistentilta tai luennoitsijalta

16 Yleistä: Käyttöympäristö csc:llä Kopioidaan nämä asetukset koneella hippu.csc.fi tiedostoon.bashrc (esim. kurssimateriaaleista copy-pastella): export LANG=fi_FI.UTF-8 export LC_ALL=fi_FI.UTF-8 export LESSCHARSET=utf-8 export GREP_OPTIONS=- -colour=auto module load gcc/4.4.4 openfst/1.2 libtool hfst/2.4 python/3.1.1-gcc omorfi

17 Asialista Käytännön asiat Kurssin motivaatio ja sisältö Perustyökaluja Kirjallisuusvihjeet

18 Kielitiede ja tekstit tyypillisesti (lähes) kaikki kielitiede tarvitsee tekstiaineistoja josta poimitaan havaintoja

19 Kielitiede ja tekstit tyypillisesti (lähes) kaikki kielitiede tarvitsee tekstiaineistoja josta poimitaan havaintoja kirjojen sisältötekstejä, sanomalehtien vuosikertoja Internet-sivustoja, pikaviestinkeskusteluja puheaineistojen transskriptiot

20 Kielitiede ja tekstit tyypillisesti (lähes) kaikki kielitiede tarvitsee tekstiaineistoja josta poimitaan havaintoja kirjojen sisältötekstejä, sanomalehtien vuosikertoja Internet-sivustoja, pikaviestinkeskusteluja puheaineistojen transskriptiot isojen (tilastollisesti merkittävien) havaintojen vahvistaminen vaatii enemmän aineistoa kuin on käsin viihtyisää käydä läpi

21 Kurssin sisältö opitaan erilaisia tekstiaineistojen tyyppejä, tekstikorpuksia tekstikorpuksista hakujen, yhteenvetojen ym. kokonaisuuksien automatisointi

22 Kurssin sisältö opitaan erilaisia tekstiaineistojen tyyppejä, tekstikorpuksia tekstikorpuksista hakujen, yhteenvetojen ym. kokonaisuuksien automatisointi eri tekstitiedostotyyppien ja koodausten ym. käytännön ongelmien hallinta

23 Kurssin sisältö opitaan erilaisia tekstiaineistojen tyyppejä, tekstikorpuksia tekstikorpuksista hakujen, yhteenvetojen ym. kokonaisuuksien automatisointi eri tekstitiedostotyyppien ja koodausten ym. käytännön ongelmien hallinta lingvistisesti mielenkiintoisten tekstiaineistojen luonti ja jäsennys

24 Mihin lingvitsit käyttävät tekstityökaluja? sanan/sanamuodon/sanaluokan X tyypilliset/poikkeukselliset käytöt yleensä (morfologia, morfosyntaksi jne.) sanojen käyttö ja käyttöympäristö (semantiikka) sanojen suhteet; synonymia, antonymia, hyponymia,...

25 Mihin lingvitsit käyttävät tekstityökaluja? sanan/sanamuodon/sanaluokan X tyypilliset/poikkeukselliset käytöt yleensä (morfologia, morfosyntaksi jne.) Esim: sanotaanko omenoita, omenoja vai omenia; missä yhteyksissä ja minkä takia? sanojen käyttö ja käyttöympäristö (semantiikka) sanojen suhteet; synonymia, antonymia, hyponymia,...

26 Mihin lingvitsit käyttävät tekstityökaluja? sanan/sanamuodon/sanaluokan X tyypilliset/poikkeukselliset käytöt yleensä (morfologia, morfosyntaksi jne.) Esim: sanotaanko omenoita, omenoja vai omenia; missä yhteyksissä ja minkä takia? Esim: onko puuro tuli mustaa oikeasti hyvä kieliopillinen rakenne tai käytössä? sanojen käyttö ja käyttöympäristö (semantiikka) sanojen suhteet; synonymia, antonymia, hyponymia,...

27 Mihin lingvitsit käyttävät tekstityökaluja? sanan/sanamuodon/sanaluokan X tyypilliset/poikkeukselliset käytöt yleensä (morfologia, morfosyntaksi jne.) Esim: sanotaanko omenoita, omenoja vai omenia; missä yhteyksissä ja minkä takia? Esim: onko puuro tuli mustaa oikeasti hyvä kieliopillinen rakenne tai käytössä? sanojen käyttö ja käyttöympäristö (semantiikka) Esim: mitä eroa on kauniilla ja komealla sanojen suhteet; synonymia, antonymia, hyponymia,...

28 Mihin lingvitsit käyttävät tekstityökaluja? sanan/sanamuodon/sanaluokan X tyypilliset/poikkeukselliset käytöt yleensä (morfologia, morfosyntaksi jne.) Esim: sanotaanko omenoita, omenoja vai omenia; missä yhteyksissä ja minkä takia? Esim: onko puuro tuli mustaa oikeasti hyvä kieliopillinen rakenne tai käytössä? sanojen käyttö ja käyttöympäristö (semantiikka) Esim: mitä eroa on kauniilla ja komealla sanojen suhteet; synonymia, antonymia, hyponymia,... Esim: lintujen ryhmittäminen luokiksi Wikipedia-aineistosta

29 Asialista Käytännön asiat Kurssin motivaatio ja sisältö Perustyökaluja Kirjallisuusvihjeet

30 Tekstinmuokkaimet cat ei varsinaisesti muokkain, mutta helppo luoda pieniä tiedostoja tai lisätä tiedoston loppuun nano (pico) helppo perusmuokkain pikkuhommiin

31 Tekstinmuokkaimet cat ei varsinaisesti muokkain, mutta helppo luoda pieniä tiedostoja tai lisätä tiedoston loppuun nano (pico) helppo perusmuokkain pikkuhommiin gedit, jedit, kate graafiset perusmuokkaimet aina kun X-yhteys toimii

32 Tekstinmuokkaimet cat ei varsinaisesti muokkain, mutta helppo luoda pieniä tiedostoja tai lisätä tiedoston loppuun nano (pico) helppo perusmuokkain pikkuhommiin gedit, jedit, kate graafiset perusmuokkaimet aina kun X-yhteys toimii vi, vim, gvim perinteinen tehokäyttäjien muokkain vim lopetetaan komennolla (esc):q

33 Tekstinmuokkaimet cat ei varsinaisesti muokkain, mutta helppo luoda pieniä tiedostoja tai lisätä tiedoston loppuun nano (pico) helppo perusmuokkain pikkuhommiin gedit, jedit, kate graafiset perusmuokkaimet aina kun X-yhteys toimii vi, vim, gvim perinteinen tehokäyttäjien muokkain vim lopetetaan komennolla (esc):q emacs toinen perinteinen tehokäyttäjien muokkain emacsista tarkemmin ks. johdantokurssin monisteet

34 Avun ja sopivien sovellusten haeskelu fgrep hakee merkkijonoja tiedostoista ja tulosteista apropos hakee sanoja ohjehakemistoista esim. apropos owner fgrep (1)

35 Avun ja sopivien sovellusten haeskelu fgrep hakee merkkijonoja tiedostoista ja tulosteista apropos hakee sanoja ohjehakemistoista esim. apropos owner fgrep (1) man näyttää ohjesivun

36 Avun ja sopivien sovellusten haeskelu fgrep hakee merkkijonoja tiedostoista ja tulosteista apropos hakee sanoja ohjehakemistoista esim. apropos owner fgrep (1) man näyttää ohjesivun info näyttää laajoja mutta valitettavan sekavia ja hankalakäyttöisiä ohjekirjasia

37 Avun ja sopivien sovellusten haeskelu fgrep hakee merkkijonoja tiedostoista ja tulosteista apropos hakee sanoja ohjehakemistoista esim. apropos owner fgrep (1) man näyttää ohjesivun info näyttää laajoja mutta valitettavan sekavia ja hankalakäyttöisiä ohjekirjasia suosittu www-pohjainen hakukone (googlellahan löytää mm. käyttökelpoiset versiot info-sivuista)

38 Mitä mä nyt tein kun se toimi...? history kertoo mitä aiemmin on tehty!{numero} toista historiasta

39 Mitä mä nyt tein kun se toimi...? history kertoo mitä aiemmin on tehty!{numero} toista historiasta script tallentaa mitä tehdään, hyvin tarkasti. Tätä käytetään toisinaan tehtäväpalautuksissa!

40 Asialista Käytännön asiat Kurssin motivaatio ja sisältö Perustyökaluja Kirjallisuusvihjeet

41 Vapaaehtoista, syventävää, lukemista (ei siis kurssilukemisto) Vim-kirja ( ) emacs-kirja ( ) Jantunen, J.: Synonymia ja käännössuomi Nikolaev, Niemi: Suomen nominien taivutuksesta (Virittäjä 2005: 482)