Kieliaineistojen tuotantolinja seminaari Kädet mullassa: Hands on sessio 11.5.2012 klo 15:30 17, atk luokat: ls 25 (5.krs) sekä A113H (1.krs) klo 15:30 17 Tehtäviä Näitä tehtäviä voi tehdä oman maun mukaan ja haluamassaan järjestyksessä. Neuvoa voi kysyä kunkin tehtäväosion vastuuhenkilöltä. Tehtäviin liittyvät tiedostot ovat ladattavissa verkkosivulta: https://kitwiki.csc.fi/twiki/bin/view/finclarin/finclarintuotantolinjademokorpus 1. Tehtäviä unix pohjaisella hippu palvelimella Etäyhteys ja kirjautuminen CSC:n hippu palvelimelle avaa PuTTY ohjelma Host name: hippu.csc.fi (Port 22) klikkaa vasemmalta Window > Translation varmista, että Received data assumed to be in which character set: UTF 8 avaa yhteys klikkaamalla Open. Tiedoston lataaminen omalta koneelta verkon yli hipulle, vaihtoehto 1: käytä WinSCP ohjelmaa, jonka käyttöohjeet löydät tämän dokumentin lopusta. Tiedoston lataaminen omalta koneelta verkon yli hipulle, vaihtoehto 2: kirjaudu Tutkijan käyttöliittymään osoitteessa https://sui.csc.fi ja käytä tiedoston siirtämiseen Tutkijan käyttöliittymästä löytyvää Omat tiedostot palvelua. Morfologinen analyysi: OmorFi Vastuuhenkilö Tommi Pirinen Kirjaudu ensin hippu palvelimelle (ks. kirjautumisohjeet). Tehtävä 1. Käynnistä omorfi interactive.sh ja syötä sanoja käsin: $ omorfi-interactive.sh kissa kissa [BOUNDARY=LEXITEM][LEMMA='kissa'][POS=NOUN][KTN=9][NUM=SG][CASE=NOM][BOUNDARY=LEX ITEM][CASECHANGE=NONE] 22,179688 meni meni [BOUNDARY=LEXITEM][LEMMA='mennä'][POS=VERB][KTN=67][VOICE=ACT][MOOD=INDV][TENSE=P AST][PRS=SG3][BOUNDARY=LEXITEM][CASECHANGE=NONE] 22,179688 sillan 1
sillan [BOUNDARY=LEXITEM][LEMMA='silla'][POS=NOUN][KTN=9][NUM=SG][CASE=GEN][BOUNDARY=LEX ITEM][CASECHANGE=NONE] 22,179688 sillan [BOUNDARY=LEXITEM][LEMMA='silta'][POS=NOUN][KTN=9][KAV=I][NUM=SG][CASE=GEN][BOUND ARY=LEXITEM][CASECHANGE=NONE] 22,179688 alle alle [BOUNDARY=LEXITEM][LEMMA='alle'][POS=ADPOSITION][BOUNDARY=LEXITEM][CASECHANGE=NON E] 22,179688 alle [BOUNDARY=LEXITEM][LEMMA='alle'][POS=ADVERB][BOUNDARY=LEXITEM][CASECHANGE=NONE] 22,179688 Tehtävä 2. Kielipankin aineistoja pitää purkaa, uudelleenkoodata ja putkittaa näin: zcat /kielipankki/sfnet/raw_texts/viestinta/sfnet.viestinta.www.gz iconv -f latin1 -t utf8 omorfi-analyse.sh Kieliteknologeille: Omorfin automaatit löytyvät tiedostoina hakemistosta //kielipankki/omorfi/20120401/share/hfst/fi/ Siellä on myös lemmatisoija, jota voi käyttää vastaavasti hfst työkalulla hfst lookup: $ hfst-lookup /kielipankki/omorfi/20120401/share/hfst/fi/lemmatize.default.hfst talossa hfst-lookup: warning: It is not possible to perform fast lookups with OpenFST, std arc, tropical semiring format automata. Converting to HFST basic transducer format and performing slow lookups talossa talo 22,179688 oli oli olla 22,179688 vanhempi vanhempi vanha 22,179688 vanhempi vanhempi 22,179688 juttujuttu juttujuttu juttu#juttu 33,269531 Dependenssijäsennys ja FinnTreeBank Vastuuhenkilöt Kristiina Muhonen ja Tanja Purtonen Kirjaudu hippu palvelimelle (ks. kirjautumisohjeet edellä). Lataa tiedosto kokojaatelo.txt hipulle esimerkiksi omaan kotihakemistoosi. Ohjeet tähänkin löytyvät edeltä. 1.Tarkastele tiedoston objekteja ja niitä ympäröiviä kahta riviä kumpaankin suuntaan. egrep -2 obj < kokojaatelo.txt less (Kun olet antanut komennon, voit selata sivuja painamalla välilyöntiä ja lopettaa tarkastelun painamalla q:ta.) 2.Etsi tiedostosta subjektit, jotka ovat partitiivissa. 2
'subj.*ptv' < kokojaatelo.txt less 3.Laske, montako passiivimuotoa tiedostosta löytyy. egrep -c 'PSS' < kokojaatelo.txt 2. Korp ja FinnWordNet Vastuuhenkilö Jyrki Niemi Korp korpushakuliittymä Testiversio on kokeiltavissa osoitteessa http://nyklait 09 01.hum.helsinki.fi/korp/#lang=fi Huom: Korp toimii tällä hetkellä vain Helsingin yliopiston verkon sisältä käsin. Alkuperäinen, Ruotsin Språkbankenin Korp on käytettävissä osoitteessa http://spraakbanken.gu.se/korp/ Korpin testiversiossa on näkyvillä kaksi suomenkielistä korpusta: suomen puupankki FinnTreeBank 2 sekä hyvin pieni puheesta litteroitu ja ohjelmallisesti dependenssijäsennetty Reitti A siipeen. Ohjeita Konkordanssinäkymässä korostetun (harmaapohjaisen) sanan pääsana näkyy vaaleanpunaisella pohjalla. Sanakuva toiminto näyttää haettuun sanaan useimmin tietyillä dependenssisuhteilla liittyvät sanat. Se toimii vain yksinkertaisessa haussa, kun käyttäjä on valinnut hakusanan jonkin täydennysehdotuksen, joka sisältää myös sanaluokan, esim. "olla (verbi)". Tehtäviä verkkosivulla https://kitwiki.csc.fi/twiki/bin/view/finclarin/finclarintuotantolinjakorp FinnWordNet suomen wordnet FinnWordNet on suomen wordnet, joka on luotu kääntämällä englannin Princeton WordNetin sanojen merkitykset suomeksi. Merkitysten selitteitä (glosseja) ei ole käännetty. Lisätietoa FinnWordNetistä saa osoitteesta http://www.ling.helsinki.fi/kieliteknologia/tutkimus/finnwordnet/ Hakuliittymät FinnWordNetillä on tällä hetkellä kaksi hakuliittymää: yleisesti käytettävissä oleva tekstipohjainen osoitteessa http://www.ling.helsinki.fi/cgi bin/fiwn/search ja toistaiseksi vain Helsingin yliopiston verkossa käytettävissä oleva tanskalaisperäinen, käsitteiden suhteita graafisesti esittävä Andre ord osoitteessa http://nyklait 09 01.hum.helsinki.fi/andreord fiwn Kumpikin hakuliittymä on englanninkielinen. Tehtäviä verkkosivulla https://kitwiki.csc.fi/twiki/bin/view/finclarin/finclarintuotantolinjafinnwordnet 3
3. Kieliaineiston litterointi ja muu annotointi Praat ja Elan ohjelmilla Vastuuhenkilö Mietta Lennes Hae lataussivulta https://kitwiki.csc.fi/twiki/bin/view/finclarin/finclarintuotantolinjademokorpus koneellesi samaan hakemistoon äänitiedosto reitti_a siipeen.wav sekä videotiedosto reitti_asiipeen.mp4. Lataa ja asenna koneeseesi Praat ohjelma, http://www.praat.org Huom. Pura tiedostopaketti (klikkaa hiiren oikealla napilla ja valitse "Uncompress"). Yleisiä Praat ohjelman käyttöohjeita: http://www.helsinki.fi/puhetieteet/atk/praat/ Elan ohjelman pitäisi olla valmiiksi asennettu atk luokan koneelle. Kotikoneellesi voit ladata sen osoitteesta http://www.lat mpi.eu/tools/elan/ Litterointi Praatilla Kokeile äänitiedoston litterointia Praat ohjelmalla: Avaa Praat ohjelma. Näkyviin tulevat objekti ikkuna ja piirtoikkuna (Picture) valitse Open: Read from file ja avaa reitti_a siipeen.wav klikkaa painiketta Annotate To TextGrid. Kirjoita ylempään kenttään "ML utterance TA utterance" ja paina Ok. Valitse objektilistalta Sound reitti_a siipeen ja TextGrid reitti_a siipeen (maalaa molemmat hiirellä tai pidä Ctrl tai Shift näppäin pohjassa). Klikkaa painiketta Edit. Näkyviin tulee annotointi ikkuna, jonka yläreunassa on äänen analyysikuvia ja alareunassa 2 annotointi riviä. Äänestä voi valita pätkiä ja kuunnella niitä alareunassa olevilla harmailla soittopalkeilla. Lisää rajoja klikkaamalla ensin jonnekin ikkunan yläosaan. Klikkaa sitten pientä ympyrää haluamasi annotaatiokerroksen yläreunassa. Jos klikkaat ensin annotaatiokerroksen valkoiseen alueeseen, voit kirjoittaa siihen tekstiä. Rajoja voi siirtää hiirellä. TextGrid tiedoston voi tallentaa editori ikkunan File valikosta tai objekti ikkunassa valitsemalla TextGridin ensin listalta ja sen jälkeen Save: Write to text file Skriptien ajaminen Praat ohjelmalla Seminaarin lataussivulta löytyy muutama Praat skripti, joiden ajamista voit kokeilla. Esimerkiksi valmiin tekstimuotoisen litteraation kohdistaminen äänitiedostoon: lataa skripti align_conversation_transcript_with_sound.praat sekä litteraation sisältävä tekstitiedosto reitti_a siipeen.txt ja tallenna ne samaan hakemistoon wav äänitiedoston kanssa. Avaa tarvittaessa wav äänitiedosto Praatilla. Varmista, että se on objekti ikkunassa valittuna. Avaa skripti Praatilla (Open: Read from file ) Praatissa avautuu skriptieditori ikkuna. Skriptin voi nyt suorittaa valitsemalla Run:Run. Skripti ehdottaa yhden puhunnoksen rajausta kerrallaan, ja sinun tehtäväsi on kuunnella ja katsoa äänitiedostoa ja siirtää rajat oikeisiin kohtiin. Aina kun yhden puhunnoksen rajaus on kunnossa, paina Continue ja saat seuraavan ehdotuksen. Huom. älä muuta alimmaista annotaatiokerrosta! (Skripti ei ehkä vielä toimi täydellisesti.) 4
Skripti tallentaa näin syntyvän TextGrid tiedoston automaattisesti samaan hakemistoon. Litterointi Elanilla Kokeile videotiedoston litterointia Elan ohjelmalla: Elan ohjelmassa annotaatiokerrokset tyypitetään sen mukaan, minkälaisia yksiköitä niissä kuvataan (Linguistic type). Näin voidaan hakuvaiheessa (esim. LATissa) yhdistää kaikki eri tiedostojen samantyyppiset annotaatiokerrokset tyypin perusteella. Kerrokset voivat tyypistään riippuen olla kokonaan itsenäisiä tai toisten kerrosten "lapsia". "Lapsikerros" voi kuvata vanhempansa yksiköiden osia (esim. puhunnos jakautuu sanoihin) tai olla vanhempansa symbolisia kuvauksia. Lisää annotaatiokerroksia valitsemalla Tier Add tier. Syötä uuden kerroksen nimi, valitse sen tyyppi (Linguistic type) ja paina Add. Uuden annotaation syöttäminen: Maalaa äänestä jokin pätkä hiirellä ja kaksoisklikkaa sitten kyseisellä kohdalla annotaatiokerrokseen. Kirjoita teksti ja hyväksy se painamalla Ctrl Enter. Videota voi kuunnella painamalla mustaa kolmiota ikkunan keskiosassa vasemmalla näkyvän painikerivin keskellä. Valitun alueen sisällä voi siirtyä em. rivin oikealla puolella olevilla painikkeilla. Lataa koneellesi reitti_a siipeen.eaf annotaatiotiedosto. Avaa se Elanilla ja kokeile annotaatioiden muokkaamista. Kokeile myös hakuja Elanilla (komennot Search valikossa). 4. Kieliaineiston kuvailutiedot: Arbil ohjelma Vastuuhenkilö Jussi Piitulainen Yhteiseen LAT puuhun liitettävä aineisto kuvataan IMDI muotoisilla tietueilla, jotka voi valmistaa Arbililla (~ archive builder). Omat kuvailutietueet ja aineisto ovat pieni paikallinen puu, joka ensin siirretään palvelimen työtilaan ja linkitetään sitten siellä yhteiseen puuhun. Sen jälkeen voi vielä sallia muille pääsyn aineistoonsa. IMDI muoto ja koko LAT on tarkoitettu varsinkin ensisijaisten puheaineistojen dokumentoitiin (aika, paikka, puhujien tiedot). Korpus koostuu siinä sessioista, joissa on mediatiedostoja ja niiden annotaatiota. Annotaatiot ovat luontevimmin EAF muodossa aikajanalla ja kerroksissa. Muunlaisia aineistoja voi myös liittää yhteiseen puuhun. Niiden täytyy sopeutua ympäristöönsä eli olla ainakin IMDImuodossa. Teksti tai tietuemuotoiselle datalle voi keksiä aikajanan ja saattaa sen myös EAFmuotoon LAT puun mediaselaimella näytettäväksi. Tämä harjoitus kattaa sen, mitä vähintään tarvitsee tehdä EAF muotoisen dokumentin liittämiseksi yhteiseen puuhun. Arbilin voi asentaa omaan koneeseen tai käynnistää verkosta (Webstart, käynnistyminen täytyy sallia). Java tarvitaan. Arbil on tehty Javalla niin kuin moni muukin osa MPI ja LATmaailmaa. (Jos Arbil kysyy, tehdäänkö IMDI vai CMDI muotoista kuvausta, pitää LAT puuta varten valita IMDI.) 5
Käyttöliittymän vasemmassa laidassa on ylhäällä "Remote corpus" ja sen alla "Local corpus". Lisätään jälkimmäiseen uusi haara. Osoita hiirellä otsikkoa "Local corpus", paina oikea painiketta ja valitse ponnahdusvalikosta "Add > Corpus". Omaan puuhusi ilmestyy uusi haara ja käyttöliittymään avautuu lomake. (Puun rakennetta voi avata ja sulkea näkyvistä painamalla solmukohtia hiirellä.) Korpuslomakkeessa on kentät "Name", "Title" ja "Description". Name näkyy puussa ja sitä käytetään myös tiedostonimissä. Anna nimeksi vaikkapa "harjoitus". (Aktivoi tekstikenttä painamalla sitä hiirellä, kirjoita teksti, ja napsauta hiirellä jotain turvallista kohtaa kentän ulkopuolella.) Title voi olla vapaamuotoisempi. Kirjoita siihen "Yksinkertainen harjoitus yhden valmiiksi annetun EAF muotoisen dokumentin viemiseksi CSC:n palvelimelle yhteiseen LAT puuhun" (tai mitä itse keksit). Hiiren oikealla painikkeella voi avata myös vaihtoehtoisen lomakenäkymän: yksi kenttä kerrallaan ja mahdollisuus siirtyä edelliseen tai seuraavaan kenttään. On enemmän tilaa tekstille. Voit kirjoittaa Description kenttään vapaamuotoisen kuvauksen korpuksestasi. Kuvaus näkyy puuta selattaessa ja kertoo etsijälle, minkä resurssin äärellä hän sillä hetkellä on. Toistaiseksi kaikki on Arbilissa. Korpukseen voi lisätä session painamalla sen nimeä omassa puussa (hiiren oikealla painikkeella) ja valitsemalla "Add > Session". Tee näin. Korpussolmun alle ilmestyy sessiohaara ja käyttöliittymään avautuu uusi lomake. Myös sessiolomakkeessa on Name, Title ja Description. Session sisältö tulee olemaan se EAFdokumentti, jonka kuvaamiseksi kaikki tämä tehdään, joten Name voi olla vaikkapa "dokumentti", Title vaikkapa "Se yxi harjoitus documentti", ja kuvaus mitä vain. Sessiotietueeseen voi liittää lisää IMDI muotoista tietoa avaamalla siihen uusia lomakkeita (paina session nimeä omassa puussa hiiren oikealla painikkeella ja valitse esiin ponnahtavasta valikosta). Ei nyt. Sessiotietueeseen voi liittää media ja annotaatiotiedostoja. Seuraavaksi liitetään harjoitus EAF avoinna olevaan sessioon. Paina session nimeä omassa puussa (hiiren oikealla painikkeella) ja valitse ponnahdusvalikosta "Add > WrittenResource". Avautuvassa lomakkeessa on monta kenttää, osa pakollisia. Valitse EAF tiedosto koneeltasi. Arbil tunnistaa EAF dokumentin ja täyttää pakolliset tiedot itse. Kaikki on vieläkin Arbilissa. Luodun IMDI puun voi tallentaa XML dokumenteiksi valitsemalla korpussolmun ponnahdusvalikosta vaihtoehdon Export ja nimeämällä sille hakemiston. Tyhjä hakemisto on siitä hyvä, että Arbil ei sitten varoita hämmentävästi. Tallenna. Näin luodut ja tallennetut IMDI tietueet (korpus ja sessio) ja niihin linkitetyn EAFdokumentin voi viedä palvelimen työtilaan ja linkittää siellä yhteiseen puuhun. LAMUS tunnistaa paikallisesti luodut linkit. Vain korpustietueen paikka yheisessä puussa täytyy valita. 5. Kieliaineiston vienti LAT alustan yhteiseen puuhun (Lamus palvelu) Vastuuhenkilö Mietta Lennes Tarkista ensin, että sinulla on korpukseesi liittyvät tiedostot koneellasi: Jollet ole vielä tuottanut IMDI muotoisia kuvailutietoja itse Arbil ohjelmalla, voit ladata demokorpuksen kuvailutietueen verkosta (ks. linkki tämän ohjeen alussa). 6
Varmista myös, että sinulla on tarvittava EAF muotoinen annotaatiotiedosto, jokin siihen liittyvä mediatiedosto (ääni tai video) ja mahdolliset muut tiedostot, jotka haluat viedä samaan harjoituskorpukseen. Siirry selaimella osoitteeseen lat.csc.fi/lamus Klikkaa Create new workspace Kirjaudu sisään HAKA käyttäjätunnuksellasi (jonka pitäisi olla aktivoitu ennen seminaaria, jotta se toimii Lamuksessa). Klikkaa vasemmalle aukeavasta korpuspuusta auki ensin Private solmu. Klikkaa hiiren oikealla napilla sen alta oman käyttäjätunnuksesi mukaista solmua ja valitse select this node as the top node for the workspace. työtila aukeaa, ja voit ladata sinne erilaisia tiedostoja väliaikaissäilytykseen. Valitse Upload files, klikkaa Browse ja etsi koneeltasi kaikki ne tiedostot, jotka haluat LATistaa. Tarvitset vähintään IMDI muotoiset kuvailutiedot (kaikki.imdi päätteiset tiedostot) sekä media, annotaatio tai tekstitiedostoja. Klikkaa Upload, jolloin lataus alkaa. Lamus ilmoittaa, olivatko tiedostot hyväksytyssä formaatissa. (Muiden tiedostoformaattien lataus ei Lamuksella onnistu.) Klikkaa vasemmalla näkyvää korpusnoodia oikealla napilla ja valitse link corpus Lamuksen työtilan oletuskoko on 10 MB, joten tätä suurempaa määrää tiedostoja et pysty yhdellä kerralla LATistamaan. Tarvittaessa ylläpidolta voi pyytää lisätilaa. Kun olet päässyt tähän asti, älä jätä työtilaa auki. Jos olet varma että haluat päivittää muokkaamasi korpusoksat LATiin, paina näytön alalaidasta Submit workspace ja hyväksy. Jos tuli tehtyä virheitä tai muuta turhaa, tyhjennä työtila ja vapauta se muuhun käyttöön komennolla Delete workspace. Jos lähetit työtilan liitettäväksi LATin yhteiseen puuhun, on uusi versio käytettävissäsi heti kun olet saanut sähköpostitse viestin työtilan päivittymisestä. Päivitettyjä EAF ja muita written resource tyyppisiä tiedostoja ei voi vielä samana päivänä hakea Trovalla, sillä uudet päivitykset indeksoidaan Trovaa varten kerran vuorokaudessa öisin/aamuisin. Annex selailun pitäisi kuitenkin toimia heti, jos päivitit EAF tiedoston ja siihen sopivan mp4 tiedoston. 5. Muita palveluita kokeiltavaksi Halutessasi voit kokeilla aineistojen kuvailutietojen tarkastelua META SHARE palvelussa, joka löytyy verkko osoitteesta http://metashare.csc.fi. Koska tämä sovellus on vielä testausvaiheessa, emme toistaiseksi suosittele palveluun rekisteröitymistä. HFST demot: http://www.ling.helsinki.fi/kieliteknologia/tutkimus/hfst/demos.shtml 7
Tiedoston siirtäminen hipulle WinSCP ohjelmalla Tätä varten tarvitset CSC:n käyttäjätunnuksen (ts. sinulla on oltava vähintään yhden Kielipankin aineiston käyttöoikeus). 1. Avaa Winscp ohjelma Start valikosta: 2. Kun Winscp:n käynnistää, tulee esille seuraava ikkuna, johon täytetään palvelinkoneen IP osoite, käyttäjätunnus ja salasana. File protocol valikosta valitaan SCP, jonka jälkeen painetaan "Login". 3. Ensimmäisellä kirjautumiskerralla tulee seuraaavanlainen varoitus, johon vastataan "Yes". 8
4. Yhteyden synnyttyä Winscp:n pääikkuna aukeaa. Pääikkunassa voit siirtää tiedostoja puolin ja toisin (palvelimelta omalle koneelle ja päinvastoin) vaikka raahaamalla. 9