Mylly: Uusi tapa ka sitella teksti- ja puheaineistoa helposti ja tehokkaasti. Mietta Lennes ja Jussi Piitulainen FIN-CLARIN, Helsingin yliopisto

Koko: px

Aloita esitys sivulta:

Download "Mylly: Uusi tapa ka sitella teksti- ja puheaineistoa helposti ja tehokkaasti. Mietta Lennes ja Jussi Piitulainen FIN-CLARIN, Helsingin yliopisto"

Urho Mattila
6 vuotta sitten
Katselukertoja:

1 Mylly: Uusi tapa ka sitella teksti- ja puheaineistoa helposti ja tehokkaasti Mietta Lennes ja Jussi Piitulainen FIN-CLARIN, Helsingin yliopisto

2 Kuinka aineistojen käsittelyä voitaisiin helpottaa? Aineistojen koko kasvaa jatkuvasti. Kaikkia työvaiheita ei pysty tekemään käsin. Monet työkalut ovat hankalia käyttää (esim. edellyttävät komentorivityökalujen hallintaa). Menetelmät halutaan dokumentoida. Työvuon pitäisi olla helposti toistettavissa myös uudelle aineistolle. Kielitieteen päivät

3 Chipster CSC:n kehittämä avoimen lähdekoodin alusta ( Käytössä aiemmin luonnontieteiden puolella

4 Mylly (The Mill) Kielipankkiin on asennettu oma Chipsterversio nimeltään Mylly. Myllyn kautta tarjotaan erityisesti kieliaineistojen käsittelyyn ja visualisointiin sopivia työkaluja. Myllyn kautta on mahdollista kytkeä käyttöön mikä tahansa Taito-palvelimella toimiva työkalu tai skripti, joka käyttää yhtä tai useampaa tiedostoa syötteenä ja tuottaa tulokseksi uusia tiedostoja

5 Output = input?

6 Käyttöesimerkkejä 1. Automaattinen puheentunnistus 2. Tekstin saneistaminen ja sananmuotojen frekvenssit 3. Suomenkielisen tekstin automaattinen jäsentäminen 4. Haku suoraan Korp-palvelusta ja tulokset taulukkomuotoon

8 Kirjaudutaan Myllyyn CSC-käyttäjätunnus CSC-salasana

9 1. Automaattinen puheentunnistus

10 Lähtöaineisto: Puhetta sisältävä äänitiedosto Työkalu: Suomen kielen automaattinen puheentunnistin (AaltoASR)

11 Tuodaan Myllyyn äänitiedosto

12 Datasets: Valitaan äänitiedosto

13 Analysis tools: Valitaan työkalu

14 Lähetetään työ AaltoASRtunnistimen käsiteltäväksi

15 (Tunnistustyölle voi ensin valita muutamia asetuksia)

16 Pyydetään tuloksia ja odotetaan

17 Tunnistustyö on valmis!

18 Voidaan katsella tekstimuotoista tulosta

19 Tunnistettu teksti

20 Tunnistustulos EAFmuodossa ELAN-ohjelmaan

21 ELAN pyytää valitsemaan vastaavan äänitiedoston omalta koneelta

22 ELAN ihmettelee vähän, mutta ei välitetä siitä

23 Ääni ja annotaatio ELANissa

24 Tunnistustulos TextGridmuodossa Praat-ohjelmaan

25 Etsitään omalta koneelta äänitiedosto TextGridin pariksi

26 Valitaan ääni+textgrid Praatin editori-ikkunaan

27 Ääni ja annotaatio Praatissa

28 2. Tekstin saneistaminen ja sananmuotojen frekvenssit

29 Lähtöaineisto: Tekstiä sisältävä tiedosto Työkalu: Tokenisointi ja sananmuotojen frekvenssien laskenta

30 Tarvittaessa tuodaan tekstitiedosto Myllyyn

31 Saneistetaan teksti (Tokenize)

32 Lasketaan erilaisten sananmuotojen lukumäärät saneistetusta listasta

33 Sananmuotojen taajuudet

34 3. Suomenkielisen tekstin automaattinen jäsentäminen

35 Lähtöaineisto: Tekstiä sisältävä tiedosto Työkalu: Suomen kielen dependenssijäsennin (Turku Dependency Parser)

36 Tekstitiedoston sisällön voi jäsentää Turku Dependency Parser -työkalulla

37 Jos jäsennettävä aineisto on iso, työn voi lähettää myös eräajona

38 Odotetaan työn valmistumista ja pyydetään tulokset (Wait for results)

39 TSV-muotoiset tulokset voi avata omalla koneella

40 Tulokset TSV-muodossa voivat näyttää tältä oman koneen tekstieditorissa:

41 TSV-tiedoston voi myös tallentaa Export-komennolla Valikko tulee näkyviin hiiren oikeaa nappia klikkaamalla!

42 Exceliin tuotuna TSV-tiedosto näyttää tältä:

43 4. Haku suoraan Korp-palvelusta, tulokset taulukkomuodossa

44 Lähtöaineisto: Korp-palvelun Suomi24 (näyte) -korpus Työkalu: Korp-API,

45 Luodaan ja tallennetaan ensin tekstitiedosto, jossa on CQP-kyselylause(ita) Huom! Tiedoston päätteenä.txt ja merkistökoodaus UTF-8!

46 Tuodaan kyselytiedosto Myllyyn

47 Valitaan kyselytiedosto ja sitten työkaluksi Korp API

48 Käynnistetään konkordanssihaku

49 Tuloksena on JSON-muotoinen tekstitiedosto konkordanssista

50 Käynnistetään JSON-muotoisen hakutuloksen muunnos TSV-tiedostoiksi

51 Tuloksena on kaksi TSV-muotoista tekstitiedostoa konkordanssista

52 TSV-tiedostot voi tallentaa

53 TSV-tiedostot voi avata Excelissä (tässä tiedosto query-tokens.tsv)

54 TSV-tiedostot voi avata Excelissä (tässä tiedosto query-meta.tsv)

55 Kiitos! Ehdota meille lisää Mylly-palveluita:

Samankaltaiset tiedostot

Kielipankki ja FIN-CLARIN

Kielipankki ja FIN-CLARIN Mietta Lennes Tämä kalvosarja on lisensoitu Creative Commons Nimeä 4.0- lisenssillä. Kielipankki / FIN-CLARIN CLARIN ERIC Eurooppalainen tutkimusinfrastruktuurikonsortio perustettiin