Suomen kielen substantiivilla on noin 2000 erilaista muotoa vai onko sittenkään? Kimmo Kettunen, Tampereen yliopisto, informaatiotutkimuksen laitos

Transkriptio

1 Suomen kielen substantiivilla on noin 2000 erilaista muotoa vai onko sittenkään? Kimmo Kettunen, Tampereen yliopisto, informaatiotutkimuksen laitos

2 Tausta Suomen kielen erilaisten sanamuotojen määrä esitetään kielitieteellisessä kirjallisuudessa yleensä toisiinsa liittyvien morfeemien kombinaatioiden laskelmana. Näin päädytään laskennallisesti suureen kieliopillisten sananmuotojen määrään. Substantiiveilla on mahdollista olla noin erilaista muotoa, adjektiiveilla noin 6600, verbeillä noin (Karlsson 1983). Kielitieteen päivät 2008, Vaasa K. Kettunen 2

3 Substantiivit Substantiivien mahdollisten kieliopillisten muotojen laskenta perustuu seuraavaan laskelmaan: 2*13*6*12 = Kielitieteen päivät 2008, Vaasa K. Kettunen 3

4 Substantiivit Jos kaavasta korvataan sijamuotojen määrä 14:llä ja otetaan huomioon myös rinnakkaiset 3. persoonan omistusliitemuodot, päästään yli 2000 muodon (Karlsson 1983, s. 357). Karlsson puhunut myös 150 ydinmuodosta (core forms) Kielitieteen päivät 2008, Vaasa K. Kettunen 4

5 Fred Karlssonin listaus mahdollisista muodoista (automaattisesti generoitu) 2249 muotoa generoitu automaattisesti ( kauppanikohan kauppanipahan kauppanipas kauppanikos kauppanikinko kauppanikaanko kauppanikinkohan.. Kielitieteen päivät 2008, Vaasa K. Kettunen 5

6 Jakaumat teksteissä Sananmuotojen jakaumat todellisissa teksteissä ovat täysin toisenlaisia: substantiiveista esiintyy teksteissä enimmäkseen kuusi sijamuotoa (nominatiivi, genetiivi, partitiivi, inessiivi, elatiivi ja illatiivi), ilman omistusliitteitä tai liitepartikkeleita. Sijamuotojen jakauman osoitti jo Räsänen (1979) selkeästi pienillä otoksilla, sittemmin samaan tulokseen on päädytty myös Lauseopin arkiston analyyseissa ja Parole korpuksen analyysissa (Pajunen & Palomäki, 1982 (ks. Karlsson 1983),Hakulinen et al. 2004). Kielitieteen päivät 2008, Vaasa K. Kettunen 6

7 Jakaumat Itse olen vahvistanut analyysit kahden isohkon sanomalehtiaineiston automaattisella morfologisella analyysilla (Kettunen ja Airio 2006). Muotojen jakauman vinous korpuksissa on vanhastaan tunnettua ja semanttispohjaista (Karlsson 1986), mutta tiedon konkreettiset seuraukset tai tiedon hyödyntäminen on jäänyt epäselväksi. Kielitieteen päivät 2008, Vaasa K. Kettunen 7

8 Räsänen 1979 Pieniä noin 2000 sanan otoksia erilaisista tekstityypeistä (kaunokirjallista tekstiä, asiatekstit). Taulukossa on vain asiatekstien jakaumat 6 tärkeimmän sijan osalta. Kielitieteen päivät 2008, Vaasa K. Kettunen 8

9 Lauseopin arkisto, sanaa (4*5000 sanan otos), Pajunen & Palomäki 1982 Kielitieteen päivät 2008, Vaasa K. Kettunen 9

10 Lauseopin arkisto, ( substantiivia) Hakulinen et al. 2004, s.1180 Kielitieteen päivät 2008, Vaasa K. Kettunen 10

11 Parole aineisto (Hakulinen et al. 2004, s.1179, sanaa) Kielitieteen päivät 2008, Vaasa K. Kettunen 11

12 Automaattinen morfologinen analyysi Tampereen yliopiston tiedonhaun laboratorion testikokoelma TUTK muodostuu lehtiartikkelista vuosilta Tekstitietokannan sanojen frekvenssi indeksistä tekemäni laskelman mukaan sananmuotoja on yhteensä Sananmuototyyppejä, erilaisia sananmuotoja, tässä määrässä on Sananmuototyyppien sijamuodoista olen tehnyt jakaumalaskelman seuraavasti. Sananmuototyypit analysoitiin FINTWOLilla ja FINTWOLin analyyseista laskettiin kaikki ne tulkinnat, joissa oli sanaluokkana N eli substantiivi. Lukema sisältää siis myös FINTWOL analyysin monitulkintaiset tapaukset. Kielitieteen päivät 2008, Vaasa K. Kettunen 12

13 TUTK, FINTWOL analyysi Kielitieteen päivät 2008, Vaasa K. Kettunen 13

14 HUT korpus, FINTWOL analyysi (Mathias Creutz) Helsingin teknillisessä korkeakoulussa eri lähteistä kootun 32 miljoonan sananmuodon aineistosta (Creutz & Linden 2004) on ajettu vastaavanlainen FINTWOL analyysi, mutta vain ohjelman antamista yksitulkintaisista substantiivitapauksista toteumatasolla. Tästä analyysista olen koonnut tilastotiedot substantiivien kuuden yleisimmän sijamuodon suhteen. Kielitieteen päivät 2008, Vaasa K. Kettunen 14

15 Kuuden sijamuodon jakaumat 11,3 miljoonan substantiivin aineistossa Kielitieteen päivät 2008, Vaasa K. Kettunen 15

16 Koontia Kootusti edelliset tilastot kertovat yhdensuuntaisesti, että suomen kielen 14 morfologisesta sijamuodosta kuusi sijamuotoa muodostaa (asia)teksteissä noin % kaikista sijojen esiintymistä. Tämä pätee sekä tyyppi että toteumatasolla. Entäpä omistusliitteet ja liitepartikkelit, jotka tekevät muotojen määrästä runsaan? Seuraava taulukko perustuu FINTWOL analyysiin HUT korpuksen 11,3 miljoonasta substantiivista. Kielitieteen päivät 2008, Vaasa K. Kettunen 16

17 Omistusliitteiden ja liitepartikkelien määrät HUT korpuksessa Kielitieteen päivät 2008, Vaasa K. Kettunen 17

18 Omistusliitteet ja liitepartikkelit 2,46 %:ssa substantiiveja esiintyy omistusliite tai liitepartikkeli ylipäänsä. Usean liitepartikkelin ketjuja ei analysoitu, mutta niiden määrä on todennäköisesti olematon. Vain 3. persoonan omistusliite on niin yleinen (1,83 %), että sen voi arvella esiintyvän jokseenkin usein teksteissä. Seuraavaksi yleisin on liitepartikkeli kin, mutta sen prosenttiosuus aineistossa on vain 0,25. Suuri osa omistusliitteistä ja liitepartikkeleista esiintyy aineistossa erittäin harvoin. Yleistendenssinä joka tapauksessa on, että mitä spesifisempi sija on merkitykseltään, sitä harvinaisempi se on esiintymätaajuudeltaan. (Hakulinen et al. 2004, s. 1178). Selitys pätee varmasti myös omistusliitteisiin ja liitepartikkeleihin. Mitä enemmän näitä yhdistellään toisiinsa, sitä spesifimmäksi merkitys muuttuu harvinaisuus. Kielitieteen päivät 2008, Vaasa K. Kettunen 18

19 Fred Karlssonin listaus mahdollisista muodoista (automaattisesti generoitu) 2249 muotoa, näistä 173 on tuntemattomia FINTWOLille (7,69 %) Suurin osa muodoista on jokseenkin teoreettisia korpusanalyysin valossa. kauppanikohan kauppanipahan kauppanipas kauppanikos kauppanikinko kauppanikaanko kauppanikinkohan Kielitieteen päivät 2008, Vaasa K. Kettunen 19

20 Välipäätelmiä Suomenkielisissä teksteissä substantiivit esiintyvät pääsääntöisesti 6 eri sijamuodossa. Muutamat sijamuodoista ovat äärimmäisen harvinaisia (komitatiivi, instruktiivi, abessiivi), usea muukin vähän esiintyvä (translatiivi, essiivi, ablatiivi). Omistusliitteiden ja liitepartikkelien määrä on erittäin vähäinen substantiivin muotoa kattaa aika ison osan tekstien substantiivien esiintymistä (6 sijaa, yksikköja monikkomuodot). Kielitieteen päivät 2008, Vaasa K. Kettunen 20

21 Seurauksia Tietoa voi yrittää soveltaa Tekstitiedonhaku on yksi sovelluskohde Tekstitiedonhaussa on päämääränä löytää annetuilla hakutermeillä hakijalle mahdollisimman relevantit dokumentit. Sananmuotojen vaihtelun vaikutusta dokumenttien löytyvyyteen voidaan minimoida eri keinoin: lemmaus, perusmuotoistaminen stemmaus, karsinta: karkea yhtenäistäminen vartalohaku, haku sanavartaloilla Kielitieteen päivät 2008, Vaasa K. Kettunen 21

22 Frekvenssitiedon soveltaminen tiedonhakuun Kokeillaan soveltaa sananmuotojen jakaumatietoa tiedonhaussa hakutermien muodon vaihtelun käsittelyssä. Ei siis yritetä kattaa kokonaan muotojen vaihtelua (kuten lemmaus tekee indeksille ja hakusanoille), vaan tuotetaan hakusanoista vain 3 12 erilaista muotoa ja katsotaan, miten haussa käy. Kielitieteen päivät 2008, Vaasa K. Kettunen 22

23 Kettunen & Airio 2006: käsin tehdyt kyselyt FCG prosesseilla, pitkät kyselyt Liberaali relevanssi Keskitarkkuus saantitasoilla (%) Normaali relevanssi Keskitarkkuus saantitasoilla (%) Tiukka relevanssi Keskitarkkuus saantitasoilla (%) FINTWOL FCG_ ( 5.1) 30.0 ( 5.0) 21.4 ( 2.7) FCG_ ( 5.4) 29.6 ( 5.4) 21.3 ( 2.8) FCG_ ( 6.9) 28.0 ( 7.0) 21.0 ( 3.1) Snowball 29.8 ( 8.0) 27.7 ( 7.3) 20.0 ( 4.1) FCG_ ( 11.4) 23.9 ( 11.1) 18.9 ( 5.2) Plain (sanat hakuaiheen muodoissa) 19.6 ( 18.2) 18.9 ( 16.1) 12.4 ( 11.7) Tulokset TUTKissa Menetelmä Keskitarkkuus saantitasoilla (%) FINTWOL ositetut yhdyssanat 50.5 osittamattomat yhdyssanat 47.0 ( 3.5) Snowball 48.5 ( 2.0) FCG_ ( 4.1) FCG_ ( 4.4) FCG_ ( 9.0) FCG_ ( 17.9) Plain (sanat hakuaiheen 31.0 ( 19.5) muodoissa) Tulokset CLEF 2003:ssa Kielitieteen päivät 2008, Vaasa K. Kettunen 23

24 Kettunen 2008a, automaattiset lyhyet kyselyt Finnish Short Queries 1 0,9 0,8 Precision 0,7 0,6 0,5 0,4 0,3 0,2 0,1 TW OL FCG_12 FCG_9 SNOWB PLAIN 0 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Recall Kielitieteen päivät 2008, Vaasa K. Kettunen 24

25 Kettunen 2008b, automaattiset pitkät kyselyt Finnish Long Queries 1 0,9 0,8 Precision 0,7 0,6 0,5 0,4 0,3 0,2 0,1 TWOL FCG_12 FCG_9 SNOWB PLAIN 0 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Recall Kielitieteen päivät 2008, Vaasa K. Kettunen 25

26 Lisää tuloksia, vähemmän muotoja Finnish Long Queries 1 0,9 0,8 Precision 0,7 0,6 0,5 0,4 0,3 0,2 0,1 TWOL FCG_12 FCG_9 PLAIN FCG_6 FCG_ ,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Recall Kielitieteen päivät 2008, Vaasa K. Kettunen 26

27 Lisää tuloksia, vähemmän muotoja Finnish Short Queries 1 0,9 Precision 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 TWOL FCG_12 FCG_9 SNOWB PLAIN FCG_6 FCG_ ,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Recall Kielitieteen päivät 2008, Vaasa K. Kettunen 27

28 Lopuksi Sijamuotojen esiintymien määrät samansuuntaisia otoksen koosta riippumatta: jo pienten aineistojen antamat suhteet olisivat riittäneet soveltamiseen tähtäävän analyysin pohjaksi. Frekvenssitietämyksen soveltamisessa tiedonhaku on yksi alue, muita sovellusalueita voi keksiä lisää tarpeen mukaan. Morfologisesti rikkaan kielen sananmuotojen täydellinen käsittely ei ole kaikissa kieliteknologian sovelluksissa tarpeen, monesti vähempikin riittää. Kielitieteen päivät 2008, Vaasa K. Kettunen 28

29 Kirjallisuutta Creutz, M. & Linden, K Morpheme Segmentation Gold Standards for Finnish and English. Publications in Computer and Information Science. Report A77. Espoo: Helsinki University of Technology. Hakulinen, A., Vilkuna, M., Korhonen, R., Koivisto, V. Heinonen T.R. & Alho, I Iso suomen kielioppi. Helsinki: Suomalaisen Kirjallisuuden Seura. Karlsson, F Suomen kielen äänne ja muotorakenne. Helsinki: WSOY. Karlsson, F Frequency Considerations in Morphology. Zeitsschrift für Phonetik, Sprachwissenschaft und Kommunikationsforschung 39 (1), Kettunen, K Sijamuodot haussa tarvitseeko kaikkea hakutermien morfologista vaihtelua kattaa? Informaatiotutkimuksen sivuainetutkielma. Kettunen, K. 2008a. Frequent Case Form Generation of Query Keywords in Text Retrieval. Ks. Nuno Guimarães & Pedro Isais (eds.), Proceedings of IADIS International Conference Applied Computing, Kettunen, K. 2008b. Automatic generation of frequent case forms of query keywords in text retrieval. Käsikirjoitus. Kettunen, K. & Airio, E Is a morphologically complex language really that complex in full text retrieval? In T. Salakoski et al. (Eds.) Advances in Natural Language Processing, LNAI Berlin Heidelberg: Springer Verlag, Kettunen, K., Airio, Eija & Järvelin, K Restricted Inflectional Form Generation in Management of Morphological Keyword Variation. Information Retrieval 10, Räsänen, S Havaintoja suomen sijojen frekvensseistä. Sananjalka 21, Kielitieteen päivät 2008, Vaasa K. Kettunen 29