Avainsanojen poimiminen tekstistä

Transkriptio

1 HELSINGIN YLIOPISTO TIETOJENKÄSITTELYTIETEEN LAITOS Seminaaritutkielma Avainsanojen poimiminen tekstistä Eeva Ahonen Ohjaaja: Helena Ahonen-Myka Helsinki,

2 Tiivistelmä Avainsanat kertovat tiivisti dokumentin olennaisen sisällön niin ihmislukijalle kuin hakukoneillekin. Vain murto-osassa olemassa olevista dokumenteista on avainsanat valmiina, ja niiden määrittäminen käsityönä on todella hidasta ja työlästä. Olisi siis tarpeellista pystyä automaattisin keinoin löytämään ne valmiista dokumentista. Tässä työssä tutustutaan kahteen projektiin, GeEx ja Kea, joissa kokeiltiin erilaisia menetelmiä oppia avainsanojen eristäminen valmiiksi merkitystä harjoitusmateriaalista. Kuvataan käytetyt menetelmät, sekä se millaisia tuloksia saatiin sovellettaessa niitä. 1

3 Sisällys 1. JOHDANTO KÄYTETYT MENETELMÄT C4.5 PÄÄTÖSPUUT GENEETTINEN OPPIMINEN JA EXTRACTOR -ALGORITMI BAYESILAINEN OPPIMINEN AVAINSANOJEN POIMIMINEN C GENEX KEA TULOKSEN LAATU YHTEENVETO LÄHTEET

4 1. Johdanto Avainsanoilla pyritään lyhyesti kuvaamaan dokumentin olennainen sisältö. Ne antavat dokumentin käsiinsä saaneelle lukijalle nopeasti käsityksen siitä kannattaako hänen lukea koko teksti. Tiedonhakijalle ne tarjoavat mahdollisuuden hakea tarkemmin relevantteja dokumentteja avainsanoihin kohdistetuilla hauilla. Lisäksi avainsanoja voidaan käyttää mm. edullisena keinona määritellä dokumenttien välisiä samankaltaisuuksia. Suurimmassa osassa olemassa olevista dokumenteista ei ole määritetty avainsanoja. Niiden määrittäminen jälkikäteen on työlästä puuhaa, ja sen automatisoimiselle olisikin kysyntää. Tässä dokumentissa tutustun kahteen projektiin, joissa testattiin automaattista avainsanojen poimimista, GenEx [Turney, 2000] ja Kea [Frank et al., 1999]. Molemmat projektit suhtautuvat avainsanojen poimimiseen ohjatun koneoppimisen ongelmana, jossa tehtävänä on rakentaa malli, joka pystyy luokittelemaan kaikki dokumentin sanat (tai oikeammin lausekkeet) avainsanoiksi tai ei-avainsanoiksi. Luvussa 2 kuvaan projekteissa käytetyt koneoppimisen menetelmät. Luotuja sovelluksia testattiin molemmissa projekteissa valmiiksi merkityillä korpusmateriaaleilla, testien toteutuksesta ja tuloksista kerron tarkemmin luvussa 3. Lopuksi luvussa 4 pohdin sovellusten käyttökelpoisuutta tulosten perusteella, ja kerron mitä mieltä projektien tekijät olivat itse omista testituloksistaan. Avainsanat voivat koostua useista toisiinsa liittyvistä sanoista, joten ne ovat itse asiassa avainlausekkeita (englanniksi keyphrases). Suomen kielessä tutumpi termi on kuitenkin avainsana, joten puhun tässä dokumentissa avainsanoista tarkoittaen sillä sekä sanoja että lausekkeita. 2. Käytetyt menetelmät Tässä luvussa tutustutaan GenEx ja Kea -projekteissa käytettyihin koneoppimisen menetelmiin. Molemmissa projekteissa lähestyttiin avainsanojen poimimista ohjatun koneoppimisen ongelmana, jossa rakennettavan mallin tulee pystyä luokittelemaan kaikki ehdokkaat joko avainsanoiksi tai ei-avainsanoiksi. Malli opitaan korpusmateriaalista, jonka dokumentteihin on valmiiksi merkitty avainsanat (harjoituskorpus). Käsiteltävä dokumentti jaetaan aluksi lausekkeiksi, joista jokainen edustaa avainsana-merkintöjen perusteella positiivista tai negatiivista esimerkkiä avainsanasta. Oppimiskorpuksesta jotakin oppimisalgoritmia soveltaen johdettu malli pystyy sitten uusien dokumenttien kohdalla vastaavasti päättämään jokaisen lausekkeen kohdalla, onko se avainsana vai ei. Avainsanoiksi luokitellut esimerkit järjestetään jollain periaatteella paremmuusjärjestykseen, josta poimitaan dokumentin avainsanoiksi niin monta parasta ehdokasta, kuin kyseisessä tapauksessa haluttiin. GenEx projektissa testattiin avainsanojen poimimista mallista oppimalla käyttäen ensin oppimisessa C4.5 päätöspuita. Sen jälkeen tekijät muodostivat oman algoritminsa yhdistämällä geneettisen oppimisalgoritmin Extractor -tiedoneristämisalgoritmiin, ja testasivat tuottaako nimenomaisesti tarkoitusta varten luotu algoritmi parempaa tulosta kuin yleinen luokittelualgoritmi. 3

5 Kea projektissa puolestaan pyrittiin todistamaan, että yksinkertaisella Bayesilaisella mallilla päästään huomattavasti lyhyemmällä oppimisajalla avainsanojen poimimisessa vähintään yhtä hyviin tuloksiin kuin mutkikkaalla GenEx:illä C4.5 päätöspuut Päätöspuut ovat luokittelumalleja, jotka rakennetaan valmiiksi luokitellun materiaalin pohjalta, ja joilla pyritään sitten mahdollisimman tarkasti ennustamaan luokittelemattomasta materiaalista uusille tapauksille oikeat luokat [Turney, 2000]. Harjoitusmateriaali jaetaan tapauksiin (dokumentin lausekkeet), joista muodostetaan piirrevektoreita (kuva 1). Jokaiselle piirrevektorille määritetään luokka (avainsana tai eiavainsana). C4.5 ottaa syötteenään harjoitusmateriaalin, joka koostuu piirrevektoreista ja niiden luokista, ja tuottaa tuloksenaan päätöspuun, joka mallintaa piirteiden ja luokkien väliset suhteet. Päätöspuun jokaisessa solmussa testataan jonkin piirteen arvo. Piirre voisi olla esimerkiksi lausekkeen sanojen lukumäärä (integer arvo), ja testi päätöspuun solmussa Onko lausekkeessa yli kaksi sanaa?. Tämän testin tulos voisi olla true tai false. Puussa kuljetaan eteenpäin sitä särmää pitkin, jolle on määritetty arvoksi saatu tulos. Näin jatketaan, kunnes päästään puun lehteen. Jokainen lehti vastaa jotakin mahdollisista luokista, ja kertoo siis tapaukselle ennustetun luokan. Kuva 1. C4.5 piirrevektorin kuvaus [Turney, 2000] 4

6 Päättelyssä käytettävät piirteet on Turneyn mukaan valittu 110 testatun piirteen joukosta. C4.5 käyttää puun rakentamisessaan piirteitä Stemmed phrase viittaa alkuperäisestä tekstissä esiintyvästä muodosta typistettyyn versioon. Typistäminen tarkoittaa taivutus- ja johtopäätteiden poistamista sanan lopusta, ja se toteutettiin käyttäen Lovinsin algoritmia 1. Koska standardi päätöspuu ei anna mahdollisuutta päättää, kuinka monta piirrevektoria luokitellaan kuuluvaksi yhteen luokkaan (luokkaan 1, avainsanat), käytettiin Turneyn projektissa soft-threshold 2 -puita (C4.5 optiolla -p). Ne laskevat todennäköisyyden kunkin vektorin luokalle, jolloin vektorit voidaan asettaa paremmuusjärjestykseen ja käyttäjälle palauttaa hänen haluamansa lukumäärä todennäköisimpiä avainsanoja. Lisäksi puiden rakentamisessa käytettiin bagging -menetelmää, jossa muodostetaan kutakin tapausta varten useita puita erilaisista harjoitusmateriaalin näytteistä, ja annetaan puiden äänestää oikeasta ratkaisusta. Koska Turney käytti puissa myös todennäköisyyksiä (soft-threshold), tehtiin ratkaisu äänestämisen sijaan laskemalla puiden todennäköisyyksistä keskiarvo Geneettinen oppiminen ja Extractor -algoritmi Toisessa testissään Turney käytti varta vasten avainsanojen poimimiseen kehitettyä Extractor -algoritmia 3, jolle annettavien parametrien optimaaliset arvot etsitään geneettisellä algoritmilla (Genitor 4 ). Geneettiset algoritmit ottavat mallia evoluutiosta ja niitä käytetään mm. erilaisten mutkikkaiden optimointiongelmien ratkaisuun. Algoritmi lähtee liikkeelle luomalla satunnaismenetelmin alkupopulaation, joukon bittijonoja (tässä tapauksessa bittijono määrittää siis arvot Extractorin parametreille) eli populaation yksilöitä. Yksilöt pisteytetään mittaamalla niiden laatua jollakin tapaukseen sopivalla mitalla. Tässä yksilön laadun mittana toimii siis kyseisellä parametriyhdistelmällä Extractorin tuottamien avainsanojen tarkkuus. Vanhoista yksilöistä luodaan uusia risteyttämällä, eli ottamalla kahdesta yksilöstä osa bittijonosta uuteen yksilöön, sekä mutaatiolla eli muuttamalla jo olemassa olevia yksilöitä. Luonnon valinta toteutetaan algoritmissa siten, että paremmat pisteet saaneet yksilöt saavat enemmän jälkeläisiä. Genitorissa uusi yksilö korvaa vanhoista huonoimmat pisteet saaneen yksilön. Näin populaatio kehittyy varsin nopeasti parempaan suuntaan [Turney, 2000]. Extractor algoritmi poimii syötteenä saamastaan dokumentista avainsanat, ja ohjaa toimintaansa 12 säädettävissä olevan parametrin avulla. Oppimisprosessissa siis käytetään Genitor algoritmia eri parametrikombinaatioiden tuottamiseen, ja Extractor algoritmia niiden testaamiseen. Niinpä oppiva järjestelmä on nimeltään GenEx. Kun optimaaliset parametrit on löydetty, avainsanojen hakuvaiheessa ei tarvita enää Genitoria, vaan itse avainsanat haetaan pelkkää Extractoria käyttäen. Extractorin säädettävät 1 Iterated Lovins stemmer, katso J.B. Lovins: Development of a Stemming Algorithm. In Mechanical Translation and Computational Linguistics, 11(1-2), 11-31, Soft-threshold puista katso esim. Carter and Catlett, Extractor algoritmista tarkemmin esim. Turney 1997, Genitor algoritmista tarkemmin esim. Whitley

7 parametrit ovat lähinnä erilaisia kertoimia, joilla voidaan painottaa haluttuja piirteitä avainsanojen luokittelussa Bayesilainen oppiminen Bayesilaisella mallilla tarkoitetaan tilastollisiin todennäköisyyksiin perustuvaa luokittelua. Todennäköisyydet tapausten eri piirteille lasketaan mallikorpusten valmiiksi luokitellusta materiaalista. Kea projektissa todettiin avainsanojen tunnistamisen kannalta olennaisiksi vain kaksi piirrettä: lausekkeen TF IDF paino, ja lausekkeen ensimmäisen esiintymän etäisyys dokumentin alusta laskettuna. TF IDF paino on tiedonhaun perusmääreitä. TF tulee sanoista term frequency, eli lausekkeen esiintymien lukumäärä dokumentissa. IDF on lyhenne sanoista inverse document frequency, joka tarkoittaa kokoelmassa niiden dokumenttien lukumäärää, joissa lauseke esiintyy, hillittynä logaritmilla. TF IDF paino lausekkeelle P dokumentissa D siis lasketaan: TF IDF(P,D) = Pr[phrase in D is P] log Pr[P in a document] [Frank et al. 1999] Lausekkeen etäisyys dokumentin alussa on sitä edeltävien sanojen lukumäärä jaettuna koko dokumentin sanojen lukumäärällä. TF IDF paino ja lausekkeen etäisyys ovat reaalilukuja. Naiivi Bayes oppiminen voi käsitellä reaalilukuja olettaen, että ne ovat normaalisti jakautuneet. Frank et al. huomasivat kuitenkin tulosten paranevan, kun he käyttivät mallissa diskretisoituja arvoja. Tämä viittaa heidän mukaansa siihen, että alkuperäiset arvot eivät olleet normaalisti jakautuneet. Naiivi Bayesin oppimismalli on yksinkertainen sovellus Bayesin kaavasta. Todennäköisyys sille, että lauseke on dokumentissaan avainsana, kun sillä on diskretisoitu TF IDF arvo T ja diskretisoitu etäisyysarvo D, lasketaan seuraavasti: Pr[key T,D] = Pr[T key] Pr[D key] Pr[key] Pr[T,D] [Frank et al. 1999] Kaavassa Pr[T key] on todennäköisyys, että avainsanan TF IDF arvo on T, Pr[D key] todennäköisyys, että sen etäisyysarvo on D ja Pr[key] a priori todennäköisyys, että sana on avainsana. Pr[T,D] normalisoi tuloksen 0 ja 1 välille. 6

8 3. Avainsanojen poimiminen Edellä kuvattuja menetelmiä käytettiin siis vertailevasti avainsanojen poimimiseen tarkoitetun mallin oppimiseen. Opittujen mallien toimivuus testattiin soveltamalla niitä testikorpuksiin. Ensimmäisen vaiheen kriittiseksi piirteeksi tulee oppimisprosessin raskaus, kuinka kauan mallin opettaminen kestää ja kuinka suuren harjoitusmateriaalin menetelmä tarvitsee. Mallin testausvaiheessa tutkitaan poimittujen avainsanojen kelvollisuutta vertaamalla niitä valmiiksi annettuihin avainsanoihin. Seuraavassa on kuvattu eri menetelmillä tehdyt testit ja niissä saadut tulokset C4.5 Ensimmäisessä testiasetelmassa käytetään 50 puun bagging menetelmää, jossa puut luodaan 1 % näytteestä, siten että näyte sisältää yhtä paljon molempiin luokkiin kuuluvia esimerkkejä. Testeissä haetaan 5, 7, 9, 11, 13 ja 15 avainsanaa dokumentista. Tulokseksi lasketaan keskiarvo haettujen avainsanojen tarkkuudesta kullekin korpukselle. Dokumentille saadun tuloksen tarkkuudella tarkoitetaan yhteisten avainsanojen lukumäärää koneellisesti löydettyjen ja valmiiden avainsanojen välillä, jaettuna testissä haluttujen avainsanojen lukumäärällä. Toisessa asetelmassa testataan baggingin vaikutusta avainsanojen löytymiseen. Ensimmäisen asetelman testit toistetaan siten, että baggingissä käytettävien puiden määrä on 1, 25 ja 50. Testissä käy ilmi, että 50 puuta antaa tilastollisestikin merkittävästi tarkempia tuloksia, kuin 1 puu, silloin kun haettavien avainsanojen määrä on 15. Luokkien jakautuminen materiaalissa on hyvin epätasainen, satunnaisesti poimitussa näytteessä on moninkertaisesti enemmän ei-avainsana -luokkaan kuuluvia esimerkkejä, kuin avainsana -luokkaan kuuluvia. Tällaista vinoa luokkajakoa voidaan näytteenotossa korjata valitsemalla näytteet esimerkiksi siten, että näytteeseen tulee yhtä paljon kummankin luokan edustajia, kuten ensimmäisessä testiasetelmassa tehtiin. Kolmannessa testissä kokeillaan tällaisen näytteenoton vaikutusta tuloksiin. Testit toistetaan valitsemalla näytteeseen 1 %, 25 % ja 50 % positiivisia esimerkkejä (avainsanoja). Hypoteesi on, että tasoitettu luokkajakauma näytteessä tuottaa parempia tuloksia. Näin ei kuitenkaan näytteiden perusteella näytä käyvän, vaan päinvastoin monien korpusten kohdalla tarkkuus laskee, kun positiivisten esimerkkien prosenttiosuus näytteessä kasvaa. Hypoteesi joudutaan siis toteamaan vääräksi. Viimeisessä testissä kokeillaan näytteen laajuuden vaikutusta. Hypoteesi on, että 1 % näyte tuottaa tarkemman tuloksen, kuin laajempi. Testit tehdään 1 %, 25 % ja 50 % näytteillä. Hypoteesi saa vahvistuksen testeistä, tuloksille tehty t-testi todistaa, että pieni näytekoko tuottaa tarkempia tuloksia. Parhaat tulokset saatiin kolmannessa testissä, jossa samalla osoitettiin vääräksi tekijöiden hypoteesi siitä, että luokkien jakauman tasoittaminen näytteenotossa antaisi parempia tuloksia. Muissa testeissähän käytettiin tältä osin vain perusasetusta, jossa näytteeseen otettiin 50 % molempien luokkien esimerkkejä. C4.5:n suoriutuu oppimisestaan varsin nopeasti, ainakin verrattuna seuraavaksi kuvattavaan GenExiin. Koko korpuksen läpikäyminen kaikille avainsanojen lukumäärille kestää yhteensä noin 4 min. 7

9 3.2. GenEx Extractor -algoritmin optimaaliset parametrit etsitään Genitor -algoritmilla. Genitorin populaation kooksi asetettiin testeissä 50 yksilöä, ja koeajoja suoritettiin Koeajo tarkoittaa yhden yksilön määrittämien parametriarvojen käyttämistä Extractor algoritmilla koko harjoitusmateriaalille. Yksilön laatupisteet saadaan Extractorin löytämien avainsanojen tarkkuudesta. Koko suorituksen jälkeen Genitorista saadaan parhaat pisteet saanut yksilö, eli paras testattu Extractorin parametrien arvokombinaatio. GenEx testit tehdään vertailevasti C4.5:lla tehtyjen testien pohjalta. Sen suoritusta verrataan C4.5 tehdyistä kokeista ensimmäiseen (perusasetukset) sekä kolmanteen, jossa saatiin parhaat tulokset. Kokeiden tulokset osoittavat GenExin saavan merkittävästi parempia tuloksia katsottaessa kaikkia korpuksia yhdessä. Minkään korpuksen kohdalla C4.5 ei tuota parempia tuloksia kuin GenEx. GenExin oppimisprosessi on huomattavan hidas. Koko korpuksen läpikäyminen kaikille haluttujen avainsanojen lukumäärille kestää GenExillä noin 48 ja puoli tuntia Kea Kea laskee Bayes -mallissa käytetyt kaksi piirrettä, TF IDF painon ja etäisyyden, jokaiselle uuden dokumentin lausekkeelle. Näiden arvojen perusteella voidaan harjoitusmateriaalista opitun naiivin Bayes mallin avulla laskea todennäköisyys sille, että kandidaatti on avainsana. Tuloksena saadaan lista avainsanoja todennäköisyytensä mukaan järjestettynä. Jos kahdella kandidaatilla on sama todennäköisyysarvo, ne järjestetään TF IDF painonsa mukaan. Jos lauseke on jonkin toisen lausekkeen alilauseke (eli sisältyy johonkin toiseen, pidempään lausekkeeseen), se hyväksytään avainsanaksi vain mikäli sen saama todennäköisyys on suurempi. Näillä asetuksilla Kealla toistettiin GenExillä tehdyt testit. Harjoitukseen ja testaamiseen käytettiin samoja materiaaleja, ja testeissä onnistumista mitattiin samalla tarkkuuden mitalla. Näin haluttiin saada testeistä keskenään vertailukelpoisia. Testitulosten perusteella Kea suoriutuu testeistä välillä huonommin, välillä paremmin kuin GenEx, mutta Frank et al:in mukaan erot eivät missään kohtaa ole tilastollisesti merkittäviä. Heidän mukaansa GenEx ja Kea näyttävät siis yleisesti toimivan tulosten kannalta yhtä hyvin. Vertailevan testin lisäksi Keaa testattiin joidenkin ominaisuuksien ja asetusten osalta. Ensin testattiin harjoitusmateriaalin laajuuden vaikutusta tulokseen. Testeissä kävi ilmi, että yli 20 dokumentin käyttö harjoituksessa vaikuttaa enää vain vähän tuloksen laatuun. 50 dokumentin jälkeen tulos ei enää parane. 50 dokumenttia kattava harjoitusmateriaali on siis riittävä, jotta Kea toimisi niin hyvin kuin sen on mahdollista toimia. Alle 20 dokumentin materiaaleissa dokumenttien määrän kasvaessa tuloksen laatu sen sijaan paranee huomattavasti. Lopuksi kokeiltiin vielä aihealue-kohtaisen tiedon lisäämistä Keaan. Tässä kokeessa otettiin mallin luomisessa huomioon kolmas piirre, tietyn lausekkeen todennäköisyydestä olla avainsana. Tätä varten laskettiin kunkin lausekkeen osalta, kuinka usein se esiintyi 8

10 avainsanana aihealueeseen liittyvissä dokumenteissa, ja lisättiin tämä kolmas piirre opittavaan Bayes malliin. Näin uudeksi kaavaksi saadaan: Pr[key K,T,D] = Pr[K key] Pr[T key] Pr[D key] Pr[key] Pr[K,T,D] [Frank et al. 1999] Jossa K on lukumäärä kuinka monta kertaa P esiintyy avainsanana harjoitusdokumenteissa. Testitulokset osoittavat, että tällaisen aihealue-kohtaisen tiedon hyödyntäminen parantaa tuloksen tarkkuutta huomattavasti. Lisäksi tässä testissä huomataan harjoitusdokumenttien määrän edelleen parantavan tulosta dokumentin harjoitusmateriaalilla saadaan parempia tuloksia kuin 100 dokumentin materiaalilla, jolla silläkin saadaan parempia tuloksia kuin alkuperäisellä domain-riippumattomalla mallilla. 4. Tuloksen laatu Turney huomauttaa GenExin hitaudesta sen, että vaikka oppimisvaihe on hidas, itse suoritusvaihe on kuitenkin nopeampi kuin C4.5:llä. Kuitenkin suoritusvaiheen eroissa puhutaan sekunneista, kun taas oppimisvaiheessa erot lasketaan kymmenissä tunneissa. Oppimisvaiheen erot ovat niin valtavat, että tällä perusteella GenExiä voidaan pitää käyttökelpoisena vain siinä tapauksessa, että kerran opittu malli toimii kaikille teksteille. Eri testeissä saatujen tulosten perusteella huomataan kuitenkin, että eri alueisiin liittyvien tekstien välillä on huomattavia eroja riippuen siitä, millä tekstillä malli on harjoitettu. Niinpä mielestäni ei ole järkevää yrittää luoda mallia joka toimisi kaikissa mahdollisissa konteksteissa, vaan ennemmin yrittää saada oppimisprosessi niin kevyeksi, että uudelle kontekstille voidaan harjoittaa helposti ja nopeasti uusi malli. Itse suoritusajan lisäksi siis oppimisaika on kriittinen menetelmien paremmuutta vertailtaessa, ja tässä suhteessa GenEx ei pärjää kovin hyvin. Kealla tehdyt testit aihealue-kohtaisen harjoituksen vaikutuksesta todistavat, että tuloksia voidaan todellakin parantaa huomattavasti opettamalla malli uudestaan eri aihealueille. Edelleen samassa kokeessa todistettiin, että harjoitusmateriaalin koon kasvattamisella tässä tapauksessa saavutettiin huomattavia parannuksia. Nämä seikat puhuvat sen puolesta, että käytettävälle menetelmälle on kriittistä opetteluvaiheen keveys ja nopeus. Vain se mahdollistaa suurten domain-kohtaisten harjoitusmateriaalien käytön. Tähän saakka kuvatuissa kokeissa on käytetty tulosten mittaamiseen vain laskettua tarkkuutta, eli yhteisiä avainsanoja koneellisesti löydettyjen ja kirjoittajan antamien välillä. Tämä ei kuitenkaan kerro koko totuutta poimittujen avainsanojen laadusta. Turney testasi saamiaan avainsanoja lisäksi antamalla dokumentit ja GenExin niille löytämät avainsanat ihmislukijoiden arvioitavaksi. Lukijat arvioivat koneen löytämistä avainsanoista 80 % hyväksyttäviksi. Tällä perusteella voitaneen sanoa, että testatuilla 9

11 menetelmillä saadut tulokset ovat kuitenkin parempia kuin laskennalliset tarkkuuslukemat antavat ymmärtää. Lisäksi mielestäni on syytä ottaa huomioon vertailuna käytettyjen oikeiden avainsanojen laatu. Kokeissa vertailukohteina olivat nimenomaan kirjoittajan itsensä määrittämät avainsanat. On helppo kuvitella, että kirjoittajalla saattaa olla houkutus listata avainsanoihin hienoja ja juuri nyt pinnalla olevia termejä, joita tekstissä sivutaan, mutta jotka eivät ehkä ulkopuolisen arvioijan mukaan kuvaisi tekstin olennaista sisältöä. Ehkä olisi ollut syytä arvioittaa lukijoilla sokkotestinä myös kirjoittajan antamien avainsanojen kelvollisuus. 5. Yhteenveto Tässä työssä kuvattiin kahden eri projektin kokeiluja automaattisen dokumentin avainsanojen poimimiseksi. GenEx projektissa testattiin ensin avainsanojen poimimismallin luomista C4.5 päätöspuita käyttäen. Sitten kokeiltiin päästäänkö parempiin tuloksiin käyttämällä avainsanojen poimimisen luotua algoritmia, jonka parametrit optimoidaan geneettistä mallista oppimisalgoritmia käyttäen. Tulokset olivat sikäli odotetunlaisia, että jälkimmäisellä metodilla päästiin parempiin tuloksiin löydettyjen avainsanojen suhteen. Sen sijaan järjestelmän oppimisvaihe osoittautui todella raskaaksi ja hitaaksi verrattuna C4.5:een. Toisessa projektissa pyrittiin todistamaan, että tilastollisiin todennäköisyyksiin perustuvalla naiivilla Bayes-algoritmilla päästään yhtä hyviin tuloksiin huomattavasti kevyemmällä prosessoinnilla. Saadut tulokset olivatkin suurin piirtein samalla tasolla, kuin aikaisemmassa projektissa. Lisäksi huomattiin, että lisäämällä Bayes-malliin aihealuekohtaista tietoa, saadaan tulosta edelleen tarkemmaksi. Kaiken kaikkiaan tuloksista voidaan päätellä, että avainsanat ovat mallista oppimisen menetelmillä melko hyvin löydettävissä dokumenteista. Jo näiden projektien tulokset vaikuttavat käyttökelpoisilta. Tapoja, joilla voitaisiin tulosta edelleen parantaa, on varmasti vielä löydettävissä (ja on jo varmaan ehditty kokeillakin näiden artikkelien julkaisun jälkeen). Käyttöä tällaiselle työkalulle varmasti olisi. Relevanttien dokumenttien löytäminen suurista tietovarastoista on perinteisin menetelmin hankalaa, kuten kaikki www:tä käyttäneet tietävät. Avainsanoihin kohdistuva haku auttaa tiedonhakijaa huomattavasti, olettaen että avainsanat on lisätty dokumenttiin oikein (eikä esimerkiksi hakukoneen harhauttamiseksi). Jos prosessi saataisiin riittävän kevyeksi, automatisoitua avainsanojen poimintaa voitaisiin ehkä hyödyntää hakukoneissa dokumentin aihepiirin päättelyssä muutenkin kuin suoraan valmiisiin (staattisiin) avainsanoihin kohdistuvissa hauissa. 10

12 Lähteet [Frank et al., 1999] [Turney, 2000] Frank, E., Paynter, G.W., Witten, I.H., et al. Domain-specific keyphrase extraction. Proceedings of the Sixteenth International Joint Conference on Artificial Intelligence (IJCAI-99), pp Turney, P.D. Learning algorithms for keyphrase extraction. Information Retrieval, 2, ,