Kulttuurisampo.fi Suomalainen kulttuuri ja semanttinen web mitä, miksi ja miten?

Transkriptio

1 Kulttuurisampo.fi Suomalainen kulttuuri ja semanttinen web mitä, miksi ja miten? Eetu Mäkelä Semantic Computing Research Group (SeCo) Helsinki University of Technology (TKK), Department of Media Technology and University of Helsinki, Department of Computer Science 1

2 Sisältö Semanttisen webin hyödyt Suomalainen konteksti: FinnONTO 2.0-projekti Suomalainen kulttuuri semanttisessa webissä: Kulttuurisampo.fi Heterogeenisen tiedon yhdistäminen ja älykkäät palvelut Miten tämä toimii? Tesauruksista ja sanastoista ontologioihin Miten pääsen mukaan? Mitä apuja on? 2

3 Sisältö Semanttisen webin hyödyt Suomalainen konteksti: FinnONTO 2.0-projekti Suomalainen kulttuuri semanttisessa webissä: Kulttuurisampo.fi Heterogeenisen tiedon yhdistäminen ja älykkäät palvelut Miten tämä toimii? Tesauruksista ja sanastoista ontologioihin Miten pääsen mukaan? Mitä apuja on? 3

4 Miksi semanttinen web? Jos semanttisesta webistä tulee totta, seuraavat asiat muuttuvat halvemmiksi toteuttaa: Älykkäämmät ja siten käyttökelpoisemmat webpalvelut Sisällöntuotannon tehostaminen» Sisällön uusiokäyttö» Sisällöntuotannon hajauttaminen» Eri toimijoiden tuottamien sisältöjen yhdistäminen Kieli- ja kulttuurirajojen ylittäminen palveluissa Yhteentoimivat eri toimijoiden ohjelmistojärjestelmät Ohjelmistopalvelujen uudelleenkäyttö ja jakaminen eri toimijoiden välillä Web 2.0-ideologiassakin pääosassa yhteisöllisyys ja tietojen ja palvelujen yhdistäminen. Semanttinen web tarjoaa seuraavan sukupolven teknologia-alustan web 2.0-ideologialle Web 3.0 4

5 Mikä semanttinen web? Hyvin lyhyesti: semanttinen web on teknologia, jossa tieto ja ymmärrys koodataan niin että tyhmä konekin sen ymmärtää Kansainvälinen konteksti: Yksi keskeinen sovellusalue on World Wide Webin (WWW) seuraava sukupolvi Tunnetuin puolestapuhuja webin isä prof. Tim Berners-Lee Teknologian kypsyys: Standardit W3C:n ylimmässä standardiluokassa Oracle 10.2 tukee semanttisen webin teknologioita Adoben tuotteiden metadatan tallennus kauttaaltaan SWpohjaista Euroopan digitaalisen kirjastoportaalin Europeanan kehittyneempi versio rakennetaan SW-teknologialle 5

6 Suomalainen konteksti: FinnONTOprojekti Tekes-tutkimushanke, tutkimusosapuolina TKK, Helsingin yliopisto ja Tampereen yliopisto Ydintavoite: luoda Suomelle yhteinen kansallinen semanttisen webin infrastruktuuri, joka mahdollistaa teknologian hyödyntämisen mahdollisimman halvalla Käytännössä: Loppukäyttäjille suunnattuja palvelukonsepteja ja työkaluja niiden toteuttamiseen (Kulttuurisampo, TerveSuomi.fi, Opintie,...) Apuvälineitä tiedon tuotantoon ja yhdistämiseen Pääpaino organisaatioiden yhteistoiminnassa (yksilöt mukaan 2009) Käynnistyi vuonna : 14 rahoittajaa : 16 rahoittajaa : 30 rahoittajaa : 37 rahoittajaa : 38 rahoittajaa : uusi haku, tervetuloa mukaan! 6

7 FinnONTO-projektin rahoittajat AAC Global Oy Antikvaria-ryhmä CelAmanzi Oy Connexor Oy Coronaria Oy Eduskunta Ego Beta Oy Elisa Oy Espoon kaupunginmuseo Geol. tutkimusk. GTK Hgin kaupunginkirjasto Hgin yliopiston Viikin tiedekirjasto Kansallisarkisto Kansalliskirjasto Kansanterveyslaitos Koulutuskeskus Dipoli Maa- ja metsätalousministeriö Maanmittauslaitos M-Cult Merenkulkulaitos Museovirasto Mysema Oy Osuuspankkikeskus OSK PKT-Säätiö Profium Oy Rautaruukki Oyj Sanastokeskus TSK Sininen Meteoriitti Oy Stakes Suomen Asiakastieto Oy Suomalaisen kirjallisuuden seura SKS Suomen valokuvataiteen museo Taideteollisen korkeakoulun kirjasto Terveyden edistämisen keskus (Tekry) TietoEnator Oyj Valtion taidemuseo Valtiovarainministeriö / ValtIT Wärtsilä Oyj Pilotointialueet : kulttuuri, terveydenhuolto, yrityspalvelut, asiakirjanhallinta 7

8 Sisältö Semanttisen webin hyödyt Suomalainen konteksti: FinnONTO 2.0-projekti Suomalainen kulttuuri semanttisessa webissä: Kulttuurisampo.fi Heterogeenisen tiedon yhdistäminen ja älykkäät palvelut Miten tämä toimii? Tesauruksista ja sanastoista ontologioihin Miten pääsen mukaan? Mitä apuja on? 8

9 Kulttuurisampo.fi Mistä on kyse? Kulttuurisampo on keskitetty web-portaali, joka esittelee semanttisen webin teknologioista saatavaa lisäarvoa monimuotoisten ja monilähteisten kulttuurisisältöjen yhteisöllisessä julkaisussa 1) Museoesineet (Espoon kaupunginmuseo, Lahden kaupunginmuseo, Kansallismuseo, Pohjois-Karjalan museo, Suomen maatalousmuseo Sarka) 2) Maalaukset, veistokset, piirustukset ja muu esittävä ja abstrakti taide (Valtion taidemuseo) 3) Kaunokirjallisuus (Helsingin kaupunginkirjasto) 4) WWW-tietosivut (Wikipedia) 5) Runot (ml. Kalevala) (Suomen kansan vanhat runot, SKS) 6) Kalevalan paikat ja henkilöt 7) Kansansävelmät (Jyväskylän yliopiston musiikin laitos ja SKS) 8) Valokuvat (Kuopion kulttuurihistoriallinen museo, Kansallismuseo) 9) Ilmavalokuvat (Veljekset Karhumäki Oy) 10)Henkilöt ja organisaatiot (Getty Union List of Artist Names) 11)Biografiat (Kansallisbiografia, SKS) 12)Historialliset tapahtumat (Agricola Suomen historiaverkko) 13)Taidot (Taideteollisen korkeakoulun kirjasto, Suomen maatalousmuseo Sarka) 14)Videot (Espoon kaupunginmuseo) 15)Rakennetut kohteet (Espoon kaupunginmuseo) 16)Muinaismuistokohteet (Museovirasto)

10

11 Kulttuurisammon teknologia mahdollistaa: Eri toimijoiden eri tyyppisiä objekteja sisältävien tietokantojen yhdistämisen kustannustehokkaasti ja mielekkäästi Moniaineistoselailun ja suosittelun Kalevalan tekstistä kuvien kautta maalarin elämänkertaan Paremmat hakutoiminnot Historialliset paikat, Ontologinen tekstihaku Yhteyksien löytämisen ja visualisoinnin Mitä yhteistä on Akseli Gallen-Kallelalla ja Napoleonilla? Aineiston jäsentelyn ja esitysten muodostamisen Näyttely, aikajana, karttanäkymä Kaikki tämä ihmisen ymmärtämien merkitysten tasolla, kielestä riippumatta

12 Kulttuurisammon teknologia mahdollistaa: Eri toimijoiden eri tyyppisiä objekteja sisältävien tietokantojen yhdistämisen kustannustehokkaasti ja mielekkäästi Moniaineistoselailun ja suosittelun Kalevalan tekstistä kuvien kautta maalarin elämänkertaan Paremmat hakutoiminnot Historialliset paikat, Ontologinen tekstihaku Yhteyksien löytämisen ja visualisoinnin Mitä yhteistä on Akseli Gallen-Kallelalla ja Napoleonilla? Aineiston jäsentelyn ja esitysten muodostamisen Näyttely, aikajana, karttanäkymä Kaikki tämä ihmisen ymmärtämien merkitysten tasolla, kielestä riippumatta

13

14

15

16

17

18

19

20

21

22

23

24

25 Kulttuurisammon teknologia mahdollistaa: Eri toimijoiden eri tyyppisiä objekteja sisältävien tietokantojen yhdistämisen kustannustehokkaasti ja mielekkäästi Moniaineistoselailun ja suosittelun Kalevalan tekstistä kuvien kautta maalarin elämänkertaan Paremmat hakutoiminnot Historialliset paikat, Ontologinen tekstihaku Yhteyksien löytämisen ja visualisoinnin Mitä yhteistä on Akseli Gallen-Kallelalla ja Napoleonilla? Aineiston jäsentelyn ja esitysten muodostamisen Näyttely, aikajana, karttanäkymä Kaikki tämä ihmisen ymmärtämien merkitysten tasolla, kielestä riippumatta

26

27

28

29

30

31

32

33

34

35 Kulttuurisammon teknologia mahdollistaa: Eri toimijoiden eri tyyppisiä objekteja sisältävien tietokantojen yhdistämisen kustannustehokkaasti ja mielekkäästi Moniaineistoselailun ja suosittelun Kalevalan tekstistä kuvien kautta maalarin elämänkertaan Paremmat hakutoiminnot Historialliset paikat, Ontologinen tekstihaku Yhteyksien löytämisen ja visualisoinnin Mitä yhteistä on Akseli Gallen-Kallelalla ja Napoleonilla? Aineiston jäsentelyn ja esitysten muodostamisen Näyttely, aikajana, karttanäkymä Kaikki tämä ihmisen ymmärtämien merkitysten tasolla, kielestä riippumatta

36

37 Kulttuurisammon teknologia mahdollistaa: Eri toimijoiden eri tyyppisiä objekteja sisältävien tietokantojen yhdistämisen kustannustehokkaasti ja mielekkäästi Moniaineistoselailun ja suosittelun Kalevalan tekstistä kuvien kautta maalarin elämänkertaan Paremmat hakutoiminnot Historialliset paikat, Ontologinen tekstihaku Yhteyksien löytämisen ja visualisoinnin Mitä yhteistä on Akseli Gallen-Kallelalla ja Napoleonilla? Aineiston jäsentelyn ja esitysten muodostamisen Näyttely, aikajana, karttanäkymä Kaikki tämä ihmisen ymmärtämien merkitysten tasolla, kielestä riippumatta

38

39

40

41

42

43 Hyötyä myös koneille: Kulttuurisammon Web 2.0-arkkitehtuuri Kulttuurisammon sekä toiminnallisuus että käyttöliittymät on rakennettu yleisistä, uudelleenkäytettävistä palikoista Tästä johtuen lähes kaikki Kulttuurisammon toiminnallisuus on kenen tahansa omaan palveluun liitettävissä Tulevia käyttäjiä: Yleisten kirjastojen kaunokirjallisuusportaali Kirjasampo SmartMuseum EU-hanke 43

44 44

45 Sisältö Semanttisen webin hyödyt Suomalainen konteksti: FinnONTO 2.0-projekti Suomalainen kulttuuri semanttisessa webissä: Kulttuurisampo.fi Heterogeenisen tiedon yhdistäminen ja älykkäät palvelut Miten tämä toimii? Tesauruksista ja sanastoista ontologioihin Miten pääsen mukaan? Mitä apuja on? 45

46 Tesauruksista ja luokituksista ontologioihin Semanttinen web perustuu pitkälti ontologoihin, jotka ovat tesaurusten ja luokitusten sukulaisia. Mikseivät tesaurukset ja luokitukset sitten riitä? Tesaurukset ja luokitukset suunnitellaan yleisesti ihmiskäyttäjää varten. Kone on tyhmempi, ja tarvitsee tarkemmin määriteltyä tietoa Ontologiat määrittelevät käsitteiden suhteet formaalisti ja tarkasti niin että sekä ihmiset että koneet voivat niitä käyttää Lisähyötynä keskittymällä formaaleihin käsitemalleihin päästään eroon kieli- ja kulttuuririippuvasta ajattelusta. Neutraaleille käsitteille voidaan sitten antaa nimi/kirjoittaa kuvaus kaikilla halutuilla kielillä. 46

47 Esimerkki ongelmasta: Suomen Museot OnLine -formaatti Myös kentät jotka ovat aikaisemmin olleet vain vapaatekstiä pitää saattaa yhdenmukaisiksi Päivämäärät/vuodet» 1768, jälk.» 1300-luku, keskiaika» , 1870-n.1960», n talvi Henkilöt» "K. E. Ståhlberg"» "Ståhlberg, K. E." Paikat», Suomi, Karjala, Viipurin pitäjä, Hanhijoki, asuinrakennus» Marokko, Sus (Sous)» Lappi -> Koneluettavuus kärsii, käsittelyyn tarvitaan käsityötä (n. 90% ohjelmakoodista aineiston korjailuun) 47

48 Esimerkkejä ontologisoinnista: YSA->YSO Aurinkokunta LT Ovatko komeetat aurinkokuntia vai niiden osia? Onko Halleyn komeetta yksilö vai luokka? Komeetta LT Halleyn komeetta Ontologiatyössä:» Yksilöt erotetaan luokista» Luokat asetetaan taksonomiseen hierarkiaan» Asioiden väliset suhteet erotellaan» Suhteiden merkitys kirjataan formaalisti Aurinkokunta Taivaankappale partof Komeetta subclassof type Halleyn komeetta 48

49 Esimerkkejä käsitteiden ja yksilöiden merkitysten erottelusta Ontologiatyössä:» Sanojen eri merkitykset erotellaan» Jokaiselle käsitteelle ja yksilölle annetaan oma globaali yksilötunnisteensa (URI) perheenjäsenet ikäryhmät sosioekonomiseen ryhmään liittyvä rooli lapset (perheenjäsenet) lapset (ikäryhmät) lapset (rooli) tyttäret ainoat lapset vauvat tytöt kasvatti- katulapset lapset Nokia yrityksenä <-> Nokia kaupunkina Suomen 49 Pyhäjärvi-nimistä paikkaa 49

50 Sisältö Semanttisen webin hyödyt Suomalainen konteksti: FinnONTO 2.0-projekti Suomalainen kulttuuri semanttisessa webissä: Kulttuurisampo.fi Heterogeenisen tiedon yhdistäminen ja älykkäät palvelut Miten tämä toimii? Tesauruksista ja sanastoista ontologioihin Miten pääsen mukaan? Mitä apuja on? 50

51 Apuvälineitä tiedon tuotantoon ja yhdistämiseen KOKO -ontologiainfrastruktuuri: yhteinen yläontologia YSO, tusina erikoisalalontologiaa Palveluja ontologoiden hajautettuun kehittämiseen ja käyttöön tiedon kuvailussa ja haussa Standardoitavia toiminta- ja kuvailutapoja Työkaluja valmiiden tietovarantojen muuttamiseen semanttisen webin muotoon 51

52 KOKO -ontologiainfrastruktuuri Yläontologia YSO (fi,sv,en) liittää yhteen erikoisalaontologiat, mm. Museoalan ontologia MAO (fi) Kansallinen yläontologia YSO Paikkaontologia SUO (fi,sv,saamet,en) ( käsitettä) Ajallinen paikkaontologia SAPO (fi) Museoalan Toimijaontologia TOIMO (monikielinen) ontologia Agriforest... Taideteollisen alan ontologia TAO (fi) MAO Ontologia (7000) Valokuvausontologia VALO (fi) AFO (10 000) Agriforest maa- ja metsätalousontologia AFO (fi,en)... Muiden luokittelujärjestelmien liittäminen YKL + HKLJ + YSO, Kaunokki + YSO, ICONCLASS + YSO Kansainväliset kytkökset: AAT, ULAN, TGN, WordNet, DBPedia,... Paljonko ontologiatyö vaatii aikaa ja rahaa? Ennen YSOa: MASA MAO ~30 käsitettä/päivä YSO:n jälkeen: Agriforest AFO ~ käsitettä/päivä Demo: 52

53 53

54 54

55 ONKI-ontologiakirjastopalvelin Ei pelkästään keskitettyjä sanastoja, vaan myös jaettua toiminnallisuutta Ontologioiden ja sanastojen selaus ja käsite/asiasanavalinta» Sekä indeksoinnin että haun tarpeisiin» Myös upotettuna omiin indeksointi- ja hakujärjestelmiin Oma SKOS-muodossa oleva sanasto käden käänteessä palvelimelle Demo Indeksointi: Haku: Pysyvää infrastuktuuria Kansalliskirjasto korvaa kuukauden sisällä VESA-sanastopalvelunsa ONKISKOS-YSA-palvelimella ja selvittää projektin kanssa pysyviä ylläpitokuvioita» Uusi ONKI-YSA, ONKI-ympäristön sanastot ja ontologiat sekä ONKI itsessään ovat tärkeitä kansallisia palveluita, joiden jatkuva kehittäminen on turvattava Tunnistettu myös Kansallinen digitaalinen kirjasto -hankkeessa välttämättömäksi kansalliseksi palveluksi Käytössä edellämainittujen lisäksi myös Kysy kirjastonhoitajalta-palvelussa 55

56 56

57 57

58 58

59 59

60 60

61 61

62 62

63 SAHA annotaatioeditori Organisaatioille joilla ei ole omaa sisällönhallinta/indeksointijärjestelmää tai mahdollisuutta kytkeä ONKI:n SW-toiminnallisuuksia järjestelmänsä osaksi tarjoamme myös kokonaisen sisällönhallintaeditorin Käytössä mm. Kirjasampo-hankkeessa Demo: 63

64 64

65 Työkaluja valmiiden tietovarantojen muuttamiseen: Kulttuurisammon tiedontuotantoputki Suomen Museot Online -museoesineet, Muusa-taideteokset, Getty-ULAN -henkilötiedot: XML HelMet-teostiedot: Excel Karhumäen veljesten ilmavalokuvat, Latvavesiltä-kirjailijatiedot: SQL-kanta Museot.fi-näyttelytietokanta: CSV Kalevala, Opintie, Historialliset tapahtumat: RDF Ehdottomasti suurin työ on saada aineisto RDF-muotoon. Tämän jälkeen loppu voidaan tehdä vähitellen tarkoitusta varten rakennetuilla standardityökaluilla 65

66 Kiitos Kulttuurisampo osoitteessa Lisätietoja osoitteesta Oma sähköpostiosoitteeni: 66