Kansallinen ontologiainfrastruktuuri ja yhdistetty avoin tieto (Linked Open Data) Ontologiaseminaari 1.3.2011, Kotus, Helsinki Eero Hyvönen professori, tutkimusjohtaja Semantic Computing Research Group (SeCo) Aalto-yliopisto ja Helsingin yliopisto http://www.seco.tkk.fi/
Esityksen sanoma Tietosisällöt avoimiksi ja yhdistetyiksi! Linked Open Data periaatteiden mukaisesti Kotimaisia ja kansainvälisiä avauksia julkisella sektorilla Hyödyntämiseen tarvitaan kansallinen merkitysten infrastruktuuri! FinnONTO-hankkeen tuloksia Esimerkki soveltamisesta: Kulttuurisampo.fi Kutsu kansallisiin talkoisiin: Linked Data Finland -hanke
Open Data: Tieto vapaaksi ja avoimeksi! Tiedon arvo monistuu sitä jakamalla Päinvastoin kuin useimmilla hyödykkeillä Mutta: yhden pieni etu voi estää muiden ison edun Tuotannon tehokkuus kasvaa avoimuudella Miksi tuottaa uudelleen jo tuotettua tietoa? Avoimelle tiedolle syntyy hyötysovelluksia Avoimuus parantaa yhteistyötä ja työnjakoa Esim. Wikipedia Avoimuus edistää yhteentoimivuutta (interoperability) Keskeinen kustannustekijä tietotekniikassa (>50%) Avoimuus asettaa haasteita mm. lainsäädännölle Henkilösuoja, tekijänoikeudet, Maksuperustelaki, vapaa kilpailu, Kansalaisilla on oikeus avoimeen tietoon Avoin tieto =/= Wikileaks
Esimerkkiartikkeli Helsingin Sanomista 16.2.2011 (Laaja kirjaesittely Sosiaalinen media muuttaa kaiken, Esa Mäkinen) Otsikko: Vain avoimuus pelastaa Suomen Valtion Otakantaa.fi palvelu on lähinnä vitsi. Suomessa avoimen julkisen tiedon käyttöönotto on lapsenkengissä. Valtion julkaisemien tilastotietojen pohjatiedot pitäisi julkaista, jotta kuka tahansa voisi laskea omia tilastoja. Jos oikeasti haluasi hypätä kehityksen eturiviin, pitäisi puhua semanttisesta verkosta, joka tuntee käyttäjien tarpeet ja muuttuu niiden mukaan.
Tietoa vapautetaan MUTTA
Vangin vapauttaminen ei yksin riitä Open Data ei ota kantaa julkaisutapaan Tietotekninen näkökulma puuttuu Open Data ei ota kantaa yhteistyöhön Web 2.0 -näkökulma puuttuu Yhteisöllinen tietotyön koordinointi Open Data avaa tiedon vain ihmiskäyttäjälle Semanttisen webin näkökulma puuttuu Keskeinen tekijä yhteentoimivuudelle Keskeinen tekijä sovelluskehitykselle Linked Data on moderni ratkaisumalli Kehitysyhteisö http://linkeddata.org Tukijoina mm. W3C Perustuu semanttisen webin teknologioihin
Linked Data: Idea Nykyinen web on verkko joka linkittää sivuja: Web of Pages Voidaan hakea/selailla perinteisellä selaimelle Linked Data linkittää käsitteitä: Web of Data Voidaan hakea/selailla myös semanttisella sovelluksella Uusi semanttinen web koostuu molemmista verkoista Web of Pages (ihmiselle) Web of Data (koneelle) konekin voi ymmärtää webiä! Hyödyt Tiedo saadaan yhteentoimivaksi Verkon palveluiden älykkyysosamäärä nousee Linked Data on webin isän Tim Berners-Leen lempilapsi
Linked Data + Open Data = Linked Open Data
Linked Open Datan kehittyminen (Tim Berners-Lee)
(Tim Berners-Lee)
(Tim Berners-Lee)
Linked Open Data -verkossa jo miljardeja kaaria (RDF triple) (linkeddata.org, 2009)
Linked Open Data Cloud 2010: http://linkeddata.org
Perinteinen malli: tiedon siiloja + hankala käyttö
1 +1 > 2 M.O.T.
Britanniassa: http://data.gov.uk
Runsaasti sovelluksia verkossa
Linked Open Data esimerkkisovellus: BBC
USA:ssa http://www.data.gov
San Franciscon kaupungissa
Opengov.XX portaalit: opengov.fi, opengov.se,...
Semantic Interoperability Centre of Europe
Suomalaisia hankkeita
FinnONTO Suomalaiset semanttisen webin ontologiat Tahtotila Tarvitaan kansallinen semanttisen webin infrastruktuuri! Kuin tieverkosto, sähkö/puhelinverkko, Internet,... Tutkimushankkeiden jatkumo 2003-2012 (Tekes) Kansallinen yhteisö Aalto-yliopiston TKK:n, HY:n ja 35 julkisen organisaation ja yrityksen tutkimuskonsortio (tällä hetkellä) Semanttisen webin infrastruktuurin pilottijärjestelmä Pilottivaiheessa oleva kansallisten käsitteistöjen ontologiainfrastruktuuri ja -palvelu Mukana useissa pilottisovelluksissa MuseoSuomi, Kulttuurisampo, TerveSuomi, ToimintaSuomi, YritysSuomi, Kirjasampo,...
FinONTO Industrial & Public Organization Consortium FinnONTO 2003-2004» 14 funding organizations 2004-2005» 16 funding organizations 2005-2006» 30 funding organizations 2006-2007» 37 funding organizations FinnONTO 2.0 2008-2010» 38 funding organizations 2010-2012» 35 funding org. 1.52 MEUR Semantic UBICOM-services 17 funding org., 2010-2011 0,55MEUR Linked Data Finland (LDF) 30+ funding org., 2012-2013 1-2MEUR?
Results Major demonstrator systems MuseumFinland: www.museosuomi.fi HealthFinland: www.tervesuomi.fi CultureSampo: www.kulttuurisampo.fi National Ontology Library Service ONKI: www.onki.fi Major awards Semantic Web Challenge Award 2004 Prime Minister s Innovation Acknowledgement 2004 Semantic Web Challenge Award 2008 Apps4Finland Doing Good with Data 2010 (World Summit Award (WSA) Mobile 2010) Academic Lots of refereed publications www.seco.tkk.f/publications 4 PhD works 2010 Lots of MSc thesis
Liikenne- ja viestintäministeriön avoin tieto -hankkeet Julkinen data johdatus tietovarantojen avaamiseen, 2010 Periaatepäätösluonnos tiedon avaamisesta http://www.lvm.fi/c/document_library/get_file?folderid=1591058&name=dlfe- 11755.pdf
Valtiovarainministeriön valtiotason (tieto)arkkitehtuurit hanke VALTASA Tietojen merkitysten yhteentoimivuus tärkeässä roolissa Loppuraportit valmiita http://www.vm.fi/yhteentoimivuus Tietoarkkitehtuurin kehittämispolkusuunnitelma tekeillä valtiokonttorissa Valmistuu keväällä 2011
Tietohallintolaki ( FinnONTO-laki ) valmisteltu valtiovarainministeriössä Ydinongelmana julkisten tietojärjestelmien yhteentoimivuusongelmat Huono asiakaspalvelu Isot kustannukset Lain päätavoite: asetusvallan lisääminen valtiotasolle (ValtIT) konserniohjausta varten Lakiehdotus on nyt tiettävästi eduskunnassa valiokuntakäsittelyssä
Linked Open Data in Finland 2010
Opetus- ja kulttuuriministeriö: Tutkimuksen tietoaineistot selvityshanke ja KDK Tutkimuksen tietoaineistot - Olennaisen käsikirja päättäjille Ilmestyi 2010 Tiekarttaraportti jatkotoimenpiteistä valmistui 2/2011 http://www.csc.fi/sivut/e-infra/tietoaineistot/ Kansallinen Digitaalinen Kirjasto KDK Laaja kansallinen hanke Kirjastojen, museoiden ja arkistojen yhteinen portaali Liitännät yleiseurooppalaiseen Europeana-järjestelmään
Uudempia tutkimushankkeita Fin-CLARIN-hanke WordNet-käännöstyö http://www.ling.helsinki.fi/finclarin/ Helsingin yliopisto Suomen Akatemian uusi termipankki hanke Tieteelliset suomenkieliset termit http://www.helsinki.fi/sup/ajankohtaista/termipankki.html Helsingin yliopisto, Kotus, Sanastokeskus TSK
IT-alan strategisen huippuosaamisen keskittymä: Tietovarannoista kansallinen kärkihanke!
Tiedon yhdistäminen perustuu merkitysten verkostoihin eli ontologioihin
Semantic Search Limitations of Non-semantic Web Case MuseumFinland (2002-2004) NBA-H26069-467 :object cup and plate ; :material porcelain ; :creationplace Germany ; :creator Meissen. This metadata cannot answer the following questions: Find all vessels? Find all ceramic products? Find artifacts manufactured in Europe? Does the city of Meissen manufacture ceramics?
Semantic Web Solution: Ontologies NBA-H26069-467 :object cup and plate ; :object_concept object:cup ; :object_concept object:plate ; :material porcelain ; :material_concept object:porcelain ; :creationplace Germany ; :creationplace_concept place:germany ; :creator Meissen :creator_concept actor:meissen. Find all vessels? Find all ceramic products? Find artifacts manufactured in Europe? Does the city of Meissen manufacture ceramics? NBA-H26069-467 place:germany creationlocation_concept object_concept object_concept material_concept... material:porcelain place ontology loc:partof object:cup place:europe place:meissen rdfs:subclassof object:plate... object ontology... object:vessel rdfs:subclassof actor ontology material ontology actor:meissen
FinnONTO:n kansallinen yhteisöllinen ontologiajärjestelmä KOKO
Holistic Collaborative Finnish Ontology KOKO Aligning ONKI ontologies Leikkaavat ontologiat Yhteisten ekvivalenttien käsitteiden määrä YSO + TAO 1990 YSO + MAO 2330 YSO + VALO 950 MAO + TAO 1190 YSO Your ontology?... AFO VALO MAO TAO... KOKO [Hyvönen et al., ESWC 2009]
KOKO sovelluskäyttäjän näkökulmasta
KOKOs Component Ontologies 2/2011 Thesaurus-based Ontologies in the KOKO Ontology System Name Ontology domain Underlying thesaurus Size Maintaining Organization 1 YSO General domain General Finnish Thesaurus, YSA, Allärs 23700 National Library, Åbo Academy 2 MUSO Music Thesaurus of Music, MUSA/CILLA 1000 National Library 3 MAO Museum domain Thesaurus of Museum Domain, MASA 6800 National Board of Antiquities 4 AFO Agriculture, foresty Agriforest Thesaurus 5500 Viikki Science Library TAO Applied arts Thesaurus of Applied Arts 2600 University of Eastern Finland and 5 Library of Aalto-University VALO Photography Thesaurus of Photography Literature, 1900 Finnish Museum of Photography 6 Thesaurus of Photography Technology 7 MERO Seafaring, shipping Thesaurus of Seafaring 1400 Finnish Transport Agency 8 KAUNO Literature subjects Thesaurus of Literature, Bella 4900 Finnish Public Libraries, Kirjastot.fi 9 JUHO Public government Thesaurus of Finnish Government, VNAS 6400 Ministry of Finance 10 TERO Health promotion YSA, HPMulti, MeSH, Stameta 22000 Various organizations 11 KITO Literature research Thesaurus of Literature Research 900 Finnish Literature Society 12 KULO Culture research Thesaurus for Folk Culture Studies 1600 Finnish Literature Society 13 KTO Linguistics Thesaurus of Linguistics 1000 Research Institute for the Languages 14 PUHO Defense Thesaurus of Defence Administration 2100 Finnish Defence Forces 15 POIO Points of interest TGN, Geonames, LDG, SUO 1000 Various organizations TOTAL 82800
Biological Namelists for ONKI vuosi alue ryhmä taksoneita joista lajeja Catalogus Lepidopterorum. Fenniae et regionum adiacentium. 1. Macrolepidoptera. 1962 Suomi Perhoset 313 161 Suomen perhosten luettelo 1977 Suomi Perhoset 256 120 The Lepidoptera of Europe. A Distributional Checklist 1996 Skandinavia Perhoset 12256 9804 Checklist of Finnish Lepidoptera 2002 Suomi Perhoset 265 126 Suomen perhosten luettelo - päivitetty versio 2008 Suomi Perhoset 4573 2987 Norwegian Lepidoptera 2008 Norja Perhoset 3244 2210 Luoteis- Catalogue of the Lepidoptera of Russia (only NW parts) 2008 Venäjä Perhoset 3251 2171 Estonian Lepidoptera. Catalogue 2008 Viro Perhoset 3477 2389 The Fly Fauna of Finland (Draft) 2008 Suomi Kärpäset 6351 4800 Suomen loispistiäisluettelo (Hymenoptera, Parasitica). Osa 1. heimo Ichneumonidae, alaheimot Pimplinae, Poemeniinae, Rhyssinae ja Diacritinae - A check list of Finnish Hymenoptera, Parasitica. Part 1 1995 Suomi Loispistiäiset 282 210 Suomen loispistiäisluettelo (Hymenoptera, Parasitica). Osa 2. alaheimot Tryphoninae, Eucerotinae, Adelognathinae, Xoridinae ja Agriotypinae - A check list of Finnish Hymenoptera, Parasitica. Part 2 1999 Suomi Loispistiäiset 398 311 Suomen loispistiäisluettelo (Hymenoptera, Parasitica). Osa 3. alaheimo Cryptinae - A check list of Finnish Hymenoptera, Parasitica. Part 3 1999 Suomi Loispistiäiset 919 727 Suomen loispistiäisluettelo (Hymenoptera, Parasitica). Osa 4. heimo Ichneumonidae, alaheimot Lycorinae, Neorhacodinae, Stilbopinae, Banchinae ja Ctenopelmatinae - A Check list of Finnish Hymenoptera, Parasitica. Part 4 2000 Suomi Loispistiäiset 786 646 Suomen loispistiäisluettelo (Hymenoptera, Parasitica). Osa 5. heimo Ichneumonidae, alaheimot Tersilochinae, Ophioninae, Anomalinae, Paxylommatinae, Cremastinae ja Campopleginae - A check list of Finnish Hymenoptera, Parasitica. Part 5 2003 Suomi Loispistiäiset 733 587 Suomen ripsiäisten luettelo - Checklist of Finnish Thysanoptera 2008 Suomi Ripsiäiset 219 140 Suomen nivelkärsäisten luettelo - Check-list of Finnish Hemiptera 2008 Suomi Nivelkärsäiset 2690 1697 Verkkosiipiset ja Suomen verkkosiipiset ja kärsäkorennot - The Neuroptera s.l. and Mecoptera of Finland 2008 Suomi kärsäkorennot 113 72 Maailman lintujen suomenkieliset nimet (Finnish Names of the Birds of the World) 2010 Maailma Linnut 12125 9740 Nisäkkäiden nimilista (beta) 2008 Maailma Nisäkkäät 6062 4629 Suomen myrkkypistiäisten luettelo 2010 Suomi Myrkkypistiäiset 1048 664
Other Vocabularies and Ontologies Traditional national thesauri YSA, MUSA/CILLA, Stameta, etc. International vocabularies Art and Architecture Thesaurus (AAT) (culture) Library of Congress Subject Headings (LCSH) (library) UNSPSC (products and services) IPSV (egov) MeSH (medical) Iconclass (culture)
ONKI Geo for Geo-ontologies http://demo.seco.tkk.fi/onkipaikka/ 800,000 contempory Finnish places [Lindroos et al., 2007]
Suomen ajallinen paikkaontologia SAPO Visio: kansallinen asteittain täydentyvä historiallisten ajallisten paikkojen ja näiden muutosten ontologia 1989 kuntaa, 84 lääniä, 48 linnalääniä Julkaistu ONKI:n kautta palveluna» http://www.yso.fi/onki/sapo/?l=fi Kehitys jatkossa yhteisöllisenä SAHA-projektina» http://demo.seco.tkk.fi/saha/sapo/index.shtml Seuraavaksi tulossa Kylätaso (luovutut alueet ja nykyinen Suomi) Point-Of-Interest-kohteet
ONKI People Demo with Getty ULAN Registry 120,000 Instances [Kurki, Hyvönen, ICSD, 2010]
Tapahtumat: Suomen historiaontologia HISTO Historiaontologian tarkoituksena on: 1) Määrittää ontologiset tunnisteet (URI) historiallisille tapahtumille samaan tapaan kuin esimerkiksi paikoille. - Sisältöjen yhdistäminen uudella tavalla 2) Kuvat täsmällisesti historiallisia tapahtumia ja narratiiveja. - Aineettoman kulttuuriperimän tallentaminen 3) Toimia linkittävänä ontologiana erilaisten kulttuuristen sisältöjen välillä. 4) Tarjota kattava ja hyvin kuvailtu semanttinen tietokanta Suomen historian tapahtumista (itseisarvo). 46
http://demo.seco.tkk.fi/saha/historia/index.shtml
Kansallinen ontologiakirjastopalvelu ONKI http://www.onki.fi/
ONKI-palvelukonseptin idea ONKI tarjoaa kansalliset keskitetyt sanastopalvelut valmiina toiminnallisuuksina, jotka voidaan integroida kustannustehokkaasti osaksi sovelluksia Käsitteiden haku, selailu, valinta, laajennus, kääntäminen Hieman vastaavaan tapaan kuin esimerkiksi Google Maps tarjoaa karttapalvelut sovellusten käyttöön Käyttötapaukset Tiedon indeksointi sisältöä tuotettaessa» Museot, virastot, kirjastot, mediayritykset, kansalaiset... Tiedon haku» Esim. synonyymit, kyselyn laajentaminen, monikielisyys Sanastojen kehittämisen ja julkaisemisen tuki
ONKI 3
ONKI:n käyttöönottotilanne 1 / 2011 Prototyyppi Living Laboratory ympäristössä 2009-2011 Ihmiset: n. 14 000 uniikkia käyttäjää / kk (domain) Koneet: 223 rekiströitynyttä käyttäjää (domain) ONKI konsortio valmisteilla Kansalliskirjasto vetovastuuseen? (suunnitelma) ONKI:n ylläpito FinnONTO:n jälkeen (2012-) ONKI mukana Valtiotason tietoarkkitehtuuri suunnitelmissa Valtiovarianministeriö / ValtIT Tietohallintolaki ( FinnONTO-laki )
Käytännön esimerkki mahdollisuuksista: FinnONTO:n Kulttuurisampo Kulttuurisampo suomalainen kulttuuri semanttisessa Web 2.0:ssa Kansallinen kulttuurialan yhteisöllinen julkaisukanava Linked Open Data hengessä Museot, kirjastot, arkistot Kansalaiset http://www.kulttuurisampo.fi Finnish Content Providers 1 Agricola Suomen historiaverkko 2 Espoon kaupunginmuseo 3 Helsingin kaupunginkirjasto 4 Hiihtomuseo 5 Jyväskylän yliopisto, musiikin laitos 6 Kansallisbiografia 7 Kansallismuseo 8 Kuopion kulttuurihistoriallinen museo 9 Laatokan-Karjalan museo 10 Lahden kaupunginmuseo 11 Museovirasto 12 Pohjois-Karjalan museo 13 Radio- ja TV-museo 14 Seurasaaren ulkomuseo 15 Suomalaisen Kirjallisuuden Seura SKS 16 Suomen maatalousmuseo Sarka 17 Suomen merimuseo 18 Taideteollisen korkeakoulun kirjasto 19 Valtion taidemuseo 20 Veljekset Karhumäki Oy 21 Viipurin historiallinen museo 22 Yleisradio Oy International Content Providers 1 Geonames 2 Google (Maps) 3 Iconclass (vocab.) 4 Panoramio 5 Paul J. Getty Foundation (vocab.) 6 Wikipedia
Haaste 1: Kulttuurisisältöjen tuotanto Hajautettu, ei yhteisöllisyyttä, ei koordinaatiota
Haaste 2: Kulttuurisisältöjen monimuotoisuus Erilaiset, mutta toisiinsa liittyvät sisällöt Artifacts Maps Encyclopedia Videos Buildings Narratives Literature Music Cultural sites Biographies Fine arts
Kulttuurisammon ratkaisu pähkinänkuoressa Content Providers Semantic Metadata National FinnONTO Ontology Infrastructure
Biografiakeskus ja kirjastot keräävät henkilöhistoriaa henkilö nimi ammatti syntymapaikka... H1 Akseli Gallen-Kallela taiteilija Lemu H2 Gustaf Mannerheim marsalkka Askainen... nimi Akseli Gallen-Kallela ihminen tyyppi H1 ammatti s-paikka Lemu taiteiija tyyppi nimi Gustaf Mannerheim H2 ammatti marsalkka s-paikka Askainen
Museo luetteloi maalauksia teos nimi tekijä aika aihe... T1 Mannerheimin muotokuva Akseli Gallen-Kallela 1929 Gustaf Mannerheim T2 Aino-triptyykki Akseli Gallen-Kallela 1891 Aino, Kalevala... nimi Akseli Gallen-Kallela tekijä T1 tyyppi maalaus... aika 1929 aihe nimi Gustaf Mannerheim
Maanmittauslaitos ylläpitää paikkarekistereitä kunta Askainen Helsinki Lemu Turku... lääni Varsinais-Suomen lääni Uudenmaan lääni Varsinais-Suomen lääni Varsinais-Suomen lääni kunta Lemu tyyppi tyyppi lääni part-of tyyppi part-of... part-of Varsinais-Suomen lääni Suomi Askainen Turku part-of
FinnONTO kehittää ontologioita KOKO-ontologia pysyvä yläluokka yläluokka käsite muuttuva yläluokka abstrakti fyysinen objekti yläluokka yläluokka ajanjakso ammatti paikka yläluokka kunta ihminen taiteiija lääni maalaus marsalkka
Semanttinen RDF-verkko yhdistää kaiken: Web of Linked Open Data käsitteet pysyvä yläluokka muuttuva yläluokka abstrakti yläluokka fyysinen objekti yläluokka paikka yläluokka yläluokka ajanjakso ammatti kunta nimi Akseli Gallen-Kallela tyyppi ihminen tyyppi tyyppi H1 ammatti taiteiija s-paikka Lemu tekijä tyyppi maalaus T1 tyyppi lääni yläluokka tyyppi... aihe aika 1929 part-of Varsinais-Suomen lääni part-of Suomi H2 nimi Gustaf Mannerheim ammatti marsalkka part-of part-of s-paikka Askainen Turku
Mitä seuraavaksi pitäisi tehdä? Kääriä hihat ylös. Kutsu mukaan Linked Data Finland -hankkeeseen
Tavoite Kansallisten tietoaineistojen julkaiseminen Linked Open Datana FinnONTO:n perintöä hyödyntäen Yhteisen open source -teknologian kehittäminen Pilotointi käytännössä: aineistot ja sovellukset Laaja FinnONTO-tyyppinen Tekes-rahoitteinen hanke Mukaan sekä julkinen sektori että yrityksiä Ministeriöitä, Kuntaliitto, Museovirasto, Kansalliskirjasto ym. Aikataulu Hakemus 28.2.2011 Kesto 2012-2013
Sovellusalueita Yhdistetty paikkatieto Tieteellinen yhdistetty tieto Bio- ja ympäristöalan yhdistetty tieto Valtion ja kuntien tietorekisterit Tervetuloa mukaan yhteisöön vielä ehtii! Lisätietoja: eero.hyvonen@tkk.fi
Lisätietoja suomeksi Yhteenveto suomeksi FinnONTO-visiosta Eero Hyvönen: FinnONTO-malli kansallisen semanttisen webin sisältöinfrastruktuurin perustaksi - visio ja sen toteutus. Julkistustilaisuuden esitelmä, TKK, 12.9.2008. http://www.seco.tkk.fi/publications/2008/hyvonen-onkiyleisesitys-2008.pdf Yhteenveto suomeksi Kulttuurisamposta Eero Hyvönen: Kulttuurisampo - suomalainen kulttuuri semanttisessa webissä. Muistiorganisaatioiden ja kansalaisten yhteisöllinen kansallinen julkaisujärjestelmä Julkistustilaisuuden esitelmä, TKK, 25.9.2008. http://www.seco.tkk.fi/publications/2008/hyvonen- Kulttuurisampo-2008.pdf
Questions??! Semantic Computing Research Group: http://www.seco.tkk.fi/ Try ONKI and CultureSampo yourself: http://www.onki.fi/ http://www.kulttuurisampo.fi/ http://www.seco.tkk.fi