TEKNILLINEN KORKEAKOULU Tietotekniikan SEMINAARITUTKIELMA T-76.273 Tiedonhallinan seminaari koulutusohjelma 31.3.2005 Metadata Matti Tornio 55412K
Sisältö 1 JOHDANTO 2 1.1 Tausta............................... 2 1.2 Tutkimusongelma......................... 2 1.3 Tavoitteet............................. 3 1.4 Rajaus............................... 3 1.5 Menetelmät............................ 3 1.6 Tutkielman rakenne........................ 3 2 METADATA 4 2.1 Mihin metadataa tarvitaan.................... 5 2.2 Metadatan tyypit......................... 5 2.3 Metadata osana tietoalkion kehitystä.............. 6 3 METADATASKEEMAT 7 3.1 Dublin Core............................ 7 3.2 Muita metadataskeemoja..................... 8 4 METADATA TIETOKONEVERKOISSA 9 4.1 Koodausskeemat......................... 10 5 METADATAN TULEVAISUUS 11 6 YHTEENVETO 12 1
1 JOHDANTO 1.1 Tausta Minkä tahansa suuren tietovaraston tehokas käyttö vaatii erilaisia luetteloita ja hakemistoja oikean tiedon löytämisen helpottamiseksi. Perinteinen kirjastojärjestelmä ja muut vastaavat laitokset ovat keränneet ja käyttäneet tällaista tietoa jo vuosikausia. Internetin sisältämä valtava tietomäärä synnyttää kuitenkin aivan uusia haasteita, sillä tiedon määrä ja sen moninaiset esitysformaatit tekevät sen hallitsemisen pelkästään ihmisvoimin mahdottomaksi. Tietokoneiden kyky ymmärtää ihmisen tuottamaa tekstiä ja muuta materiaalia on kuitenkin huono. Yksi ratkaisu tähän ongelmaan on ylimääräisen tiedon, eli metadatan, liittäminen informaatioalkioihin. Tietokoneet pystyvät tätä tietoa hyväksikäyttäen tarjoamaan tehokkaampia hakuja ja käsittelemään tietoa entistä itsenäisemmin. Metadata tarjoaa myös ihmiskäyttäjille uusia mahdollisuuksia sitomalla tietoalkiot tiettyyn kontekstiin ja määritelmiin, mikä helpottaa tiedon tulkitsemista. 1.2 Tutkimusongelma Tutkimusongelmana oli selvittää metadatan käyttöä ja varastointia tietokoneverkoissa, sekä myös lyhyesti tutustua metadatan historiaan ja muihin käyttötarkoituksiin. 2
1.3 Tavoitteet Tutkimuksen ensisijaisena tavoitteena oli saada selkeä kuva erilaisista metadatan käyttötavoista tietokoneverkoissa sekä lisäksi kartoittaa nykyistä käyttötilannetta ja tulevaisuuden kehityssuuntia. 1.4 Rajaus Tutkielmassa on keskitetty metadatan käyttötarkoituksiin ja sen tuomiin hyötyihin. Monia metadataan liittyviä teknologioita, kuten Resorce Definition Framework:a eli RDF:ää, on käsiteltyä vain lyhyesti, sillä näistä kerrotaan tarkemmin omissa seminaaritutkielmissaan. 1.5 Menetelmät Tutkimus on kirjallisuustutkimus, joka perustuu sekä vapaasti verkossa ladattavissa olevaan aineistoon että TKK:n lisensoimaan elektroniseen aineistoon. Tiedonhaussa on hyödennetty perinteisiä WWW-hakukoneita, TKK:n kirjaston hakupalveluita sekä Google Scholar -palvelun betaversiota. 1.6 Tutkielman rakenne Aluksi käsitellään lyhyesti metadatan etymologiaa ja merkitystä, sekä tehdään pikainen katsaus metadatan historiaan ja kehitykseen. Tämän jälkeen tutkitaan metadatan erilaisia käyttötarkoituksia ja -mahdollisuuksia. Seuraavaksi käsitellään erilaisia metadataskeemoja, ensisijaisesti Dublin Corea, sekä tutkitaan lyhyesti erilaisia metadatan tallennustapoja. Lopuksi arvioidaan 3
metadatan nykytilannetta tietokoneverkoissa sekä pohditaan tulevaisuuden kehitystä. Lopuksi kootaan saadut tulokset yhteen. 2 METADATA Alkuliite meta on kreikkaa, ja se tarkoittaa jotain korkeammalla tasolla olevaa. Metadatan sanatarkka käännös onkin tietoa tiedosta. On kuitenkin syytä korostaa, että tyypillisesti metadatalla tarkoitetaan jollain tavalla rakenteista tietoa. Murtha Baca määrittelee termin seuraavasti: the sum of total of what one can say about any information object at any level of aggregation. [5, 4, 9] Vaikka metadata nykyisessä merkityksessään on nuori termi, ovat kirjastot ja musot varastoineet vuosikausia metadataksi luokiteltavaa tietoa. Suurta tietomäärää varastoitaessa tarvitaan hakemistoja ja luetteloita, joiden sisältöä voidaan pitää metadatana. Kirjastojen hakupalvelujen muututtua elektronisiksi on näiden metadatavarastojen käyttö tullut entistä helpommaksi ja nopeammaksi. [4] Vaikka kirjastomaailmassa metadata-termiä käytetäänkin melko rajoittuneesti, on se yleisempänä käsitteenä hyvin laaja-alainen. Metadata voi kuvata niin tietoalkion sisältöä, kontekstia kuin rakennettakin. [5] Metadatasta puhuttaessa on myös syytä huomata, että se, mikä on dataa ja mikä metadataa, riippuu tarkastelutasosta. Tietyn tietoresurssin metadatalla voi ajatella olevan oma metadatansa, joka voidaan tarvittaessa mallintaa omalla abstraktiotasollaan [4]. 4
2.1 Mihin metadataa tarvitaan Metadatan pääasiallisena tarkoituksena on helpottaa tiedon löytämistä sekä tehostamalla olemassa olevia hakuja että luomalla kokonaan uusia hakumenetelmiä. Metadatan käyttö myös mahdollistaa yksittäisen haun ulottamisen hyvin erilaisiin tietovarastoihin, kunhan eri tietoalkiosta tallennettu metadata säilyy yhteensopivana. [5, 9] Metadata myös mahdollistaa eri objektien välisten yhteyksien mallintamisen ja sitä kautta objektien sitomisen tiettyyn kontekstiin. Vastaavasti metadatalla voidaan mallintaa saman resurssin eri versioiden välisiä yhtäläisyyksiä ja eroavaisuuksia, esimerkiksi saman digitaalisen kuvan erikokoisia versioita. Metadatalla on myös mahdollista tallentaa tietoja elektronisessa muodossa olevan aineiston vaatimista ohjelmaversioista ja käyttöympäristöistä, mikä helpottaa aineiston käyttöä vuosien kuluttua. Tämä tietysti vaatii, että metadatana tallennettu tieto on tulevaisuuden laitteiden ymmärtämässä muodossa, tai vähintään ihmisten tulkittavissa. [5, 9] 2.2 Metadatan tyypit Metadatasta puhuttaessa on syytä ensinnäkin tehdä jako sisäisiin ja ulkoisiin ominaisuuksiin. Sisäiset ominaisuudet ovat tietoalkiolle luontaisia, esimerkiksi sen nimi ja otsikko. Ulkoisia ominaisuuksia ovat vastaavasti vaikkapa elektronisen teoksen hinta. Tämä on tärkeä kahtiajako siinä mielessä, että tyypillisesti vain sisäisiä ominaisuuksia pystytään tehokkaasti esittämään jollain yleisellä metadatajärjestelmällä, ja ulkoiset ominaisuudet ovat usein vahvasti tiettyyn käyttötarkoitukseen sidottuja. [5] 5
Tyypillisimmillään metadata on resurssia kuvailevaa; tälläistä metadataa käytetään hyväksi resurssin luokittelussa ja hakemisessa sekä sen suhteiden kuvaamisessa muihin resursseihin. Metadata voi myös liittyä resurssin hallintaan, mistä esimerkkejä ovat tiedon sijaintiin, käyttöoikeuksiin ja versiotietoihin liittyvä metadata. Metadata voi myös tukea tiedon säilöntää; tälläistä on vaikkapa fyysisen tallennusmedian tilaa kuvaava metadata. [5, 9] Metadatana voidaan myös tallentaa teknistä tietoa tietoresurssista, kuten tietoja tarvittavasta ohjelmisto- ja laitteistoympäristöstä. Teknistä metadataa on myös tieto tallennusformaatista ja sen parametreista sekä tieto mahdollisesta salakirjoituksesta ja tarvittavista purkuavaimista. Lopulta metadata voi myös liittyä resurssin käyttöön kuvaamalla käyttöstatistiikkoja tai tarjoamalla tietoa saman resurssin eri versioista. [5, 9] 2.3 Metadata osana tietoalkion kehitystä Metadatasta puhuttaessa on syytä huomata, että kyseessä on harvoin staattinen elementti, ja ollakseen hyödyllistä sitä on jatkuvasti pidettävä ajan tasalla. [5, 9] Luotaessa uusia tietoresursseja niihin usein liitetään automaattisesti tiettyä metadataa, esim. digitaalikameralla otettuun valokuvaan lisätään metatietoja kamerasta ja kuvanottotilanteesta. [5] Tuotaessa tietoalkio johonkin laajempaan tietojärjestelmään siihen liitetään tyypillisesti metadataa, joka liittyy tiedon indeksointiin ja kuvailemiseen. Tiedon käyttö ja sen mahdolliset päivitykset vaativat myös muutoksia tietoon liittyvään metadataan. Lopulta myös tiedon siirtäminen toisiin järjestelmiin tai poistaminen kokonaan 6
vaativat muutoksia sekä itse tietoalkioon metadataan että kaikkiin kyseiseen tietoalkioon muualta viittaaviin metadataelementteihin. [5] 3 METADATASKEEMAT Ennen kuin metadataa voidaan lähteä käyttämään, täytyy päättää, mitä tietoja metadatalla halutaan esittää. Metadataskeema määrittelee käytettävät dataelementit ja niiden nimet, sekä sitoo kuhunkin elementtiin jonkin merkityksen, eli semantiikan. [4, 5] Tässä tutkielmassa keskitytään tarkastelemaan yhtä metadataskeemaa, Dublin Corea [1], joka on tietokoneverkkojen kannalta ehkä tärkein metadataskeema. [5] 3.1 Dublin Core Dublin Core [1] on vuonna 1995 Dublinissa, Ohiossa, alkunsa saanut metadatastandardi, joka on tarkoitettu käytettäväksi hyvin monipuolisen fyysisen ja elektronisen aineiston kuvaamiseen. Dublin Core rakentuu 15 semanttisen elementin varaan, jotka ovat title, creator, subject, publisher, contributor, date, type, format, identifier, source, language relation, coverage ja rights. Elementit on valittu siten, että niillä voidaan kuvata mahdollisimman laaja-alaista aineistoa, sekä elektronista että fyysistä. Nämä viisitoista pääelementtiä muodostavat sellaisenaan niin sanotun Simple Dublin Coren. Skeemaa voidaan täsmentää käyttämällä erillisiä määritteitä, joilla esimerkiksi päivämäärällä voidaan valita tietty esitysmuoto, tai sitoa jokin elementti tiettyyn kielioppiin. Näin saatua tarkemmin 7
määriteltyä skeemaa kutsutaan Qualified Dublin Coreksi. [1, 7] Dublin Corea kehitettäessä on pyritty täyttämään tietyt tavoitteet, joista monet ovat keskeisiä mille tahansa geneeriselle metadataskeemalle. Ensinnäkin skeema on helposti laajennettavissa, joka mahdollistaa sekä sen soveltamisen erilaisiin käyttötarkoituksiin että itse standardin kehittämisen. Vastaavasti mikään Dublin Coren kentistä ei ole pakollinen, ja toisaalta mikä tahansa kenttä voi esiintyä useita kertoja. Lisäksi määritteet mahdollistavat elementin sitomisen tiettyyn nimiavaruuteen, ja sitä kautta data-alkion kontekstiin. Dublin Coressa on myös vältetty skeeman sitomista mihinkään yksittäiseen syntaksiin, mikä mahdollistetaan skeeman käytön monissa erilaisissa ympäristöissä. [3, 7] 3.2 Muita metadataskeemoja Vaikka Dublin Core soveltuu hyvin monenlaisen materiaalin kuvaamiseen, on monia käyttötarkoituksia, joissa sen käyttö on joko hankalaa tai mahdotonta. Tiettyyn tarkasti määriteltyyn käyttötarkoitukseen voi usein olla perusteltu kehittää oma skeemansa. Esimerkiksi vcard-standardi tarjoaa tehokkaan tavan henkilötietojen tallentamiseen metadatana. [3, 8] Eri maiden kirjastoilla ja vastaavilla muilla laitoksilla on myös käytössään lukemattomia omia metadataskeemojaan, joista esimerkkinä mainittakoon EAD eli Encoded Archives Description, jota esimerkiksi USA:n kongressin kirjasto käyttää. [6, 5] 8
4 METADATA TIETOKONEVERKOISSA Tietokoneverkot koostuvat automaattisesti käsitellyistä tietoresursseista, joten ne muodostavat otollisen ympäristön metadatan käytölle. Yksi metadatan tärkeimmistä käyttökohteista Internetissä on hakukoneiden toiminnan tehostaminen. Metadatan liittäminen dokumentteihin tarjoaa askeleen kohti semanttista verkkoa, jossa tietokoneet pystyvät metadatan kautta tulkitsemaan dokumenttien sisältöä ja niiden välisiä yhteyksiä. Valitettavasti metadatan käyttöön avoimissa verkoissa liittyy myös ongelmia, joista pahin on se, että koska sivun tekijä on itse vastuussa tarjotusta metadatasta, ei sitä voida pitää luotettavana. Useimmat nykyisistä suurista hakukoneista eivät käsittelekään dokumenttien sisältämää metadataa lainkaan. [5] Pelkän aineiston lisäksi metadata tehostaa hakuja myös auttamalla tietokoneita ymmärtämään itse tekstin sisältöä. Yksittäisiin sanoihiin liittyvää metadataa voidaan käyttää täsmentämään homonyymejä ja synonyymejä, sekä selventämään kontekstia, jossa sanaa käytetään. [9] Hakujen tehostamisen lisäksi metadataa voidaan käyttää myös moniin muihin käyttötarkoituksiin, kuten kuva- tai videomateriaalin käyttöehtojen määrittelemiseen ja verkkokaupan tukemiseen. Metadataa voidaan myös käyttää sopimattoman sisällön suodattamiseen ja ikärajojen valvontaan, mutta tässäkin ongelmaksi nousee luottamuksen puute verkossa. [2] Metadatan käytöstä koko verkon laajuisena tekee ongelmallista jo pelkästään tiedon valtava määrä; kaiken dokumentteihin annotoidun metadatan käsitteleminen vaatii huomattavia lisäresursseja hakukoneilta. Vielä pahemman ongelman muodostaa tietoalkioiden välisten yhteyksien mallintaminen, 9
mikä on käytännössä mahdotonta koko verkon laajuudessa. [9, 5] 4.1 Koodausskeemat Jotta metadataskeeman määrittelemää tietoa voitaisiin hyödyntää automaattisesti, tallennettavan tiedon lisäksi täytyy valita myös jokin tapa koodata informaatio tietokoneen ymmärtämään muotoon. Verkkompäristössä tyypillisesti käytettyjä koodaustapoja ovat HTML, XML ja RDF. Näiden lisäksi esimerkiksi sähköpostiviesteihin voidaan liittää metadataa MIME:n avulla. [4] Näiden Internetiä varten suunniteltujen standardien lisäksi on olemassa lukemattomia muita koodausskeemoja, näistä esimerkkinä USA:n kongressin kirjaston standardoima Machine Readable Cataloging (MARC). [5] Perinteinen tapa liittää metadataa verkkodokumenttiin on käyttää HTML:n meta-tagejä. Seuraavassa esimerkissä on esitetty Dublin Coren mukainen metadata Dan Simmonsin teokselle Ilium. <META NAME="DC.Title" CONTENT="Ilium"> <META NAME="DC.Creator" CONTENT="Simmons, Dan"> <META NAME="DC.Date" CONTENT="2003"> Vastaavat tiedot voidaan esittää myös käyttäen hyväksi RDF:ää ja XML:ää, täydellinnen RDF-määrittelyn sisältävä XML-tiedosto on seuraavassa esimerkissä. <xml version="1.0"?> <!DOCTYPE rdf:rdf PUBLIC "-//DUBLIN CORE//DCMES DTD 2002/07/31//EN" "http://dublincore.org/documents/2002/07/31/dcmes-xml-dtd.dtd"> 10
<rdf:rdf xmlns:rdf="http://www.w3.org./1999/02/22-rdf-syntax-ns#" xmlns:dc="http://purl.org/dc/elements/1.1/"> <rdf:description rdf:about="http://myurl"> <dc:title>ilium</dc:title> <dc:creator>simmons, Dan</dc:creator> <dc:date>2003</dc:date> </rdf:description> <rdf:rdf> Erillisten koodausskeemojen lisäksi metadataa voidaan säilyttää erillisissä tietokannoissa; tämä voi olla perusteltua jo pelkästään tehokkuussyistä silloin, kun metadatan määrä on hyvin suuri. [4, 5] 5 METADATAN TULEVAISUUS Suljetuissa verkoissa ja yksittäisen sivuston sisäisissä palveluissa metadatalla on jo vahva asema, ja ei ole mitään syytä olettaa, etteivätkö yhä useammat palvelut siirtyisi käyttämään metadataa toimintansa tehostamisessa. On myös odotettavissa, että nykyään käytetyt lukemattomat metadataskeemat tulevat pitkälti korvautumaan muutamalla standardilla, joista ainakin yksi lienee Dublin Core. [9] Internetin ja hakukoneiden kannalta tilanne on kuitenkin ongelmallisempi. W3C:n ajama semanttinen verkko ja siihen liittyvät RDF ja OWL tarkoittavat, että metadatan käyttö lisääntyy lähivuosina myös julkisissa verkoissa. Metadatan esittämiseen mahdollistavat standardit eivät kuitenkaan yksin riitä varmistamaan sen yleistymistä. Suuri osa tarvittavasta metadatasta on 11
sellaista, että se joudutaan tuottamaan ainakin osaksi ihmistyöllä, ja täten siitä koituvat kustannukset ovat suuria. Vaikka metadatan ylläpitoa voidaan osittain automatisoida, koituu myös siitä pitkäaikaisia lisäkustannuksia. Kun toisaalta muut verkon palvelut eivät metadataa vielä juuri hyödynnä, ja ihmiskäyttäjällekin se jää yleensä näkymättömäksi, nousee palveluntarjoajien kynnys metadatan käyttöönottamiseksi hyvin korkeaksi. [10] 6 YHTEENVETO Tutkimuksessa selvitettiin metadata käsitteenä, sen nykyisiä käyttökohteita, ja lisäksi luodattiin metadatan tulevaisuuden näkymiä. Tutkimuksen aikana päädyttiin johtopäätökseen, että vaikka RDF ja muut metadatan yleisen käytön mahdollistavat standardit ovat jo olemassa, kustannuksiin ja luottamukseen liittyvien tekijöiden takia metadata on ainakin vielä jäänyt lähinnä yksittäisten palveluiden ja suljettujen järjestelmien käyttämäksi teknologiaksi, vaikka sillä olisi monia käyttötarkoituksia myös koko Internetin mittakaavassa. Viitteet [1] Dublin Core Metadata Initiative [Online], http://dublincore.org (viitattu 13.3.2005) [2] O. Lassila, Web Metadata: A Matter of Semantics, [3] S. Weibel, Metadata: The Foundations of Resource Description, D-Lib Magazine, July 1995 12
[4] C. Taylor, An Introduction to Metadata [Online], http://www.library.uq.edu.au/iad/ctmeta4.html (viitattu 13.3.2005), 29.7.2003 [5] M. Baca, Introduction to Metadata [Online], http://www.getty.edu/research/conducting_research/standards/intrometadata/index.html (viitattu 13.3.2005) [6] Official EAD Version 2002 Web Site [Online], http://www.loc.gov/ead (viitattu 13.3.2005) [7] J. Greenberg, M. Pattuelli, B.Parsia, W. Robertson, Author-generated Dublin Core for Web Resources: A Baseline Study in an Organization, Journal of Digital Information, volume 2, issue 2, November 2001 [8] E. Duval: Metadata Standards: What, who & why, Journal of Universal Computer Science, 7(7):591-601, July 2001 [9] J. Milstead, S. Feldman, Metadata: Cataloging by any other name [Online], http://www.onlinemag.net/ol1999/milstead1.html (viitattu 13.3.2005), January 1999 [10] W3C s Semantic Web Web Site [Online], http://www.w3.org/2001/sw/ (viitattu 31.3.2005) 13