Topic Maps, Wandora ja kourallinen julkaisuprojekteja. Grip Studios Interactive,, Aki Kivelä

Transkriptio

1 Topic Maps, Wandora ja kourallinen julkaisuprojekteja Grip Studios Interactive,, Aki Kivelä

2 Esitelmän rakenne Topic Maps Teoriaa Suhde muihin teknologioihin Käyttösovelluksia Wandora Sovellusprojekteja Kiasmart Valtion taidemuseon kokoelmaselain 2

3 Topic Maps ISO standardin mukainen tietämysrakenne Tietoresursseista riippumaton tietämysverkko Kartta tietoresursseihin Kokoelma käsitteitä, käsitteiden välisiä yhteyksiä ja käsitteisiin liittyviä tietoresursseja Tietoresursseihin liittyvää metatietoa Aihekartta Dataresursseja 3

4 Historiaa 1991, UNIX järjestelmätoimittajien hanke parantaa dokumentaatioiden laatua. Ongelmana hajautetusta dokumenttien tuotannosta johtuva terminologinen epäyhtenäisyys. One major problem was how to provide master indexes for independently maintained, constantly changing technical documentation aggregated into system manual sets by the vendors of such systems. SOFABED Standard Open Formal Architecture for Browsable Electronic Documents! Topic Maps 1995, ISOn käsittelyyn (ISO/IEC 13250). 2000, XTM 1.0 XML Topic Maps: Creating and Using Topic Maps for the Web. ed. Jack Park; Sam Hunting. Kappale 3: A Perspective On The Quest For Global Knowledge Interchange. Addison-Wesley, ISBN The HyTime Topic Maps (HyTM) Syntax XML Topic Maps (XTM) 1.0. TopicMaps.Org Specification 4

5 Teoriaa Name Association Topic Aihekartta on kokoelma Aiheita (Topics) Yhteyksiä (Associations) Ilmentymiä (Occurrences) TAO -malli Topic Map URI Steve Pepper: The TAO of Topic Maps, finding the way in the age of infoglut, Occurrence Media Documents 5

6 Aihe - Topic Aihe (topic) voi olla mikä tahansa käsite Aiheella voi olla useita nimiä Ainakin yksi perusnimi (base name) Perusnimellä voi olla useampia eri käyttöyhteyksiin tarkoitettuja variaatioita (kieli, näkökulma, konteksti jne.). Aiheeseen voidaan liittää tunnisteita Subject Locator Subject Identifier 6

7 Assosiaatio Assosiaatio liittää kaksi tai useamman aiheen yhteen Aiheiden välinen n-paikkainen relaatio Assosiaatiolla on tyyppi Jokaisella assosiaatiossa olevalla aiheella on rooli Helsinki Suomi kaupunki maa Maan pääkaupunki 7

8 Assosiaatio Verkkoa havainnollisempi esitys assosiaatiolle voisi olla otsikoitu taulu: Maan pääkaupunki Kaupunki Helsinki Maa Suomi 8

9 Ilmentymä - Occurrence Ilmentymä on aiheeseen liittyvä resurssi Ilmentymä voi olla aihekartan ulkopuolella Viitataan URL-osoitteella Ilmentymä voi olla aihekartan sisällä Tekstiä Ilmentymällä on tyyppi ja konteksti (scope). 9

10 Occurrence Helsinki Kaupungin vaakuna suomenkielinen 10

11 Scope Topicilla, assosiaatiolla tai occurrencella voi nimensä (external representation) puolesta olla useampia merkityksiä. Esimerkiksi käsite maa voi käyttöyhteydestä riippuen tarkoittaa valtakuntaa, maapalloa tai maa-ainesta. Merkitykset erotetaan scopella. Scope määrittelee, missä yhteydessä aihe, assosiaatio tai occurrence on relevantti. Scopella Piilotetaan irrelevantti tieto Keskitytään olennaiseen tietoon 11

12 Scope esimerkki Aihekartta Aihekartta otetaan scope käyttöön 12

13 Aihekartat ja XTM XMT on aihekarttojen esittämiseen tarkoitettu XMLformaatti. XTM määrittelee miten aihekartan aiheet, yhteydet ja muut elementit esitetään XML-muodossa. XTM-muotoa voidaan käyttää aihekarttojen Säilyttämiseen Jakeluun Muokkausmuotona XML Topic Maps (XTM) 1.0. TopicMaps.Org Specification 13

14 Suhde muihin teknologioihin Topic Maps ja RDF Topic Maps ja Ontologiat Topic Maps ja Semanttinen Web 14

15 Topic Maps ja RDF Resource Description Framework (RDF) on W3C:n alaisuudessa kehitetty teknologia, joka on tarkoitettu Internet-resurssien annotointiin. RDF myös XML-variantti RDF käyttää annoitointiin Subjekti Predikaatti Objekti kolmikoita RDF on yksinkertaisempi (väljempi) tietämyksen esitysmalli kuin aihekartat. RDF Topic Maps Mahdollista, mutta ei yksikäsitteistä Ten Theses on Topic Maps and RDF Topic maps, RDF, DAML, OIL, A comparison Graham Moore. RDF and TopicMaps. An Exercise in Convergence 15

16 Topic Maps ja Ontologiat Ontologia on eksplisiittisesti määritelty ja jaettu käsitteistö. Aihekartat ovat yksi ontologioiden toteutusteknologia Aihekartta ei sisällä kaikkia puhtaiden ontologiakielten ominaisuuksia Ominaisuudet on mahdollista toteuttaa, mutta vaatii työtä Toisaalta ontologiateknologiat ovat keskenäänkin hyvin erilaisia ja eri vahvuisia (vrt. esim. DAML ja KIF) Semantic Web What is an Ontology? Martin Bryan. Thoughts on the relationship between ontologies and philosophies 16

17 Topic Maps ja Semanttinen Web The Semantic Web is an extension of the current web in which information is given well-defined meaning, better enabling computers and people to work in cooperation. Aihekartat ovat yksi semanttisen webin toteutusteknologioista. Aihekartat ovat kuitenkin jääneet W3C:n omien teknologioiden (RDF(S), OWL) varjoon Semantiic W3C Tim Berners-Lee, James Hendler, Ora Lassila, The Semantic Web, Scientific American, May Using Topic Mapsfor the representation, management & discovery of knowledge 17

18 Topic Maps ja Semanttinen Web Proof Logic Ontologiat RDF+RDF(S) Topic Map XML, NS, xmlschema Unicode URI 18

19 Topic Maps - Käyttösovelluksia Tietämyksen kerääminen, yhdistely, hallinta ja julkaisu Topic Map tietokantana Web scraping, knowledge mashups jne. Dokumenttien selaaminen, hallinta ja julkaiseminen Topic map dokumenttien metaverkkona Datavirtojen hallinta ja ohjaaminen Topic Map datasiirtoformaattina Mallintaminen Topic Map mallinnuskielenä, prototyping Kieliteknologia Topic Map corpuksena, terminologiana 19

20 Topic Maps ja dokumenttien julkaisu Tuotetaan dokumenteista aihekartta Dokumentit aiheiden ilmentyminä Tuotetaan aihekartasta visualisointeja Annetaan käyttäjän navigoida aihekarttassa (navigointiverkko) Päästetään käyttäjä ilmentymädokumentteihin Aihekartta Dataresursseja 20

21 Topic Maps ja dokumenttien julkaisu Miksi WWW-julkaisu ei riitä? Dokumentteihin ei haluta tai ei ole mahdollista liittää linkkejä Dokumentteja on liian paljon päivitettäväksi Dokumentit vaihtuvat usein Dokumentteihin tarvitaan useita näkökulmia Dokumenttien julkisuutta pitää rajoittaa dynaamisesti Aihekartta Dataresursseja 21

22 Julkaisu Topic Mapin tuottaminen Topic mapin tuottaminen manuaalisesti Henkilö tutustuu dokumenttiin ja liittää dokumenttia vastaavat aiheet ja yhteydet aihekarttaan (toimittaminen). Vaativa ja henkilökeskeinen operaatio Laatu pysyy hyvänä (ainakin alussa) Muutosten tekeminen hidasta ja vaikeaa Topic mapin automatisoitu tuottaminen Ohjelma lukee dokumentin, pyrkii tulkitsemaan dokumentin aiheet ja yhteydet ja liittää ne aihekarttaan. Erittäin nopea tuottaa Altis tulkintavirheille, konetulkinnan semanttinen sokeus 22

23 Julkaisu Topic Mapin tuottaminen Topic Mapin tuottaminen puoliautomaattisesti Henkilöt kirjaavat dokumentteihin ohjeita konetulkinnalle (avustettu tulkinta). Konetulkinnan apuna on käsin tuotettu aihealueen aihekartta tai ontologia, joka auttaa konetulkitsijaa erottamaan oleelliset käsitteet (opetettu tulkinta). Konetulkki ymmärtää, milloin se on semanttisesti epävarmalla alueella ja osaa pyytää henkilöltä apua (oppiva tulkinta). Helka Folch. Articulating conceptual spaces using the Topic Map standard Thomas Bandholtz. A Taxi in Knowledge Land. Use Case that Combines Topic Maps and Web Services in a Public Portal Geir Ove Grønmo. Automagic Topic Maps ; Creating topic maps from existing data sources 23

24 Julkaisu visualisointi ja navigointi Graafinen visualisointi Esitetään aihekartta verkkorakenteena esim. mind-mappinä Ongelmana graafisten visualisointipakettien puute WWW julkaisun rajoitukset Hypertekstiesitys Aihealueen huomioon ottaminen esityksessä parantaa huomattavasti esitystä. Geneerisessä visualisoinnissa ongelmana tiedon visuaalinen yhtenäisyys. Liike on tietoa!!! vrt. WWW-navigointi, jossa tieto saadaan vasta pysähdyttäessä Bénédicte Desclefs-Le Grand, Michel Soto. Visualizing Topic Maps 24

25 Wandora Grip Studios Interactive,, Aki Kivelä

26 Wandora Yleinen tietämyseditori ja julkaisuohjelmisto Topic Map -editori Työpöytäohjelma, Java Piccolo Topic Mappien WWW-julkaisu, Java-servlet Grip Studios Interactive 2000! Puolisen tusinaa sovellusprojektia Vapaasti ladattivissa ja kokeiltavissa 26

27 Wandora - ominaisuuksia Layered Topic Map -paradigma Tukee useita tallennusalustoja Tietokanta, muisti Graafinen käyttöliittymä Useita visualisointimalleja Topic Mapeille Lukee XTM-, LTM-, RDF-tiedostoja Tiedon eristäminen Esim. JPEG, , BibTex, MediaWiki, MP3 HTML-sivuston tuottaminen Topic Mapistä Staattinen tai dynaaminen 27

28 Case 1: Kiasmart Grip Studios Interactive,, Aki Kivelä

29 Kiasmart Kiasmaan toteutettu infokioskijärjestelmä Hajautetut mediatuotanto, keskitetty palvelin, kolme päätettä Nykytaiteen teos- ja taiteilijatiedon jakaminen Videoita, kuvia, tekstejä 29

30 Yleisön käytössä olevat Waonder -päätteet Käyttöjärjestelmä ja käyttöliittymä Internet Waonder -palvelin Dokumentit Mediapalvelimia 30

31 Yleisön käytössä olevat Waonder -päätteet Käyttöjärjestelmä ja käyttöliittymä Mediapalvelimet Waonder -palvelin Dokumentit Mediapalvelimia Internet Internetissä sijaitsevia tietokoneita, kuten WWWtai tiedostopalvelimia, joilla säilytetään Kiasmartilla esitettäviä dokumentteja. Kiasmart hakee dokumentit URL-osoitteiden avulla. Dokumentit voivat olla esimerkiksi PDF-tekstejä JPEG-kuvia MPEG-videoita RDF-tiedostoja XTM-tiedostoja 31

32 Yleisön käytössä olevat Waonder -päätteet Waonder -palvelin Dokumentit Mediapalvelimia Käyttöjärjestelmä ja käyttöliittymä Internet Dokumenttien metatiedot Kiasmart tarvitsee dokumentteihin liittyviä metatietoja ymmärtääkseen dokumenttien välisiä yhteyksiä. Metatiedot voidaan lukea Dokumenteista: JPEG-kuvat, PDF-tekstit Erillisistä tiedostoista: RDF- ja XTM-tiedostot Metatiedot voivat olla RDF- tai XTM-muodossa Dublin Corea Strukturoitua tekstiä Dokumenttien sisältöä ei yritetä tulkita! Vähentää virhetulkintoja Korostaa annotoinnin merkitystä Tulkinnan pohjana käytetään pientä käsin tuotettua aihekarttaa. 32

33 Yleisön käytössä olevat Waonder -päätteet Käyttöjärjestelmä ja käyttöliittymä Internet Crawler Waonder -palvelin Dokumentit Mediapalvelimia On ohjelmakomponetti, joka selaa mediapalvelimien dokumentteja ja liittää ne järjestelmään. Crawler osaa seurata dokumenttien sisältämiä linkkejä uusiin käsiteltäviin tiedostoihin (HTML). Uusien dokumenttien löytäminen Lukee dokumenttien metatiedot ja tuottaa tiedoista XTM-fragmentteja. Yhdistää XTM-fragmentit Topic Map tiedostoksi. Selaa dokumentit säännöllisesti Säädettävä päivitystaajuus 33

34 Yleisön käytössä olevat Waonder -päätteet Käyttöjärjestelmä ja käyttöliittymä XMT Waonder -palvelin Dokumentit Internet JPEG Handler Dokumentit Kokoa ja serialisoi aihekarttafragmentit Mediapalvelimia RDF Handler Crawlerhakuagentti Aihekarttafragmentteja Agentti selaa dokumenttien metatietoja Handler rajapinta Dokumentti varastot 34

35 Yleisön käytössä olevat Waonder -päätteet Käyttöjärjestelmä ja käyttöliittymä Topic Map ja yleisöliittymä Waonder -palvelin Dokumentit Mediapalvelimia Internet Yleisöliittymässä näytetään Topic Mapin aiheita, yhteyksiä ja linkitettyjä dokumentteja. Yleisöliittymän navigointiverkko perustuu Topic Mappiin metatiedoista rakentuneisiin assosiaatioihin. Topic Map Association Name Topic URI Occurrence Media Documents 35

36 Yleisön käytössä olevat Waonder -päätteet Käyttöjärjestelmä ja käyttöliittymä Waonder -palvelin Internet Asiakas näkee Dokumentit Mediapalvelimia HTML-visualisointeja, jotka esitetään Räätälöidyllä WWW-selaimella Ei selaimen omia käyttöliittymäelementtejä. Pääsy selaimen ulkopuolelle estetty. WWW-selain on varustettu sopivin laajennuksin, joilla esitetään videoita, kuvia ja PDF-tekstejä. Asiakas navigoi informaatiopalvelussa WWWsivulinkein. 36

37 Yleisön käytössä olevat Waonder -päätteet Käyttöjärjestelmä ja käyttöliittymä Yleisöpäätteet ovat Waonder -palvelin Dokumentit Mediapalvelimia Internet Kovalevyttömiä tietokoneita, jotka käynnistyvät ja lataavat kioskikäyttöön räätälöidyn X-ympäristön ja WWW-selaimen Kiasmart-palvelimelta. Ei mekaanisia hajoavia osia (kovalevyt) Keskitetyt ohjelmistojen päivitykset Uusien päätekoneiden lisääminen helppoa Turvallisuus 37

38 Kiasmart Otettu käyttöön huhtikuussa 2002 Kiasmassa, nykytaiteen museossa. >2100 valokuvaa (jpg) 48 videota (mpeg+rdf) >320 tekstiä (pdf+rdf) >5000 aihetta >50000 assosiaatiota 3 yleisöpäätettä 1 palvelin 38

39 Kiasmart käyttöesimerkki 39

40 40

41 41

42 42

43 43

44 44

45 45

46 46

47 47

48 48

49 49

50 50

51 51

52 52

53 53

54 54

55 Kiasmart kokemuksia Hajautettu dokumenttien tuotanto Toiminut kuvien osalta, tuotantomalli oli ennestään käytössä Annotoinnit Ennalta valitun asiasanaston korostuminen Sensorin puute, inhimilliset virheet ja konetulkinnan vaikeus Aineiston määrä Aihekartan yllättävän suuri koko Prosessointiaikojen vaikutus järjestelmän käytettävyyteen Kieliversiot Epäsymmetrian hallinta 55

56 Case 2: National Gallery Collections Grip Studios Interactive,, Aki Kivelä

57 What? When? Who? Large-scale topic map application to promote art collections of Finnish National Gallery artworks, 3600 artists topics, associations, occurrences , Launch May 15 th Finnish National Gallery, Aimari Oy, and Grip Studios Interactive Finnish National Gallery Grip Studios Interactive Oy 57

58 The Big Picture! (very simplified version) Collecting Data Refining Data Publishing Data 58

59 Data sources Muusa Information system developed by FNG and Aimari Stores the definitive knowledge about artworks and artists Used in 18 different art museums in Finland, > artworks CIDOC Conceptual Reference Model (ISO 21127:2006) Relational Database Muusa CIDOC Conceptual Reference Model 59

60 Data sources Muusa Export Definitive data package SQL! LTM Why LTM? Easy to generate Compact format, small file size Imported to Wandora as a topic map layer Collecting Data Refining Data Publishing Data 60

61 Data sources Enrichments Additional knowledge to spice, expand, and refine the Muusa Export Manual construction with Wandora desktop application Data extractions Topic map layer Collecting Data Refining Data Publishing Data 61

62 Data sources Layers Muusa layer Information from a huge relational database Layer data is updated periodically by converting original database into a topic map Enrichment layer Managed continuously Collecting Data Refining Data Publishing Data 62

63 Deleting unnecessary topics and associations Using Wandora s layers to Rename topics Merge identical topics Thin down dense categories with merge Special tools to Refining the data Process complex associations (CIDOC CRM) Collecting Data Refining Data Publishing Data 63

64 Fixing topic types Types used to group similar topics Fixing subject identities Ease ad hoc construction if subject identifiers Inserting data chunks Refining the data Iconclass vocabulary (English and Finnish) Muusa keyword Iconclass bridge-associations Iconclass Collecting Data Refining Data Publishing Data 64

65 Other resources Images Need for 8 different versions of single image! Subject locators and scoped occurrences were tried but found unusable Topic map size exploded Immature tools to handle large collections of subject locators and occurrences. Solution: Single image identifier and separate application to resolve and generate the requested image version. Collecting Data Refining Data Publishing Data 65

66 Publishing data Wandora-Piccolo framework Two actions: View topic and Search Velocity templates Producing HTML documents >90 template files, template hierarchy depth ~4 Choosing template using topic s type and subject identifier Collecting Data Refining Data Publishing Data 66

67 Publishing data Minimized code in Velocity templates Java library class including useful methods Get players of topic X where association type is Y and player s role is Z. Get topics from given collection having association X. Sort associations along player X. etc. Collecting Data Refining Data Publishing Data 67

68 Publishing data Special GUI topics defining GUI properties GUI texts (! No language dependent texts in templates) Numerous invisible topics and associations Topic map model not visible in HTML visuals Collecting Data Refining Data Publishing Data 68

69 69

70 Lessons learned Asymmetry of language versions Finnish version > English version > Swedish version Managing subject locators No subject locators but specific application resolving external resources Keyword bridges Muusa keywords "!Iconclass keywords Metadata in topic map Topics defining GUI properties and GUI texts 70

71 Lessons learned Presentation of topics Careful template design avoid flat hierarchy Numerous invisible topics and associations Topic!= HTML page Topic map model not visible in HTML visuals Scalability Database topic maps vs. Memory topic maps Numbers are bad Dates, measures etc. Occurrences! Topics 71

72 Sightseeing tour Screenshots from the FNG collections site

73 73

74 74

75 75

76 76

77 77

78 78

79 79

80 80

81 81

82 82

83 83

84 84

85 85

86 86

87 87

88 88

89 Grip Studios Interactive Kristianinkatu 15, FIN Helsinki gripstudios.com Download Wandora application from wandora.net 89