kevät Rakenteiset dokumentit (3 ov) Luentokalvot Ossi Nykänen Rakenteiset dokumentit (3 ov)

Transkriptio

1 73275 Rakenteiset dokumentit (3 ov) Rakenteiset dokumentit (3 ov) kevät 2003 Luentokalvot Ossi Nykänen RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 1

2 73275 Rakenteiset dokumentit (3 ov) Yleisiä tietoja kevään 2003 kurssista Opettaja: Sähköposti: Jukka Huhtamäki Huone: TD310, matematiikan laitos / hypermedialaboratorio Puhelin: (03) (VOA to 13-14) Luennot: Harjoitukset: Esitiedot ~ Kotisivu: Suorittaminen: ti ja ke (S3) ma 12-14, ke ja to (Sb204) tietotekniikan perustiedot HTML-perusteiden hallinta ohjelmoinnin perustiedot lopputentti (+ porkkanapisteet) RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 2

3 73275 Rakenteiset dokumentit (3 ov) Kurssin sisältö ja suorittaminen Kurssilla perehdytään rakenteisten dokumenttien ideoihin ja tutustutaan nykyaikaisiin merkintäkieliin. Käsiteltäviä aiheita (aihepiirin yleisen "ideologian" ohella) ovat erityisesti HTML & style sheets, XML, SGML, sekä dokumenttien parsiminen. Kurssilla käsitellään lyhyemmin muitakin merkintäkieliä ja luodaan katsaus tärkeimpiin XML-standardia sivuaviin määrityksiin. Kurssin tavoitteena on toisaalta tiedon rakenteistamisen "merkityksen" oivaltaminen, toisaalta konkreettisten merkintäkielten hallinta (läh. XML). Rakenteisten dokumenttien ideoita & termejä käsitellään aluksi paljolti HTML:n kautta, koska kieli perusmuodossaan oletetaan tunnetuksi. Asian edetessä kurssin painopiste siirtyy selkeästi XML:n ja muiden rakenteisten dokumenttien sovellusten suuntaan. Tärkeimpiä esiteltäviä XML-sovelluksia ovat XML-standardiperheen suositukset, XHTML ja DocBook RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 3

4 73275 Rakenteiset dokumentit (3 ov) Kurssin sisältö tarkemmin Kurssin asiasisältö näyttää kutakuinkin seuraavalta: johdantoa, taustoja, peruskäsitteitä mikä HTML on ja miten se liittyy SGML:ään tai XML:ään? HTML+CSS XML:n perusteet, XML-standardiperhe & muut standardit XML-sovellukset rakenteisten dokumenttien sovellutuksia (erit. HTML, XML-stdperhe, DocBook) XML-dokumenttien parsiminen + ajan salliessa muutakin Mainittakoon, että prosessoriohjelmointia ei kurssilla varsinaisesti käsitellä. Asiaa käydään läpi yksinkertaisten esimerkkien kautta, mikäli aikaa jää RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 4

5 73275 Rakenteiset dokumentit (3 ov) Opiskelusta - mitä kurssilla oppii? Kurssilla luodaan yleiskatsaus rakenteisten dokumenttien maailmaan. Painopiste on tietyssä mielessä pikemminkin "teoreettinen" kuin "soveltava" Näkökulma on erityisesti asioiden sovelluksista riippumattomien perusteiden opiskelu - ohjelmistoihin ja eri sisältöjen erityiskysymyksiin ei yksityiskohtaisesti puututa. Motivaatio tälle on esitetyn asian pysyvyys: ohjelmistot tulevat ja menevät, ideat pysyvät Tavoitteena on nyt lähinnä vastata seuraaviin yksinkertaisiin kysymyksiin (sekä harjaantua puuhastelemaan asioiden parissa myös käytännössä): - mitä rakenteellisilla dokumenteilla tarkoitetaan? - miksi ja miten erottaa toisistaan dokumentin sisältö, rakenne ja ulkoasu? - mikä XML on ja miten se liittyy rakenteisiin dokumentteihin? - miten rakenteisiin dokumentteihin liittyviä (W3C-)spesifikaatioita määritellään, luetaan ja opiskellaan? - mitä "muuta asiaan liittyvää" on olemassa? RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 5

6 73275 Rakenteiset dokumentit (3 ov) Asioiden esittely etenee HTML:n kautta XML-standardiperheeseen, lähinnä "kohti" XSL-muunnoksia (XML-dokumenttien transformointi eli muuntaminen) Kurssilla oppii "perus-xml:n läpikotaisin". Toisaalta esim. varsinaiseen XMLprosessoriohjelmointiin ei kurssilla syvällisesti puututa. Tämä ei tarkoita, etteikö omien prosessoriohjelmien kirjoittaminen olisi hyödyllistä, vaan kyse on lähinnä aikataulun puitteissa suoritettavasta aihevalinnasta ("suurin osa" XMLsoveltajista todennäköisesti valitsee saman tien kuin mekin) Kurssilla ei opi "koko XML:ää" - XML-standardiperhe on varsin laaja kokonaisuus, joka liittyy lukuisiin muihin standardeihin Kannattaa pitää mielessä, että - rakenteiset dokumentit XML. Rakenteisten dokumenttien ideat on mahdollista toteuttaa myös toisin ja todellinen "motivaatio" ovat sovellukset - rakenteisuuden hyvien ideoiden hyödyntäminen onnistuu myös, vaikka työvälineet eivät tähän pakottaisikaan (tai kaikkea mahdollistaisi) - kyse on pikemminkin ajattelutavasta kuin tietystä välineestä - HTML, Microsoft Word, OpenOffice.org Writer, eivät ole rakenteisten dokumenttien perivihollisia - ne vain tarjoavat mahdollisuuden tehdä asioita myös "toisin" RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 6

7 73275 Rakenteiset dokumentit (3 ov) Kurssimateriaali, oheis- ja verkkoaineisto Kurssin löyhän rungon muodostava, Ossi Nykäsen kirjoittama luentorunko (jota luet juuri nyt) on kopioitavissa luentorunkokansiosta (tieto löytyy kurssin kotisivuilta)+ luentorunko löytyy myös PDF-muodossa verkosta. Varsinaista, pakollista kurssikirjaa ei ole, joskin kurssin XML-osuus löytyy mukavasti yksistä kansista kirjasta Ossi Nykänen (2001). XML, Docendo Finland Oy, Suomi Kirjan ostaminen ole välttämätöntä, mutta selkiyttänee XML:n opiskelua. Kurssi, luentorunko & muu oheisaineisto kertovat pitkälti samoista asioista, mutta osin laajemmin ja hieman eri näkökulmasta. Huom: Kurssi käsittelee muutakin kuin vain yo. kirjan asiaa -- kirjasta puuttuu esim. DocBook-osuus kokonaan. Kirjan ulkopuolinen osuus löytyy kuitenkin verkosta kokonaisuudessaan ilmaisena. Verkkoviitteet ilmoitetaan luentojen yhteydessä. Muita suositeltavia, aiheesta yleisesti kertovia kirjoja ovat esim. Elliotte Rusty Harold (1999). XML Bible, IDG Books, USA RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 7

8 73275 Rakenteiset dokumentit (3 ov) Eric van Herwijnen, E., Practical SGML (2nd ed), Kluwer, USA, 1994 Eve Maler et al(1996), Developing SGML DTDs: From Text to Model to Markup, Prentice-Hall, USA Muitakin toki on. "Soveltuvin osin" erityisen hyvä XML-teos on myös esim. Charles F. Goldfarb et al (1999), the XML Handbook - 2nd edition, Prentice- Hall, USA Hyvä HTML-kirja on esim. Chuck Musciano et al, (1998) HTML: The Definitive Guide (3rd ed), O'Reilly, USA, tai vastaava uudempi myös XHTML:ää käsittelevä painos Hyödyllistä luettavaa kurssin aihepiiristä löytyy verkosta Ossin kotisivuilta osoitteesta Yksityiskohtaisempia viitteitä annetaan jatkossa luentojen aihepiirien mukaisesti RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 8

9 73275 Rakenteiset dokumentit (3 ov) Kurssin suorittaminen Kurssimerkintään vaaditaan hyväksytty lopputentti. Pakollista harjoitustyötä ei ole. Hyvää kurssiarvosanaa voi varmistella keräämällä porkkanapisteitä: - porkkanapisteitä on mahdollista kerätä max 12 kappaletta. Hyväksytyn tentin pistemäärään (max 24) lisätään 0,5 pistettä jokaisesta porkkanapisteestä. - porkkanapisteitä kertyy tekemällä erikseen merkittyjä harjoitustehtäviä ja esittämällä tehtävä harjoituksessa pyydettäessä mukisematta (harjoitusten palauttaminen paperilla/sähköpostitse ei ole mahdollista) - porkkanapisteitä saattaa olla luvassa myös osallistumisesta kevään vierailuluennoille ja seminaareihin (asia on vielä tätä kirjoittaessa epävarma) Hyväksyttyyn lopputenttiin vaaditaan puolet tentin maksimipistemäärästä. Kurssista voi saada täyden kurssiarvosanan ilman porkkanapisteitäkin. Tenttiajat ja -salit löytyvät OINFOsta RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 9

10 Esipuhe 1 Esipuhe Wanhaan hyvään aikaan tekstin prosessointi sujui kutakuinkin seuraavasti: - kirjoittaja kirjoitti käsikirjoituksen (esim. kirjoituskoneella) ja lähetti sen kustantajalle - Käsikirjoituksen hyväksymisen, oikolukemisen, editoimisen, yms. jälkeen kustantajan taittaja suunnitteli tuotettavan teoksen ulkoasun (sommittelu, taitto [layout]) kirjoittamalla käsin ulkoasun ohjeet käsikirjoituksen marginaaliin (palstat, kirjasimet, fonttikoot, tekstin välistys, ) - Seuraavaksi latoja latoi käsikirjoituksen annettujen ohjeiden perusteella, tuloksena konkreettinen ohje esim. kirjan painamiseksi - Lopuksi tuotos julkaistiin käyttäen erilaisia markkinointi- ja jakelukanavia Erityyppisillä töillä oli siis eri vaiheet ja eri tekijät - tosin ammattikirjoittajat siirtyivät hiljalleen käyttämään suoraan myös formatointikieliä (esim. ntroff ja TEX) RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 10

11 Esipuhe What You See Is What Yout Get (-live with it!) Nykyiset tekstinkäsittely- ja julkaisuohjelmat ([desktop publishing]) tarjoavat näennäisen helpon tavan tehdä kaiken itse yhdeltä istumalta 80-luvulta alkanut WYSIWYG-buumi, hyvää: - kehittyneet ohjelmat helppokäyttöisiä ja intuitiivisia (työpöytämetaforat) - mahdollisuus "nähdä lopputulos" jo kirjoitusvaiheessa sopien siten mainiosti esim. pieneen julkaisutoimintaan - mukana monipuolisia formatointi ja taitto-ominaisuuksia, Internetin myötä myös jakelu Ongelma: työstä tulee helposti käsityötä (suuret dokumentit!) - dokumenttien suunnittelu jää helposti puolitiehen (=tehdään huonosti) - rakenne parhaimmillaankin implisiittistä, kirjoittajan rooli on epäselvä Ratkaisuja: hyvä suunnittelu(!), etsi/korvaa-toiminnot, tyylit, mallit, RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 11

12 Esipuhe Dinosaurus, joka elää & voi hyvin: LaTeX Kaikki eivät kuitenkaan kirjoita tuotoksiaan MS Office Wordillä - erityisesti korkeakoulumaailmassa huomattava osa akateemisista kirjoittajista vannoo LaTeXin nimeen (joskus jopa fanaattisuuteen asti ) TeX on tekstin ja matemaattisten kaavojen ladontaan tarkoitettu pitkän linjan tietokoneohjelma, jonka "ensimmäinen" versio julkaistiin jo 1982 (D. Knuth). Ohjelmatoteutuksia löytyy nykyään useille eri käyttöjärjestelmille LaTeX on TeXin varaan rakentuva makropakkaus (ensimmäinen versio oli L. Lamportin käsialaa), jonka avulla kirjoittajat voivat latoa ja tulostaa korkealaatuisia (tekstipainotteisia) dokumentteja ammattimaisen taittomallin mukaisesti Työskentely LaTeXilla tapahtuu periaatteessa ohjelmankehitystyöstä tuttujen pelisääntöjen mukaisesti - kirjoittaja kirjoittaa lähdekoodit ascii-muodossa (ns. käsikirjoitustiedostot) tekstinkäsittelyohjelmalla (esim. emacs).tex-tiedostoiksi - lähdekoodi käännetään (tyypillisesti komentorivipohjaisella) latexohjelmalla graafiseen muotoon.dvi-tiedostoiksi, joka voidaan edelleen konvertoida tulostettavaan muotoon (tai lähdekoodia voi korjata) RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 12

13 Esipuhe LaTeX-esimerkki Tyypillinen (englanninkielinen) LaTeX-tiedosto näyttää esim. seuraavalta: \documentclass[a4paper]{article} \begin{document} \title{latex-example}\author{ossi Nyk\"{a}nen} \maketitle \abstract{this article demonstrates LaTeX basics. Read some introductionary book for details.} % Tästä se alkaa \section{introduction} \LaTeX{} really is something, especially if you want to input equations in your text\footnote{assuming you know \LaTeX codes, that is.}. Here's an example: \begin{equation}\label{pred} \forall x \in X: P(x). \end{equation} If you wan't to know what \ref{pred} means, please consult your elementary logic book. \end{document} Huomaa: erikoismerkit, käskyt, kommentit, sekä tiedoston rakenne RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 13

14 Jos kaikki tarvittava on työkoneella valmiiksi asennettuna, kääntäminen Unixissa sujuu helposti komennolla latex koe.tex Esipuhe Dokumentin katselu ja ps-tiedoston tuottaminen tulostamista varten on yhtä helppoa: xdvi koe.dvi & dvips -o koe.ps koe.dvi Tuloksena on "ammattimaisen ulkoasun" omaava sivupahanen, jossa "ilmaiseksi" saatiin varsin paljon dokumentin rakenne LaTeX-komennoilla merkkaamalla: - palstoitus ja marginaalit (alaviittaus) - eri tyylit tekstin eri osille (otsikko, tiivistelmä, vakiokentät, ) - otsikoiden numerointi, kaavan numerointi & viittaukset, jne. Juuri tämä on LaTeXin idea: systeemi tarjoaa ammattimaisen rakenteen ja ulkoasun kirjoittajan keskittyessä olennaiseen, eli sisällön tuottamiseen RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 14

15 Esipuhe LaTeX-systeemissä "LaTeX taittaa" ja "TeX toimii latojana". Käytännössä tämä tarkoittaa sitä, että kirjoittaja muotoilee tekstinsä ja sen rakenteen LaTeXin käskyjen avulla halutuksi, josta esitysversio sitten käännetään LaTeX pyrkii tekemään teksteistä paitsi hyvän näköisiä, ennen kaikkea luettavia (hyvä sisäänrakennettu typografinen malli & johdonmukainen rakenne) LaTeXista on olemassa eri versioita. Nykyinen versio on LaTeX2e - LaTeX3 on jo kehitteillä (ks. LaTeX Project Home Page, ) Windows-käyttöön tottuneille (ja miksei muillekin) LaTeX on oikeastaan aivan oma maailmansa. Verkosta löytyy runsaasti aiheeseen liittyvää materiaalia - aluksi kannattaa lukea esim. - Pitkänpuoleinen johdanto LaTeX2e:n käyttöön (ks. esim. ftp://ftp.funet.fi/pub/tex/ctan/info/lshort/finnish/lyhyt2e.pdf ). Tämän jälkeen helpon pääsyn lisämateriaaliin, oppaisiin ja ohjelmistoihin tarjoaa esim. - Jukka Korpelan TeX-sivusto (ks. ) RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 15

16 Esipuhe WWW & HTML Internetin suosion myötä tietoverkkojen arvo "arkipäiväisen" informaation levittelyssä huomattiin. Kirjoittaminen ei vain saisi olla kohtuuttoman vaikeaa World Wide Webin lanseeraama HTML esitteli 90-luvun alussa "suurelle yleisölle" yksinkertaisen mutta rakenteellisen merkintäkielen - idea: teksti + yksinkertainen merkkaus - nopea oppia perusideat leviävät ja HTML otetaan todella nopeasti laajamittaiseen käyttöön Ongelmia: - helppous johtaa löysyyteen, merkkaus sekaisin rakenne- ja muotoilumäärityksiä ja selaimet sallivat #%&"-koodit mukisematta - "ulkoasullisesta rajoittuneisuudesta" johtuen deklaratiivinen merkkaus ei saa suosiota, vaan koodeja aletaan käyttää myös formatointiin Tulos: HTML lipsuu kohti formatointikieltä, "WWW-WYSIWYG". Ei hyvä Oppiminen tapahtuu kantapään kautta: takaisin sorvin ääreen RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 16

17 Esipuhe HTML-esimerkki Tyypillinen HTML-tiedosto (versio 3.2) näyttää esim. seuraavalta: <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2 Final//EN"> <HTML> <HEAD><TITLE>HTML-example</TITLE></HEAD> <BODY> <!-- Tästä se alkaa... --> <H1>Introduction</H1> <P>HTML really is something, especially if you want to input pictures and hyperlinks in your text (assuming you know HTML codes, that is.). Here's an example:</p> <P><IMG SRC="logo.gif"> <A HREF=" ammattiaineen kotisivut</a></p> <P>If you wan't to know what all this means, please consult your elementary HTML book.</p> </BODY> </HTML> Huomaa: erikoismerkit, tagit, kommentit, sekä tiedoston rakenne HTML:ään palataan yksityiskohtaisemmin ponnahduslautana XML:ään RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 17

18 Esipuhe Paluu juurille Rakenteisten dokumenttien perusajatuksena on kohdistaa dokumenttien suunnittelun huomio "oikeisiin kohtiin": - dokumenttien rakenteen suunnittelu sisällön merkityksen näkökulmasta, ei ulkoasun - "komponenttiajattelu" (dokumenttien peruspalasia ovat elementit) - dokumenttien ulkoasun ei ole pakko suoraan vastata niiden sisällöllistä rakennetta ja päinvastoin Kyseessä ei ole uusi asia! - rakenteisten dokumenttien moderni esiinmarssi alkoi käytännössä SGML-standardin (ISO 8879:1986) valmistuttua SGML:n kehitystyö alkoi jo pohjana IBM:n GML (Generalized Markup Language) vuodelta 1969! (Goldfarb, Mosher, Lorris) SGML osoittautui kuitenkin varsin raskaaksi "isojen poikien standardiksi" (esim. IBM, USA Department of Defence) - suppea käyttö ei saavuttanut laajaa suosiota RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 18

19 Esipuhe Kerran vielä pojat SGML:n idea on hyvä, mutta spesifikaatio on mammuttimainen (~500 sivua) W3C:n SGML Working Group: XML 1.0 vuonna 1998 (~30 sivua) - XML = SGML Application profile - Vaatii käytännössä tuekseen myös muita standardeja ja tietämystä! Yleisöystävälliset tavoitteet - yhteensopivuus SGML:n kanssa ja sen "hyvät puolet" - dokumenttien sekä niitä prosessoivien ohjelmien suunnittelun ja lukemisen helppous ja selkeys - spesifikaatiossa vähän valinnaisia piirteitä ja soveltaminen eksaktia - dokumenttien käyttö Internetissä on yksinkertaista Nykytilanne on käytännössä ihan hyvä, mutta XML-standardiperhe on vielä kesken eikä ohjelmia ole yli "kriittisen massan" RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 19

20 Esipuhe Nimiä ja termejä Jo tässä vaiheessa lienee syytä kertoa jotain niistä kirjainhirviöistä, joita kurssin kuluessa tullaan käyttämään (osaan palataan tarkemmin myöhemmin) WWW = World Wide Web W3C = WWW Consortium HTML =Hypertext Markup Language (ks. ) SGML = Standard Generalized Markup Language XML = Extensible Markup Language (ks. ) DTD = Document Type Definition CSS = Cascading Style Sheets (ks. ) XSL = Extensible Stylesheet Language (ks. ) XML-standardiperhe XML Namespaces + XSL RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 20

21 2 Johdatus rakenteisiin dokumentteihin 2 Johdatus rakenteisiin dokumentteihin Rakenteinen dokumentti = rakenteellinen dokumentti dokumentti, jossa erotetaan toisistaan dokumentin 1) sisältö, 2) rakenne ja 3) ulkoasu (tai esitystapa) jotakin systemaattista ja yksikäsitteistä menetelmää käyttäen Perusidea: yhden ja saman "tekstinpätkän" merkitys voi vaihdella, riippuen sen "loogisesta" sijainnista dokumentissa (tai lähdetiedostoissa) Erityyppisen tiedon erottaminen toisistaan perustuu koodaus- ja syntaksikäytäntöihin ja sopimuksiin koodausten tulkinnoista - "tiedostotasolla" kaikki koodaus voidaan hyvin tehdä esim. "samannäköisinä" ascii-merkkeinä! Joissakin tapauksissa paitsi asiasisällön rakenne, myös sen ulkoasu (ilmiasu) voidaan käsitteellisesti samaistaa sen merkityksen kanssa (dokumentin parsimisen voidaan ajatella tuottavan muutakin kuin "jotakin katseltavaa") RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 21

22 2 Johdatus rakenteisiin dokumentteihin Esimerkki Oheisessa kuvassa on eritelty dokumentin sisältö, koodaus, rakenne ja ulkoasu "MUIS- TIO" 1) RAKENTEEN VALINTA Kerron pomolle, että uusi tietokantamme on susi 0) ASIASISÄLLÖN MÄÄRITTÄMINEN 3) ULKOISEN ESITYSMUO- DON VALINTA 2) (ASIA)SISÄLLÖN KOODAUS PENA OY MEMO To: Pentti Pomo Fr: Timo Työmies Uusi tietokantamme on susi! TUL- KIN- TA Ilmeisestikin dokumenttien sisältö, rakenne ja ulkoasu voidaan eriyttää vain jos käytetyt välineet sen sallivat (abstraktit dokumentit tai tietokoneiden käyttö)! "työvaiheiden" (0-)1-2-3 erottaminen toisistaan on joskus hyvin vaikeaa! RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 22

23 2 Johdatus rakenteisiin dokumentteihin Miksi dokumentin rakenne pitää erikseen merkitä? Jos "vapaamuotoista" informaatiota halutaan käsitellä automaattisesti tietokoneella, täytyy käsiteltävän datan rakenne ja merkitys erikseen kuvata, koska tietokone ei automaattisesti ymmärrä sen merkitystä - sama pätee tietenkin myös ihmisiin (joskin ihmiset osaavat tehdä luovia arvauksia) Jotta dataa osattaisiin käsitellä tietona, pitää datan "merkitys" jotenkin esittää datan jakaminen erityyppisiin elementteihin, joiden sisältö ja keskinäinen suhde on hyvin määritelty ( rakenteistaminen) Rakenteistamisen perustehtävä on merkityksellisten tietoelementtien identifiointi valitun sovellusalueen näkökulmasta Käytännössä dokumentit sisältävät kuitenkin yleensä myös muitakin loogisia osia kuin "pelkkiä" elementtejä (esim. XML-dokumentti sisältää myös deklaraatioita, kommentteja, merkkiviittauksia ja prosessointiohjeita) "Rakenteistettu tieto" sisältää siis myös metatietoa, jota voidaan käyttää hyväksi sekä dokumentteja kirjoittaessa (rakenteen oikeellisuuden varmistaminen) sekä luettaessa (elementtien tunnistaminen) RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 23

24 2 Johdatus rakenteisiin dokumentteihin Tietokoneen ei voida sanoa "ymmärtävän" esim. XML-dokumentin sisällön "merkitystä", sillä dokumenttien validoiminen & parsiminen tapahtuu niiden rakennepuiden muodossa (elementtien sisältö on vain "jotain") Dokumentin rakenteen eksplisiittinen esittäminen mahdollistaa (jopa yksittäisten) dokumenttien käyttämisen tietokantojen tapaan Eksplisiittiset rakennemääritykset helpottavat myös dokumenttien parsimista Viime kädessä se, mitä rakenteistamisella ajetaan takaa, pitää kertoa luonnollisella kielellä "käytetyn merkintäkielen ulkopuolella". Yleensä tämä kerrotaan dokumentoimalla merkkauksessa käytetty skeema, eli tietorakenne - syntaksin määrittely (rakenne ~ syntaksi) - merkityksen määrittely (elementtisanaston kuvaus ~semantiikka) - käytön määrittely (sovellusalue ja käyttöesimerkit ~ pragmatiikka) RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 24

25 2 Johdatus rakenteisiin dokumentteihin Miksi dokumentin ulkoasu halutaan erottaa sen rakenteesta? Kirjoittaja haluaa keskittyä olennaiseen (tai ainakin hänen pitäisi tehdä niin!) Ulkoasumääritykset eivät yleensä ole yksikäsitteisiä - pelkkään ulkoasulliseen koodaukseen pidättäytyminen joko hukkaa metatietoa tai asettaa kohtuuttoman suuria tarkkuusvaatimuksia ulkoasun suhteen (=epäkäytännöllistä) Aineiston automaattinen käsittely on huomattavasti helpompaa (tai jopa yksin mahdollista) kun tietorakenteet on kuvattu niiden "merkityksen" kautta Toisinaan myös yhdestä ja samasta lähdedokumentista halutaan tuottaa vähällä vaivalla erilaisia esitysversioita tai "esiintymiä" (huomaa erityisesti suomenkielisen sanan "esiintymä" eri merkitykset jatkossa; document instance presentation instance!) Ulkoasun erottaminen rakenteesta ei kuitenkaan aina ole helppoa tai edes tarkoituksenmukaista! RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 25

26 2 Johdatus rakenteisiin dokumentteihin Yleiskäyttöiset rakennemäärittelyt Yleensä halutaan käsitellä useita tietyn rakenteen omaavia dokumentteja, tällöin päädytään samantyyppisten dokumenttien luokkaan Samantyyppisten dokumentin rakennemäärittelyn käytetty menetelmä (esim. merkintäkieli) voidaan edelleen standardoida (esim. HTML), minkä seurauksena esim. dokumenttien hallinta, luettavuus, laitteistoriippumattomuus ja siirrettävyys paranevat (jos standardia noudatetaan!) Myös merkintäkielten määrittelyyn käytetty menetelmä voidaan standardoida, tällöin tuloksena on standardi kuvauskielten määrittämiseen (esim. SGML tai XML) "Muiden" kehittämien & laajemmin käyttöönotettujen standardien hyödyntämisen merkittävänä puolena voidaan pitää myös - saatavilla on valmiiksi mietittyjä rakennemäärittelyjä ja ohjelmia - eri valmistajien ohjelmistokomponenttien yhteiskäyttö helpottuu RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 26

27 2 Johdatus rakenteisiin dokumentteihin Rakenteettomat dokumentit? Kannattaa huomata, että tietokoneiden näkökulmasta "rakenteettomia dokumentteja" ei ole olemassakaan - "rakenteisuudessa" on siis kyse lähinnä - kenen tai minkä näkökulmasta rakenteita koodataan & kuka koodauksen "ymmärtää" - miten yksityiskohtaisesti ja miten rakenne esitetään Tietokoneen näkökulmasta rakenteisuus tarkoittaa käytännössä sitä, että tietoa lukeva järjestelmä osaa sijoittaa luetun atomaarisen tiedon tyyppiään vastaavaan kohtaan omassa tietorakenteessaan (tai osaa sivuuttaa sen tarpeettomana) Huomaa: Kaikki kommunikointi edellyttää sovittuja tietorakenteita; perinteisten tietokoneohjelmien tapauksessa näiden rakenteiden on oltava yksikäsitteisiä Rakenteellisuus ei kuitenkaan ole vain staattisten dokumenttien ominaisuus; esimerkiksi yksinkertaiset sähköpostiviestit koodataan SMTP:n (Simple Mail Transfer Protocol) mukaisesti tarkkaa etikettiä (so. protokollaa) noudattaen (Jos SMTP muuten vain kiinnostaa, ks. ) RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 27

28 2 Johdatus rakenteisiin dokumentteihin Esimerkki: SMTP-keskustelusta Seuraavassa lähetetään postia SMTP-palvelun avulla: S: MAIL R: 250 OK S: RCPT R: 250 OK S: RCPT R: 550 No such user here S: RCPT R: 250 OK S: DATA R: 354 Start mail input; end with <CRLF>.<CRLF> S: Blah blah blah... S:...etc. etc. etc. S: <CRLF>.<CRLF> R: 250 OK Huomioita: jotta hommassa olisi järkeä, vastaanottajan pitää "tunnistaa" mitä lähettäjältä on tulossa, SMTP ei koodaa "varsinaisen asiasisällön" rakennetta lainkaan (pelkkää ascii-"tekstiä") eikä perus-smtp-viestissä voi olla merkkijonoa "<CRLF>.<CRLF>"! RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 28

29 2 Johdatus rakenteisiin dokumentteihin Yleiskäyttöiset tyyli/ulkoasumäärittelyt Samalla tavoin kuin dokumenttien rakenteen määrittämiseen käytetty menetelmä voidaan standardoida, voidaan pyrkiä standardoimaan myös dokumenttien ulkoasun (esitystavan) kuvausmenetelmät Soveltajalla vaihtoehtoina ovat: - olemassaolevan "standardien" formatointi, taitto, tyyli, tms. -kielen hyödyntäminen (TeX, RTF, HTML, CSS, PDF, DSSSL, postscript,...) - kokonaan oman ulkoasu/formatointimäärityksen kehittäminen Hyödyt ja haitat ilmeisiä: - annettujen tyyli/formatointikielten opiskelu ja niiden puutteiden kanssa eläminen, mutta "valmiit" selaimet, tulostinajurit,??-komponentit,... - kokonaan oman & kaikenkattavan ulkoasumäärityksen kehittäminen, mutta aivan kaiken suunnitteleminen & toteuttaminen itse Kannattaa kuitenkin muistaa, että kaikki työ ei tähtää "julkaisutoimintaan" - dokumentteja voidaan käyttää myös datakorttien ja tietokantojen tapaan RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 29

30 2 Johdatus rakenteisiin dokumentteihin Dokumentin looginen ja fyysinen rakenne Rakenteellisista dokumenteista erotetaan yleensä käsitteellisesti: Looginen rakenne datan ja metadatan jäsentäminen yksikäsitteisesti luettavaan muotoon merkkauksen ([markup]) avulla. Fyysinen rakenne dokumentin "konkreettisesti" muodostavat osat, ns. entiteetit (esim. tiedostot tms. objektit) Ulkoasun määrittely jätetään yleensä esitystapamäärityksen ja siten tavallaan prosessointijärjestelmän huoleksi (näin voi tietenkin tehdä VAIN jos esitystavan määritykseen käytettävä koodaus on riittävän vahvaa) Termien selvennyksiä: Kielioppimäärittely = kokoelma nimiä, symboleita ja sääntöjä, joka määrittelee ns. oikein muodostettujen dokumenttien laillisen "yleisrakenteen" (vrt. läh. kielen syntaksi tai kielioppi) Dokumentin tyyppimäärittely = valitun kieliopin puitteissa tehtävä määrittely, jolla tarkasteltavien dokumenttien looginen rakenne rajataan joksikin tietyksi (vrt. läh. erisnimien ja lauserakenteiden valinta) RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 30

31 2 Johdatus rakenteisiin dokumentteihin Dokumenttijärjestelmistä Oheisessa kuvassa ovat esillä tyypillisen dokumenttijärjestelmän eri osat tai komponentit (kaikkia ei välttämättä aina tarvita, osa taas otetaan käyttöön vasta "tarvittaessa", mahdollisesti esim. verkon kautta): DOKUMENTTI- STANDARDI DOKUMENTTI- PROSESSORI & (KOHDE-) SOVELLUS DOKUMENTTI- TIETOKANTA TYYPPI- MÄÄRITYS- TIETOKANTA OBJEKTI- TIETOKANTA DOKUMENTTI- EDITORI OBJEKTI- EDITORI PARSERI & VALIDAATTORI ULKOINEN KÄYTTÖ & ILMIASUT TYYLI- TIETOKANTA Käytännössä tarvitaan siis 1) sopimuksia, 2) ohjelmistoja, 3) teknisiä alustoja, 4) oheisstandardeja sekä 5) sovelluksia ja käyttötapoja RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 31

32 2 Johdatus rakenteisiin dokumentteihin Dokumenteista Mikä sitten on dokumentti? Dokumentti on aistittavaksi ja ymmärrettäväksi tarkoitettu tietokokonaisuus, joka koostuu yhdestä tai useammista fyysisistä osista (esim. tiedostoista) ja voidaan sen loogisen rakenteen pohjalta jäsentää "merkityksellisiksi" osiksi (Lähde)dokumentti ([source document], esim. XML-dokumentti) = dokumentti, josta tuotetaan (voidaan tuottaa) useita erilaisia, periaatteessa samasisältöisiä dokumentteja tai dokumenttien osia (Kohde)dokumentti, dokumentin esitysversio, ulkoinen esitysmuoto tai ilmentymä ([presentation instance], esim. WWW-sivu tai paperille tulostettu artikkeli) = dokumentti, joka on koodattu esityskelpoiseksi versioksi (mahdollisesti useasta) lähdedokumentista parsimalla Lähde- ja kohdedokumentti ovat asiayhteydestä riippuvia suhteellisia käsitteitä! Huomaa, että tietokoneiden myötä dokumentti voi olla siis "staattinen" (~pysyvä asia) tai "dynaaminen" (~pyyntöhetkellä ohjeen mukaisesti kasattu asia) RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 32

33 2 Johdatus rakenteisiin dokumentteihin Esimerkkejä dokumenteista Tarkoituksesta riippuen, informaatio on mahdollista jäsentää tai tulkita dokumenteiksi usein eri tavoin, oheisessa kuvassa on esitelty erilaisia dokumentteja <!ENTITY AB "Abe Lincoln"> TULKIN- TA <?xml version="1.0"?> <!DOCTYPE poem [ <!ENTITY % names " %names; ]> <poem> There is no use of cursing darkness <author>&nn;</author> </poem> PROSES- SOINTI "There is no " ASCII-KOODATTUJA TEKSTI- DOKUMENTTEJA XML- DOKUMENTTI ARTIKKELI, WWW-SIVU, CD-ROM JA NAUHOITE Huomaa, että dokumentti voi siis olla myös "kertakäyttöinen" (esim. selainten avulla katseltavat & ajohetkellä generoitavat dynaamiset dokumentit) Jokaiseen dokumenttiin liittyy aina jokin koodaus, sisältö, rakenne ja ulkoasu! RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 33

34 2 Johdatus rakenteisiin dokumentteihin Dokumenttien käsittelyyn liittyviä termejä Dokumentin tyyppi = "se rakenne- ja koodausmääritys, jonka mukaan dokumentti on kirjoitettu" (saattaa tosin vahingossa olla "ei-toivottu"!) Dokumentin parsiminen = dokumentin rakenteen tunnistaminen ja "auki kirjoittaminen" rakennepuun (tms.) muodossa (parsiminen on käänteinen toimenpide dokumenttien generoimiselle tuottosääntöjen avulla) Dokumentin prosessointi = dokumentin rakennedatan käsittely suhteessa annettuun merkitykseen tai ilmiasuun, lopputuloksena yleensä dokumentin "esittäminen" tai "suorittaminen" (toimenpide sisältää yleensä parsimisen) Dokumentin validoiminen = dokumentin rakenteen ja tyypin tarkistaminen annettua rakenne- ja tyyppimäärittelyä X vastaavaksi Dokumenttiluokka = Tietyn tyyppimäärittelyn X toteuttavien dokumenttien (potentiaalinen) joukko Yksi ja sama tiedosto voi kuulua yhteen tai useampaan ("sisäkkäiseen") dokumenttiluokkaan (mikäli käytetty koodauskäytäntö sen sallii) RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 34

35 2 Johdatus rakenteisiin dokumentteihin Lisää dokumenttien käsittelyyn liittyviä termejä (Dokumentti)prosessori = (yleiskäyttöinen) sovellus, joka osaa parsia annetun kieliopin mukaisia dokumentteja sekä sovitun rajapinnan puitteissa välittää niitä "auki luettuina" dokumentteja varsinaisesti käsittelevälle sovellukselle Tyylimääritys = ohje kuinka kuvata dokumenttirakenteita (visuaalisesti) toisina dokumenttirakenteina Lopuksi on hyvä mainita vielä että: Dokumentti-käsitteen abstraktius riippuu asiayhteydestä ja tarkoituksesta (vrt. tekstidokumentti, XML-dokumentti, Word-dokumentti, paperiasiakirja, WWWhakukoneen tuottama sivu, kivikirjoitus, veistos, ääninauha) Kuten sanalla "dokumentti", myös sanalla "esiintymä" on useita eri merkityksiä - esiintymällä saatetaan eri asiayhteyksissä tarkoittaa esim. "kohdedokumenttia", "tietyntyyppistä dokumenttia" tai vaikkapa täsmällisenä teknisenä terminä XML-dokumentin esittelyosaa seuraavaa kokonaisuutta (=merkinnällinen osa tekstimuotoista XML-dokumenttia) RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 35

36 2 Johdatus rakenteisiin dokumentteihin Muita yleisesti käytettyjä perustermejä Koodaus = tiedon tai informaation esittäminen valitun merkkijärjestelmän ja sovitun koodauskäytännön puitteissa Formaalinen kieli = Sopimus, joka luettelee kielen sanat kielelle valitussa merkistössä (lauseet ovat formaalisen kielen sanoja, joille on sovittu jokin erikoismerkitys) Syntaksi = kielioppi, joka kertoo millaisia kielen oikein muodostetut sanat ja lauseet ovat (rakenteellisia dokumentteja määritellään yleensä generatiivisten kielioppien avulla; tällöin dokumentteja vastaavat ns. jäsennyspuut) Semantiikka = (kielen) merkitys tai tulkinta, joka kuvaa osan kielen sanoista ja lauseista metakielelle, jossa merkityksen arvioiminen tapahtuu Syntaksi ja semantiikka voivat olla joko täsmällisiä (formaaliset kielet, tietokonekielet, matemaattinen logiikka) tai epätäsmällisiä (luonnolliset kielet) Hierarkkinen rakenne = puu, jolla on yksikäsitteinen juuripiste (esim. XMLdokumenteilla tätä juurta kutsutaan ns. dokumenttientiteetiksi) RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 36

37 2 Johdatus rakenteisiin dokumentteihin Tuttu esimerkki rakenteisesta dokumentista <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" " <HTML> <HEAD> <TITLE>Moi maailma!</title> </HEAD> <BODY> <H1>Otsikko</H1> <P>Tekstiä ja <B>vahvennettua</B> tekstiä <! insert your example here --> </BODY> </HTML> Huomaa: koodauksen valinta (esim. 7-bittinen ascii), kuvauskielen ilmoittaminen, elementtien merkitseminen tagien avulla, koodien nimien merkitys, entiteetit, kommentointi,... HTML-dokumentin esittäminen on "selaimen asia" (ellei toisin määrätä) RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 37

38 2 Johdatus rakenteisiin dokumentteihin Dokumentin rakenteen esittämisen keinoja Kaksi esimerkkiä: Hierarkkiset elementtirakenteet = sisäkkäisiä elementtimäärityksiä, joiden parsiminen tuottaa elementtien puurakenteen (ns. [properly nesting elements]) Formatointirakenteet = "päällekkäisiä rakennemääritelmiä", jotka eivät (välttämättä) määritä selvärajaisia elementtejä Vrt. esim. <b>fat</b> <i>and</i> <i><b>lean</b></i> <b>fat</b> <i>and <b>lean</i></b> (Jälkimmäinen rivi ei ole HTML-määrityksen mukainen!) Tietorakenteiden näkökulmasta formatointirakenteet vastaavat usein virtoja Rakenteisissa dokumenteissa käytetään hierarkkisia elementtirakenteita, jotta elementtirakenteen olisivat selvärajaisia (modulaarisia ja siten esim. kieliopin näkökulmasta yhteydettömiä); näin dokumenttien rakenne-, tyyppimäärittely sekä parsiminen ovat suoraviivaisia operaatioita RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 38

39 2 Johdatus rakenteisiin dokumentteihin Rakenteiden merkitsemistapoja & termejä Proseduaalinen tai spesifi merkkaus tarkat ohjeet elementtien käsittelemiseksi dokumentin osana tyyliin "tämä elementti tekee sitä tai tätä tai näyttää siltä tai tältä" (tyypillinen juuri formatoinnissa) Vrt. HTML-esim. <I><font face="arial" size="12"> Think twice before walking on ice</font></i> Deklaratiivinen tai kuvaileva merkkaus abstrakti kuvaus elementin roolista tai merkityksestä dokumentissa tyyliin "tämä elementti on X" (tätä ideaa käyttävät juuri SGML, XML sekä HTML) Vrt. HTML-esim. <BLOCKQUOTE>Think twice before walking on ice</blockquote> Yleiskäyttöinen merkkaus vs. sovelluskohtainen merkkaus "toimiiko" eri sovelluksissa tai onko jopa standardoitu? RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 39

40 Kontekstivapaa merkkaus "naapurielementit eivät vaikuta" Vrt. HTML-esim. <b>fat</b> <i>and</i> <i><b>lean</b></i> 2 Johdatus rakenteisiin dokumentteihin Kontekstuaalinen merkkaus elementeillä on jokin tietty rakenteesta riippuva konteksti, (säännöt tulkinta) Vrt. HTML-esim. <ul> <li>yksi</li> <li>kaksi</li> <li>kolme</li> </ul> SGML ja XML merkkaustavat ovat deklaratiivisia, kontekstuaalisia ja yleiskäyttöisiä HTML - erityisesti vanhemmat versiot - on tavallaan yhdistelmä kaikkia ym. merkitsemistapoja (sisältäen joskus virheellisiäkin formatointirakenteita, sillä vaikka HTML-dokumentin määritelmän mukaan pitää olla oikein muodostettu, dokumentteja ei yleensä validoida, joten virheistä ei jää kiinni) RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 40

41 2 Johdatus rakenteisiin dokumentteihin Huomautuksia tiedä mitä olet tekemässä! Rakenteisten dokumenttien teknisten perusmenetelmien soveltaminen (esim. oman merkkauskielen kehittäminen XML:llä) edellyttää - jonkin "oikean" sovelluksen asiasisällön hallitsemista (=motivaatio) - etukäteistä tietoa siitä, mitä välineitä & standardeja halutaan käyttää tai saada käyttöön (esim. kirjanpaino- tai Internet-tekniikan perusteet, tyylien käyttö ja työssä tarvittavat ohjelmat) - yleisessä tapauksessa tarvitaan konkreettista ohjelmointitaitoa; esim. XML-dokumentilla sinänsä ei vielä tee paljoa -- homman hyöty realisoituu vasta sovelluksissa Erilaisten tyylikielten käyttö, XML-ohjelmointi yms. ovat vähintään yhtä vaikeita asioita kuin XML-std-perheen teknisten asioiden kanssa painiskelukin! Jos haluaa ruveta harrastamaan polkupyöräilyä, muttei ryhtyä polkupyörämekaanikoksi, kannattaa mieluimmin ostaa valmis pyörä ja säätää sen satula ja tanko oikealle korkeudelle (eikä ryhtyä etsimään malmia oman polkupyörän rungon valamista varten) -- vrt. XML 1.0 ja XSL:n sekä HTML/DocBooksovellusten välinen suhde RAKENTEISET DOKUMENTIT (kevät 2003) luentorunko ON 41