Tutkimustiedonhallinnan peruskurssi

Transkriptio

1 Tutkimustiedonhallinnan peruskurssi Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo hannu.toivonen, marko.salmenkivi, Helsingin yliopisto Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi 1/66 Kevät 2003

2 Kurssin esittely Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Kurssin esittely 2/66 Kevät 2003

3 Perustiedot Tutkimustiedonhallinnan peruskurssi (3 ov) tietojenkäsittelytieteen cum lauden ja laudaturin valinnainen kurssi soveltuu myös muiden aineiden pääaineopiskelijoille, jotka joutuvat tekemisiin tutkimustietoaineistojen kanssa edellyttää tietojenkäsittelytieteen approbaturin tasoisia perustietoja ja -taitoja ohjelmoinnissa sekä tiedonhallinnassa Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Kurssin esittely 3/66 Kevät 2003

4 Mitä kurssilla käsitellään tutkimustiedonhallinnan erityistarpeet datan visualisointi laskennallisia data-analyysimenetelmiä satunnaislukujen ja otosten generointi Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Kurssin esittely 4/66 Kevät 2003

5 Suhde muuhun opetukseen taustaa: johdatus sovellussuunnitteluun, tietokantojen perusteet, ohjelmoinnin perusteet sivuaa: tilastotiede, todennäköisyyslaskenta jatkoa: tiedonhallinta, tietokannan mallinnus, tietokantarakenteet ja algoritmit, tietovarastot, paikkatieto tiedon louhinnan peruskurssi, tietämyksen muodostaminen Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Kurssin esittely 5/66 Kevät 2003

6 Kurssin rakenne ja aikataulu Ks. kurssin verkkosivut pakollinen harjoitustyö: ks. ohjeet verkossa Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Kurssin esittely 6/66 Kevät 2003

7 Kurssin suoritus luennot laskuharjoitukset pakollinen harjoitustyö (8-20 p) tentti (15-40 p) yhteensä vähintään 30/60 p Huom: harjoitustyön tekeminen on mahdollista vain kurssin yhteydessä suoritus pelkällä loppukokeella ei ole mahdollista tentin voi tarvittaessa uusia, jos harjoitustyö on ok Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Kurssin esittely 7/66 Kevät 2003

8 Kurssimateriaali Z. Michalewicz (toim.): Statistical and Scientific Databases; Ellis Horwood Ltd, 1991, luvut 2, 4 W. Cohen: Empirical Methods for Artificial Intelligence, luvut 2-5 lisäksi erillisiä artikkeleita (ilm. myöhemmin) luentokalvot (eivät yksin kata kurssin sisältöä) materiaalin saatavuus kirjat kirjastossa, kurssilla käsiteltävät luvut kurssikansiossa muu materiaali verkossa ja kansiossa Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Kurssin esittely 8/66 Kevät 2003

9 Tutkimustiedonhallinnan erityispiirteet Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 9/66 Kevät 2003

10 Erityispiirteet: osan sisältö Mistä tällä kurssilla on kysymys? Missä suhteissa tutkimustieto on erilaista kuin muu tieto? Millaisia erityisvaatimuksia tutkimustiedolla voi olla tiedon hallinnalle? Lähde: Z. Michalewicz (toim.): Statistical and Scientific Databases; luku 2 Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 10/66 Kevät 2003

11 Mistä tutkimustieto on peräisin? tieteellinen tutkimus havaintoja jostakin ilmiöstä kokeellinen tutkimus simulointikokeet toiminnan sivutuotteena syntyneet tietokokoelmat tieto kerätty alun perin muuhun tarkoitukseen kerättävän tiedon rakenne riippuu yleensä vahvasti alkuperäisestä käyttötarkoituksesta tiedon tulva: analysointi on pullonkaula scientific and statistical databases Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 11/66 Kevät 2003

12 Esimerkkejä sovellusalueista ympäristötutkimus meteorologia, seismologia avaruustutkimus arkeologia geenitutkimus, lääketiede kemia, fysiikka sosiologia, kielitiede... Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 12/66 Kevät 2003

13 Vrt. perinteinen tiedonhallinta tutkimustiedot ja niiden tarpeet vaihtelevat paljon vaihtelevia ja monipuolisia tarpeita 1. tietomalli 2. operaatiovalikoima 3. rinnakkaisuus 4. tiedon eheys 5. toipuminen 6. fyysinen rakenne Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 13/66 Kevät 2003

14 1. Tietomalli yleisimmin käytetty tietomalli (ER): alkiot esitetään tauluissa taulujen alkioita liitetään toisiinsa vastinsarakkeiden perusteella alkiot ovat joukkoja: ei järjestystä Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 14/66 Kevät 2003

15 tutkimustiedon edellyttämä tietomalli: merkittävä osa tutkimustiedosta on järjestettyä dataa: aikasarjat koesarjat yksittäisten alkioiden rakenne voi olla hyvin monimutkainen: koetuloksiin voi liittyä tutkittavan osan rakennekaavio alkioiden väliset yhteydet Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 15/66 Kevät 2003

16 2. Operaatiovalikoima perinteisen tietokannan operaatiot ovat SQL-kyselyitä: hae kaikki alkiot, jotka täyttävät annetun ehdon, ja tee niille haluttu operaatio tutkimustiedon vaatimat operaatiot: sovellusaluekohtaisia operaatioita operaatiot voivat sisältää monimutkaista laskentaa useat operaatiot käsittelevät kaikkia tietueita tyypillisiä käyttötapoja ovat otokset ja niihin kohdistuvat operaatiot käsiteltävän datan valinta myös esim. visualisoinnista Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 16/66 Kevät 2003

17 3. Rinnakkaisuus perinteisissä sovelluksissa: rinnakkaisuus = monta samanaikaista käyttäjää jotka voivat häiritä toisiaan erityisesti tietoa päivittäessään samanaikaisuus tutkimustiedon yhteydessä: ei yleensä paljon samanaikaisia käyttäjiä (ja he käyttävät useimmiten eri osia tietokokoelmasta) tutkimustietoa ei usein päivitetä lainkaan (tai vain poikkeustilanteissa) tarvitaanko rinnakkaisuutta? tietokokoelma voi olla hyvin laaja ja/tai hajautettu: edellyttääkö tehokas käyttö rinnakkaisuutta? Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 17/66 Kevät 2003

18 4. Tiedon eheys tietokannan sisältämän tiedon eheyttä voidaan tarkistaa esim. tietotyypin perusteella: arvot hyväksytyllä välillä esitysmuoto Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 18/66 Kevät 2003

19 tutkimustiedon eheys: tarvitaan usein monimutkaisiakin eheystarkistuksia tiedon puhdistamisen yhteydessä poimitaan eroon epätavalliset arvot (outliers): mahdollisesti virheelliset tiedot puuttuvat tiedot mielenkiintoiset havainnot? täydentäminen ja korjaaminen voi olla hankalaa tai mahdotonta (historia?) poikkeavien tietojen käsittelytapa on päätettävä tapauskohtaisesti Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 19/66 Kevät 2003

20 5. Toipuminen perinteisiin tietokantoihin liittyvä varmistus- ja toipumismenettely: vikatilanteessa palautetaan tietokanta viimeisen onnistuneen tapahtuman jälkeiseen tilanteeseen tutkimustiedon edellyttämä toipuminen: tyypillisesti pitkiä tapahtumia: toipuminen ei saa merkitä sitä, että paljon tehtyä työtä hylätään Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 20/66 Kevät 2003

21 6. Fyysinen rakenne tietokannan tyypillinen fyysinen talletus: tavoitteena tehokkaat kyselyt taulut talletetaan riveittäin tiedostoiksi lisäksi muodostetaan hakemistoja, joiden avulla halutut kyselyt voidaan toteuttaa tehokkaammin tutkimustiedolle sopiva fyysinen rakenne: usein alun perin sellaisenaan tiedostoissa onko paras talletusrakenne: tiedosto? puu tai jokin muu tietorakenne? tietokanta? Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 21/66 Kevät 2003

22 (tutkimustiedolle sopiva fyysinen rakenne:) tiedon rakenne: mikä on sopivin järjestys? tietojen ryhmittely = paikallisuus: mitä alkioita (tai alkioiden osia) käytetään usein yhdessä? esim. spatiaalinen data valitun ratkaisun tehokkuus? datan määrä? datan kertymisnopeus? harvat taulut: tilavaatimus? tietojen käsittelyjärjestys: aikavaatimus? Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 22/66 Kevät 2003

23 Mistä tutkimustieto koostuu mikrodata eli raakadata: havainnot simuloinnin tulokset makrodata eli analysoitu data = käsittelyn tuloksena syntynyt data periaatteessa konstruoitavissa uudelleen, mutta voi olla työlästä käsittely voi kohdistua raakadataan tai jo analysoituun dataan: esim. yhteenvedot metadata Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 23/66 Kevät 2003

24 Tutkimustiedon ominaisuuksia Raakadata: havaintoja tai simulointituloksia havaintojen säännöllisyys: havaintoja tehdään usein jonkin (aikaan tai paikkaan liittyvän) säännön mukaan koordinaattien talletus? havaintojen tiheys: hylätyt arvot (mittaustarkkuus) havaintotiedon tiivistys Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 24/66 Kevät 2003

25 ajan vaikutus koordinaatteihin: havaintopisteiden koordinaatit voivat muuttua ajan funktiona Parametridata: raakadataa kuvaaviin parametreihin liittyy usein luokitteluhierarkioita samat tai eri operaatiot hierarkian eri tasoilla yhteenvedot hierarkian eri tasoilla Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 25/66 Kevät 2003

26 Tutkimustiedon rakenne moniulotteisuus monessakin mielessä: kymmeniä tai satoja attribuutteja eri tietojoukoissa voidaan käyttää samoja attribuuttien nimiä (samoista tai samantapaisista käsitteistä) attribuuttien merkitykset (luokittelukriteerit) voivat muuttua ajan kuluessa datajoukosta voi olla useita eri-ikäisiä versioita yhtä aikaa käytössä Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 26/66 Kevät 2003

27 rakenteellinen monimutkaisuus: alkioiden välillä on monenlaisia (ja monimutkaisia) riippuvuuksia alkio voi sisältää rakenteeltaan ja käsittelytavaltaan erilaisia osia luokitteluhierarkiat erityiset tietotyypit kuten aikasarjat paikkadata graafinen tieto, kuvat Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 27/66 Kevät 2003

28 Erityispiirteet: yhteenveto tarpeet poikkeavat yleisistä kaupallis-hallinnollisista tietokannoista, mm. järjestetty data sovelluskohtaiset operaatiot puhdistaminen ja jalostaminen mikrodata vs. makrodata moniulotteisuus Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tutkimustiedonhallinnan erityispiirteet 28/66 Kevät 2003

29 Metadata Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Metadata 29/66 Kevät 2003

30 Metadata: osan sisältö Mitä metadata on? Mihin sitä tarvitaan? Mitä vaikutusta metadatalla on tutkimustiedonhallinnan ratkaisuihin? Lähde: Z. Michalewicz (toim.): Statistical and Scientific Databases; luku 4 Esimerkkisovellus: Pubudu Wariyapola et al.: Ontology and Metadata Creation for the Poseidon Distributed C Advances in Digital Libraries, 1999, Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Metadata 30/66 Kevät 2003

31 Mitä metadatalla tarkoitetaan? Metadata on tietoa, jota tarvitaan raakadatan ja analysoidun datan hakemiseen, käsittelemiseen, jäsentämiseen, tulkitsemiseen Metadatan keruu ja talletus on välttämätöntä muuten varsinainen data ei ole käyttökelpoista! tavoittena varsinaisen datan ymmärrettävyys, käytettävyys, ylläpidettävyys muillekin ja myöhemminkin + tutkimuksen toistettavuus Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Metadata 31/66 Kevät 2003

32 Tutkimuksen metadataa raakadatan tuottaminen ja kerääminen tutkimus- tai koejärjestelyt datan keruun tai mittausprosessin kuvaus kuka, missä, milloin? datan jalostus ja analyysi suoritetut muunnokset, suodatukset, korjaukset muunnosten yms. perustelut tehdyt analyysit, niiden parametrit sovelletut menetelmät ja työkalut Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Metadata 32/66 Kevät 2003

33 tutkimustulosten käyttöohjeet opastusta tiedon ymmärtämiseen, lisätiedon hankkimiseen tulkinnassa käytetyt mallit ja otokset viittauksia ulkoisiin artikkeleihin, taksonomioihin, standardeihin sovellusaluekohtainen osaaminen ei välttämättä käytettävissä koneellisesti äärimmillään koko tutkimushistoria rekonstruoitavissa Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Metadata 33/66 Kevät 2003

34 Metadataa on myös... tiedon fyysinen rakenne tiedostojen nimet ja formaatit, tietotyypit tiedon looginen rakenne tietoalkioiden nimet ja attribuutit mahdolliset operaatiot Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Metadata 34/66 Kevät 2003

35 Metadatan jaottelu I 1. ohjaava (control) metadata käsittelijöinä tietokannan ja järjestelmän operaatiot määrämuotoinen esitystapa 2. opastava (guide) metadata käsittelijöinä ihmiset esitys luonnollisella kielellä ohjaavan metadatan käyttö suositeltavaa automatisointi, kustannusten ja resurssien säästö opastava metadata välttämätöntä datan ymmärtäminen rajapinta tiedon tuottajan ja käyttäjän välillä Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Metadata 35/66 Kevät 2003

36 Metadatan jaottelu II 1. Käyttäjän näkökulma etsintä; selailu sekä raakadata että käsitelty data 2. Tietohakemiston näkökulma laadun varmistus tiedon eheys sekä raakadatan että käsitellyn datan laatu käsittelyoperaatiot 3. Ympäristön näkökulma sovellusten välisen tiedonsiirron rajapinnat laaja (ja laajeneva) valikoima Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Metadata 36/66 Kevät 2003

37 Metadatatietokanta rakenteeltaan ja käsittelytavaltaan erilaisia tietotyyppejä, kuten kaavioita tekstidokumentteja ohjelmia sääntöjä taulukoita viittauksia muihin lähteisiin omat talletustavat ja operaatiot (työvälineet) Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Metadata 37/66 Kevät 2003

38 voidaan rakentaa kuten tietokanta parhaimmillaan käsitellään samassa ympäristössä kuin varsinaista dataa tavoitteena on automatisoida metadatan käsittelyä mahdollisia työkaluja myös XML, RDF, ontologiat tietojen vaihdettavuus, yhteiset käsitteistöt Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Metadata 38/66 Kevät 2003

39 Tutkimusmetadatan piirteitä metadata on hyvin monimuotoista metadata muuttuu usein kerätään uudentyyppistä dataa käsitellään kerättyä dataa uusilla tavoilla monimuotoisuus rakenteessa ja käytössä ei keskitettyä auktoriteettia ei kaikenkattavia standardeja vain rajallinen automatisointi datan ja metadatan tuottavat tutkijat tutkijan pitäisi päästä keskittymään sisältöön, ei rakenteeseen Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Metadata 39/66 Kevät 2003

40 Metadata: yhteenveto metadata kuvaa dataa metadata on välttämätöntä datan käsittelemiseksi ja ymmärtämiseksi tutkimustiedon tuottaminen ja jalostaminen: paljon vaihtoehtoja, täsmällisyys tärkeää tarkka ja monipuolinen metadata miten raakadata on tuotettu ja kerätty? miten dataa on käsitelty ja analysoitu? kytkentä tunnettuihin taksonomioihin ja standardeihin Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Metadata 40/66 Kevät 2003

41 Tiedon mallitus ja talletus Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 41/66 Kevät 2003

42 Tiedon mallitus: osan sisältö Miten tietoa jäsennetään talletusta varten? Millaiset esitystavat ja talletusrakenteet sopivat erityisesti tutkimustiedolle? Lähde (esim.): Harri Laine: Johdatus sovellussuunnitteluun ja Tietokantojen perusteet (TKTL:n opetusmonisteita) Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 42/66 Kevät 2003

43 Tiedosto kaiken tiedon talletuksen perusta monimutkaisemmat talletusrakenteet toteutetaan (yhden tai useiden) tiedostojen avulla hierarkkinen muistijärjestelmä keskusmuisti: X ns levy: X ms cd-pakka: X s käsittelyä varten tieto tuodaan muistiin tehokkuuden kannalta on edullista tuoda tietoa kerralla paljon käsitellä muistissa oleva osa kerralla Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 43/66 Kevät 2003

44 Järjestämätön peräkkäisrakenne tietueet peräkkäin lisäysjärjestyksessä lisäys aina tiedoston loppuun ei hukkatilaa hyvä ratkaisu jos tarvitaan suurta talletusnopeutta staattista talletusrakennetta (= ei poistoja) tehokasta tilankäyttöä peräkkäiskäsittelyä aina samassa järjestyksessä (tai järjestyksellä ei väliä) tyypillinen talletusrakenne raakatiedon talletuksessa Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 44/66 Kevät 2003

45 Hakupuut tietueet (tai avaimet) on talletettu puun lehtiin sisäsolmun lapset osittavat sen tietueavaruuden puun pitäminen tasapainossa takaa tehokkuuden joka lehteen yhtä pitkä matka (log m (n)) lukuisia muunnelmia: mm. B-, R-, LSD-, TV-puut erityisiä puurakenteita paikkatiedolle tehokas haku 2 3-ulotteisessa datassa talletuksen lokaalisuus tyypillisten operaatioiden tehokkuus Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 45/66 Kevät 2003

46 Tietokanta suuren tietomäärän pitkäaikainen säilytys rakenteinen tieto tietoalkioiden väliset suhteet tiedon looginen rakenne tietoon kohdistuvat kyselyt ja operaatiot tiedon samanaikainen käyttö hallintaan liittyviä tehtäviä on siirretty käyttäjältä tietokannan hallintajärjestelmälle Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 46/66 Kevät 2003

47 Tiedostot vs. tietokanta säilytys: OK? (varmuuskopiointi) rakenteisuus, eheys: käyttäjä hallitsee ja ylläpitää kyselyt ja operaatiot: käyttäjä ohjelmoi ja toteuttaa samanaikainen käyttö: käyttäjät huolehtivat itse Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 47/66 Kevät 2003

48 Tiedonhallinnan peruskäsitteitä eritasoiset kaaviot (schema) joilla tietokantaa kuvataan käyttäjän näkymä tietokantaan tietokannan looginen sisältö tietokannan talletusrakenteet käyttäjän operaatioita varten tarvitaan määrittelykieli kyselykieli SQL sisältää molemmat komponentit Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 48/66 Kevät 2003

49 työnjako tietokannan käyttö tietokannan ylläpito tietokannan toteutus lähestymistapoja mallittamiseen relaatiomallit (relaatiot, attribuutit, relaatiokaaviot) oliomallit (oliot, luokat, tyypit) Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 49/66 Kevät 2003

50 Tietokantajärjestelmän osat käyttäjä tietokantaan kohdistuvat kyselyt (kyselykieli ja sovellusohjelmat) tietokannan sisällön muutokset tietokantakaavion muunnokset tietokannan hallintajärjestelmä kyselyiden käsittely tapahtumien käsittely talletusrakenteen käsittely tietojen talletus data + metadata Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 50/66 Kevät 2003

51 Tietokannan suunnittelun vaiheet 1. laaditaan malli käyttäjän näkökulmasta mitä tietokannassa pitäisi olla miten osat suhtautuvat toisiinsa miten tietokantaa on tarkoitus käyttää käyttäjän käsitteet Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 51/66 Kevät 2003

52 2. kirjoitetaan malli tietokantajärjestelmän ymmärtämällä kielellä relaatiorakenne, oliorakenne 3. muokataan rakenne tehokkaaksi (normalisointi) toistot pois, turhat rajoitukset pois hakemistot Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 52/66 Kevät 2003

53 Tietomallin laatiminen reaalimaailman asioita, niiden ominaisuuksia ja suhteita kuvaavat nimet havainnollinen esitystapa: kaaviot, teksti malli koostuu olioista, joihin voi liittyä attribuutteja relaatioita operaatioita (menetelmiä) ominaisuuksiltaan samanlaiset oliot kuuluvat samaan luokkaan Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 53/66 Kevät 2003

54 terminologia vaihtelee riippuen käytettävästä esitystavasta ER-malli: yksilöt, ominaisuudet,... oliomalli: luokat, oliot, menetelmät,... Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 54/66 Kevät 2003

55 Attribuutti (ominaisuus) olion ominaisuus, jolla on jokin arvo olioon sisältyvä tieto attribuuttiin liittyy tyyppi (arvojoukko), esim. kokonaisluku merkkijono (punainen, keltainen, vihreä) attribuutti voi olla myös rakenteinen, esim. osoite: katuosoite, postinumero attribuutilla voi olla myös puuttuva arvo Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 55/66 Kevät 2003

56 Relaatio ominaisuus joka liittää olion toiseen olioon olioiden välinen suhde relaatio voi liittää toisiinsa samaan tai eri luokkiin kuuluvia olioita relaatio voi olla yksi yhteen yksi moneen moni moneen Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 56/66 Kevät 2003

57 Operaatio (menetelmä) toimenpide joka oliolle voidaan tehdä tapa jolla oliota voidaan käsitellä operaatiot liittyvät kiinteästi tiedon käyttötarkoitukseen operaatioiden kytkeminen olioihin on erityisesti oliosuunnitteluun liittyvä piirre olio ja sen operaatiot muodostavat kokonaisuuden olio "näkyy" muille olioille vain operaatioidensa välityksellä Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 57/66 Kevät 2003

58 Luokkahierarkia periytyminen oliolla voi olla samat ominaisuudet kuin jonkin luokan olioilla, mutta lisäksi joukko erityisominaisuuksia aliluokka aliluokka perii yliluokkansa ominaisuudet attribuutit relaatiot operaatiot luokat muodostavat hierarkian moniperintä: luokalla on monta yliluokkaa ja se perii kaikkien niiden ominaisuudet Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 58/66 Kevät 2003

59 Avain attribuutti tai joukko attribuutteja avaimen oltava yksikäsitteinen, eli kahden eri olion avaimet eivät voi olla samat avain yksilöi olion usein jokin attribuutti on erityisesti valittu avaimeksi esim. henkilötunnus avaineheys: avaimella ei voi olla puuttuvaa arvoa oliomallissa jokaisella oliolla on yksikäsitteinen identiteetti: oliotunniste (OID) oliomallissa kahden eri olion kaikki attribuutit voivat olla samat Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 59/66 Kevät 2003

60 Suunnitteluperiaatteita mallin pitää vastata todellisuutta mallin pitää olla (mahdollisimman) yksinkertainen sovellus- ja tapauskohtainen kompromissi minimaalisuus samoja asioita ei pidä toistaa luokkahierarkian hyödyntäminen rajoitukset avaineheys, viite-eheys attribuutin arvojoukkoa koskevat rajoitukset Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 60/66 Kevät 2003

61 Relaatiomalli relaatiotietokantojen perustana oleva yksinkertaiseen malli kaikki tiedot esitetään taulukkoina (relaatioina) attribuutit = relaatiotaulun sarakkeet relaatiokaavio = taulun otsikkorivi, esim. mittaus(järvi, laji, lkm) relaatiokaaviot muodostavat yhdessä relaatiotietokantakaavion taulun rivi = monikko (tietue): sisältää kutakin attribuuttia vastaavan komponentin, esim. (Tsuolbmajavri, Heterodissocladius maeari, 43) Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 61/66 Kevät 2003

62 kaavion attribuutit esitetään aina samassa järjestyksessä attribuutit ovat yksinkertaisia eivätkä koosteisia relaation monikot muodostavat joukon kaksi eri monikkoa eivät voi olla identtisiä monikoiden käsittely perustuu niiden attribuuttien arvoihin, ei niiden "sijaintiin taulussa" relaatiokaavio määrittelee rakenteen, joka on (yleensä melko) staattinen relaatiotaulun sisältö (= relaation ilmentymä) voi muuttua monikoiden lisäykset, poistot, päivitykset Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 62/66 Kevät 2003

63 Tietomallista relaatiomalliin olioluokka relaatiotaulu yksinkertainen attribuutti relaatiotaulun attribuutti rakenteinen attribuutti esim. joukko relaatiotaulun attribuutteja olioiden välinen relaatio (yhteys) attribuutti, joka sisältää viitattavan olion avaimen hyvä ratkaisu, jos viitattavia olioita on vain yksi relaatiotaulu, jonka attribuutteina ovat molempien olioiden avaimet hyvä ratkaisu, jos relaatio on monesta moneen Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 63/66 Kevät 2003

64 Aliluokka relaatiomallissa kutakin aliluokkaa vastaa relaatiotaulu, joka sisältää kaikki attribuutit (sekä omat että perityt): kaikki olion ominaisuudet löytyvät yhdestä taulusta yhden attribuutin arvoja monessa taulussa tai kunkin aliluokan relaatiotaulussa on vain ko. aliluokan omat ominaisuudet (ja avain) olion ominaisuuksia monessa taulussa samoja attribuutteja ei esitetä eri tauluissa Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 64/66 Kevät 2003

65 tai kaikki aliluokat esitetään yhtenä relaatiotauluna komponentti saa puuttuvan arvon, jos attribuutti ei koske tätä monikkoa Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 65/66 Kevät 2003

66 Tiedon mallitus: yhteenveto talletusvaihtoehtoja: tiedostot, hakupuut ja muut erikoisrakenteet, tietokanta tietomallin käsitteitä: attribuutti, relaatio, operaatio, luokkahierarkia tavoitteena yksikertainen mutta riittävän todenmukainen malli relaatiomalli, oliomalli Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tiedon mallitus ja talletus 66/66 Kevät 2003