Tosiaikajärjestelmät Luento 11: Tosiaikatietokannat Tiina Niklander Perustuu Jan Lindströmin materiaalin S2002 ja artikkeliin: Ramamritham, Son & DiPippo: Real-Time Databases and Data Services. Real-Time Systems, 28, 179-215,2004. Sisältö Abstrakti tietokantamalli (kertausta mm. tietokannan hallinta ja tapahtumankäsittely kursseilta) Ajoitukset ja sarjallistuvuus Aika ja eheys Samanaikaisuudenhallinta Esimerkkejä 1
Abstrakti tietokantamalli Tietokanta on joukko nimettyjä tietoalkioita, joilla on arvo. Näiden arvot muodostavat tietokannan tilan. Tietokantajärjestelmä on laite- ja ohjelmistokomponentit, jotka tarjoavat komennot tietokannan käsittelyyn eli nk. tietokantaoperaatiot. Tietokantaoperaatiot suoritetaan atomisesti yksi kerrallaan eli sarjallisesti. Tietokantajärjestelmä tukee myös transaktiooperaatioita: Begin (b), Read (r[x]), Write (w[x]), Commit (c) ja Abort (a) Tietoalkio d:( arvo, RTS, WTS,...) arvo: tietoalkio tila RTS: viimeisin lukuaikaleima WTS: viimeisin kirjoitusaikaleima Tietoalkiolla voi olla lisäinformaatiota, esim avi: absoluuttinen eheysaikaväli rvi: suhteellinen eheysaikaväli 2
Transaktion tilat Transaktio on sitoutunut jos se on suorittanut commit operaation. Transaktio on peruuntunut jos se on suorittanut abort operaation. Transaktio on aktiivinen jos se on suorittanut begin operaation mutta ei commit tai abort operaatiota. Transaktio ei voi olla vain yhdessä näistä tiloista. ACID Atomisuus: Transaktio suoritetaan kokonaan tai ei ollenkaan Eheys: Transaktio siirtää tietokannan yhdestä eheästä tilasta toiseen. Eristyneisyys: Transaktiot toimivat kuten olisivat yksin järjestelmässä. Pysyvyys: Sitoutumisen jälkeen muutokset säilyvät virhetilanteissakin. 3
Ajoituksista Oletetaan että transaktio yksinään muuttaa tietokannan eheästä tilasta eheään tilaan. Transaktioiden suoritus voi olla sarjallinen eli kukin transaktio suoritetaan alusta loppuun peräjälkeen. Sarjallinen ajoitus säilyttää tietokannan eheyden. Sarjallistuva ajoitus säilyttää tietokannan eheyden. Transaktioiden operaatiot muodostavat historian Historian ominaisuuksia Täydellinen historia on sarjallistuva jos se on ekvivalentti jonkin sarjallisen historian kanssa. Historia on ketjuperuutukset estävä (cascading aborts) jos transaktio lukee vain sitoutuneiden transaktioiden kirjoittamia tietoalkioita. Historia on toipuva (recoverable) jos transaktio sitoutuu vasta kun kaikki ne transaktiot ovat sitoutuneet, jolta transaktio on lukenut tietoalkion arvon. 4
Abstrakti tietokantamalli Transaction Manager Scheduler Recovery Manager Buffer Manager Aika tietokannoissa Temporaalitietokannat (temporal databases) datalla aikarajoitteita voimassaololle Aktiiviset tietokannat (active databases) datalla voi olla aikarajoitteita osa tiedoista johdetaan (derive) automaattisesti muiden perusteella Tosiaikatietokannat (real-time databases) datalla ja transaktioilla aikarajoitteita Mitattu data vs. johdettu data 5
Tosiaikatietokannan eheys Transaktioiden aikarajat (deadlines) tulokset saadaan aikarajojen puitteissa Temporaalinen eheys (temporal concistency) tieto ajallisesti eheää absoluuttisesti ja suhteellisesti Tietokannan eheys (sarjallistuvuus) tieto on loogisesti eheää Temporaalinen eheys Absoluuttinen eheys (absolute consistency) tieto eheää vain tietyn aikavälin current time d.wts d.avi Suhteellinen eheys (relative consistency) tietoalkiojoukon oltava riittävän läheltä samaa ajanhetkeä. d, d R : d. WTS d.wts R.rvi Esim painekattilan mitta-arvot Lämpö 100, Paine 360 OK Lämpö 700, Paine 360 EI Aika 100 200 300 Lämpö 100 300 700 Paine 360 720 100 6
Lyhytkestoisen datan päivitys Säännöllisesti (esim. jaksollinen transaktio) Kolme erilaista tapaa: Jakson pituus (P i ) on voimassaoloaika i Jakson pituus i /2, missä i voimassaoloaika Jakson pituus > i /2 ja P i +D i = i. Artikkelit kuvat 1 & 2 Tosiaikatransaktion ominaisuudet Aikaraja: deadline(t i ) hot, firm tai soft Prioriteetti: priority(t i ) Kriittisyys: criticality(t i ) Kovat aikarajat - A priori takuu suoritukselle Tiedettävä ennalta käytettävät tietoalkiot ja WCET Suurin osa tutkimuksesta kohdistuu pehmeisiin aikarajoihin 7
Samanaikaisuudenhallinnan ongelmat Turha peruutus: transaktio peruuttaa toisen transaktion ja myöhemmin peruuntuu itse. Turha odotus: alempi prioriteettinen transaktio odottaa korkeamman päättymistä ja myöhemmin myöhästyy. Turha suoritus: alempi prioriteettinen peruutetaan validoinnissa, koska konfliktissa korkeamman kanssa. Turha uudelleenkäynnistys: transaktio peruutetaan vaikka historia on sarjallistuva. Ajoitusmenetelmien luokittelu Pessimistiset menetelmät Aikaleimamenetelmät Sarjallistuvuusverkkomenetelmät Lukitusmenetelmät Optimistiset menetelmät Eteenpäin validoivat Taaksepäin validoivat Sarjallistuvuusverkkomenetelmät Hybridit menetelmät 8
2PL-PA (Priority Abort) 2PL + jos lukon varaaja on alempiprioriteettinen, se peruutetaan Hyödyt: Korkeampi prioriteettisia suositaan Haitat Ketjuperuutukset Lukkiuma Prioriteetin kääntyminen Kutsutaan myös 2PL-HP (High Priority) 2PL-PI (Priority Inheritance) Transaktio voi liittyä lukijoiden joukkoon vain jos sen prioriteetti suurempi kuin kenenkään kirjoittamista odottavan. Lukon hallinnan ajan transaktion prioriteetti on vähintään suurimman odottajan prioriteetti. Kutsutaan myös 2PL-WP (Wait Promote) 9
Optimistiset menetelmät 1. Lukuvaihe: Suoritetaan transaktion koodia ja luetut tietoalkiot lisätään lukujoukkoon ja kirjoitetut kirjoitusjoukkoon. Kirjoitukset yleensä tehdään vain paikallisiin tietoalkioihin. 2. Validointivaihe: Tarkistetaan että muodostettu historia on sarjallistuva, toipuva ja ketjuperuutukset estävä. 3. Kirjoitusvaihe: Muutokset kirjoitetaan osaksi tietokantaa. OCC-BC (Broadcast Commit) Validoiva transaktio lähettää viestin konfliktoiville transaktioille ja ne peruutetaan. Pitkäkestoiset transaktiot perutaan herkästi. Ei aikatietoinen (tai prioriteettitietoinen) 10
OPT-SACRIFICE Jos validoinnissa yksikin konfliktoiva transaktio on korkeampi prioriteettinen kuin validoiva, validoiva peruutetaan. Muuten konfliktoiva peruutetaan. Ongelmana lähes valmiiden transaktioiden peruutuskustannus. OPT-WAIT Jos validoinnissa havaitaan yksikin korkeampi prioriteettinen konfliktoiva transaktio, validoitava jää odottamaan. Odotuksen aikana validoiva voidaan joutua peruuttamaan. Kuinka kauan odotetaan??? 11
WAIT-50 Validoiva transaktio odottaa kunnes vähemmän kuin puolella konfliktoivista transaktioista on korkeampi prioriteetti. Tämän jälkeen konfliktoivat transaktiot peruutetaan. Ongelmana peruutukset ja odotuksen pituus. Validointimenetelmiä Taaksepäin validointi: Konfliktit havaitaan tarkistamalla viimeaikoina sitoutuneiden transaktioiden kirjoitusjoukot ja validoivan transaktion lukujoukko. Eteenpäin validointi: Konfliktit havaitaan tarkistamalla validoivan transaktion kirjoitusjoukko ja aktiivisten transaktioiden lukujoukko. 12
Intervallimenetelmä (OCC-TI) Jokaisella transaktiolla T i on aikaväli (timestamp interval) TI(T i ). Aluksi aikaväli on [0, [, peruutetaan jos Ø Aikaväli kuvaa niitä ajanhetkiä, jolloin transaktio voi sitoutua siten että historia on sarjallistuva. Validoinnin aikana muutetaan aikavälejä dynaamisesti kuvaamaan transaktioiden järjestystä historiassa. Prioriteettitietoisuus (priority cognizant) Suorituksen tulisi suosia korkeampi prioriteettisia transaktioita. Vaihtoehtoja: Jokaisessa konfliktissa Vain jos joudutaan peruuttamaan Ei mitenkään selvää että kannattaa! 13
2PL Kannattaako? Tulokset osoittaneet että prioriteettitietoisuus on hyödyksi. Optimistiset Tulosten perusteella ei suurta vaikutusta kokonaistehokkuuteen (vaikutusta tärkeämpien läpipääsyyn) Sarjallistuvuusverkkoajoittajat Ei tuloksia Toipuminen (recovery) Pysyvä data Toipuminen abortoidusta transaktiosta edellyttää kantaan jo kirjoitettujen muutosten poistamista Lyhytkestoinen data Peruuttaminen voidaan korvata mitätöinnillä, seuraava päivitys on kohta tulossa Kannan osittaminen (hot ja cold) Pienemmät palautettavat yksiköt Erilainen käyttötapa erilaiselle datalle 14
Tosiaikatietokannan palveluntaso Tavanomaisia mittareita Deadline miss ratio kuinka suuri osa transaktioista myöhästyi Data freshness Kuinka suuri osa ajallaan sitoutuneiden transaktioiden käyttämästä lyhytkestoisesta datasta oli ajan tasalla Lisäksi voidaan käyttää Overshoot pahimman mahdollisen tilanteen toiminta (esim. myöhästymisten osuus ylikuormitustilanteessa) Settling time kuinka kauan järjestelmän rauhoittuminen yo. tilasta kestää QoS ja satunnainen ylikuormitus (transient overload) Satunnainen ylikuormitus on lyhytkestoinen tilanne, jossa järjestelmässä on hetkellisesti enemmän töitä suoritettavana kuin mihin resurssit riittävät Tällöin palvelun laatu aina kärsii Tietyn palvelutason ylläpitäminen edellyttää Satunnaisten ylikuormitusten välttämistä Ylikuormitustilanteessa joustoa Tapahtumien takarajat Datan voimassaoloajat Tapahtuman keston lyhentäminen (epätarkempi tulos) 15
QMF arkkitehtuuri Artikkelin kuva 3 Sensoriverkon toiminta tosiaikaisena tietokantana Sensoriverkot tavallisesti seuraavat (ja ohjaavat) jonkin fyysisen ympäristön käyttäytymistä Mittaus (sensorit) Ohjaus (aktorit, aktuaattorit) Voidaan hahmottaa myös hajautettuna tietokantana Sensorit solmuja, joissa osa tiedosta sijaitsee Hajautetut kyselyt joilla tietoja selvitetään 16
Tosiaikainen tietokanta ja solmujen liikkuvuus (mobile real-time database) Liikkuva solmu on epäluotettava Yhteys katoaa, sähkö loppuu, Ideoita Määrätään kullekin liikkuvalla solmulle siitä huolehtiva kiinteä solmu Suoritetaan transaktiot kiinteässä vastuu solmussa PUSH Jatkuvien muutosten seuranta Palvelin (tai sensori) syöttää muutostietoa jatkuvasti Tiedon käyttäjät voivat vaihtua PULL Kukin käyttäjä pyytää aika ajoin haluamiaan tietoja 17
Haasteita tosiaikaisten tietokantojen tutkimukselle ja tutkijoille Ala on nyt ollut käynnissä parikymmentä vuotta. Aluksi rinnakkaisuudenhallintaa aikarajojen kanssa ja tiedon aikarajojen käsittelyä Nyt pitäisi saada tutkimustuloksia siirrettyä myös kaupalliseen käyttöön Tällä hetkellä tavallisia tietokantoja, joissa nopeat vasteajat, mutta ei aikatakuita Tarvitaan todellisia käyttöesimerkkejä Standardointi Yhteenveto Tosiaikatietokantojen erityispiirteet Datan luokittelu: pysyvä ja lyhytkestoinen Lyhytkestoisen datan voimassaolorajoitukset Transaktioiden aikarajat Tosiaikaisten transaktioiden suorittaminen (suoritusjärjestys, rinnakkaisuuden hallinta, sitoutuminen, historian sarjallistuvuus) 18