CS-A1150 Tietokannat CSE-A1150 Tietokannat / 39

Transkriptio

1 CS-A1150 Tietokannat CSE-A1150 Tietokannat / 39

2 Kertausluento Tällä luennolla kerrataan lyhyesti tenttivaatimuksissa esitettyjä asioita ja samalla tarkastellaan sitä, mitä niistä voidaan kysyä tentissä. Huomaa kuitenkin, että kaikki kurssialueen asiat asiat kuuluvat tenttivaatimuksiin, jos ei ole erikseen mainittu, että ne eivät kuulu. Kysymyksiä voi olla myös erilaisia kuin mitä tässä on esitetty esimerkkeinä. Vierailuluennon (NoSQL-tietokannat) asiat eivät kuulu tenttivaatimuksiin. Tämän luennon kalvot eivät sovellu niillä mainittujen asioiden itseopiskeluun, koska asiat on esitetty niillä liian lyhyesti. Asiat on selitetty tarkemmin vastaavien luentojen kalvoissa. CSE-A1150 Tietokannat / 39

3 Tärkeä käytännön asia Muista ilmoittautua tenttiin ajoissa! Ilmoittautumisaika päättyy viikko ennen tenttiä (23.5. tenttiin ilmoittautumisaika päättyy 16.5.) Tenttiin ei voi osallistua, jos ei ole ilmoittautunut. Vaikka onnistuisi pääsemään tenttiin, niin ei-ilmoittautuneiden tenttipapereita ei arvostella. Toukokuun tentin jälkeen on vielä kolme rästitenttiä, joissa keväällä 2017 tehty ja hyväksytty harjoitustyö sekä harjoitustehtävistä saatavat lisäpisteet ovat voimassa. Todennäköiset päivät ovat , ja (Tarkista päivät, kun tiedot on julkaistu WebOodissa, sillä näihin voi vielä tulla muutoksia.) CSE-A1150 Tietokannat / 39

4 Mitä tämän kurssin jälkeen? CS-C3170 Web Software Development Ei varsinaisesti tietokantakurssi, mutta kurssilla tehdään harjoitustyönä web-ohjelma, joka käyttää tietokantaa. Harjoitustyössä käytetään Django-kehitysympäristöä. CS-E4120 Scalable Cloud Computing Kurssi sisältää lisätietoa NoSQL-tietokannoista CS-E4610 Modern Database Systems Esim. kyselyjen optimointi, tiedonhaku, hakemistot, puolirakenteinen tieto, map reduce, isojen verkkojen (graphs) käsittely. CSE-A1150 Tietokannat / 39

5 Esimerkkitietokanta Tämän luennon esimerkit käsittelevät aikaisempien luentojen esimerkkitietokantaa, joka koostuu seuraavista relaatioista Customers(custNo, name, born, bonus, address, ) Products(number, prodname, description, price, manufid) Manufacturers(ID, manufname, phone) Orders(orderNo, deliver, status, custno) BelongsTo(orderNo, productno, count) CSE-A1150 Tietokannat / 39

6 Esimerkkitenttikysymyksiä tietokannoista ja tietokannan hallintajärjestelmästä yleisesti Mitä etuja tietokannan hallintajärjestelmä tarjoaa siihen verrattuna, että dataa säilytettäisiin tavallisissa tekstitiedostoissa. Tietokannan hallintajärjestelmän osat ja niiden tehtävät. CSE-A1150 Tietokannat / 39

7 Relaatioalgebran operaatiot Lähtörelaatioita pienentävät operaatiot valintaoperaatio σ C (R), esimerkiksi σ bonus>40 (Customers) projektio-operaatio π A1,A 2,...,A n (R), esimerkiksi π number,name,bonus (Customers) Relaatioiden monikkoja yhdistävät operaatiot karteesinen tulo R S liitosoperaatiot Luonnollinen liitos R S Theta-liitos R C S, esimerkiksi Products manufid=id Manufacturers CSE-A1150 Tietokannat / 39

8 Relaatioalgebran operaatiot, jatkuu Uudelleen nimeäminen ρ S(A1,A 2,...,A n) (R) ei muuta relaatiota lainkaan, mutta voi olla tarpeellinen toisten operaatioiden kannalta Joukko-operaatiot: yhdiste R S leikkaus R S erotus R S CSE-A1150 Tietokannat / 39

9 Mahdollisia tenttikysymyksiä relaatioalgebrasta Pyydetään esittämään kysely relaatioalgebran lausekkeilla. On annettu relaation instanssi ja relaatioalgebran lauseke. Kysytään, mikä on lausekkeen tulos. Pyydetään selvittämään jotain yleisempää relaatioalgebran operaatioista, esim. miten jonkin operaation voi korvata toisilla operaatioilla tai miten monta monikkoa voi esiintyä lausekkeen tulosrelaation instanssissa, jos monikoiden määrät lähtörelaatioiden instansseissa tunnetaan. CSE-A1150 Tietokannat / 39

10 Tyypillisiä virheitä relaatioalgebran tenttivastauksissa Lausekkeissa on käytetty luonnollista liitosta, vaikka attribuutit, joiden yhtäsuuruuden mukaan liitos tehdään, ovat erinimisiä. Samaan ehtoon on yritetty sisällyttää liikaa. Esimerkiksi: haettava niiden asiakkaiden asiakasnumerot, joilla on tilaus, jonka tila on in post, mutta ei yhtään tilausta, jonka tila on delivered. Lauseke π custno (σ status= in post AND status delivered (Orders)) ei tuota haluttua vastausta, koska se tarkastelee vain yhden tilauksen tietoja kerrallaan. Ehto ei estä sitä, että asiakkaalla olisi toinen tilaus, jonka status on delivered. CSE-A1150 Tietokannat / 39

11 ER-mallinnus ER-kaavio on graafinen tapa tietokannan mallintamiseen. Esimerkki name phone Manufacturers name number ID deliver Made by Belongs to Products description price Orders count name custno orderno status Ordered by Customers born bonus address CSE-A1150 Tietokannat / 39

12 Heikot yksilöjoukot ER-kaavioissa Yksilöjoukkoa sanotaan heikoksi (weak entity set), jos kaikki tai osa sen avainattribuuteista kuuluu toiseen yksilöjoukkoon size color name number Versions Version of Products description price CSE-A1150 Tietokannat / 39

13 Mahdollisia tenttikysymyksiä ER-kaavioista Laadi ER-kaavio annettua kuvausta vastaavaan tilanteeseen. Muunna annettu ER-kaavio relaatiokaavioiksi. Vastaa annetusta ER-kaaviosta esitettyihin kysymyksiin. (Esim. onko tämän kaavion perusteella mahdollista, että...?) CSE-A1150 Tietokannat / 39

14 Tyypillisiä virheitä ER-kaavioita koskevissa tenttivastauksissa ER-kaaviossa yksilöjoukoilla on ylimääräisiä attribuutteja, esimerkiksi suhteen kautta tulevia tietoja. Kaksi yksilöjoukkoa on yhdistetty suoraan toisiinsa ilman, että niiden välissä on suhde. Suhteella on avainattribuutti. (Tällöin pitää käyttää suhteen sijasta yksilöjoukkoa.) Yksilöjoukkoa, jonka avainattribuuteista osa tulee toisesta yksilöjoukosta, ei ole merkitty heikoksi yksilöjoukoksi ja / tai näiden kahden yksilöjoukon välistä suhdetta ei ole merkitty kaksinkertaisella vinoneliöllä. Suhteen valitsevuutta ei ole merkitty oikein (nuolia puuttuu tai on liikaa tai ne ovat vääränlaisia tai nuolet on piirretty viivan väärään päähän). CSE-A1150 Tietokannat / 39

15 Tyypillisiä virheitä ER-kaavioita koskevissa tenttivastauksissa, jatkuu Samaan suhteeseen on yhdistetty asioita, jotka eivät kuulu kaikki yhteen. Yleensä kannattaa suosia kaksijakoisia suhteita ja käyttää useampijakoisia suhteita vain perustellusta syystä. Kun yksilöjoukkoja ja suhteita on muutettu relaatioiksi, niin attribuutteja on joko liikaa tai liian vähän (osa avainattribuuteista puuttuu relaatiosta tai sitten suhteesta tehdyssä relaatiossa on mukana ylimääräisiä attribuutteja). Osaa avaimeen kuuluvista attribuuteista ei ole alleviivattu tai on alleviivattu liikaa attribuutteja. Monesta moneen -suhteesta ei ole tehty omaa relaatiota, kun ER-kaavio on muunnettu relaatioiksi. CSE-A1150 Tietokannat / 39

16 Funktionaaliset riippuvuudet ja tietokannan normalisointi Ongelma: Mitä relaatioita tietokantaan pitäisi määritellä ja mitä attribuutteja näillä pitäisi olla? Samat tiedot voidaan esittää useilla eri tietokantakaavioilla. Jotkin niistä ovat parempia kuin toiset. Keskeisiä huonojen relaatiokaavioiden aiheuttamia ongelmia: Tiedon toisteisuus (redundancy) Päivitysanomaliat (update anomalies) Poistoanomaliat (deletion anomalies) Huonot relaatiokaaviot voidaan muuttaa parempaan muotoon normalisoimalla. Normalisoinnissa tarvitaan tietoa relaatioiden attribuuttien funktionaalisista riippuvuuksista. CSE-A1150 Tietokannat / 39

17 Funktionaalinen riippuvuus ja relaation avain, määritelmä Olkoon relaatiolla R attribuutit A 1, A 2,..., A n, B 1, B 2,..., B m, C 1, C 2,..., C k. Attribuutit A 1, A 2,..., A n määräävät funktionaalisesti attribuutit B 1, B 2,..., B m, jos seuraava ehto on voimassa: Jos kahdella relaation R monikolla on samat arvot kaikilla attribuuteilla A 1, A 2,..., A n, niin silloin niillä on samat arvot myös kaikilla attribuuteilla B 1, B 2,..., B m. Merkitään A 1 A 2... A n B 1 B 2... B m Yksi tai useampi attribuutti {A 1,..., A n } on relaation R avain, jos 1. nämä attribuutit funktionaalisesti määräävät kaikki muut relaation R attribuutit. 2. mikään tämän attribuuttijoukon aito osajoukko ei funktionaalisesti määrää kaikkia muita relaation R attribuutteja. CSE-A1150 Tietokannat / 39

18 Boyce-Codd-normaalimuoto Jos relaatio on Boyce-Codd-normaalimuodossa (Boyce-Codd normal form, BCNF), siinä ei ole lainkaan funktionaalisista riippuvuuksista johtuvaa toisteista tietoa. Relaatio R on BCNF:ssä (Boyce-Codd-normaalimuodossa) jos ja vain jos kaikille R:ssä voimassa oleville epätriviaaleille funktionaalisille riippuvuuksille A 1 A 2... A n B 1 B 2... B m pätee se, että {A 1, A 2,..., A n } on relaation R yliavain. Esimerkki: relaatio Products1(number, prodname, description, price, manufid, manufname, phone) ei ole BCNF:ssä, koska relaatiolle pätee riippuvuus manufid manufname phone mutta riippuvuuden vasen puoli ei ole relaation yliavain, vaan relaation avain on {number} CSE-A1150 Tietokannat / 39

19 Relaation osittaminen Boyce-Codd-normaalimuotoon Laske annettujen epätriviaalien riippuvuuksien vasempien puolten sulkeumat. Jos yksikin sulkeumista ei sisällä relaation kaikkia attribuutteja (eli vasen puoli ei ole relaation yliavain), relaatio ei ole BCNF:ssä, ja se pitää osittaa. Valitse yksi niistä riippuvuuksista, jossa vasen puoli ei ole relaation yliavain ja ota tämän riippuvuuden vasemman puolen sulkeuma. Jaa ositettava relaatio kahdeksi uudeksi relaatioksi: Ensimmäiseen tulee em. sulkeuma. Toiseen tulee edellä valitun riippuvuuden vasen puoli ja lisäksi ne ositettavan relaation attribuutit, jotka eivät kuulu vasemman puolen sulkeumaan. Tutki, mitkä riippuvuudet ovat voimassa uusissa relaatioissa. Laske uusien relaatioiden riippuvuuksien vasempien puolien sulkeumat. Jos jokin sulkeuma ei sisällä uuden relaation kaikkia attribuutteja, uusi relaatio ei ole BCNF:ssä ja se pitää osittaa samalla tavalla. CSE-A1150 Tietokannat / 39

20 Mahdollisia tenttikysymyksiä funktionaalisesta riippuvuudesta ja BCNF:stä Tämä on erittäin tärkeä asia, ja on hyvin todennäköistä, että asiasta kysytään jokaisessa tentissä. Todennäköisin tehtävätyyppi: on annettu relaatio ja siinä esiintyvät funktionaaliset riippuvuudet. Kysytään, onko relaatio BCNF:ssä (perustelut) ja pyydetään osittamaan se tarvittaessa BCNF:ään. Myös moniarvoiset riippuvuudet ovat mahdollisia tenttitehtävien aiheita. Tästä aihepiiristä mahdollinen tehtävä on sellainen, jossa vaaditaan moniarvoisen riippuvuuden käsitteen ymmärtämistä. Tehtävissä ei kysytä mitään 4. normaalimuodosta. CSE-A1150 Tietokannat / 39

21 Tyypillisiä virheitä tenttivastauksissa BCNF-tehtävissä Kun on kysytty, onko relaatio BCNF:ssä, ei ole laskettu funktionaalisten riippuvuuksien vasempien puolien sulkeumia, vaan on annettu jokin erikoinen perustelu, joka on joko selvästi väärä tai sitten liian ylimalkainen. Relaatiota ei ole ositettu annetulla algoritmilla, vaan jollain itse keksityllä tavalla (esimerkiksi yhteen uuteen relaatioon on aina otettu kaikki yhdessä riippuvuudessa esiintyvät attribuutit), joka voi johtaa informaation katoamiseen On annettu aivan oikeat uudet relaatiot, mutta ei ole kunnolla perusteltu sitä, miten niihin on päädytty tai miksi uudet relaatiot ovat BCNF:ssä. Relaatio on ositettu aivan oikein yhden kerran, mutta ei ole huomattu sitä, että toinen tai molemmat ositetuista relaatioista ei vielä ole BCNF:ssä ja ositusta pitäisi jatkaa. CSE-A1150 Tietokannat / 39

22 SQL: kyselyn perusmuoto Perusmuoto SELECT <attribuuttilista> FROM <relaatiolista> WHERE ehto Esimerkki 1 SELECT prodname, description FROM Products WHERE price > 100.0; Esimerkki 2: SELECT prodname, price FROM Products WHERE (description = cellphone OR description = tablet ) AND price < 400.0; CSE-A1150 Tietokannat / 39

23 SQL: liitokset ehtojen avulla Esimerkki 1: SELECT prodname, manufname FROM Products, Manufacturers WHERE manufid = ID; Esimerkki 2: SELECT Customers.custNo, name FROM Customers, Orders WHERE Customers.custNo = Orders.custNo AND status = returned ; CSE-A1150 Tietokannat / 39

24 SQL: esimerkki rivimuuttujien käytöstä SELECT C1.name, C2.name FROM Customers AS C1, Customers AS C2 WHERE C1.address = C2.address AND C1.name < C2.name CSE-A1150 Tietokannat / 39

25 SQL: tulosrelaation esitysjärjestyksen määrääminen SELECT FROM Customers WHERE bonus > 30 ORDER BY bonus DESC, born CSE-A1150 Tietokannat / 39

26 SQL: joukko-operaatioita Käytössä on joukko-operaatiot UNION, INTERSECT ja EXCEPT (erotus). Esimerkki: SELECT manufname FROM Manufacturers, Products WHERE manufid = ID and description = camera INTERSECT SELECT manufname FROM Manufacturers, Products WHERE manufid = ID and description = cellphone ; CSE-A1150 Tietokannat / 39

27 SQL: Alikyselyt SQL-kyselyn sisään voi kirjoittaa WHERE- tai FROM-osan sisään toisen kyselyn. Tällaista kyselyä sanotaan alikyselyksi (subquery). Esimerkki relaation tuottavista alikyselystä: SELECT DISTINCT orderno FROM BelongsTo WHERE productno IN (SELECT number FROM Products WHERE description = camera ); CSE-A1150 Tietokannat / 39

28 SQL: Alikyselyt, jatkoa Esimerkki alikyselystä, jossa viitataan ulommassa kyselyssä käytettyyn monikkoon: SELECT DISTINCT number, prodname, description, price FROM Products AS Cheap WHERE price <= ALL (SELECT price FROM Products WHERE description = Cheap.description ); CSE-A1150 Tietokannat / 39

29 SQL: ulkoliitos Liitosta tehdessä alkuperäisissä relaatiossa on usein monikoita, joille ei löydy yhtään vastinparia toisesta liitokseen osallistuvasta relaatiosta. Jos myös tällaiset monikot halutaan tulokseen mukaan, on käytettävä ulkoliitosta, esimerkiksi SELECT FROM Products LEFT OUTER JOIN Manufacturers ON manufid = ID; listaa myös ne tuotteet, joiden valmistajaa ei löydy Manufacturers-relaatiosta. CSE-A1150 Tietokannat / 39

30 SQL: koosteoperaattorit SQL tarjoaa koosteoperaattorit SUM, AVG, MIN, MAX ja COUNT, joiden avulla voidaan laskea tilastoja jonkin relaation jonkin attribuuttien arvoista. Koosteoperaattoreita käytettäessä monikoita voidaan ryhmitellä GROUP BY-operaattorin avulla. Ryhmille voidaan antaa myös jokin koosteoperaattoria käyttävä ehto HAVING-osan avulla. Esimerkki: SELECT manufid, manufname, AVG(price) FROM Products, Manufacturers WHERE id = manufid GROUP BY manufid HAVING MAX(price) > 100; CSE-A1150 Tietokannat / 39

31 SQL: mahdollisia tenttikysymyksiä Tyypillisessä tenttikysymyksessä pyydetään kirjoittamaan jokin SQL-kysely. Kyselyissä voi tarvita mitä tahansa niistä ominaisuuksista, joita kurssin luentokalvoissa ja harjoitustehtävissä on käytetty. Myös taulujen luomiseen, monikoiden lisäämiseen ja tietojen päivittämiseen tarvittavia käskyjä voi tarvita, vaikka niitä ei olekaan tällä kertausluennolla esitelty. Eheysehtojen kirjoittamisesta tarvitsee osata niin paljon kuin luentokalvoilla ja harjoitustehtävissä on esitetty. Tentissä ei pyydetä kirjoittamaan laukaisimia, mutta on tunnettava laukaisimien toimintaperiaate ja ymmärrettävä, mikä ero on FOR EACH ROW-tyyppisillä ja FOR EACH STATEMENT-tyyppisillä laukaisimilla. CSE-A1150 Tietokannat / 39

32 SQL: mahdollisia tenttikysymyksiä (jatkuu) Myös näkymien määrittely ja niiden käyttö on osattava siinä laajudessa kuin mitä luentomateriaalissa on määritelty. SQL-käskyjen liittämistä muulla kielillä kirjoitettuun ohjelmaan (joko kirjastofunktioita tai sulautettua SQL:ää käyttämällä) ei kysytä tentissä. CSE-A1150 Tietokannat / 39

33 Tyypillisiä virheitä SQL-tenttitehtävissä Liitosehdot tai osa niistä puuttuu. Alikyselyn edessä on käytetty IN-operaattorin sijasta yhtäsuuruusmerkkiä, vaikka alikyselyn tuloksena on relaatio eikä yksittäinen arvo. Ei ole ymmärretty sitä, että WHERE-osassa oleva ehto käsittelee aina yhtä FROM-osassa olevien relaatioiden karteesisen tulon monikkoa kerrallaan. On kirjoitettu ehtoja, joiden pitäisi tutkia samalla kerralla useita monikoita. Kyselyssä pitäisi laskea koostefunktioiden arvoja tietyille ryhmille (esim. kunkin valmistajan tuotteiden hintojen keskiarvo), mutta GROUP BY-osa puuttuu kyselystä. Koostefunktiota koskeva ehto on kirjoitettu WHERE-osaan, vaikka se pitäisi olla HAVING-osassa. On käytetty sellaisia operaattoreita, joita kurssilla ei ole opetettu, mutta ei ole ymmärretty, mitä ne tarkoittavat. Esimerkiksi LEFT JOIN tarkoittaa oikeasti samaa kuin LEFT OUTER JOIN. CSE-A1150 Tietokannat / 39

34 Hakemistot, tenttitehtävätyyppejä Tentissä voi olla tehtävä, jossa joutuu arvioimaan, mitä hakemistoja kuvatulle tietokannalle kannattaa luoda. Tentissä voidaan myös pyytää selostamaan yleisemmin, millaisia asioita pitää ottaa huomioon, kun päätetään tietokantaan tulevista hakemistoista. B-puusta ei tentissä tarvitse osata muuta kuin pystyä arvioimaan se, miten hakemiston käyttö vaikuttaa levyhakujen määrään kyselyissä ja päivityksissä. CSE-A1150 Tietokannat / 39

35 Transaktiot (tapahtumat) Ohjelmoija voi suojata tietokannan monilta erilaisilta häiriöiltä, esimerkiksi sähkökatkoilta, laiterikoilta ja muiden samanaikaisten käyttäjien aiheuttamilta häiriöiltä määrittelemällä transaktioita, jotka voivat koostua useista tietokantaoperaatioista. Kun ohjelmoija on määritellyt joidenkin operaatioiden muodostavan transaktion, niin tietokannan hallintajärjestelmä pitää huolen siitä, että tietokanta toteuttaa seuraavalla kalvolla mainitut transaktioilta vaaditut ominaisuudet. CSE-A1150 Tietokannat / 39

36 Transaktioilta vaadittavat ominaisuudet Atomicity (atomisuus): kaikki transaktion sisältämät käskyt suoritetaan tai mitään niistä ei suoriteta. Consistency (eheys): jos tietokannassa määritellyt eheysehdot ovat voimassa ennen transaktion suoritusta, niin ne ovat voimassa myös sen jälkeen. Isolation (serializability, sarjallistuvuus): transaktio suoritetaan niin kuin muita transaktioita ei suoritettaisi samaan aikaan. Toisin sanoen: jos useita transaktioita suoritetaan samanaikaisesti, niin lopputulos on sama kuin jos samat transaktiot olisi suoritettu jossain järjestyksessä peräkkäin yksi kerrallaan. Durability (pysyvyys): Jos transaktiot on suoritettu onnistuneesti loppuun (on suoritettu transaktion commit-operaatio), niin sen vaikutukset eivät katoa tietokannasta. Näitä ominaisuuksia kutsutaan usein ACID-ominaisuuksiksi. CSE-A1150 Tietokannat / 39

37 Transaktioihin liittyviä tenttikysymyksiä Transaktiot on tärkeä aihe tentissä. Tentissä voidaan suoraan kysyä transaktioilta vaadittavia ominaisuuksia ja pyytää selittämään niitä tai osaa niistä tarkemmin. Tentissä voidaan myös kysyä, mitä muita eristyvyystasoja SQL:ssä on mahdollista määritellä transaktioille sarjallistuvuuden sijasta. CSE-A1150 Tietokannat / 39

38 Esimerkki XML-dokumentista <?xml version = "1.0" encoding = "utf-8" standalone = "yes"?> <StarMovieData> <Star> <Name>Carrie Fischer</Name> <Address> <Street>123 Maple St.</Street> <City>Hollywood</City> </Address> <Address> <Street>5 Locust Ln.</Street> <City>Malibu</City> </Address> </Star> <Star> <Name>Mark Hamill</Name> <Street>456 Oak Rd.</Street> <City>Brentwood</City> </Star> <Movie> <Title>Star Wars</Title> <Year>1977</Year> </Movie> </StarMovieData> CSE-A1150 Tietokannat / 39

39 Tenttitehtäviä XML:stä Tentissä ei tarvitse kirjoittaa itse XML-dokumentteja eikä DTD- tai XML Schema -määrittelyjä. On kuitenkin ymmärrettävä annettuja XML-dokumentteja sekä DTDtai XML Schema -määrittelyjä. Tentissä ei pyydetä kirjoittamaan XPath-kyselyjä, mutta siinä voidaan antaa XPath-kysely ja kysyä, mikä on sen tulos annetussa XML-dokumentissa. Tällöin on syytä muistaa, että myös alku- ja loppumerkinnät (tagit) pitää olla mukana vastauksessa, jos ne kuuluvat kyselyn tulokseen. Aiheesta tarvitsee osata vain ne asiat, joita on käsitelty luennoilla ja / tai harjoituksissa. Esimerkiksi avainten ja viiteavainten määrittelystä XML-dokumentissa ei tarvitse tietää. CSE-A1150 Tietokannat / 39