Kyselyiden optimointi

Kyselyiden optimointi R & G Chapter 12 15 16.02.06 Tietokannan hallinta, kevät 2006, Jan 1

Kyselypuut ja ekvivalenssi Sisäisessä esityksessä kyselyt esitetään kyselypuuna lehdissä taulut juuressa lopputulos välisolmuina suoritettavat operaatiot select teos.nimi, kirjanro from kurssi, materiaali, teos where kurssi.nro=materiaali.kurssi and materiaali.kirja=teos.nimi and materiaali.tyyppi= P and kurssinimi= Tietokannan hallinta π teos.nimi, kirjanro σ kurssi.nimi= Tietokannan hallinta σ materiaali.kirja=teos.nimi σ kurssi.nro=materiaali.kurssi σ materiaali.tyyppi= P x x kurssi materiaali teos 16.02.06 Tietokannan hallinta, kevät 2006, Jan 2

Kyselypuut ja ekvivalenssi Optimoitu kyselypuu valinnat mahdollisimman aikaisin ristitulot liitoksiksi select teos.nimi, kirjanro from kurssi, materiaali, teos where kurssi.nro=materiaali.kurssi and materiaali.kirja=teos.nimi and materiaali.tyyppi= P and kurssinimi= Tietokannan hallinta kurssi.nro=materiaali.kurssi π teos.nimi, kirjanro materiaali.kirja=teos.nimi σ kurssi.nimi= Tietokannan hallinta σ materiaali.tyyppi= P kurssi materiaali teos 16.02.06 Tietokannan hallinta, kevät 2006, Jan 3

Kyselypuut ja ekvivalenssi Kyselypuun muokkauksessa vaihdetaan operaatioiden järjestyksiä tai korvataan jokin operaatio toisella operaatiolla. Muokatun kyselypuun pitäisi tuottaa sama tulos kuin aiemman. Kaksi operaatiosarjaa ovat ekvivalentteja, jos ne tuottavat saman tuloksen lähtötaulujen kaikilla instansseilla. ekvivalenssisäännöt määrittelevät millaiset muunnokset ovat sallittuja ilman, että tulos muuttuu. 16.02.06 Tietokannan hallinta, kevät 2006, Jan 4

Kyselypuut ja ekvivalenssi Valinnat voidaan yhdistää tai purkaa sisäkkäisiksi σ c1 c2... ck (R) σ c1 (σ c2 (... σ ck (R)..)) Valinnat ovat vaihdannaisia (commutative) σ c1 ( σ c2 (R)) σ c2 (σ c1 ( R)) Peräkkäisten projektioiden lopputuloksen määrä viimeisin projektio π a1 (R) π a1 (π a2 (..(R))) 16.02.06 Tietokannan hallinta, kevät 2006, Jan 5

Kyselypuut ja ekvivalenssi Ristitulon ja liitoksen ovat kommutatiivisia, osapuolten järjestys voidaan vaihtaa (kumpi on ulompi) RxS SxR R S S R Ristulo ja liitos ovat assosiatiiviset (suoritusjärjestys on vaidettavissa) Rx(SxT) (RxS)xT 16.02.06 Tietokannan hallinta, kevät 2006, Jan 6

Kyselypuut ja ekvivalenssi Projektion ja valinnan järjestys on vaihdettavissa kunhan kaikki valinnassa esiintyvät sarakkeet ovat mukana projektiossa. σ c (π a (R)) π a (σ c (..(R))) Valinta ja ristitulo voidaan yhdistää liitokseksi, jos kyseessä on liitosehto. R c S σ c (RxS) Valinta voidaan siirtää tapahtuvaksi ennen ristituloa tai liitosta, mikäli se koskee vain näiden argumenttia. σ c (RxS) σ c (R)xS 16.02.06 Tietokannan hallinta, kevät 2006, Jan 7

Kyselypuut ja ekvivalenssi Yleisesti valinta σ c (RxS) voidaan jakaa tauluja R ja S koskeviin osiin sekä liitosehtoon. σ c (RxS) σ c (σ cr (R) x σ cs ( S)) Projektio voidaan jakaa osiin jotka suorittetaan ennen ristituloa. π a (RxS) π a1 (R) x π a2 (S) Projektio voidaan jakaa osiin, jotka suoritetaan ennen liitosta, jos liitosehdon sarakkeet säilyvät. π a (R S) π a1 (R) π a2 (S) 16.02.06 Tietokannan hallinta, kevät 2006, Jan 8

Heuristisia muokkaussääntöjä 1. Hajotetaan disjuktiiviset valinnat valintojen yhdisteiksi. 2. Hajotetaan konjuktiiviset valinnat valintojen jonoiksi. 3. Tynöönetään valinnat mahdollisimman syvälle lausekkeeseen. 4. Työnnetään projektiot mahdollisimman syvälle lausekkeeseen. 5. Jokainen valintaoperaatio, jonka liitosehtona on kahden attribuutin yhtäläisyysehto, ja tämän argumenttina oleva karteesinen tulo tai liitos yhdistetään yhdeksi liitokseksi. 6. Useamman relaation liitoksen ryhmitellään niin, että ensiksi lasketaan liitokset, joiden argumenttirelaatiot arvioidaan pinikokoisimmiksi. 7. Yhdistetään jokainen peräkkäisistä valinnoista ja projektioista koostuva operaatiojono yhdeksi valinnaksi, yhdeksi projektioksi tai yhdeksi valintaprojektioksi. 8. Määrätään ne alilausekkeet, joiden operaatiot voidaan putkittaa. 16.02.06 Tietokannan hallinta, kevät 2006, Jan 9

Rajaavuus Rajaavuutta (selectivity) mitataan rajaus suhteella (reduction factor): tuloksen rivimäärä / lähtöjoukon rivimäärä Rajaavuuden arviointi ilman tilastotietoja on hankalaa. Kun testataan avaita yhtäsuuruutta suhteessa vakioon tuloksen koko on enintään 1 ja rajaussuhde 1/taulun koko (jos taulun kokoa ei tiedetä, sen tilalla voidaan käyttää taululle tehdyn tilanvarauksen kokoa, tai jotain vakiota, jos tätäkään ei tiedetä.). sarakkeen yhtäsuuruus verrattuna vakioon tuottaa tasaisen jakautuman oletuksella rajaussuhteen 1/sarakkeen arvojen lukumäärä. (jos sarakkeella on hakemisto voi arvojen lukumäärä olla tiedossa, tietotyypin määritys voi rajata arvojoukon esim. numeric(2) enintään 100 arvoa, järjestelmä voi käyttää oletusarvoa esim 1/10, jos sillä ei ole parempaa tietoa). 16.02.06 Tietokannan hallinta, kevät 2006, Jan 10

Rajaavuus Täsmällisemmän tiedon saanti rajaavuudesta edellyttää tilastotietoa: taulun koko (riveinä, sivuina) sarakkeen arvojen lukumäärä (riittää jos oletetaan tasainen jakautuma) sarakkeen arvojakautuma (histogrammi) käyttökelpoinen, jos jakautuma on hyvin vino. 16.02.06 Tietokannan hallinta, kevät 2006, Jan 11

Kustannuslaskentaoptimointi Laskenta edellyttää tilastoaineistoa. Tilastoaineisto pitää uudistaa kun tietokantaan on tehty merkittävästi muunnoksia. Tilastoaineistoon kuuluvat esim. taulujen ja indeksien koot sivujen lukumäärä, täyttösuhde sarakeen pienin ja suurin arvo, mahdollinen arvojen jakautumatieto 16.02.06 Tietokannan hallinta, kevät 2006, Jan 12

Kustannuslaskentaoptimointi Esimerkiksi Oraclessa on komento Analyze, jolla kustannuslaskennassa tarvittavan tilastotiedon saa tuotettua. Analyze table opiskelija estimate statistics; laskee taulukohtaisia tilastotietoja oletuskokoisen otoksen perusteella (otoskoon voi myös antaa). Analyse table opiskelija compute statistics for columns aloitusvuosi size 10; laskee sarakkeelle tilastotietoja käymällä läpi koko taulun, tuottaa myös jakautumatiedon (arvoväli jaettu 10 osaan). 16.02.06 Tietokannan hallinta, kevät 2006, Jan 13

Kustannuslaskentaoptimointi Oraclessa optimoijan tekemään suunnitelman saa selville lauseella EXPLAIN PLAN. esim: EXPLAIN PLAN SET STATEMENT_ID = 'Raise in Chicago' INTO plan_table FOR UPDATE emp SET sal = sal * 1.10 WHERE deptno = (SELECT deptno FROM dept WHERE loc = 'CHICAGO'); Yllä suunnitelma kirjoitetaan tässä plan_table nimiseen tauluun. Taulu täytyy olla luotu ennen lauseen käyttöä sen rakenne on seuraava: 16.02.06 Tietokannan hallinta, kevät 2006, Jan 14

Kustannuslaskentaoptimointi CREATE TABLE plan_table ( statement_id VARCHAR2(30), timestamp DATE, remarks VARCHAR2(80), operation VARCHAR2(30), options VARCHAR2(30), object_node VARCHAR2(128), object_owner VARCHAR2(30), object_name VARCHAR2(30), object_instance NUMERIC, object_type VARCHAR2(30), optimizer VARCHAR2(255), search_columns NUMERIC, id NUMERIC, parent_id NUMERIC, position NUMERIC, cost NUMERIC, cardinality NUMERIC, bytes NUMERIC, other_tag VARCHAR2(255), other LONG); tieto taulussa puumaisena rakenteena, parent_id kertoo mikä operaatio suoritetaan rivillä kuvattavan jälkeen 16.02.06 Tietokannan hallinta, kevät 2006, Jan 15

Kustannuslaskentaoptimointi esim hierarkkinen kysely SELECT LPAD(' ',2*(LEVEL 1)) operation operation, options, object_name, position FROM plan_table START WITH id = 0 AND statement_id = 'Raise in Chicago' CONNECT BY PRIOR id = parent_id AND statement_id = 'Raise in Chicago'; voisi tuottaa tuloksen OPERATION OPTIONS OBJECT_NAME POSITION UPDATE STATEMENT 1 FILTER 0 TABLE ACCESS FULL EMP 1 TABLE ACCESS FULL DEPT 2 16.02.06 Tietokannan hallinta, kevät 2006, Jan 16

Kustannuslaskentaoptimointi Kustannuslaskentaoptimoinnissa tuotetaan vaihtoehtoisia toteutussuunnitelmia ja lasketaan niille kustannus. Se, jonka kustannus on pienin valitaan. Kaikkia vaihtoehtoja ei lasketa, Esimerkiksi useiden liitosten järjestyksen määräämiseksi käytetään ns. vasensyvää puuta (left deep tree). Tässä liitosrakenne on muotoa. ((A join B) join C) join D... eli valmiiseen liitostulokseen liitetään taulu kerrallaan lokaalia optimointia: mikä liitos kannattaa tehdä ensin, mikä kannattaa liittää, sitten tämän tulokseen, jne. liitosrakenteita muotoa (A join B) join (C join D) ei arvioida. 16.02.06 Tietokannan hallinta, kevät 2006, Jan 17

Kustannuslaskentaoptimointi mahdollisia liitosjärjestyksiä tauluille A,B,C,D join join ei mahdollinen liitosjärjestys tauluille A,B,C,D join D join A join join C join D join join A B C B C B D A vasensyvät puut 16.02.06 Tietokannan hallinta, kevät 2006, Jan 18

Kustannuslaskentaoptimointi Vaikka optimoijalla onkin tiedossa tilastoaineistoa se voi silti päätyä ratkaisuun, joka ei ole välttämättä paras kyseiseen tilanteeseen. Monissa tkhj:ssä käyttäjä pystyy kyselyyn upotettujen vihjeiden avulla vaikuttamaan optimoijan toimintaan, alla Oracle vihje: SELECT /*+ ORDERED USE_NL(customers) */ accounts.balance, customers.last_name, customers.first_name FROM accounts, customers WHERE accounts.custno = customers.custno; Käytä sisäkkäisiä silmukoita, customers sisempänä tauluna. 16.02.06 Tietokannan hallinta, kevät 2006, Jan 19

Oracle: Kyselynkäsittelyarkkitehtuuri 16.02.06 Tietokannan hallinta, kevät 2006, Jan 20

Oracle: kyselynkäsittelijan rakenne 16.02.06 Tietokannan hallinta, kevät 2006, Jan 21

Oracle: tilastollinen optimoija Oraclen kyselyiden optimoijalle voidaan antaa nk. vihjeitä. Optimointitapa annetaan alustustiedostossa ja sitä voidaan vaihtaa ajonaikaisesti. ALTER SESSION SET OPTIMIZER_MODE. Oletusarvoisesti sääntöpohjainen optimoija on paras (näin sanoo ainakin vielä Oracle9i manuaalit). 16.02.06 Tietokannan hallinta, kevät 2006, Jan 22

Edellytykset tilastolliseen optimointiin Jotta tilastollinen optimointi antaisi parhaita mahdollisia tuloksia tulee taulut ja hakemistot ensin analysoida. Tilastollista tietoa voidaan kerätä niin tauluista, sarakkeista, hakemistoista että itse järjestelmästä. Ilman riittävän tuoretta ja tarkkaa tilastollista aineistoa fyysisistä rakenteista ei tilastollinen optimointi tuota tehokkaita kyselyn suoritustapoja. 16.02.06 Tietokannan hallinta, kevät 2006, Jan 23

Kerättävä tilastomateriaali Tauluista kerättävä tilastomateriaali. Rivien lukumäärä taulussa. Fyysisten lohkojen lukumäärä. Keskimääräinen rivinpituus. Sarakkeista kerättävä tilastomateriaali. Kuinka monta eri arvoa sarakkeella on. Kuinka monta tyhjää arvoa sarakkeella on. Tiedon jakautuminen (histogrammi). 16.02.06 Tietokannan hallinta, kevät 2006, Jan 24

Kerättävä tilastomateriaali Hakemistorakenteista kerättävä tilastomateriaali Lehtisolmujen lukumäärä Hakemistorakenteen korkeus (puun korkeus) Ryvästyskerroin Järjestelmästä kerättävä tilastomateriaali I/O:n tehokkuus ja käyttöaste CPU:n tehokkuus ja käyttöaste 16.02.06 Tietokannan hallinta, kevät 2006, Jan 25

Tilastomateriaalin kerääminen Arvioiminen perustuen satunnaisesti valittuun joukkoon datasta. Tarkka laskeminen. Käyttäjän määrittelemä tilastomateriaalin keräystapa. 16.02.06 Tietokannan hallinta, kevät 2006, Jan 26

Optimointitavat FIRST_ROWS(n) FIRST_ROWS ALL_ROWS CHOOSE ROLE 16.02.06 Tietokannan hallinta, kevät 2006, Jan 27

Optimointitapa: FIRST_ROWS(n) Optimoija valitsee tilastollisen optimointitavan riippumatta onko tilastomateriaalia olemassa. Optimoija valitsee parhaan mahdollisen suoritustavan, joka palauttaa ensimmäiset n riviä. Valittavia arvoja on 1 10 100 1000 16.02.06 Tietokannan hallinta, kevät 2006, Jan 28

Optimointitapa: ALL_ROWS Optimoija valitsee tilastollisen optimointitavan riippumatta onko tilastollista materiaalia olemassa. Valitaan se toteutustapa, joka minimoi käytetyt resurssit koko kyselyn suorittamiseksi. Huomioi siis kaikki syöterivit ja tulosrivit. 16.02.06 Tietokannan hallinta, kevät 2006, Jan 29

Optimointitapa: CHOOSE Optimoija valitsee tilastollisen ja sääntöpohjaisen optimoijan välillä. Jos vähintään yhdellä syötetauluista on olemassa tilastollista materiaalia, valitaan tilastollinen optimoija. Jos tilastomateriaali on puutteellista, kyselynkäsittelijä joutuu arvaamaan puuttuvien arvojen arvot ja saattaa muodostaa huonoja arvioita. Tämä on optimoijan oletusarvo. 16.02.06 Tietokannan hallinta, kevät 2006, Jan 30

Optimointitapa: ROLE Optimoija käyttää vain sääntöpohjaista optimointia riippumatta onko tilastomateriaalia olemassa vai eikö. Esimerkkejä: ALTER SESSION SET OPTIMIZER_MODE = FIRST_ROWS_10; ALTER SESSION SET OPTIMIZER_MODE = ROLE; 16.02.06 Tietokannan hallinta, kevät 2006, Jan 31

Tilastotietojen generointi Tapahtuu Oracle9i versiossa käyttämällä DBMS_STATS pakkausta. GATHER_INDEX_STATS GATHER_TABLE_STATS GATHER_SCHEMA_STATS GATHER_DATABASE_STATS GATHER_SYSTEM_STATS Aikaisemmissa versioissa tapahtuu käyttämällä ANALYZEkomentoa. ANALYZE TABLE X COMPUTE STATISTICS; ANALYZE INDEX X COMPUTE STATISTICS; ANALYZE TABLE X ESTIMATE STATISTICS; 16.02.06 Tietokannan hallinta, kevät 2006, Jan 32

Vihjeiden antaminen SQL*Plus {DELETE INSERT SELECT UPDATE} /*+ hint [text] [hint[text]]... */ tai {DELETE INSERT SELECT UPDATE} + hint [text] [hint[text]]... 16.02.06 Tietokannan hallinta, kevät 2006, Jan 33

Vihjeet 1 FULL(table): The FULL hint explicitly chooses a full table scan for the specified table. ROWID(table): The ROWID hint explicitly chooses a table scan by rowid for the specified table. CLUSTER(table): The CLUSTER hint explicitly chooses a cluster scan to access the specified table. It applies only to clustered objects. HASH(table): The HASH hint explicitly chooses a hash scan to access the specified table. It applies only to tables stored in a cluster. 16.02.06 Tietokannan hallinta, kevät 2006, Jan 34

Vihjeet 2 INDEX(table index): The INDEX hint explicitly chooses an index scan for the specified table. ORDERED: The ORDERED hint causes Oracle to join tables in the order in which they appear in the FROM clause. USE_NL(table, ): The USE_NL hint causes Oracle to join each specified table to another row source with a nested loops join, using the specified table as the inner table. 16.02.06 Tietokannan hallinta, kevät 2006, Jan 35

Vihjeet 3 USE_MERGE(table, ): The USE_MERGE hint causes Oracle to join each specified table with another row source, using a sort merge join. USE_HASH(table, ): The USE_HASH hint causes Oracle to join each specified table with another row source, using a hash join. 16.02.06 Tietokannan hallinta, kevät 2006, Jan 36

Käytännön esimerkki: Tietokanta rengastettujen lintujen seurantaan, koko n 8GB. Yleisimmässä hakutavassa liitetään yhteen kolme taulua: RENGASTUS: tiedot linnusta rengastustapahtumassa, 50 attribuuttia, 3500000 riviä, avain RSTUNNUS,RSTUNNUS2. RENGASTETTU: kaikki käytetyt renkaat, 6 attribuuttia, 6600000 riviä, avain RLNIMIR. TAPAAMINEN: rengastetun linnun uudelleenlöytötiedot, 66 attribuuttia, 785000 riviä, avain TADIARIO. 16.02.06 Tietokannan hallinta, kevät 2006, Jan 37

Tärkeimmät kentät RENGASTUS RSTUNNUS, RSTUNNUS2, avain : renkaiden tunnukset RS_LALYH: lajilyhenne RENGASTETTU RLNIMIR, avain: linnun nimirengas (eli henkilötunnus) TAPAAMINEN TADIARIO, avain TANIMIR: linnun nimirengas TAJALKAR: linnun jalassa nyt oleva rengas TAPVM: tapaamispäivä 16.02.06 Tietokannan hallinta, kevät 2006, Jan 38

Kysely SELECT R.RSTUNNUS nimir,to_char(t.tadiario,'00000000'), T.TANIMIR,TO_CHAR(T.TAPVM,'YYYYMMDD' ) FROM RENGASTUS R, RENGASTETTU RT,TAPAAMINEN T WHERE R.RS_LALYH = STRURA' AND RT.RLUJALKAR BETWEEN R.RSTUNNUS AND R.RSTUNNUS2 AND RT.RLNIMIR = T.TANIMIR ORDER BY T.TANIMIR,T.TAPVM,T.TADIARIO; 16.02.06 Tietokannan hallinta, kevät 2006, Jan 39

ORACLE: oletussuoritus QUERY_PLAN SORT ORDER BY HASH JOIN TABLE ACCESS FULL RENGASTETTU MERGE JOIN CARTESIAN TABLE ACCESS BY ROWID RENGASTUS INDEX RANGE SCAN XSRENGASTUS1 SORT JOIN INDEX FULL SCAN XSTAPAAMINEN11 16.02.06 Tietokannan hallinta, kevät 2006, Jan 40

Analyysi 1 Kyselyn suoritusaika noin 209s Kyselyä ei tosiaankaan kannata suorittaa tuolla tavalla, koska: RS_LALYH on rajaava ehto Voisi käyttää viiteavaimen hakemistoa kentälle RLNIMIR HASH_JOIN, MERGE_JOIN??? Kerrotaanpa optimoijalle hieman lisää tietoa siitä miten kysely tulisi suorittaa. 16.02.06 Tietokannan hallinta, kevät 2006, Jan 41

Kysely2: SELECT /*+ ORDERED FIRST_ROWS USE_NL(R,RT,T) INDEX(R) INDEX(T) INDEX(RT) */ R.RSTUNNUS nimir, TO_CHAR(T.TADIARIO,'00000000'), T.TANIMIR, TO_CHAR(T.TAPVM,'YYYYMMDD') fold_after FROM RENGASTUS R,RENGASTETTU RT,TAPAAMINEN T WHERE R.RS_LALYH = 'STRURA' AND RT.RLUJALKAR BETWEEN R.RSTUNNUS AND R.RSTUNNUS2 AND RT.RLNIMIR = T.TANIMIR ORDER BY T.TANIMIR,T.TAPVM,T.TADIARIO; 16.02.06 Tietokannan hallinta, kevät 2006, Jan 42

Tulos? QUERY_PLAN SORT ORDER BY NESTED LOOPS NESTED LOOPS TABLE ACCESS BY ROWID RENGASTUS INDEX RANGE SCAN XSRENGASTUS1 TABLE ACCESS BY ROWID RENGASTETTU INDEX RANGE SCAN XPRENGASTETTU TABLE ACCESS BY ROWID TAPAAMINEN INDEX RANGE SCAN XSTAPAAMINEN10 16.02.06 Tietokannan hallinta, kevät 2006, Jan 43

Analyysi 2 Kyselyn suoritus vie noin 11s. ORDERED Liitoksessa taulujen järjestys on se mikä annettu kyselyssä FIRST_ROWS Optimoidaan ensimmäisten tulosrivien kustannusta. USE_NL(A,B,..) Liitoksen toteutukseen käytetään sisäkkäisiä silmukoita. 16.02.06 Tietokannan hallinta, kevät 2006, Jan 44