Kyselypuut ja ekvivalenssi. Kyselyiden optimointi. Kyselypuut ja ekvivalenssi. Kyselypuut ja ekvivalenssi. R & G Chapter 12-15

Transkriptio

1 Kyselypuut ja ekvivalenssi Kyselyiden optimointi R & G Chapter Sisäisessä esityksessä kyselyt esitetään kyselypuuna lehdissä taulut juuressa lopputulos välisolmuina suoritettavat operaatiot select teos.nimi, kirjanro from kurssi, materiaali, teos where kurssi.nro=materiaali.kurssi and materiaali.kirja=teos.nimi and materiaali.tyyppi= P and kurssinimi= Tietokannan hallinta π teos.nimi, kirjanro σ kurssi.nimi= Tietokannan hallinta σ materiaali.kirja=teos.nimi σ kurssi.nro=materiaali.kurssi σ materiaali.tyyppi= P x x 1 kurssi materiaali teos 2 Kyselypuut ja ekvivalenssi Kyselypuut ja ekvivalenssi Optimoitu kyselypuu valinnat mahdollisimman aikaisin ristitulot liitoksiksi select teos.nimi, kirjanro from kurssi, materiaali, teos where kurssi.nro=materiaali.kurssi and materiaali.kirja=teos.nimi and materiaali.tyyppi= P and kurssinimi= Tietokannan hallinta kurssi.nro=materiaali.kurssi π teos.nimi, kirjanro materiaali.kirja=teos.nimi Kyselypuun muokkauksessa vaihdetaan operaatioiden järjestyksiä tai korvataan jokin operaatio toisella operaatiolla. Muokatun kyselypuun pitäisi tuottaa sama tulos kuin aiemman. Kaksi operaatiosarjaa ovat ekvivalentteja, jos ne tuottavat saman tuloksen lähtötaulujen kaikilla instansseilla. ekvivalenssisäännöt määrittelevät millaiset muunnokset ovat sallittuja ilman, että tulos muuttuu. σ kurssi.nimi= Tietokannan hallinta σ materiaali.tyyppi= P kurssi materiaali teos 3 4 1

2 Kyselypuut ja ekvivalenssi Valinnat voidaan yhdistää tai purkaa sisäkkäisiksi σ c1 c2... ck (R) σ c1 (σ c2 (... σ ck (R)..)) Valinnat ovat vaihdannaisia (commutative) σ c1 ( σ c2 (R)) σ c2 (σ c1 ( R)) Peräkkäisten projektioiden lopputuloksen määrä viimeisin projektio π a1 (R) π a1 (π a2 (..(R))) Kyselypuut ja ekvivalenssi Ristitulon ja liitoksen ovat kommutatiivisia, osapuolten järjestys voidaan vaihtaa (kumpi on ulompi) RxS SxR R S S R Ristulo ja liitos ovat assosiatiiviset (suoritusjärjestys on vaidettavissa) Rx(SxT) (RxS)xT 5 6 Kyselypuut ja ekvivalenssi Kyselypuut ja ekvivalenssi Projektion ja valinnan järjestys on vaihdettavissa kunhan kaikki valinnassa esiintyvät sarakkeet ovat mukana projektiossa. σ c (π a (R)) π a (σ c (..(R))) Valinta ja ristitulo voidaan yhdistää liitokseksi, jos kyseessä on liitosehto. R c S σ c (RxS) Valinta voidaan siirtää tapahtuvaksi ennen ristituloa tai liitosta, mikäli se koskee vain näiden argumenttia. σ c (RxS) σ c (R)xS Yleisesti valinta σ c (RxS) voidaan jakaa tauluja R ja S koskeviin osiin sekä liitosehtoon. σ c (RxS) σ c (σ cr (R) x σ cs ( S)) Projektio voidaan jakaa osiin jotka suorittetaan ennen ristituloa. π a (RxS) π a1 (R) x π a2 (S) Projektio voidaan jakaa osiin, jotka suoritetaan ennen liitosta, jos liitosehdon sarakkeet säilyvät. π a (R S) π a1 (R) π a2 (S) 7 8 2

3 Heuristisia muokkaussääntöjä Hajotetaan disjuktiiviset valinnat valintojen yhdisteiksi. Hajotetaan konjuktiiviset valinnat valintojen jonoiksi. Tynöönetään valinnat mahdollisimman syvälle lausekkeeseen. Työnnetään projektiot mahdollisimman syvälle lausekkeeseen. Jokainen valintaoperaatio, jonka liitosehtona on kahden attribuutin yhtäläisyysehto, ja tämän argumenttina oleva karteesinen tulo tai liitos yhdistetään yhdeksi liitokseksi. Useamman relaation liitoksen ryhmitellään niin, että ensiksi lasketaan liitokset, joiden argumenttirelaatiot arvioidaan pinikokoisimmiksi. Yhdistetään jokainen peräkkäisistä valinnoista ja projektioista koostuva operaatiojono yhdeksi valinnaksi, yhdeksi projektioksi tai yhdeksi valintaprojektioksi. Määrätään ne alilausekkeet, joiden operaatiot voidaan putkittaa. Rajaavuus Rajaavuutta (selectivity) mitataan rajaus-suhteella (reduction factor): tuloksen rivimäärä / lähtöjoukon rivimäärä Rajaavuuden arviointi ilman tilastotietoja on hankalaa. Kun testataan avaita yhtäsuuruutta suhteessa vakioon tuloksen koko on enintään 1 ja rajaussuhde 1/taulun koko (jos taulun kokoa ei tiedetä, sen tilalla voidaan käyttää taululle tehdyn tilanvarauksen kokoa, tai jotain vakiota, jos tätäkään ei tiedetä.). sarakkeen yhtäsuuruus verrattuna vakioon tuottaa tasaisen jakautuman oletuksella rajaussuhteen 1/sarakkeen arvojen lukumäärä. (jos sarakkeella on hakemisto voi arvojen lukumäärä olla tiedossa, tietotyypin määritys voi rajata arvojoukon esim. numeric(2) enintään 100 arvoa, järjestelmä voi käyttää oletusarvoa esim 1/10, jos sillä ei ole parempaa tietoa) Rajaavuus Täsmällisemmän tiedon saanti rajaavuudesta edellyttää tilastotietoa: taulun koko (riveinä, sivuina) sarakkeen arvojen lukumäärä (riittää jos oletetaan tasainen jakautuma) sarakkeen arvojakautuma (histogrammi) käyttökelpoinen, jos jakautuma on hyvin vino. Laskenta edellyttää tilastoaineistoa. Tilastoaineisto pitää uudistaa kun tietokantaan on tehty merkittävästi muunnoksia. Tilastoaineistoon kuuluvat esim. taulujen ja indeksien koot sivujen lukumäärä, täyttösuhde sarakeen pienin ja suurin arvo, mahdollinen arvojen jakautumatieto

4 Esimerkiksi Oraclessa on komento Analyze, jolla kustannuslaskennassa tarvittavan tilastotiedon saa tuotettua. Analyze table opiskelija estimate statistics; laskee taulukohtaisia tilastotietoja oletuskokoisen otoksen perusteella (otoskoon voi myös antaa). Analyse table opiskelija compute statistics for columns aloitusvuosi size 10; laskee sarakkeelle tilastotietoja käymällä läpi koko taulun, tuottaa myös jakautumatiedon (arvoväli jaettu 10 osaan). Oraclessa optimoijan tekemään suunnitelman saa selville lauseella EXPLAIN PLAN. esim: EXPLAIN PLAN SET STATEMENT_ID = 'Raise in Chicago' INTO plan_table FOR UPDATE emp SET sal = sal * 1.10 WHERE deptno = (SELECT deptno FROM dept WHERE loc = 'CHICAGO'); Yllä suunnitelma kirjoitetaan tässä plan_table nimiseen tauluun. Taulu täytyy olla luotu ennen lauseen käyttöä sen rakenne on seuraava: CREATE TABLE plan_table ( statement_id VARCHAR2(30), timestamp DATE, remarks VARCHAR2(80), operation VARCHAR2(30), options VARCHAR2(30), object_node VARCHAR2(128), object_owner VARCHAR2(30), object_name VARCHAR2(30), object_instance NUMERIC, object_type VARCHAR2(30), optimizer VARCHAR2(255), search_columns NUMERIC, id NUMERIC, parent_id NUMERIC, position NUMERIC, cost NUMERIC, cardinality NUMERIC, bytes NUMERIC, other_tag VARCHAR2(255), other LONG); tieto taulussa puumaisena rakenteena, parent_id kertoo mikä operaatio suoritetaan rivillä kuvattavan jälkeen esim hierarkkinen kysely SELECT LPAD(' ',2*(LEVEL-1)) operation operation, options, object_name, position FROM plan_table START WITH id = 0 AND statement_id = 'Raise in Chicago' CONNECT BY PRIOR id = parent_id AND statement_id = 'Raise in Chicago'; voisi tuottaa tuloksen OPERATION OPTIONS OBJECT_NAME POSITION UPDATE STATEMENT 1 FILTER 0 TABLE ACCESS FULL EMP 1 TABLE ACCESS FULL DEPT

5 Kustannuslaskentaoptimoinnissa tuotetaan vaihtoehtoisia toteutussuunnitelmia ja lasketaan niille kustannus. Se, jonka kustannus on pienin valitaan. Kaikkia vaihtoehtoja ei lasketa, Esimerkiksi useiden liitosten järjestyksen määräämiseksi käytetään ns. vasensyvää puuta (left deep tree). Tässä liitosrakenne on muotoa. ((A B) C) D... eli valmiiseen liitostulokseen liitetään taulu kerrallaan lokaalia optimointia: mikä liitos kannattaa tehdä ensin, mikä kannattaa liittää, sitten tämän tulokseen, jne. mahdollisia liitosjärjestyksiä tauluille A,B,C,D C D D A ei mahdollinen liitosjärjestys tauluille A,B,C,D liitosrakenteita muotoa (A B) (C D) ei arvioida. A B C B C B D A vasensyvät puut Oracle: Kyselynkäsittelyarkkitehtuuri Vaikka optimoijalla onkin tiedossa tilastoaineistoa se voi silti päätyä ratkaisuun, joka ei ole välttämättä paras kyseiseen tilanteeseen. Monissa tkhj:ssä käyttäjä pystyy kyselyyn upotettujen vihjeiden avulla vaikuttamaan optimoijan toimintaan, alla Oracle vihje: SELECT /*+ ORDERED USE_NL(customers) */ accounts.balance, customers.last_name, customers.first_name FROM accounts, customers WHERE accounts.custno = customers.custno; Käytä sisäkkäisiä silmukoita, customers sisempänä tauluna

6 Oracle: kyselynkäsittelijan rakenne Oracle: tilastollinen optimoija Oraclen kyselyiden optimoijalle voidaan antaa nk. vihjeitä. Optimointitapa annetaan alustustiedostossa ja sitä voidaan vaihtaa ajonaikaisesti. ALTER SESSION SET OPTIMIZER_MODE. Oletusarvoisesti sääntöpohjainen optimoija on paras (näin sanoo ainakin vielä Oracle9i manuaalit) Edellytykset tilastolliseen optimointiin Kerättävä tilastomateriaali Jotta tilastollinen optimointi antaisi parhaita mahdollisia tuloksia tulee taulut ja hakemistot ensin analysoida. Tilastollista tietoa voidaan kerätä niin tauluista, sarakkeista, hakemistoista että itse järjestelmästä. Ilman riittävän tuoretta ja tarkkaa tilastollista aineistoa fyysisistä rakenteista ei tilastollinen optimointi tuota tehokkaita kyselyn suoritustapoja. Tauluista kerättävä tilastomateriaali. Rivien lukumäärä taulussa. Fyysisten lohkojen lukumäärä. Keskimääräinen rivinpituus. Sarakkeista kerättävä tilastomateriaali. Kuinka monta eri arvoa sarakkeella on. Kuinka monta tyhjää arvoa sarakkeella on. Tiedon jakautuminen (histogrammi)

7 Kerättävä tilastomateriaali Tilastomateriaalin kerääminen Hakemistorakenteista kerättävä tilastomateriaali Lehtisolmujen lukumäärä Hakemistorakenteen korkeus (puun korkeus) Ryvästyskerroin Järjestelmästä kerättävä tilastomateriaali I/O:n tehokkuus ja käyttöaste CPU:n tehokkuus ja käyttöaste Arvioiminen perustuen satunnaisesti valittuun joukkoon datasta. Tarkka laskeminen. Käyttäjän määrittelemä tilastomateriaalin keräystapa FIRST_ROWS(n) FIRST_ROWS ALL_ROWS CHOOSE ROLE Optimointitavat Optimointitapa: FIRST_ROWS(n) Optimoija valitsee tilastollisen optimointitavan riippumatta onko tilastomateriaalia olemassa. Optimoija valitsee parhaan mahdollisen suoritustavan, joka palauttaa ensimmäisetn riviä. Valittavia arvoja on

8 Optimointitapa: ALL_ROWS Optimoija valitsee tilastollisen optimointitavan riippumatta onko tilastollista materiaalia olemassa. Valitaan se toteutustapa, joka minimoi käytetyt resurssit koko kyselyn suorittamiseksi. Huomioi siis kaikki syöterivit ja tulosrivit. Optimointitapa: CHOOSE Optimoija valitsee tilastollisen- ja sääntöpohjaisen optimoijan välillä. Jos vähintään yhdellä syötetauluista on olemassa tilastollista materiaalia, valitaan tilastollinen optimoija. Jos tilastomateriaali on puutteellista, kyselynkäsittelijä joutuu arvaamaan puuttuvien arvojen arvot ja saattaa muodostaa huonoja arvioita. Tämä on optimoijan oletusarvo Optimointitapa: ROLE Tilastotietojen generointi Optimoija käyttää vain sääntöpohjaista optimointia riippumatta onko tilastomateriaalia olemassa vai eikö. Esimerkkejä: ALTER SESSION SET OPTIMIZER_MODE = FIRST_ROWS_10; ALTER SESSION SET OPTIMIZER_MODE = ROLE; 31 Tapahtuu Oracle9i versiossa käyttämällä DBMS_STATS pakkausta. GATHER_INDEX_STATS GATHER_TABLE_STATS GATHER_SCHEMA_STATS GATHER_DATABASE_STATS GATHER_SYSTEM_STATS Aikaisemmissa versioissa tapahtuu käyttämällä ANALYZEkomentoa. ANALYZE TABLE X COMPUTE STATISTICS; ANALYZE INDEX X COMPUTE STATISTICS; ANALYZE TABLE X ESTIMATE STATISTICS; 32 8

9 Vihjeiden antaminen SQL*Plus {DELETE INSERT SELECT UPDATE} /*+ hint [text] [hint[text]]... */ tai {DELETE INSERT SELECT UPDATE} --+ hint [text] [hint[text]]... Vihjeet 1 FULL(table): The FULL hint explicitly chooses a full table scan for the specified table. ROWID(table): The ROWID hint explicitly chooses a table scan by rowid for the specified table. CLUSTER(table): The CLUSTER hint explicitly chooses a cluster scan to access the specified table. It applies only to clustered objects. HASH(table): The HASH hint explicitly chooses a hash scan to access the specified table. It applies only to tables stored in a cluster Vihjeet 2 Vihjeet 3 INDEX(table index): The INDEX hint explicitly chooses an index scan for the specified table. ORDERED: The ORDERED hint causes Oracle to tables in the order in which they appear in thefrom clause. USE_NL(table, ): The USE_NL hint causes Oracle to each specified table to another row source with a nested loops, using the specified table as the inner table. USE_MERGE(table, ): The USE_MERGE hint causes Oracle to each specified table with another row source, using a sort-merge. USE_HASH(table, ): TheUSE_HASH hint causes Oracle to each specified table with another row source, using a hash

10 Käytännön esimerkki: Tietokanta rengastettujen lintujen seurantaan, koko n 8GB. Yleisimmässä hakutavassa liitetään yhteen kolme taulua: RENGASTUS: tiedot linnusta rengastustapahtumassa, 50 attribuuttia, riviä, avain RSTUNNUS,RSTUNNUS2. RENGASTETTU: kaikki käytetyt renkaat, 6 attribuuttia, riviä, avain RLNIMIR. TAPAAMINEN: rengastetun linnun uudelleenlöytötiedot, 66 attribuuttia, riviä, avain TADIARIO. Tärkeimmät kentät RENGASTUS RSTUNNUS, RSTUNNUS2, avain : renkaiden tunnukset RS_LALYH: lajilyhenne RENGASTETTU RLNIMIR, avain: linnun nimirengas (eli henkilötunnus) TAPAAMINEN TADIARIO, avain TANIMIR: linnun nimirengas TAJALKAR: linnun jalassa nyt oleva rengas TAPVM: tapaamispäivä Kysely ORACLE: oletussuoritus SELECT R.RSTUNNUS nimir,to_char(t.tadiario,' '), T.TANIMIR,TO_CHAR(T.TAPVM,'YYYYMMDD' ) FROM RENGASTUS R, RENGASTETTU RT,TAPAAMINEN T WHERE R.RS_LALYH = STRURA' AND RT.RLUJALKAR BETWEEN R.RSTUNNUS AND R.RSTUNNUS2 AND RT.RLNIMIR = T.TANIMIR ORDER BY T.TANIMIR,T.TAPVM,T.TADIARIO; QUERY_PLAN SORT ORDER BY HASH JOIN TABLE ACCESS FULL RENGASTETTU MERGE JOIN CARTESIAN TABLE ACCESS BY ROWID RENGASTUS INDEX RANGE SCAN XSRENGASTUS1 SORT JOIN INDEX FULL SCAN XSTAPAAMINEN

11 Analyysi 1 Kyselyn suoritusaika noin 209s Kyselyä ei tosiaankaan kannata suorittaa tuolla tavalla, koska: RS_LALYH on rajaava ehto Voisi käyttää viiteavaimen hakemistoa kentälle RLNIMIR HASH_JOIN, MERGE_JOIN??? Kerrotaanpa optimoijalle hieman lisää tietoa siitä miten kysely tulisi suorittaa. Kysely2: SELECT /*+ ORDERED FIRST_ROWS USE_NL(R,RT,T) INDEX(R) INDEX(T) INDEX(RT) */ R.RSTUNNUS nimir, TO_CHAR(T.TADIARIO,' '), T.TANIMIR, TO_CHAR(T.TAPVM,'YYYYMMDD') fold_after FROM RENGASTUS R,RENGASTETTU RT,TAPAAMINEN T WHERE R.RS_LALYH = 'STRURA' AND RT.RLUJALKAR BETWEEN R.RSTUNNUS AND R.RSTUNNUS2 AND RT.RLNIMIR = T.TANIMIR ORDER BY T.TANIMIR,T.TAPVM,T.TADIARIO; Tulos? Analyysi 2 QUERY_PLAN SORT ORDER BY NESTED LOOPS NESTED LOOPS TABLE ACCESS BY ROWID RENGASTUS INDEX RANGE SCAN XSRENGASTUS1 TABLE ACCESS BY ROWID RENGASTETTU INDEX RANGE SCAN XPRENGASTETTU TABLE ACCESS BY ROWID TAPAAMINEN INDEX RANGE SCAN XSTAPAAMINEN10 Kyselyn suoritus vie noin 11s. ORDERED Liitoksessa taulujen järjestys on se mikä annettu kyselyssä FIRST_ROWS Optimoidaan ensimmäisten tulosrivien kustannusta. USE_NL(A,B,..) Liitoksen toteutukseen käytetään sisäkkäisiä silmukoita