TERADATAN JA SAS DI STUDION YHTEISELO CASE LÄHITAPIOLA SAS forum Helsinki 2013 LTC Otso - Kristiina Korhonen 24.9.2013
LTC-OTSO ASIAKKAIDEN KESKEINEN KUMPPANI JA LIIKETOIMINNAN MAHDOLLISTAJA LTC-Otso Oy kehittää ja tarjoaa pankki- ja vakuutusalan ICT-palveluita LähiTapiola- ryhmälle, Eteralle, Turvalle ja ELOlle. Tuotamme palveluita seuraavilla liiketoimintatoiminta-alueilla Vahinko-, Henki- ja Eläkevakuutusliiketoiminta. Pankki-, Sijoitus-, Varanhoito-, kiinteistövarainhoito, Maksuliike- ja laskutuspalvelut, Taloushallinto, Henkilöstöhallinto ja sisäiset palvelut, Verkkoliiketoiminta ja Asiakashallintaratkaisut, Viestintä, sekä Kehitys- ja ICT-palvelut. Palvelumme kattaa seuraavat ICT palvelukokonaisuudet: Asiantuntija-, projekti- ja jatkuvat palvelut Liiketoiminta- ja ratkaisukonsultointi Tuote- ja integraatioratkaisut Vastuullamme on yli 250 asiakkaidemme sovellusta, joista monet ovat liiketoimintakriittisiä. 3
TERADATAN JA SAS DI STUDION YHTEISELO CASE LÄHITAPIOLA Sisältö 1. DW Appliancen hankinta 2. LähiTapiolan uusi DW arkkitehtuuri 3. Teradatan käyttöönotto ja ETLn konversio 4. Lopputulos 4
DW APPLIANCEN HANKINTA CASE LÄHITAPIOLA Lähtötilanne EDW-alustana DB2 mainframella Tietomassat kasvussa ETL-välineenä SAS DI Studio Tavoite Lisää suorituskykyä Joustavuutta kannanhoitoon Nopeutta sovelluskehitykseen Käyttökustannukset alas ETLn siirto minimimuutoksin 5
DW APPLIANCEN HANKINTA CASE LÄHITAPIOLA Prosessi Proof of Concept PoC kahdelle appliance-toimittajalle Laitteistojen toimitus 1kk Testiaikaa 10 työpäivää / toimittaja 1. Suorituskykytesti Raskaat taktiset kyselyt Samanaikaiset kyselyt (Silkperformer) 2. SAS ETL konversiotesti (DB2 -> TD) Arvio tulevasta työmäärästä 6
TERADATA DW APPLIANCE Fyysinen laite (Linux server) Valmiiksi asennettu tehtaalla Käyttöjärjestelmä DBMS Tilattu määrä levytilaa Tehokkuus perustuu rinnakkaiskäsittelyyn ja tietojen automaattiseen hajauttamiseen Automaattinen kompressointi pakkaa tiedot kolmasosaan alkuperäisestä TEST: Teradata 560 6 TB PROD: Teradata 2960 4 TB (+ 5 TB optiona) 7
TERADATA KOMPONENTIT Teradatan fyysisessä mallissa huomioitava: Primary Index eli fyysinen hajautusavain 1. Periaatteessa valitaan sen mukaan että tiedot saadaan jaettua levypinnalle tasaisesti 2. Taulujen liitokset halutaan aina mahdollisuuksien mukaan tehdä samalla AMPilla eli liitettävien taulujen primary indeksit ovat samat 8
UUDEN DW-ALUSTAN KÄYTTÖÖNOTTO Nopeasti käyttöön - Kestävät ratkaisut vaativat silti aikaa Teradata Laite ja tietokanta käytettävissä, kun sähköt päällä ja kiinni verkossa Kantojen luonti, kevyt optimointi 1 päivässä DB2-taulujen luontilauseet sopivat lähes 1:1 Teradatalle ETL SAS Metadatan siirto uudelle palvelimelle Konversio SAS9.2 -> SAS9.3 Vanhojen ETL-jobien läpikäynti ja välttämättömät muutokset ~3 kk 9
SAS DI STUDIOSSA ETL -> ELT Muistilistaa ETL-kehittäjälle kun tavoitteena in-database Tuo lähtötiedot mahdollisimman nopeasti Teradata-kantaan Landing -arealle Käytä latauksessa SASista Teradataan TeradataTableLoadertransformaatiota Lataa Teradatan sisällä taulusta toiseen SQL Insertillä Päivitykseen SQL Merge-transformaatio (DIS 4.5 ->) Valitse DIS-transformaatioissa pass-thru=yes 10
SAS DI STUDIOSSA ETL -> ELT Muistilistaa ETL-kehittäjälle kun tavoitteena in-database Vältä: SASWORKia Välituloksetkin Teradataan (esim. SQL Join) SAS Data-vaihetta (esim. Splitter) SAS-funktioita Esim. aikaleiman muodostus päivämäärästä Ennen: DHMS(PVM,23,59,59) Nyt: CAST(PVM as timestamp(0)) + interval '23' hour + interval '59' minute + interval '59' second 11
UUSI DW-ARKKITEHTUURI Tietolähteet DB2 nn CSV ETL KEHITYS/TESTI Windows-server - SAS 9.3 - SAS Metadata server - SAS Application server - SAS Access to Teradata & DB2 SVN versionhallinta SAS Metadatalle ETL TUOTANTO Windows-server - SAS 9.3 - SAS Batch server - SAS Access to Teradata & DB2 - Control-M ajastus Teradata Kehitys Tiedon muokkaus ja varastointi Teradata Tuotanto Tiedon hyödyntäminen BI välineet ja sovellukset 12
TERADATAN KÄYTTÖÖNOTTO Lopputulos Raskaiden kyselyiden nopeutuminen tunneista minuutteja, minuuteista sekunteja Kannanhoidon keventyminen ei tilanhallintaa, reorganisointia tai pakollista indeksointia Kehityskannassa myös sovelluskehittäjille enemmän kantaoikeuksia Vanha ETL konvertoitui kohtuullisella työmäärällä Täysi hyöty saadaan vasta, kun ELT-kehitys tehdään alusta alkaen Teradataa varten 13