DI Studion käyttökokemuksia. Kaisu Ikonen, Tilastokeskus

Transkriptio

1 Kaisu Ikonen, Tilastokeskus

2 Sisältö SAS Tilastokeskuksessa 2012 Esimerkki DIS-projektista Erityiskysymyksiä

3 SAS Tilastokeskuksessa 2012 SAS-käyttäjiä 350, joista IT-puolella noin 50. Tilastotuotannon eri vaiheissa: tiedon hankinta, datan muokkaus, analyysi, julkaiseminen SAS TK:ssa vuodesta 1984 lähtien. SAS-arkkitehtuurin käyttöönotto Siirtyminen uusiin käyttöliittymiin ja palvelinympäristöön

4 Uusi SAS-palvelinympäristö

5 Esim. DIS-projekti 1/4 Tiedonkeruun tiedonsiirto-ohjelmat (ETL)

6 Esim. DIS-projekti 2/4 DI Studiolla tehdään kirjastojen määrittely aineistojen rekisteröinti jobien muodostus poiminta muokkaus lataus webservicen käynnistys stored prosessien tallennus ohjelmien ylläpito versionhallinta

7 Esim. DIS-projekti 3/4 DIS:n ohella käytetään mm.: SAS EG kehitysvaiheessa kokeiluja base-koodilla ohjaustaulujen päivitys STP:ien käynnistys testaus SAS MC: käyttöoikeuksien ja muun metadatan hallinta.net-käyttöliittymät: STP:ien käynnistys?: ajastus

8 Esim. DIS-projekti 4/

9 Erityiskysymyksiä 1: Käyttöoikeudet SAS-metadatassa ACT:t l. saman käyttöoikeusrakenteen jakaminen useille hakemistoille yhdellä henkilöllä useita eri käyttäjätunnuksia esim. nieminen_atp, nieminen_khi ulkoisiin resursseihin henkilökohtainen tunnus jakaminen metadatassa ryhmän avulla esim. Nieminen Kristiina (RYHMÄ) autentikointidomainit AUTHDOMAIN = SQL1_AUTH

10 Erityiskysymyksiä 2: Webservicen käynnistys User written transformation ja proc soap

11 Erityiskysymyksiä 3: Tietokantayhteyksien määrittely testi- ja tuotantokanta samalla tietokantapalvelimella erinimisinä, esim. tk_tiedonkeruut ja tk_tiedonkeruut_testi nimeäminen ODBC.iniin ja MC:n Server Manageriin DATASRC = SAS-testipalvelin SAS-tuotantopalvelin Tk_tiedonkeruut Tk_tiedonkeruut_testi Tk_tiedonkeruut Tk_tiedonkeruut_testi Tk_tiedonkeruut_testi Tk_tiedonkeruut_testi Tk_tiedonkeruut_tuotanto Tk_tiedonkeruut Tk_tiedonkeruut

12 Erityiskysymyksiä 4: Tietokantalatausten suorituskyky odbc-ajuri systeemioptiot pass-through proxy-välityspalvelin ja ole db näkymän kautta lataus libname-määrittelyjen optiot (Advanced Options ) Table loader transformaation valinnat Jobi-editorin automation-asetukset

13 Erityiskysymyksiä 5: Taulun parametrisointi ja jobin looppaus Parametrirized Job + Control Table + Iterative Job

14 Erityiskysymyksiä 6: Jobin osien uudelleenkäyttö copy-paste, oma transformaatio, kokoomajobi, looppaus, shared prompts ohjaustaulut, tiedostot palvelimella, makrofunktiot

15 Erityiskysymyksiä 7: EXEC -komennot SQL Serverille 4.4:ssa uusi transformaatio The Execute transformation enables you to specify custom SQL code to be executed. It provides SQL templates for supported databases

16 Erityiskysymyksiä 8: Versionhallinta Subversion (SVN) voidaan integroida DI Studioon

17 Erityiskysymyksiä 9: Stored prosessien ajopalvelin Stored process server vs. workspace server kenen tunnuksella ajetaan? Stp 9.2 vai stp 9.3 (Redeploy)

18 Erityiskysymyksiä 10: Metadataraportit Tarve: mm. käyttöoikeuksien monitorointi 1) MDU 2) Metacoda Plug-ins 3) Metabrowse 4) data step functions 5) proc metadata 6) %MDUxxx-macros TK:ssa käytössä: data stepin funktiot + proc report > stored prosessit

19 Erityiskysymyksiä 11: Parametrien arvot DI Studiossa voi testata prompteja mutta ei varsinaisesti käyttää Kehitysvaiheessa jobin precode ja automaattiset makromuuttujat:

20 Lernan hydra on kreikkalaisen mytologian yhdeksänpäinen vesihirviö. Kun hydralta katkaisee kaulan, tilalle tulee kaksi kaulaa