Kaisu Ikonen, Tilastokeskus 13.9.2012
Sisältö SAS Tilastokeskuksessa 2012 Esimerkki DIS-projektista Erityiskysymyksiä 13.9.2012 2
SAS Tilastokeskuksessa 2012 SAS-käyttäjiä 350, joista IT-puolella noin 50. Tilastotuotannon eri vaiheissa: tiedon hankinta, datan muokkaus, analyysi, julkaiseminen SAS TK:ssa vuodesta 1984 lähtien. SAS-arkkitehtuurin käyttöönotto 2012-2013 Siirtyminen uusiin käyttöliittymiin ja palvelinympäristöön 13.9.2012 3
Uusi SAS-palvelinympäristö 13.9.2012 4
Esim. DIS-projekti 1/4 Tiedonkeruun tiedonsiirto-ohjelmat (ETL) 13.9.2012 5
Esim. DIS-projekti 2/4 DI Studiolla tehdään kirjastojen määrittely aineistojen rekisteröinti jobien muodostus poiminta muokkaus lataus webservicen käynnistys stored prosessien tallennus ohjelmien ylläpito versionhallinta 13.9.2012 6
Esim. DIS-projekti 3/4 DIS:n ohella käytetään mm.: SAS EG kehitysvaiheessa kokeiluja base-koodilla ohjaustaulujen päivitys STP:ien käynnistys testaus SAS MC: käyttöoikeuksien ja muun metadatan hallinta.net-käyttöliittymät: STP:ien käynnistys?: ajastus 13.9.2012 7
Esim. DIS-projekti 4/4 13.9.2012 8
Erityiskysymyksiä 1: Käyttöoikeudet SAS-metadatassa ACT:t l. saman käyttöoikeusrakenteen jakaminen useille hakemistoille yhdellä henkilöllä useita eri käyttäjätunnuksia esim. nieminen_atp, nieminen_khi ulkoisiin resursseihin henkilökohtainen tunnus jakaminen metadatassa ryhmän avulla esim. Nieminen Kristiina (RYHMÄ) autentikointidomainit AUTHDOMAIN = SQL1_AUTH 13.9.2012 9
Erityiskysymyksiä 2: Webservicen käynnistys User written transformation ja proc soap 13.9.2012 10
Erityiskysymyksiä 3: Tietokantayhteyksien määrittely testi- ja tuotantokanta samalla tietokantapalvelimella erinimisinä, esim. tk_tiedonkeruut ja tk_tiedonkeruut_testi nimeäminen ODBC.iniin ja MC:n Server Manageriin DATASRC = SAS-testipalvelin SAS-tuotantopalvelin Tk_tiedonkeruut Tk_tiedonkeruut_testi Tk_tiedonkeruut Tk_tiedonkeruut_testi Tk_tiedonkeruut_testi Tk_tiedonkeruut_testi Tk_tiedonkeruut_tuotanto Tk_tiedonkeruut Tk_tiedonkeruut 13.9.2012 11
Erityiskysymyksiä 4: Tietokantalatausten suorituskyky odbc-ajuri systeemioptiot pass-through proxy-välityspalvelin ja ole db näkymän kautta lataus libname-määrittelyjen optiot (Advanced Options ) Table loader transformaation valinnat Jobi-editorin automation-asetukset 13.9.2012 12
Erityiskysymyksiä 5: Taulun parametrisointi ja jobin looppaus Parametrirized Job + Control Table + Iterative Job 13.9.2012 13
Erityiskysymyksiä 6: Jobin osien uudelleenkäyttö copy-paste, oma transformaatio, kokoomajobi, looppaus, shared prompts ohjaustaulut, tiedostot palvelimella, makrofunktiot 13.9.2012 14
Erityiskysymyksiä 7: EXEC -komennot SQL Serverille 4.4:ssa uusi transformaatio The Execute transformation enables you to specify custom SQL code to be executed. It provides SQL templates for supported databases. 13.9.2012 15
Erityiskysymyksiä 8: Versionhallinta Subversion (SVN) voidaan integroida DI Studioon 13.9.2012 16
Erityiskysymyksiä 9: Stored prosessien ajopalvelin Stored process server vs. workspace server kenen tunnuksella ajetaan? Stp 9.2 vai stp 9.3 (Redeploy) 13.9.2012 17
Erityiskysymyksiä 10: Metadataraportit Tarve: mm. käyttöoikeuksien monitorointi 1) MDU 2) Metacoda Plug-ins 3) Metabrowse 4) data step functions 5) proc metadata 6) %MDUxxx-macros TK:ssa käytössä: data stepin funktiot + proc report > stored prosessit 13.9.2012 18
Erityiskysymyksiä 11: Parametrien arvot DI Studiossa voi testata prompteja mutta ei varsinaisesti käyttää Kehitysvaiheessa jobin precode ja automaattiset makromuuttujat: 13.9.2012 19
http://en.wikipedia.org/wiki/lernaean_hydra Lernan hydra on kreikkalaisen mytologian yhdeksänpäinen vesihirviö. Kun hydralta katkaisee kaulan, tilalle tulee kaksi kaulaa. 13.9.2012 20