DATA-vaiheen ohjelmoijan yleissivistys helposti unohtuvia asioita

Transkriptio

1 Markku Suni Factotum emeritus Turun ammattikorkeakoulu DATA-vaiheen ohjelmoijan yleissivistys helposti unohtuvia asioita

2 Aivan ensimmäiseksi haluan kiittää kuulijoita kuuntelusta Kuten tunnettu poliitikko aloitti Tarkoitukseni on muistuttaa mieleen joitakin DATAvaiheen piirteitä, joiden voisi kuvitella olevan tuttuja, mutta jotka näyttävät helposti unohtuvan käytännössä.

3 Aivan ensimmäiseksi: selvän koodaamisen merkityksestä Tosin kaikkihan sen tietävät Sisennetään ohjelma sopivasti se lisää selkeyttä: data tulos ( keep = yksi pieni tieto ) set alku ( keep = talleta yksi tieto ); infile sasin1; yksko $char5. /* yksikkökoodi pieni $char5. /* pientoimituskoodi */ ; if yksko = yksi then... Ohops! Sattuipa nolosti!

4 Selvän koodaamisen merkityksestä data tulos ( keep = yksi pieni tieto ) set alku ( keep = talleta yksi tieto ); infile sasin1; yksko $char5. /* yksikkökoodi pieni $char5. /* pientoimituskoodi */ ; if yksko = yksi then... Ohops! Sattuipa nolosti! Puuttuu puolipiste data-lauseen lopusta

5 Selvän koodaamisen merkityksestä DATA tulos ( keep = yksi pieni tieto ) ; SET alku ( keep = talleta yksi tieto end = loppuiset ); infile sasin1 end = loppuifile ; if not loppuifile yksko $char5. /* yksikkökoodi pieni $char5. /* pientoimituskoodi */ ; if yksko = yksi then... Ohops! Sattuipa nolosti! Ajatus oli lukea SAS-tiedostoa ja peräkkäistiedostoa samaan tahtiin.. Entäs, jos tiedostoissa on eri määrä havaintoja?

6 Ellei koodata selkeästi, On vaikeaa todeta Koodin kuntoa. Auttaisiko BUGOMETER?

7 Palautetaanpa mieleen, milloin ja miten output tapahtuu Tiedoston avaa lause INFILE tai SET Lukeminen tapahtuu lauseella INPUT tai SET - näiden lauseiden kohdalla Tulostus tapahtuu lauseella PUT tai OUTPUT Lukeminen loppuu silloin, kun lukulause ei onnistu ( ts. tuottaa EOF-merkin ) - ei viimeisen tietueen kohdalla

8 Entäs, jos emme tiedä, montako tietuetta on? DATA molemmat (KEEP =... ) INFILE inputti1 END = ended1 ; IF ended1 = 0 THEN INPUT ; INFILE inputti2 END = ended2 ; IF ended2 = 0 THEN INPUT ; RUN; /* hoidetaan kaikenlaista */

9 Entäs, jos emme tiedä, montako tietuetta on? DATA molemmat (KEEP =... ) INFILE inputti1 END = ended1 ; IF ended1 = 0 THEN INPUT ; IF ended2 = 0 THEN SET inputti2 ( END = ended2 ) ; RUN; /* hoidetaan kaikenlaista */

10 Tiedostojen hyödyllisiä optioita DATA new ( KEEP = custno /* asiakasnumero, num */ object /* vakuutuskohteen koodi */ income /* maksutulo */ outcome /* kustannukset yht. */ ); SET old( DROP = policy term version RENAME = ( payment = income ) RENAME = ( claimspay = outcome ) WHERE = ( year = 2009 )); IF income > 10 THEN RUN;

11 CAUTION DO NOT DISTURB Professional SAS program at work

12 Monipuolinen DO DO END on lohko, joka suoritetaan kerralla DO laskuri = 1 TO 10;... END; DO laskuri = alaraja TO ylaraja BY askel;... END; IF jotain THEN DO laskenta = 10 TO 0 BY -1 ;.... END; Tämähän on tuttua kaikki muistavat.

13 Monipuolinen DO DO END toimii myös listan avulla DO fibonacci = 1, 2, 3, 5, 8, 13, 21, 44, 63 ;... END; DO coding = XA, XB, XQ, XZ ;... END; Tämänkin ehkä muistamme.

14 Monipuolinen DO Mutta entäs nämä: DO UNTIL (( tax_change < 0 ) AND ( salary_change > 0)); DO UNTIL ( count >= 100 ); DO UNTIL ( cows_come_home ) ; DO WHILE (( tax_change >= 0 ) OR ( salary_change <= 0)); DO WHILE ( count < 100 ); DO WHILE ( NOT( file_loppui )) ;

15 Monipuolinen DO Puhumattakaan tästä: DO from = here TO eternity UNTIL ( war_begins ); DO days = 1 TO 1000 UNTIL ( correct > 10 ); DO counter = 1 TO 100 WHILE ( errorcount < 10 ); DO WHILE ( TRUE );... IF XX THEN LEAVE;.. END;

16 Procedure PRINTTO vanha, mutta toimiva filename routed 'output-file'; proc printto print = routed new; run; proc freq data=test; tables x*y / chisq; run; data probtest( keep = df chisq prob ); infile routed; input word1 if word1='chi-squa' then do; input df chisq prob; output; end; run;

17 SAS-tiedostojen yhdistäminen: BY-lauseella Öhman Åke

18 Muuten, muistatkos tätä? Funktion argumenttina voi toimia muuttuja tai lauseke: Jonkun edellisen kuun alku niinmonta kuuta sitten: ajopvm = today(); edkuu = month( ajopvm ) - niinmonta; edalku = MDY( edkuu + ( edkuu <= 0 )*12, 1, year( ajopvm ) - ( edkuu <= 0 )); Siis: MDY( kuukausi, paiva, vuosi )

19 Muuten, muistatkos tätä? Funktio INDEX etsii jonkin pituisia merkkijonoja: length laji $ 1; SET tiedot; IF ( index( ABC, laji ) ) THEN DO; IF ( laji IN ( A, B, C ) THEN DO; IF ( laji = A laji = B laji = C ) THEN DO; Mitä eroa on noissa kolmessa IF-lauseessa?

20 DATAvaiheen alussa SAS alustaa kaikki muuttujat puuttuviksi, paitsi jos muuttuja on mainittu RETAIN-lauseessa on olemassa globaalinen RETAIN-lause muuttuja esiintyy summaavan lauseen vasemmalla puolella summing statement muuttuja luetaan SAS-tiedostosta muuttujaa käytetään I/O-lauseen optiossa Muuttujien alustus

21 Muuttujien alustus DATAvaiheen alussa SAS alustaa kaikki muuttujat puuttuviksi, paitsi jos muuttuja on vektori (ARRAY) ja ARRAY-lause antaa alkuarvot vektorissa on tilapäisiä muuttujia vektoria käytetään summaavassa lauseessa vektori mainitaan RETAIN-lauseessa

22 FORMATin monta puolta PROC FORMAT value tili low - <0 = ylitys other = _same_; PROC FORMAT value ikary 0 12 = lapsi = teini = työik 60 HIGH = vanha ; ikaluokka = PUT( ika, ikary5. ); IF ( PUT( ika, ikary5. ) = lapsi THEN... IF ( PUT( saldo, tili. ) = ylitys THEN...

23 FORMATIN SOVELLUS FORMAT sopii moneen, esim. havaintoarvojen luokitteluun PROC FORMAT; value painot low - 40 = = = HIGH = 4; RUN; DATA neljas; length painolk $ 8; SET kokeilu; painolk = Luokka!! PUT( paino, painot. ); painory = INPUT( PUT( paino, painot3. ), 3. ); RUN;

24 IKIVANHA PROSEDUURI Data kokeilu; INPUT akt hinta alku loppu CARDS; Alustan valaminen Rakennuslupa Materiaalihankinta Alustan verhoilu Seinän tekeminen Projektin päättäminen ; PROC timeplot data = kokeilu;

25 PROC timeplot data = kokeilu; PLOT alku loppu / overlay hiloc ref = 12; ID akt hinta; LABEL hinta = MEur akt = aktivi- teetti ; TITLE Projektin aikataulu ; FORMAT akt hinta alku loppu 4. ; RUN; Ja tulokseksi tulee IKIVANHA PROSEDUURI

26 IKIVANHA PROSEDUURI Projektin aikataulu aktivi- MEur ALKU LOPPU min max teetti 2 25 * * A L A L A L A L A L AL * *

27 Muistutus: automaattimuuttuja _INFILE_ pitää sisällään sen, mitä on syötöstä luettu: DATA _NULL_; INFILE FILE INPUT ja OUTPUT sisaan; ulos; INPUT $1 koodi 2.; IF koodi = 12 THEN PUT _INFILE_; RUN; Tai:... IF koodi = 12 THEN PUT _INFILE_;

28 Miten tuo lasketaan? Helposti: EALin_kanssa = 12* (EALin_kanssa - ilman_ealia) Vastaavasti: A antaa 78% enemmän säihkettä kuin B. enemman = a_saihke b_saihke); enemman_kertaa = (a b) / b ; enemman_pros = (( a b ) / b ) * 100; Prosenttilasku on vaikeaa jopa poliitikoille.

29 This is the end The Doors