FGI -Opas Viimeistelemätön työversio 21.6. 2012 CSC / Kimmo Mattila 1
Sisällysluettelo 0. Johdanto...3 1. FGI:N KÄYTTÖÖNOTTO...4 1.1. Grid-varmenteet...4 1.1.2. Varmenteen lataaminen TERENA:n palvelimelta...4 1.1.3 Varmenteen tallennus tiedostoon...5 Firefox:...5 Opera:...5 Chrome...5 1.1.4. Varmenteen asennus...6 1.1.5 Varmenteiden käsittely Tutkijan käyttöliittymällä...6 1.2. Liittyminen fgi.csc.fi-virtuaaliorganisaatioon...8 1.3. ARC-väliohjelmiston käyttöönotto...9 1.3.1 ARC-ohjelmiston käyttö hippu.csc.fi -palvelimella...9 1.3.2 ARC-ohjelmiston asennus omalle koneelle...9 1.3.2 ARC ympäristön asetukset omalla koneella...10 2. FGI:n käyttö ARC ohjelmistolla...11 2.1. Proxy-varmenteen luominen...11 2.2. Työnkuvaustiedostot...12 2.2.1 Esimerkki työn kuvauksesta...14 2.3. Työn ajaminen ARC komennoilla...16 2.3.1. Tärkeimmät ARC komennot...16 2.3.2 Esimerkkityön ajo FGI-ympäristössä...18 2.3.3 Valmiiksi asennettujen ohjelmistojen käyttö...19 2
0. Johdanto FGI (Finnish Grid Initieative) on hajautettu laskentaympäristö, joka koostuu 11 eri puolilla Suomea sijaitsevasta laskenta klusterista. CSC hallinnoi FGI grid-käyttöä. Palvelu on avoin ei-kaupalliseen tutkimustyöhön kaikille suomalaisille yliopistotutkijoille. Tutkijat voivat käyttää palvelua suoraan omalta koneeltaan tai CSC:n laskentapalvelimien kautta. Tämä opas antaa tiivistetyt ohjeet FGI-palvelun käyttöönottoon ja yksinkertaisten grid-ajojen suorittamiseen. Kappaleessa 1 käydään läpi FGI:n käyttöönottoon liittyvät kolme vaihetta: 1. grid- sertifikaatin hankinta 2. liittyminen fgi.csc.fi -virtuaaliorganisaatioon 3. ARC-väliohjelman käyttöönotto. Nämä toiminnot tehdään vain kerran, käytön aloituksen yhteydessä. Kappaleessa 2 käydään yksinkertaisten esimerkkien avulla FGI-töiden lähettämisen perusteet ARC väliohjelman avulla. Lisätietoa FGI ympäristön käytöstä löytyy FGI:n wiki sivuilta: https://confluence.csc.fi/display/fgi 3
1. FGI:N KÄYTTÖÖNOTTO 1.1. Grid-varmenteet FGI-ympäristö käyttää henkilökohtaisiin X.509 varmenteisiin perustuvaa käyttäjäntunnistusta. (varmenteesta köytetään usein myös nimitystä sertifikaatti). FGI ei siis vaadi ja käyttäjätunnukseen ja salasanaan perustuvaa sisään kirjautumista, eikä esim. CSC:n käyttäjätunnus ole välttämätön. Suomalaiset tutkijat voivat hakea henkilökohtaisen grid-varmenteen TERENA-organisaatiolta. TERENA:n ylläpitämä automattinen sertifikaattipalvelu luo oman koneen selaimeen asennettavan sertifikaatin käyttäjän HAKA-tietojen (ts. yliopiston käyttäjätunnuksen) perusteella. Yleensä sertifikaatin hankkiminen vaatii vain muutaman minuutin ja hiiren klikkauksen TERENA:n WWW palvelimella. (huom. Turun yliopiston tutkijoiden on ensin pyydettävä ensin muutos Hakatunnisteeseensa CSC:n helpdeskin helpdesk@csc.fi kautta). TERENAn myöntämä varmenne on voimassa vuoden. Mikäli varmenne hukkuu tai lakkaa toimimasta, TERENA:n plavelusta voi hakea uuden varmenteen. 1.1.2. Varmenteen lataaminen TERENA:n palvelimelta Kun haet varmennetta, VARMISTA ETTÄ ET TEE VARMENNEHAKUA JULKISELLA KONEELLA. GRID IDENTITEETTISI TALLENTUU SELAIMEEN JOTA KÄYTÄT VARMENNEHAKUUN. Alla yksityiskohtaiset ohjeet varmenteen hakemiseen: 1. Mene sivulle https://tcs-escience-portal.terena.org 2. Klikkaa Login. Valitse avautuvasta karttakuvasta Suomi ja sen jälkeen valitse organisaatiosi. 3. Kirjaudu sisään käyttäen HAKA-käyttäjänimeäsi ja -salasanaasi. (Tyypillisesti tämä on sama kuin yliopistoverkon tunnus ja salasana) 4. Organisaatiostasi riippuen, sinun pitää mahdollisesti vahvistaa tietojen lähettäminen TCSportaliin. 5. Klikkaa MY Certificates (vasemmalla "certificates" otsikon alla) 6. Klikkaa New Certificate, lue Acceptable Use Policy, ja jos hyväksyt sen, jatka seuraavalle sivulle. 7. Nyt olet "Generate a CSR in the browser" valikossa. Klikkaa next. 8. Sinulla pitäisi olla valikko vasemmalla puolella jossa voit valita avaimen pituuden. Valiste pituudeksi 2048 bittiä, mikäli se ei ole vielä valittu. 9. Klikkaa next. Selaimesi kysyy mahdollisesti selaimen pääsalasanaa tässä vaiheessa. 10. Odota että palvelu tuottaa allekirjoitetun varmenteen (tämän pitäisi tapahtua alle 2 minuutissa). 11. Lopuksi klikkaa Install to keystore asentaaksesi varmenteen selaimeesi. 4
1.1.3 Varmenteen tallennus tiedostoon Edellisessä kappaleessa kuvatun varmenteen hakuprosessin jälkeen vermenne on tallennettuna käyttämäsi selaimen varmennevarastossa. Käyttääksesi varmennetta grid-töiden lähettämiseen tai siirtääksesi sen toiselle koneelle, varmenne on tallennettava erilliseksi tiedostoksi. Varmenteiden käsittelytoiminnot ja komennot vaihtelevat suuresti eri selaimien välillä ( myös saman selaimen eri versioiden välillä). Selaimellasi saattaa olla jo monia varmenteita (sertificates), joita käytetään ulkopuolisten palvelimien tunnistamiseen. Oman TERENA-varmenteen tunnistaa yleensä siitä että sen nimi sisältää käyttäjän nimen tai sähköpostiosoitteen. Alla esimerkkejä, miten varmenteen tallennus tiedostoon tehdään muutamalla suositulla selaimella. Esimerkeissä sertifikaatti tallennetaan PKCS12-muodossa tiedostoon nimellä: usercert.p12. Firefox: 1. Valitse: Edit -> Preferences 2. Siirry kohtaan: Advanced -> Encryption -> View Certificates 3. Valitse osio: your certificate ja klikkaa Backup -nappia 4. Tallenna varmenne nimellä "usercert.p12". 5. Seuraavaksi selain kysyy tallennettavalle varmennetiedostolle annettavaa salasanaa. Tämä Opera: salasana ei ole mitenkään sidoksissa muhin salasanoihin. Varmenne tulee suojata vahvalla salasanalla. 1. Valitse: Menu -> Settings -> Preferences 2. Siirry kohtan: Advanced -> Security -> Manage Certificates 3. Valitse: Your certificate ja kikkaa Export-nappia 4. Valitse tallennustavaksi: "PKCS #12 (with private key)" ja tallenna varmenne nimellä "usercert.p12". 5. Seuraavaksi selain kysyy tallennettavalle varmennetiedostolle annettavaa salasanaa. Tämä Chrome salasana ei ole mitenkään sidoksissa muhin salasanoihin. Varmenne tulee suojata vahvalla salasanalla. 1. Avaan preferences (Työkaluvalikossa) 2. Kikkaa: "Under the Hood"( vasemmassa laidassa) 3. Klikkaa "Manage certificates" nappia 4. Valitse varmennelistalta tallennettava varmenne 5. Klikkaa "Export" ja tallenna sertifikaatti nimellä "usercert.p12" 5
1.1.4. Varmenteen asennus Jotta varmennetta voidaan käyttää grid-töiden lähettämiseen on se muutettava selainten yleisesti käyttämästä PKCS12-muodosta ARC-väliohjelmton käyttämään PEM-muotoon. Seuraavat komennot tekevät PEM muunnoksen Linux-koneilla. Jos käytät grid-varmennettasi eri koneelta kuin missä selaimesi on, voit siirtää usercert.p12-tiedoston käyttämällesi koneelle, ja ajaa sillä seuraavat komennot. Suosittelemme että käytät turvallista työkalua varmenteen siirtoon, esim. SCPtä. Alla olevien komentojen sijaan voit käyttää varmenteen siirtoon ja formaattimuunnoksiin kappaleessa 1.1.5 esiteltävää CSC:n tutkijan käyttöliittymän Omat varmenteet työkalua. PEM-muodossa oleva varmenne muodostuu kahdesta tiedosta: avaintiedostosta ( userkey.pem ) ja varmennetiedostosta (usercert.pem). Varmenteen yksityinen avaintiedosto luodaan komennolla : openssl pkcs12 nocerts in usercert.p12 out userkey.pem Yllä oleva komento kysyy varmenteelle aiemmin annettua salasanaa, sekä uutta salasanaa avaimelle. Uusi, avainsalasana voi olla sama kuin varmenteen salasana. Itse varmenne luodaan komennolla: openssl pkcs12 clcerts nokeys in usercert.p12 out usercert.pem Yllä olevat komennot tuottavat siis tiedostot "usercert.pem" ja "userkey.pem". ARC-väliohjelmto olettaa löytävänsä nänä tiedostot käyttäjän kotihakemistossa olevasta.globus nimisestä hakemistosta (huomaa että hakemistonimen ensimmäinen merkki on piste). Mikäli.globus hakemisto ei ole vielä luotu, sen voi tehdä komennolla: mkdir ~/.globus/ Tämän jälkeen siirretään sertifikaattitiedostot tähän hakemistoon komennoilla: cp usercert.pem ~/.globus/ cp userkey.pem ~/.globus/ Lopuksi on syytä varmistaa, että userkey.pem-tiedoston lukuoikeudet on asetettu oikein. chmod 400 ~/.globus/userkey.pem 1.1.5 Varmenteiden käsittely Tutkijan käyttöliittymällä Edellisessä kappaleessa käsitelty varmenteen formaatin muunnos ja varmenteen siirto voidaan tehdä myös CSC:n Tutkijan käyttöliittymän graafisen Omat varmenteet2 työkalun avulla. Tällä työkalulla varmenteita voidaan muokata muodosta toiseen. Omat varmenteet palvelu tarjoaa myös käytetystä koneesta riippumattoman varmenne varaston joka soveltuu hyvin varmenteiden varmuuskopiointiin ja varmenteiden siirtämiseen koneesta toiseen. Omat Varmenteet (My Certidicates) palvelun osoite on: https://sui.csc.fi/group/sui/my-certificates 6
Ensimmäisellä käyttökerralla tämän varanennevarastoin käyttäjän on määriteltävä salasana jota käytetään tallennettujen varmenteiden salaamiseen. Salasana määritellään osoittamalla Tallennetut varmenteet-kenttää hiiren oikealla näppäimellä ja valitsemalla avautuvasta valikosta: Tietoturva asetukset. Määrittelemäsi salasana ei ole sidoksissa mihinkään muuhun salasanaan. Se ei siis ole riippuvainen esim. sertifikaattisi tai Tutkijan käyttöliittymän salasanoista. Kun salasana on asetettu voit tuoda varmenteita Omat varmenteet palveluun osoittamalla varmennelistaa hiiren oikeaa näppäintä ja valitsemalla: Siirrä Omat varmenteet työkalu pystyy lukemaan sekä PEM että PKCS12-varmenneformaatteja. Jos varastoon halutaan kopioida esim. kappaleessa 1.1.3 tuotetun usercert.p12 varmennetiedoston, tulee Valitse tiedostomuoto kohtaan valita arvoksi:pkcs12 ja painaa: OK -nappia. Tämän jälkeen painetaan Siirrä-nappia ja valitaan avautuvan hakuikkunan kautta tallennettu varmennetiedosto (usercert.p12). Kun varmenne luetaan sisään, käyttöliittymä kysyy varmenteen salasanan. ( ei siis Omat varmenteet -palvelun salasana vaan TERENA:n palvelussa määritelty salasana). Kun salasana on annettu, tarkista sertifikaatit tiedot ja paina Tallenna-nappia. Tallennettu varmenne näkyy uutena rivinä Tallennetut varmenteet-listassa. Varastoon luettu varmenne voidaan hakea joko paikalliselle koneelle tai käyttäjän kotihakemistoon CSC:llä. Varmenteen tallennus Hipussa tehtäviä grid-ajoja varten tehdään klikkaamalla listassa olevaa varmennetta hiiren oikealla näppäimellä ja valitsemalla: Lataa. Muuta latauskohteeksi paikallisen koneen sijaan Globus-hakemisto ($HOME/.globus), valitse tiedostomuodoksi PEM ja paina: Lataa. Tämän jälkeen tallennettavalle varmennetiedostolle määritellään salasana ja tallennettavien avain- ja varmennetiedostojen nimet. Lopuksi painetaan: Lataa. Kuva 1. Tutkijan käyttöliittymän Omat Varmenteet -palvelu. 7
1.2. Liittyminen fgi.csc.fi-virtuaaliorganisaatioon Grid-ympäristössä resursseja hallinnoidaan virtuaaliorganisaatioiden avulla (VO). Virtuaaliorganisaatiolla tarkoitetaan käyttäjäryhmää, joka käyttää tiettyjä resursseja ( laskentaklustereita, tallennustilaa, ohjelmistoja) tiettyjen ehtojen mukaisesti. Käytettyjen palveluiden tarjoajat antavat Grid-käyttöön asetetut resurssit virtuaaliorganisaation kautta: käyttäjä voi hakea jäsenyyttä virtuaaliorganisaatioon ja myönnetty jäsenyys tarkoittaa samaa kuin resurssien käyttöoikeus virtuaaliorganisaation käyttöehtojen perusteella. Tyypillisesti virtuaaliorganisaatiot on suunnattu palvelemaan jotakin tiettyä tieteenalaa tai maantieteellistä aluetta. Kaikki FGI grid-ympäristön käyttö tapahtuu toistaiseksi fgi.csc.fivirtuaaliorganisaation kautta. Jatkossa FGI:n alaisuuteen voi tulla kaikille Suomessa työskenteleville yliopistotutkijoille suunnatun fgi.csc.fi VO:n lisäksi myös tarkemmin rajattuja VO:ita. fgi.csc.fi-virtuaaliorganisaatioon liittyminen tapahtuu menemällä selaimella osoitteeseen: https://voms.fgi.csc.fi:8443/voms/fgi.csc.fi FGI:n palvelin tunnistaa TERENA-palvelimelta selaimeen ladatun sertifikaatin ja lukee jäsenyyden hakijan tiedot sieltä. Liittymisen yhteydessä hakijan pitää hyväksyä virtuaaliorganisaation säännöt. Kun hakemus on jätetty, virtuaaliorganisaatiopalvelin lähettää hakijalle sähköpostitse varmistuspyynnön johon hakijan on lähetettävä vastaus. FGI-jäsenyyden hakemisen jälkeen kestää jonkin aikaa ennen kuin jäsenyys tulee voimaan. Tyypillisesti jäsenyys tulee voimaan seuraavan arkipäivän aikana. 8
1.3. ARC-väliohjelmiston käyttöönotto. Grid-käytössä käyttäjä ei kirjaudu sisään käyttämilleen laskentaklustereille, vaan työt lähetetään ajoon niin sanotun väliohjelmiston (middleware) avulla. FGI:ssä on käytössä Nordugridin kehittämä ARC väliohjelmisto. Muita yleisesti käytettyjä väliohjelmistoja ovat mm. glite ja Unicore, mutta nämä ohjelmistot eivät ole yhteensopivia FGI-ympäristön kanssa. Voit asentaa ARC ohjelmiston (client osuus) joko omalle koneellesi tai käyttää CSC:n Hippupalvelimille asennettua ARC ohjelmistoa. 1.3.1 ARC-ohjelmiston käyttö hippu.csc.fi -palvelimella. ARC ohjelmisto löytyy valmiiksi asennettuna CSC:n Hippu-palvelimelta. Jos käytät CSC:n hippu.csc.fi-palvelimelle asennettua ARC-ohjelmistoa, sinun on luotava hippu.csc.fi koneen kotihakemistoon hakemisto:.globus (huomaa piste nimen alussa) ja siirrettävä aiemmin luodut usecert.pem ja userkey.pem tiedostot tähän hakemistoon. Voit siirtää tiedostot omalta koneeltasi esim. scp-komennolla tai voit käyttää CSC Tutkijan käyttöliittymän Omat varmenteet -työkalua (katso kappale 1.1.5). Kun sertifikaatti on asennettu, saat ARC-komennot käyttöösi komennolla: module load nordugrid arc 1.3.2 ARC-ohjelmiston asennus omalle koneelle ARC-väliohjelmisto voidaan asentaa Linux, MacOSX ja Windows-koneille. Suosittelemme kuitenkin Linux- tai MacOSX versioiden käyttöä, sillä Windows version käytön yhteydessä on usein esiintynyt ongelmia. ARC väliohjelmisto voidaan asentaa monin eri tavoin. Ohjelmisto voidaan kääntää suoraan lähdekoodista. Monissa linux-versioissa se voidaan asentaa helposti käyttöjärjestelmän omien paketinhallintatyökalujen avulla (yum ja apt). Tämä onkin usein suositeltavin tapa asentaa ohjelmisto. Lisätietoja asennuksista löytyy ARC:in repository-sivulta: http://download.nordugrid.org/ Mikäli ohjelmisto halutaan asentaa ilman pääkäyttäjäoikeuksia (root, sudo), voidaan ARCväliohjelmiston valmiiksi käännetty versio hakea Nordugridin sivuilta: http://download.nordugrid.org/standalone.html Valitse sivulta oikea käyttöjärjestelmä, versio ja prosessoriarkkitehtuuri ja paina Download. Linux järjestelmien tapauksessa asennustiedosto on pakattu tiedosto joka voidaan purkaa komennoilla: 9
tar zxvf asennustiedosto esim. tar zxvf nordugrid arc standalone 11.05 2.el6.x86_64.tgz Purettu asennushakemisto sisältää valmiiksi käännetyt arc-komennot sekä kaksi ARC-ympäristön alustustiedostoa: setup.sh bash- ja sh-kometotulkeille ja setup.csh csh- ja tcsh-komentotulkeille. ARC-ohjelmistoa käytettäessä, on aina ennen käytön aloittamista siirryttävä ensin ARC:n asennushakemistoon ja suoritettava, kyseisestä komentotukista riippuen toinen näistä alustustiedostoista. Esim. bash-komentotulkin tapauksessa: cd nordugrid arc standalone 11.05 2 source setup.sh 1.3.2 ARC ympäristön asetukset omalla koneella Varsinaisen ARC asennuksen lisäksi käyttäjän on huolehdittava siitä että voimassa oleva gridvarmenne on asennettuna kotihakemistossa olevassa.globus-hakemistossa (katso kappale: 1.1.4 Varmenteen asennus). Asian voi helposti tarkistaa komennolla: ls l ~/.globus Tiedostolistauksessa tulisi näkyä tiedostot usercert.pem ja userkey.pem. Sertifikaatin lisäksi koneelle täytyy asentaa CSC:n kokoama, FGI:n ympäristön määrittelevä konfiguraatiotiedosto client.conf. Tämä tiedosto tulee asentaa kotihakemistossa olevaan.arc hakemistoon (huomaa piste hakemistonimen alussa). Asennus onnistuu komennoilla: cd ~ mkdir.arc cd.arc wget https://confluence.csc.fi/download/attachments/13013454/client.conf 10
2. FGI:n käyttö ARC ohjelmistolla FGI-ympäristöä käytetään ARC väliohjelmiston avulla. Käyttäjä ei siis koskaan suoraan kirjaudu FGI:n klustereihin. Tästä syystä FGI:ssä ei ole mahdollista käyttää ohjelmia interaktiivisesti vaan suoritettavat komennot kootaan komentotiedostoksi joka lähetetään ajoon ARC komentojen ja työnkuvaustiedoston avulla. Tässä kappaleessa käymme lyhyesti läpi muutamien ARC komentojen ylisimmin käytetyt ominaisuudet sekä XRSL muotoisten työnkuvaustiedostojen peruspiirteet. Kattavammat kuvaukset ARC komennoista ja xrsl tiedostosta löytyvät Nordugridin ylläpitämistä ARC ja xrsl manuaaleista: http://www.nordugrid.org/documents/arc-ui.pdf http://www.nordugrid.org/documents/xrsl.pdf Jatkossa oletamme että käyttäjällä on koneessaan kappaleen 1 mukaisesti asennettu henkilökohtainen grid-varmenne ja ARC-väliohjelmiston client-osuus. Lisäksi kunkin istunnon alussa on ajettu omalla koneella komennot: cd nordugrid arc standalone 11.05 2 source setup.sh Tai jos työskennellään hippu.csc.fi palvelimella, komento: module load nordugrid arc 2.1. Proxy-varmenteen luominen Ennen töiden lähettämistä, luodaan väliaikainen proxy-varmenne (proxy sertificate), jota ARCohjelmisto käyttää käyttäjätunnistukseen. Proxy-varmenne luodaan komennolla: arcproxy Arcproxy-komento kysyy käyttäjän varmenteen salasanan. Kun varmenne on luotu ja voimassa voi käyttäjä suorittaa töiden lähetyksen ja hallintaan liittyvä ARC-komentoja. Normaalisti varmenne on voimassa 12 tuntia. Proxy-varmenteen vanhennuttua käyttäjä ei enää pysty lähettämään tai hakemaan töitä ennen uuden proxy-varmenteen luomista. Huomaa kuitenkin, että varmenteen vanhentuminen ei vaikuta jo lähetettyjen töiden suorittamiseen: lähetetyt työt etenevät normaalisti vaikka varmenne ei enää olisi voimassa. Varmenteen voi myös uusia, vaikka edellinen proxyvarmenne olisi vielä voimassa. Proxy-varmenteen voimassaoloaikaa voi säätää käyttämällä arcproxy-komennon yhteydessä valitsinta -c validityperiod. Esimerkiksi alla oleva komento luo proxy-varmenteen joka on voimassa 72 tuntia. arcproxy c validityperiod=72h Varmenteen tilan voi tarkistaa komennoilla: arcproxy I 11
2.2. Työnkuvaustiedostot Töiden lähettäminen ARC-ohjelmistolla tapahtuu paljolti saman tapaan kuin eräajon lähettäminen tavallisessa klusterissa. Merkittävin ero tavalliseen klusteriin verrattuna on se, että ajettavien komentojen lisäksi työn lähettämisen yhteydessä on määriteltävä myös mitkä syötetiedostot on kopioitava työn suorittavalle koneelle ja mitkä tulostiedostot palautetaan omalle koneellesi työn tulosten haun yhteydessä. Käytännössä ARC-työ koostuu kahdesta osasta. 1. xrsl- tai JSDL- muotoisesta työn kuvaustiedostosta, jossa määritetään työn vaatimat resurssit (ajoaika, muistin ja prosessorien tarve) sekä kopiotavat tiedostot. 2. komentotiedostosta jonka sisältämät komennot etäkoneessa suoritetaan. Komentotiedostot ovat tyypillisesti tavallisia linux-skriptejä, joita on käsitelty mm. CSC:n Data Services Guide -oppaan luvussa 5.6 (http://www.csc.fi/english/pages/dataservices/linux_tools/linux_scripts/). XRSL-muotoiset työkuvaustiedostot ovat &-merkillä alkavia tekstietodostoja joissa työlle annettavat määreet eli attribuutit annetaan muodossa: (atribuutti= arvo ) Taulukko 1. esittelee useimmin käytetyt työnkuvausmääritteet. XRSL-muotoisen työnkuvaustiedoston luomisessa voi käyttää apuna Tutkijan Käyttöliittymän Erätyösorvi-palvelua. Palvelu löytyy osoitteesta: https://sui.csc.fi/group/sui/batch-job-script-wizard. Kuva 2. Tutkijan Käyttöliittymän Erätyösorvi-palvelu. 12
Taulukko 1. xrsl-työnkuvaustiedosjen tärkeimmät määritteet (attribute) Määrite Kuvaus Esimerkki executable Suoritettava tiedosto (executable=runhello.sh) jobname Työn nimi (jobname= hello_fgi ) stdout Oletustulostetiedosto (stdout=std.out) stderr Oletusvirhetulostetiedosto (stderr=std.err) cputime memory inputfiles outputfiles count runtimeenvironment notify Työn vaatima laskenta-aika Työn muistintarve megatavuina Suorittavalle koneelle kopioitavat syötetiedostot. Työn loputtua palautettavat tulostiedostot Rinnakkaistyölle varattava laskentaydinten määrä. Työn tarvitsema ajoympäristö jolla saadaan käyttöön esim. haluttu ohjelma. Lähetetään sähköpostihuomautus työn tietyssä vaiheessa. Esim työn alkaessa (b) tai päättyessä (e). (cputime="6 hours, 20 minutes") (memory="4000") (inputfiles= ("fi1.txt" "fi1.txt" ) ) (outputfiles= ("out.txt" "out.txt" ) ) (count=8) (runtimeenvironment= APPS/BIO/BOW TIE 2.0.0 ) (notify= be kkayttajl@csc.fi ) 13
2.2.1 Esimerkki työn kuvauksesta Alla on esimerkki hyvin yksinkertaisesta komentotiedostosta joka tulostaa oletustulostukseen (vastaa näytölle tulostusta interaktiivisessa käytössä) sanat Hello FGI ja sen jälkeen kirjoittaa tiedostoissa inputfile.txt ja file2.txt olevien rivien lukumäärän tiedostoon output.txt. Tiedoston nimeksi on annettu runhello.sh. #!/bin/sh echo "Hello FGI" wc l inputfile.txt file2.txt > output.txt exit Yllä olevan runhello.sh tiedoston ajaminen FGI:ssä voidaan määritellä alla olevalla hello.xrsl työnkuvaustiedostolla: &(executable=runhello.sh) (jobname=hello_fgi) (stdout=std.out) (stderr=std.err) (cputime="1 hours") (memory="1000") (inputfiles= ("inputfile.txt" "file1.txt" ) ("file2.txt" "") ) (outputfiles= ("output.txt" "" ) ) Hello.xrsl-tiedoston ensimmäisellä rivillä määritellään suoritettavaksi komennoksi runhello.sh -komentotiedosto. Seuraavilla riveillä määritellään työlle nimi (hello_fgi) sekä tiedostot joihin ajon oletustuloste (standard output) ja oletusvirhetuloste (standard error) ohjataan. Työn vaatima laskenta-aika (1 tunti) ja muistintarve (1000 MB) määritellään seuraavilla riveillä. Näiden arvojen määrittely on suositeltavaa mutta ei välttämätöntä. Työn mukaisilla arvoilla varmistetaan että työn suorittavassa koneessa on saatavilla tarvittava muisti ja laskenta-aika. Lisäksi oikein mitoitetut muisti ja aikavaraukset varmistavat sen, että työt päätyvät työn suorittavassa koneessa jonoon, jossa ne pääevät nopeimmin ajoon. Määrittely (inputfiles= aloittaa alueen, jossa määritellään tiedostot jotka ARC väliohjelmiston on kopioitava paikalliselta koneelta työn suorittavaan koneeseen. Huomaa että inputfiles-määrittelyä voidaan käyttää myös varsinaisen suoritettavan ohjelman (valmiiksi käännetyn ohjelman, käännettävän koodin tai esim. python skriptin) siirtämiseen työn suorittavalle koneelle. Yllä olevassa esimerkissä käytetään kahta tapaa määritellä kopioitava tiedosto. Rivi: ("inputfile.txt" "file1.txt" ) 14
määrittelee, että omalta koneelta kopioidaan tiedosto file1.txt työn suorittavalla koneelle niin että tiedoston nimeksi suorittavalla koneella tulee inputfile.txt. Seuraavalla rivillä ("file2.txt" "") määritellään, että tiedosto file2.txt kopioidaan samalla nimellä suorittavalle koneelle. Vaihtoehtoisesti voitaisiin käyttää määrittelyä: ( file2.txt file2.txt ) Syötetiedostojen määrittelyalue päättyy sulkumerkkiin. Lopuksi määritellään palautettavan tulostiedon nimi samankaltaisella syntaksilla. Tulostiedostojen määrittely alkaa kohdasta (outputfiles=. Tässä esimerkissä määritetään tulostiedostoksi output.txtniminen tiedosto. Mikäli työn loputtua halutaan palauttaa kaikki työn suoritushakemistossa olevat tiedostot, sisältäen syötetiedostot ja kaikki ajon tuottamat tiedostot, voidaan käyttää määrittelyä: (outputfiles=("/" "" )) Kannattaa kutenkin muistaa, että tiedostojen siirto oman koneen ja FGI ympäristön välillä voi olla hidasta, joten turhaa suurten tiedostojen siirtelyä kannattaa välttää. 15
2.3. Työn ajaminen ARC komennoilla 2.3.1. Tärkeimmät ARC komennot XRSL-tiedostossa määritellyn työn lähettäminen ajon tehdään komennolla: arcsub kuvaustiedosto.xrsl Mikäli muita määrittelyjä ei tehdä, arcsub-komento tarkistaa ensin mitkä koneet voivat tarjota pyydetyt resurssit ja lähettää työn satunnaisesti valitulle sopivalle koneelle. Valitsimella -b FastestQueue työ ohjautuu sopivista koneista sille, jossa jonossa olevien töiden määrä on pienin arcsub b FastestQueue kuvaustiedosto.xrsl Käyttämällä valitsinta -c työ voidaan kohdistaa tietylle koneelle. Esim komento: arcsub c aesyle grid.fgi.csc.fi kuvaustiedosto.xrsl Kun arcsub-komento on lähettänyt työ, ajoon se ilmoittaa työn tunnuksen (jobid). Tämän tunnuksen avulla työn etenemistä voidaan seurata ja valmistuneen työn tiedot hakea. Työn tunnus on muotoa: Esimerkiksi: gsiftp://suorittavan.klusterin.nimi:2811/jobs/numerosarja gsiftp://asterope grid.abo.fi:2811/jobs/1577013388076921023290193 Lähetetyn työn tilan voi tarkistaa komennolla arcstat. Yksittäisen työn tilan voi tarkistaa komennolla: arcstat työn_tunnus Käyttäjän kaikkien FGI-töiden tilan voi tarkistaa käyttämällä valitsinta -a. arcstat a arcstat-komennon tulos kertoo onko työ valmistelussa (Preparing), jonossa (Queueing), ajossa, (Running), päättymässä (Finishning, valmis (Finished) tai viallinen (Failed). Työn suorituksen aikana työtä voida seurata myös arccat-komennolla, joka ulostaa annetun työn senhetkisen oletustulosteen (stdout) tai -e valitsimen avulla oletusvirhetulosteet (stderror). arccat työn_tunnus arccat e työn_tunnus Kun työ on valmis (Finished) tai se on epäonnistunut ( Failed) sen tulokset haetaan omalle koneelle arcget -komennolla: arcget työn_tunnus 16
arcget-komento luo omalle koneellesi uuden hakemuiston johon se kopioi työn kuvaustiedostossa määritellyt tulostiedostot sekä oletustulosteen ja virheet. Oletusarvona tuloshakemiston nimeksi annetaan työn tunnuksen loppuosan merkkijono. Jos arcget-komentoon lisätään valistin J tuloshakemiston nimeksi tulee työnkuvaustiedostossa määritelty työn nimi. arcget J työn_tunnus Arcget-komennon suorituksen yhteydessä kaikki työhön liittyvät tiedostot poistetaan gridympäristöstä. Tämän jälkeen työ ei siis enää näy ascstat tai muilla ARC komennoilla. Lähetetty työ voidaan poistaa ajosta komennoilla arckill ja arcclean. Arckill-komento keskeyttää lähetetyn työn ja arcclean poistaa sen grid-ympäristöstä. Töitä voidaan poistaa niiden tunnisteiden perusteella: arckill työn_tunnus arcclean työn_tunnus Kaikki omat grid työt voi poistaa käyttämällä komentojen yhteydessä -a valitsinta. arckill a arcclean a Taulukko 2. Töiden suorittamiseen liittyvät arc-komennot Komento arcproxy arcsub arcstat arcget arckill arcclean arcsync arccat Kuvaus Proxy-varmenteen luominen. Työn lähettäminen ajoon. Työn tilan tarkistaminen. Valmiin työn tulosten hakeminen. Ajossa olevant työn poistaminen. Työn tulosten ja väliaikaistiedostojen poistaminen grid-ympäristöstä. Omalla koneella oleva työlistan synkronointi grid-ympäristön kansa. Ajossa olevan tai valmiin ajon oletustulosteen ja virheilmoitusten tarkastelu. 17
2.3.2 Esimerkkityön ajo FGI-ympäristössä Alla olevassa esimerkissä ajetaan kappaleessa 2.2 määritelty esimerkkityö hello.xrsl. Esimerkissä ovat näkyvillä sekä annetut komennot että saadut tulosteet. Merkki > merkitsee komentorivikehoitetta. Käyttäjän suorittamat komennot on lihavoitu. Luodaan ensin proxy-varmenne ja tarkistetaan, että tarvittavat tiedostot (työnkuvaustiedosto, komentotiedosto ja syötetiedostot) ovat saatavilla. > arcproxy Your identity: /DC=org/DC=terena/DC=tcs/C=FI/O=CSC/CN=Kalle Käyttäjä kkayttajl@csc.fi Enter pass phrase for /home/kkayttaj/.globus/userkey.pem:...++++++...++++++ Proxy generation succeeded Your proxy is valid until: 2012 06 21 02:49:17 > ls file1.txt file2.txt hello.xrsl runhello.sh Tämän jälkeen lähetetään hello.xrsl-tiedostossa määritetty työ ajoon arcsub-komennolla. > arcsub hello.xrsl ERROR: Conversion failed: @ 3055 ERROR: Conversion failed: : SEVQLVNQRUMwNiBAIEDCoDEyLjIy Job submitted with jobid: gsiftp://celaeno grid.lut.fi:2811/jobs/3008913401883521090110523 Työn lähetyksen yhteydessä tulostuvat ERROR -alkuiset rivit eivät vaadi toimenpiteitä. Jakoa varten kannattaa poimia talteen työn tunnus tulostuksen lopusta. Tämän jälkeen työtä voidaan seurata arcstat- ja arccat-komennoilla. > arcstat gsiftp://celaeno grid.lut.fi:2811/jobs/3008913401883521090110523 Job: gsiftp://celaeno grid.lut.fi:2811/jobs/3008913401883521090110523 Name: hello_fgi State: Queuing (INLRMS:E) > arcstat gsiftp://celaeno grid.lut.fi:2811/jobs/3008913401883521090110523 Job: gsiftp://celaeno grid.lut.fi:2811/jobs/3008913401883521090110523 Name: hello_fgi State: Finished (FINISHED) Exit Code: 0 > arccat gsiftp://celaeno grid.lut.fi:2811/jobs/3008913401883521090110523 Hello FGI Kun työ on valmis, sen tulokset haetaan arcget-komennolla. Komennon tuloksena syntyy uusi hakemisto, joka sisältää työn kuvauksessa määritellyt tulostiedostot. > arcget gsiftp://celaeno grid.lut.fi:2811/jobs/3008913401883521090110523 > ls 3008913401883521090110523 file1.txt file2.txt hello.xrsl runhello.sh > cd 3008913401883521090110523/ > ls output.txt std.err std.out 18
2.3.3 Valmiiksi asennettujen ohjelmistojen käyttö Monimutkaisten ohjelmien kääntäminen ja ohjelmistoihin mahdollisesti liittyvien asetusten määrittely käyttäjän itsensä toimesta saattaa olla hankalaa. Tästä johtuen FGI ympäristöön on asennettu valikoima yleisesti käytettyjä grid-käyttöön soveltuvia ohjelmia. FGI:hin asennettujen ohjelmien käyttöönotto tehdään työkuvaustiedostossa määriteltävien ajoympäristöjen (Run Time Environment) avulla. Ajoympäristö toimii pitkälti saamaan tapaan kuin module-komento CSC:n laskentaympäristössä: se lisää ohjelmistoon liittyvät komennot komentopolkuun ja asettaa tarvittavat ympäristömuuttujat. Lisäksi ajoympäristö toimii ARC-väliohjelmistolle merkkinä siitä, että haluttu ohjelmisto on käytettävissä tietyssä koneessa. Kaikissa FGI:hin liitetyissä koneissa ei välttämättä ole samoja ajoympäristöjä. Tiedot ja esimerkkejä FGI:ssä käytössä olevista ajoympäristöistä löytyvät FGI:n wiki sivuilta: https://confluence.csc.fi/display/fgi/grid+runtime+environments Ajoympäristön käyttöönotto määritellään työnkuvaustiedostossa runtimeenvironment-parametrilla. Esimerkiksi Bowtie2-ohjelmiston ajoympäristön nimi on APPS/BIO/BOWTIE-2.0.0, joten se otetaan käyttöön lisäämällä työnmäärittelytiedostoon rivi: (runtimeenvironment="apps/bio/bowtie 2.0.0") Bowtie2 pystyy käyttämään säikeisiin perustuvaa OpenMP-rinnakkaistusta. Tällaisten ohjelmien kohdalla ajoympäristö määrittelee myös käytettävien laskentaydinten lukumäärän. Tällöin käyttäjä ei siis suoraan määritä käytettävien laskentaydinten määrää, vaan ajoympäristö valitsee sopivan ydinmäärän, joka saattaa vaihdella eri koneiden välillä. Ajoympäristön asettama laskentaydinten määrä tallennetaan ympäristömuuttujaan (Bowtien tapauksessa $BOWTIE_NUM_CPUS) jonka kautta tieto välitetään suoritettavalle ohjelmalle. Alla esimerkki Bowtie2 ohjelmaa käyttävän FGI työn määrittely tiedostosta bowtie2.xrsl. Tiedosto sisältää runtimeenvironment rivin jolla määritellään käytettävä ajoympäristö: & (executable=run_bowtie2.sh) (jobname=bowtie2) (stdout=std.out) (stderr=std.err) (cputime="6 hours") (memory=4000) (runtimeenvironment=apps/bio/bowtie 2.0.0) (inputfiles= ("chr_18.fa" "chr_18.fa") ("reads.fq" "reads.fq") ) (outputfiles= ("output.sam" "output.sam") ) 19
Esimerkkityön ajotiedosto run_bowtie2.sh käyttää ajoympäristön määrittelemää $BOWTIE_NUM_CPUS ympäristömuuttujaa bowtie2-komentojen yhteydessä: #!/bin/sh echo "Hello Bowtie2" bowtie2 build p $BOWTIE_NUM_CPUS chr_18.fa chr_18 bowtie2 p $BOWTIE_NUM_CPUS chr_18 reads.fq > output.sam exitcode=$? echo "Bye Bowtie2!" exit $exitcode 20