Tieteellisten laskentaresurssien ja niiden oheispalvelujen kokonaisarkkitehtuuri

Transkriptio

1 Tieteellisten laskentaresurssien ja niiden heispalvelujen kknaisarkkitehtuuri Tieteellisten laskentaresurssien ja niiden heispalvelujen kknaisarkkitehtuuri... 1 Yleistä Laskennallinen tiede ja tieteellinen laskenta Rajaukset ja reunaehdt Nykytila Laskennallinen tiede Sumessa Tieteellisen laskennan käyttäjät Resurssien ja käyttäjien (hallintalueiden) väliset raja-aidat Sumessa Laskentaresurssit Tavitetila Tieteellisen laskennan timinta-arkkitehtuuri Strategia Tieteellisen laskennan strategia Timinnan haasteet ja tavitteet Keskitettyjen resurssien aidsti kansallinen käyttö CSC:n in huse -asema Teknlgian kehityksen aiheuttamat haasteet Laitteisthankinnat ja niiden rahitus Kansainvälisen käytön ja tukipalveluiden rahitus Kknaisptiminti ja kustannustietisuus Tieteellinen laskenta tellisuudessa Palvelut Laskentaresurssit Virtualisidut laskentaresurssit Krtetun tietturvatasn laskenta Käyttäjätuki Kulutus Ohjelmist- ja tietkantapalvelut Kriittiset palvelut muualta Timijat ja sidsryhmät Palveluiden tuttajat Lppukäyttäjät Rahittajat Ohjaus Organisaati CSC Ylipistt Ammattikrkeakulut Tutkimuslaitkset Prsessit Resurssien jak Käyttäjähallinta Resurssien ylläpit ja uudistaminen Tieteellisen laskennan tietarkkitehtuuri

2 3.1 Käsitteitä Arkkitehtuuriperiaatteet Sidsarkkitehtuurit Yleiset arkkitehtuuriperiaatteet Timinnalliset arkkitehtuuriperiaatteet Tietturva- ja tietsujaperiaatteet Liitteet Lait ja säädökset CSC:n tämän hetkisten kneiden tekniset yksityiskhdat

3 Tiivistelmä Jhdant Tieteellinen laskenta n yksi Sumen tieteen suurista vahvuusalueista. Sen mnella sa-alueella n Sumessa j kauan llut aktiivisia tutkimusryhmiä, jtka vat hyvin krkeasti arvstettuja maailmalla. Alalla n llut useita Akatemian huippuyksiköitä ja akatemiaprfessreita. Pitkään jatkunut tutkimus n myös lunut vahvan kansallisen, yhteistyön kautta tisiaan tukevan tutkimusyhteisön jillekin sa-alueille. Tämän n mahdllistanut krkeatasisten tutkijiden 1970-luvulta alkaen luma hyvä tutkimusilmapiiri sekä CSC:n tarjama kansainvälisestikin erittäin krkea määrä laskentakapasiteettia ryhmää khden. Lisääntyvän digitalisaatin myötä tieteellinen laskenta laajenee perinteisten laskennallisten tieteiden alalta kvaa vauhtia muihin tieteisiin ja esimerkiksi dataintensiivisen laskennan menetelmiä svelletaan j rutiininmaisesti mm. kielitieteisiin ja bilgiaan. Tieteellisten laskentaresurssien ja niiden heispalveluiden kknaisarkkitehtuuri kuvaa sumalaisten laskennallisen tieteen ja tutkimuksen käytössä levaa laskenta- ja tallennuskapasiteetista, hjelmistista, tietkannista ja niihin liittyvästä käyttäjätuesta ja - kulutuksesta mudstuvaa kknaisuutta (jta jatkssa kutsutaan yksinkertaisemmin tieteelliseksi laskennaksi). Kartturi-mallin mukainen kknaisarkkitehtuuri käsittää timinta-, tiet-, tietjärjestelmä- ja teknlgia-arkkitehtuurien yksityiskhtaiset kuvaukset. Tätä dkumenttia laadittaessa kknaisarkkitehtuuriperiaatteita n kuitenkin nudatettu vain löyhästi ja keskittyen timintaarkkitehtuuriin. Tavitteena n llut selkeä ja käytännönläheinen lpputuls, jta vidaan ajatella myös epämudllisesti tieteellisen laskennan kknaiskuvana. Kska sumalaiset tieteellisen laskennan timijat mudstavat itsenäisiä kknaisuuksia ilman yhteistä hallinta, arkkitehtuuri n lunteeltaan hjaava eikä sitva. Kknaisarkkitehtuurin keskeisimmät sakknaisuudet vat nyky- ja tavitetilan kuvaukset sekä tieteellisen laskennan strategia. Yleistä 1.1 Laskennallinen tiede ja tieteellinen laskenta Laskennallinen tiede n tietkneiden kehityksen myötä vakiintunut klmanneksi paradigmaksi perinteisten kkeellisten ja tereettisten menetelmien rinnalle. Laskennallisen tieteen prsessi vidaan karkeasti jakaa neljään vaiheeseen: 1) Tutkittavasta ilmiöstä tehdään matemaattinen malli. 2) Matemaattiselle mallille etsitään numeerinen ratkaisumenetelmä, jta kutsutaan usein algritmiksi. 3) Numeerinen algritmi hjelmidaan ja ajetaan tietkneella. Tätä kutsutaan usein simulimiseksi. 3

4 4) Tulsten tulkinta ja havainnllistaminen, mikä tyypillisesti vaatii lisää laskentaa tietkneella. Erityisesti khdat 2) ja 3) karakterisivat laskennallista tiedettä. Laskennallisen tieteen ja tietknesimulaatiiden avulla vidaan tarkastella ilmiöitä, jiden tutkiminen kkeellisesti n liian hidasta, kallista, vaarallista tai yksinkertaisesti mahdtnta. Puhtaasti tereettinen lähestymistapa muuttuu laskennalliseksi tieteeksi, kun käytettävät matemaattiset mallit tulevat niin mnimutkaisiksi, että niitä vidaan analysida vain numeerisesti. Tieteellinen laskenta käsittää pääasiassa edellä levan listan khdan 3), mutta käytettävissä levan tietkneen tekniset minaisuudet vivat vaikuttaa khtaan 2) eli algritmin valintaan. Edellä esitetyn laskennallisen tieteen mallin rinnalle n nussut neljänneksikin paradigmaksi kutsuttu dataintensiivisen tieteen malli. Neljäs paradigma yhdistää kkeellisen tieteen havaintihin ja niistä kerättyyn dataan perustuvan tutkimuksen ja laskennallisen tieteen tavan käyttää tietknekapasiteettia tutkimuksessa. Neljännen paradigman mukaista laskentaa kutsutaan usein dataintensiiviseksi laskennaksi. Tässä dkumentissa tarkastellaan tieteellisten laskentaresurssien ja niiden heispalvelujen kknaisarkkitehtuuria tai -kuvaa, jnka keskeisimmät sakknaisuudet vat: 1) Laskentakapasiteetti käyttöympäristöineen. 2) Oheispalvelut kuten tallennuskapasiteetti, hjelmistt, aineistt ja tietkannat jne. 3) Laskentakapasiteetin käyttöön ja hjelmintiin liittyvä käyttäjätuki. 4) Edellisiin liittyvä kulutus. Jatkssa tieteellisiin laskentaresursseihin ja niiden heispalveluihin viitataan yksinkertaistaen termillä tieteellinen laskenta. 1.2 Rajaukset ja reunaehdt Arkkitehtuuri ei le sitva vaan hjaava. Timijaryhmät vat mukana edustajien kautta, ja yksittäisen timijan näkemys saattaa piketa työryhmän susituksista. Yrityksissä tehtävää tieteellistä laskentaa ei käsitelty yksityiskhtaisesti. Arkkitehtuuriperiaatteita n nudatettu löyhästi menemättä liian syvälle yksityiskhtiin; tavitteena n mahdllisimman selkeä kknaiskuva. Tarkastelujaks: supertietkneiden käyttöikä n nin 3 vutta ja EU-infrastruktuurien rahitusinstrumenttien näkymä H2020-hjelman kautta n nin viiden vuden päässä, jten tarkastelujaksssa n pyritty keskittymään seuraavaan 5 vuteen. 1.3 Nykytila Laskennallinen tiede Sumessa Laskennallinen tiede (tieteellinen laskenta) perustuu tieteellisten ngelmien ratkaisemiseen matemaattisten mallien ja kvantitatiivisten analyysimenetelmien avulla, hyödyntäen tehkkaasti tietkneiden antamaa lisäarva. Olennaisesti laskennallinen tiede integrituu 4

5 parhaillaan kaikkialle esimerkiksi kännyköihin, paikantamiseen, terveydenhitn ja energiantutantn, ja sen hessa mitä luntevimmin uuden tieteellisen tiedn tuttamiseen. Sumessa laskennallinen tiede kattaa leellisesti kaikki tieteen alat (mm. fysikaaliset ja kemialliset tieteet, bilgiset ja lääketieteet, teknisten tieteiden laajan kirjn, yhteiskuntatieteet mukaan lukien talustieteet, ja menetelmien kehittämisen). Laskennalliselle tieteelle n vahvasti minaista sen pikki- ja mnitieteinen lunne. Yhä kasvavassa määrin laskennallisen tieteen tutkimus integridaan yhteen kkeellisen tieteen kanssa, niiden mlempien vaikutusta kasvattaen. Samassa hengessä laskennallinen tiede n Sumessa saanut merkittävän aseman eri tieteenaljen välisten rajapintjen kaatajana, sillä hyvin usein laskennallisen tieteen malleja ja menetelmiä käytetään pikkitieteellisten ngelmien ratkaisemiseen. Esimerkkeinä tästä suuntautumisesta vidaan mainita laskennallisen tieteen alalta mm. ilmakehän tieteet (Helsinki), bilginen fysiikka (Tampere, Oulu), nantieteet (Esp, Helsinki, Jyväskylä) ja biinfrmatiikka (Helsinki, Kupi, Tampere). Mainittakn lisäksi että Sumen Akatemian vunna 2012 tekemässä fysiikan tieteenalaarviinnissa tdetaan laskennallisen tieteen levan Sumessa erittäin krkeatasista 1. Alalla n myös llut useita Akatemian huippuyksiköitä ja akatemiaprfessreita 2. Kun katstaan alan kehitystä viimeisen 10 vuden ajalta, n humin arvista, että jhtavien tiedelehtien mielenkiint laskennallista tiedettä khtaan n kasvanut systemaattisesti: laskennallista tiedettä sisältävien tutkimusartikkelien suhteellinen suus kaikista julkaisuista n tieteen huippulehdissä kasvanut nin kaksinkertaiseksi edellisen vusikymmenen aikana. Tämän trendin vidaan perustellusti arviida kasvavan etenkin Sumessa kska laskennallinen tiede n saanut mm. tumansa lisäarvn ja suhteellisen edullisuuden ansista kasvavan susin kaikissa sumalaisissa tiederganisaatiissa, ja se näkyy knkreettisesti etenkin huipputasn tutkimuksen edistäjänä. Verrattuna muihin EU:n jäsenmaihin Sumessa nkin minaista keskitettyjen (CSC:n) laskentapalvelujen suuri merkitys akateemiselle tutkimukselle. Tästä n seurannut tilanne, että vaikka mnella muulla tutkimuksen alueella sumalaisten akateemisten ryhmien mahdllisuudet vat teknisessä mielessä rajitetut, n laskennallisissa tieteissä pystytty saavuttamaan kansainvälisesti katsttuna vahva kilpailuasema ilman, että kustannukset tutkijille lisivat lleet khtuuttmia. Kansainvälisellä taslla haettavana levat tieteellisen laskennan resurssit tukevat tätä kehitystä. Tinen myönteinen seuraus CSC:n rlista n llut laskennallisten tieteiden suurempi integraati muuhun tutkimukseen. Kska keskitetty laskentaresurssien ylläpit ja tieteellisten hjelmistjen sekä menetelmien asiantuntijatuki mahdllistavat suurtehlaskennan käyttämisen j yksittäisten tutkijiden taslla, ei uusien menetelmien käyttööntt le llut ylivimaista. Tätä taustaa vasten n helpsti ymmärrettävissä, että Sumen Akatemian valitsemista tutkimuksen huippuyksiköistä lukuisissa 3 n merkittävä laskennallisen tieteen suus, jka tukee muuta, useimmiten kkeelliseen tutkimukseen phjautuvaa tutkimusta. Kattavaa arvita laskennallisen tieteen suudesta suhteessa kaikkeen sumalaiseen tutkimukseen ei liene vielä tehty, mutta suuntaa antavana arvina vidaan pitää yksittäisten 1 "Physics Research in Finland Evaluatin Reprt", Academy f Finland 08/12, 2 Huippuyksiköt COMP ja CMS, Akatemiaprfessrit Nieminen, Pyykkö. 3 Muun muassa Center f Excellence in Bimembrane Research, Center f Excellence in Atmspheric Science, Center f Excellence in Experimental and Cmputatinal Develpmental Bilgy Research, Finnish CE in Cancer Genetics Research, Finnish CE in Cmputatinal Nanscience, Finnish CE in Cmputatinal Interface Research, Finnish CE in Inverse Prblems Research jne. 5

6 ylipistjen tilanteita. Esimerkiksi Tampereen teknillisessä ylipistssa laskennallisen tieteen suus kaikesta sen tutkimuksesta n karkeasti lukkaa %, mitä vidaan pitää merkittävänä suutena ja krkean vaikutuksen tuttajana. Ottaen humin tieteen kustannuspaineet, vaikutuksen kasvuun khdistuvat tarpeet ja laskennallisen tieteen kustannustehkkuuden, laskennallisen tieteen suhteellisen rlin kasvua sana Sumen tieteen tulevaisuutta ja yritystimintaa vi pitää luntevana kehityskulkuna. Yleisesti laskennallisen tieteen asema Sumessa n tällä hetkellä vahva, surastaan erinmainen. Tämän tilanteen taustalla n se erinmainen tuki, jta etenkin CSC n tukirganisaatina laskennalliselle tieteelle ja sen kehitykselle antanut. Jtta laskennallinen tiede yhtenä sumalaisen tieteen keihäänkärkialana ja krkean vaikutuksen tuttajana kehittyisi myös jatkssa, n CSC:n timinnan tukeminen ja edelleen vahvistaminen välttämätöntä. Dataintensiivisen laskennan yleistyminen tukee malta saltaan laskennallisen tieteen kasvua Tieteellisen laskennan käyttäjät Ylipistt, ammattikrkeakulut ja tutkimuslaitkset tuttavat laskentaresursseja lähinnä sisäiseen käyttöön, jsta ei kattavia tilastja le saatavilla. CSC:n keskitettyjä tieteellisen laskennan resursseja käytetään pääasiassa ylipistissa, ja pienessä määrin myös ammattikrkeakuluissa ja tutkimuslaitksissa. Käyttö jakaantuu mnen tieteenalan kesken. Lukumääräisesti suurin käyttäjäryhmä n bitieteen tutkijat ennen fyysikita, kemistejä ja kielentutkimusta (kuva 1). Eniten resursseja pulestaan käyttävät fyysikt ennen nantieteen, kemian ja bitieteiden tutkijita (kuva 3). Organisaatiittain suurimmat käyttäjät vat lukumääräisesti mitattuna Helsingin ylipist, Aalt-ylipist ja Oulun ylipist ja resurssien käytön mukaan Tampereen teknillinen ylipist, Aalt-ylipist ja Helsingin ylipist (kuvat 2 ja 4). 6

7 Kuva 1. CSC:n laskenta-asiakkaat tiedealittain Kuva 2. CSC:n laskenta-asiakkaat rganisaatiittain

8 Kuva 3. CSC:n laskentaresurssien (yksi Sisun tai Taidn creh = kaksi laskutusyksikköä) käyttö tiedealittain Kuva 4. CSC:n laskentaresurssien (yksi Sisun tai Taidn creh = kaksi laskutusyksikköä) käyttö rganisaatiittain

9 Kknaisuutena tarkasteltuna ylipistjen mien resurssien käyttö nudattaa luultavasti samja linjja. Tutkimuslaitksista eniten laskenta-aikaa käytetään Ilmatieteen laitksella, jssa käyttö jakaantuu peratiivisen säänennustamisen ja tutkimuksen kesken. Ilmatieteen laits n myös käyttänyt humattavan määrän PRACE Tier-0 -kapasiteettia avaruussään tutkimukseen liittyen. Tyypillisiä tieteellisen laskennan svelluskhteita vat muun muassa mlekyylidynamiikka, elektrnirakenteen tutkiminen, plasmafysiikka, ilmastmallinnus, virtauslaskenta ja hiukkasfysiikka. On kuitenkin humattava, että eri svellukset tarvitsevat erityyppisiä resursseja: ptimaaliset resurssit vat keskenään hyvin erilaisia CPU- ja muisti-intensiivisille svelluksille, kun taas jtkut tieteenalat tarvitsevat ennen kaikkea tehkkaita tallennus- ja/tai I/O-resursseja. On lisäksi tieteenalja, jissa reaaliaikainen tiedn yhdistäminen verkn yli n kiperin ngelma (esim. lng baseline interfermetry radiastrnmiassa) keväällä avattu cputa Infrastructure as a Service ti uuden tavan käyttää CSC:n laskentaresursseja. Käyttäjät vivat valita haluamansa käyttöjärjestelmän ja asentaa hjelmistja täysin pääkäyttäjä ikeuksin. Virtuaalikneisiin vi liittää tallennustilaa laskentaa varten. Prjekteista nin pulet tulee bitieteistä, mihin yksi syy n alan hjelmistkknaisuuksien ja menettelemien npea kehitys ja lukumäärä, jhn CSC:n perinteisellä yleiskäyttöisellä laskentaklusteri ympäristöllä ei le pystytty vastaamaan. Kattava kuvaus laskennallisen tieteen suurtehlaskentatarpeista Eurpassa n esitetty viitteessä (PRACE Scientific Case) Resurssien ja käyttäjien (hallintalueiden) väliset raja-aidat Sumessa CSC:n keskitettyjen laskentaresurssien velituksetn käyttö n mahdllista vain petusministeriön timialalle eli ylipistille ja ammattikrkeakuluille. Kansainvälisten resurssien, kuten PRACEn, käyttö n maksutnta kaikille avinta tutkimusta tekeville timijille tutkimuslaitkset mukaan lukien, mutta hakemusten n läpäistävä tieteellinen ja tekninen arviinti. PRACE-käyttö tulee kuitenkin jatkssa edellyttämään lisäksi kansallisen tasn kntribuutita infrastruktuurin perintikuluihin. Tilanne n esitetty kuvassa 5. 9

10 Kuva 5. Tieteellisen laskennan raja-aidat Sumessa. Kansainvälinen käyttö (sumalaisten tutkijiden kansainvälinen käyttö ja vice versa) ja yhteistyö kasvaa tulevaisuudessa runsaasti Eurpan yhteisten strategisten tutkimusinfrastruktuurien (ESFRI) edistymisen ja kansainvälistä yhteiskäyttöisyyttä ja uusia tieteellisen laskennan tarvitsemia palveluita valmistelevien H2020-hankkeiden kuten EUDAT ja EGI myötä Laskentaresurssit CSC:n laskentaresurssit CSC:n laskentaresurssien kasvu vudesta 1989 lähtien n esitetty kuvassa 6. Vunna 2014 suritettu päivitys mninkertaisti kknaislaskentakapasiteetin aikaisempiin vusiin verrattuna (kuva 7). Kasvu n pitkällä aikavälillä tarkasteltuna llut ekspnentiaalista, ja kapasiteetti n kaksinkertaistunut keskimäärin alle kahden vuden välein. Asiakkaat vat pystyneet hyödyntämään tarjtut resurssit tehkkaasti, ja kneiden käyttöaste n tyypillisesti llut erittäin krkea ja elinkaaren lppupäässä jntusajat pitkiä. Kneiden elinkaaren alkupäässä niiden surituskyky n llut kansainvälisellä superkneiden TOP500-listalla viidenkymmenen paremmalla pulella ja tyypillisesti Eurpan ja Phjismaiden npeimpien järjestelmien jukssa. 10

11 Kuva 6. CSC:n laskentakapasiteetin ja käytön kehitys Kuva 7. CSC:n laskentakapasiteetin kasvu CSC:n tarjama suurtehlaskentakapasiteetti käsittää tällä hetkellä supertietkne Sisun ja superklusteri Taidn. Erikisprsessreita ja pilvikapasiteettia (cputa) tarjtaan sana Taita. Lisäksi CSC tarjaa laskentakapasiteettia sensitiivisen datan analysintiin. Organisaatiasiakkaille ja vaativiin tietturvaan liittyvää pilvipalvelua (eputa) pystytetään keväällä 2014 Espn datakeskukseen. eputa krvaa 2010 lähtien käynnissä lleen Bimedinfra-pilvipalvelun. 11

12 N e t A p p S t r a g e Kuva 8. CSC:n laskentaympäristö 2015 (suunnitelma). CSC n prfilinut Sisun isja rinnakkaisajja varten: nrmaalin käytön puitteissa suurin sallittu työn kk n 9600 ydintä eli suunnilleen neljässa kk kneesta. Niin santuissa Grand Challenge -hauissa vidaan myöntää ikeudet ismpiin ajihin. Isjen ajjen susiminen laskee väistämättä kneen käyttöastetta jnkin verran. Pienemmät rinnakkaistyöt ja peräkkäistyöt ajetaan Taidssa, jssa n myös suurempi valikima CSC:n asentamia ja tukemia tieteellisen laskennan svelluksia. Sisussa ajetaan lähinnä käyttäjien mia, tieteellisten yhteisöjen kehittämiä tai avimeen lähdekdiin perustuvia svelluksia. CSC:n tämän hetkisten kneiden tekniset yksityiskhdat n kuvattu liitteessä 2. Sisussa nrmaalit resurssimyönnöt vat muutamia miljnia cre-tunteja (creh) ja Grand Challenge -prjektille vidaan myöntää suunnilleen 10 miljnaa creh. (Sisussa vudessa tereettinen maksimi 350 M creh 100 % käytöllä.) Laskentaresurssit ylipistissa, ammattikrkeakuluissa ja tutkimuslaitksissa Ylipistt vat tuttaneet maa laskentakapasiteettia 1960-luvulta lähtien, jllin Fysiikan laskentatimist perustettiin Helsingin ylipistssa luvun alulle asti (kun internet ei llut vielä laajasti käytettävissä) suurin sa laskentaa tehtiin paikallisilla ratkaisuilla luvulta lähtien CSC:llä n llut yllä kuvatun mukaisesti ratkaiseva rli suurimman tehn vaativassa laskennassa, mutta ylipistilla, ammattikrkeakuluilla ja tutkimuslaitksilla n edelleen llut useita paikallisia ratkaisuja. Ylipistjen, ammattikrkeakulujen ja tutkimuslaitsten Tier-2-laitteistt vat useimmiten klustereita. Paikalliset resurssit vat tärkeä ja leellinen sa tieteellisen laskennan hierarkiaa; niillä vidaan räätälöidysti vastata tarpeisiin, jiden humin ttaminen kansallisella taslla n vaikeaa tai epätarkituksenmukaista. Esimerkkeinä tällaisista erikisvaatimuksista vat hyvin pitkät ajajat ja äärimmäisen krkea lutettavuus. Kun Grid-teknlgia, jlla laskentaresursseja vidaan käyttää ja hallita hajautetusti, tuli timintakäyttöön 2000-luvun alussa, ylipistjen paikallisia klustereita alettiin yhdistää 12

13 tisiinsa ja CSC:n kapasiteettiin ensin Materials Grid (MGrid), ja niitä seuraavissa Finnish Grid Infrastructure (FGI) ja Finnish Grid and Clud Infrastructure -knsrtiissa (FGCI). Tällä tavalla saavutettiin merkittäviä synergiaetuja klusterien laskentaresurssien jakamisen ja yhteiskäyttöisyyden suhteen sekä niiden teknisen hallinnan alilla, kuitenkin samalla säilyttäen paikallisten klusterien edut. Resurssit vat timineet myös uusien Grid- ja Cludteknlgiiden kehitys- ja testausalustana. Kuva 9. IaaS-pilvipalvelumalli rganisaatiille. CSC n vusina kehittänyt rganisaatiille suunnattua virtualisintiin phjautuvaa tieteellistä laskentaratkaisua (Kuva 9). Palvelumalli tutteistetaan sana Puta IaaS - pilvipalvelua (eputa) ja se tulee sveltumaan myös sensitiivisten aineistjen analysintiin. Organisaatin sisällä kapasiteetin jakelusta lppukäyttäjille vastaa paikallinen IT-asiantuntija tai -sast. Yhteisphjismaiset resurssit: NeIC Nrdic e-infrastructure Cllabratin NeIC n phjismainen hajautettu e-infrastruktuuri 4. Sen tehtävänä n kehittää ja tuttaa krkeatasisia laskenta- ja tallennuspalveluja phjismaisille

14 tutkijille erityisesti sellaisilla tutkimusalueilla, jilla phjismaisella yhteistyöllä saavutetaan lisäarva. NeIC:n taustalla n yhteisphjismaiset tarpeet hiukkasfysiikan Tier-1-tasn keskuksen lumiseksi, mutta timintaa n sittemmin pyritty laajentamaan myös muille tieteenalille. NeIC timii NrdFrskin alaisuudessa. NeIC n hajautettu rganisaati, jssa itse NeIC vastaa palveluiden kehityksestä ja tuesta, mutta itse laskenta- ja tallennusresurssit vat kansallisissa keskuksissa. NeIC n siten kmplementäärinen perinteiselle suurtehlaskennalle. Kansainväliset resurssit: PRACE ja muut vastaavat resurssit 1.4 Tavitetila Js kansalliset resurssit eivät riitä, tutkija vi hakea laskenta-aikaa PRACElta. Tällä hetkellä PRACEen kuuluu kuusi Tier-0-lukan knetta Saksassa, Ranskassa, Espanjassa ja Italiassa, jista vi saada käyttöönsä kymmeniä miljnia cre-tunteja. Kaikki hakemukset käyvät läpi tiukan tieteellisen ja teknisen evaluaatin. Teknisiin vaatimuksiin kuuluu käytettävän hjelmistn erittäin hyvä rinnakkaissurituskyky: skaalautuvuuden n ultuttava tyypillisesti vähintään ytimeen asti. Sumalaiset tutkijat vat menestyneet hyvin PRACE-hauissa: kknaissald vudesta 2011 lähtien n pitkälti yli 200 miljnaa cre-tuntia. PRACEn yhteydessä sa mukana levista keskuksista n tarjnnut tutkijille Tier-1-aikaa vaihdantaperiaatteella DECI-hjelmassa. CSC n sallistunut aktiivisesti tämän timinnan suunnitteluun ja tteuttamiseen, jka n jssain mielessä jatka aikaisemmille EU-rahitteisille DEISA-prjekteille. PRACEn käyttö n tistaiseksi llut käyttäjille maksutnta, mutta infrastruktuurin seuraavassa vaiheessa keväällä 2015 Tier-0-resurssien suunnitellaan muuttuvan maksullisiksi. Kknaisarkkitehtuuria laadittaessa rahitusmalli, jäsenten maksusuudet ja samalla kk infrastruktuurin tulevaisuus vat jssain määrin epäselviä. Js neuvtteluissa saavutetaan kaikkien sapulien hyväksymä malli timinnan jatkamiselle, CSC pyrkii hakemaan PRACEkäyttöä varten Sumen Akatemian FIRI-rahitusta. Kska Tier-0-tasn kapasiteetti n sittautunut tärkeäksi, sen saatavuus n turvattava PRACEn tulevaisuudesta riippumatta. Vaihtehtisia ratkaisuja n useita: avimiin kansainvälisiin hakuihin sallistuminen, resurssien staminen tai vaihtaminen sisarkeskuksilta, eurppalaisen tai phjismaisen knsrtin mudstaminen jne. Yleiset tavitteet: Tieteellisen laskennan kknaisuus tukee kilpailukykyistä ja kansainvälisesti hukuttelevaa tutkimusjärjestelmää. Tieteellisen laskennan tulee mahdllistaa uusia tieteellisiä avauksia. Tieteellinen laskenta rganisidaan mahdllisimman kustannustehkkaasti. Yksityiskhtaisemmat tavitteet, jtka pitäisi saada tteutetuksi tai turvatuksi seuraavan viiden vuden kuluessa: Timinta n kansainvälistä ja verkstitunutta Sumen laskennallinen tiede hukuttelee kansainvälistä yhteistyötä. 14

15 CSC:n palvelut ja kapasiteetti timivat ylipistjen kilpailuetuna kansainvälisiä huippututkijita Sumeen hukuteltaessa. Mahdllisimman saumatn liittymä kansainväliseen Tier-0 - ja grid-kapasiteettiin. Tiednvaiht kansainvälisten timijiden kanssa. Kansainvälisten ja kansallisten data-aineistjen saatavuus laskentaympäristössä. Riittävästi kapasiteettia Kansallinen kapasiteetti n riittävä kilpailukykyisen ja kansainvälisesti hukuttelevan tutkimusjärjestelmän ylläpitämiseksi. Mahdllisuus riittävän suuriin rinnakkaisajihin, jntusajat vat khtuulliset, riittävä kknaiskapasiteetti (thrughput, työt/aikayksikkö). Mahdllisuus suurien data-aineistjen (yli 100 TB) käsittelylle sana laskentaa. Aikakriittiselle laskennalle täytyy turvata riittävä palvelutas (tarkittaa lähes reaaliaikaisesti prsessitavaa mittalaitedataa tai peratiivista laskentaa, kuten esim. hiukkasfysiikan laskentaa, meterlgiaa tai muuta tiedettä, jssa tarvitaan keskeytymätöntä 24/7 laskentaa). Mahdllisuus sujuvaan siirtymiseen Tier-0-taslle. Tarkituksenmukaiset arkkitehtuurit Tehkkaalla kytkentäverklla varustettu superkne raskaaseen rinnakkaislaskentaan. Klusterit peräkkäis- ja pienille rinnakkaistöille sekä dataintensiiviseen laskentaan. Suuri kaistanleveys ja matala latenssi laskennan skaalattaviin levyjärjestelmiin Suurimuistisia slmuja. Virtualisinnin laajentaminen tiedealille räätälöityjen svellusympäristöjen tukemiseksi. Tarkituksenmukainen tietturva. Erikisprsessreita niitä hyödyntämään pystyviä svelluksia ja äärimmäistä teha vaativaa laskentaa varten. Sensitiivisten tutkimusaineistn laskentaan sveltuva, krtetun tietturvatasn järjestelmä. Nusevat dataintensiivisen tieteen tarpeet tetaan humin hyödyntäen synergiita lemassa leviin tieteellisen laskennan palveluihin ja infrastruktuureihin. Krkeatasiset tukipalvelut: laskentaympäristö, menetelmät, hjelminti, hjelmistt, tiede Varmistetaan laitteistjen tehkas hyödyntäminen. Tuetaan sumalaisen tieteellisen laskennan hjelminnin ja laskennallisen tieteen sekä yhteiskunnan kansainvälistä kilpailukykyä. Krkeatasinen tieteellisen laskennan kulutus Varmistetaan laitteistjen tehkas hyödyntäminen. Tuetaan sumalaisen tieteellisen laskennan hjelminnin ja laskennallisen tieteen sekä yhteiskunnan kansainvälistä kilpailukykyä. Riittävä, tehkas ja tarkituksenmukainen tallennuskapasiteetti Npeaa kneiden lähellä levaa tallennuskapasiteettia (cmputable strage). Arkistinti, pitkäaikaissäilytys ja jakaminen. Tarkituksenmukainen hierarkia ja yhteistyö paikallisten ja keskitettyjen resurssien välillä Vältetään päällekkäisyyksiä. Keskitetyt ja paikalliset resurssit täydentävät tisiaan. 15

16 Laajan käyttäjäkunnan palvelut keskitetysti. Rajitetun käyttäjäkunnan (erikis)palvelut krdinidusti. Avimuus uusia teknlgiita kkeiltaessa. Infrastruktuuri n tteutettu kustannustehkkaasti Kknaiskustannukset lasketaan yhteisesti svittujen periaatteiden mukaisesti. Pyritään kknaistaludellisesti edullisimpaan ratkaisuun. Yhteistyö hankinnissa. Turvattu rahitus ja rahitusmalli (jakstus jne.), jka mahdllistaa pitkän tähtäimen suunnittelun ja tukee kustannustehkkuutta. Keskitetyt resurssit vat aidsti kansalliset, ei keintekisia raja-aitja CSC:n palvelut vat maksuttmia julkiselle sektrille. Kaikki ministeriöt sallistuvat rahitukseen. Yhteinen hjaus Sumen tieteellisen laskennan kknaisuudella n yhteinen hjaus. Kaikki timijat edustettuina. Kknaisuuden krdinaati. Tieteellisen laskennan timinta-arkkitehtuuri 2.1 Strategia Tieteellinen laskenta n ylipistissa ja ammattikrkeakuluissa sekä tutkimuslaitksissa lähinnä työkalun asemassa ja vain välikappale tieteellisten tulsten tai esimerkiksi sääennusteiden tuttamisessa. Tämän vuksi tieteellinen laskenta itsessään ei yleensä esiinny näiden timijiden strategiissa tisin kuin laskennallinen tiede. Tieteellisen laskennan palvelujen tuttaminen n keskeinen sa CSC:n timintaa, ja se esiintyy myös vahvasti CSC:n strategiassa, kuten: Krkeakulut hyödyntävät petus- ja kulttuuriministeriön tarjamia ja CSC:n tuttamia palveluita kilpailuetunaan, esimerkiksi menestyvien tutkijiden hukuttelemiseksi Sumeen. CSC kehittää palveluita ja laitteistympäristöään praktiivisesti niin, että sumalaisilla krkeakuluilla n käytössään glbaalisti ensimmäisten jukssa kansainvälisesti kilpailukykyinen, uusimpia teknlgiita hyödyntävä ja helpsti saavutettava tutkimuksen tiettekniikkaympäristö. CSC mahdllistaa tutkijiden huippusuritukset tekemällä kiinteää yhteistyötä kansallisen tiekartan tutkimusinfrastruktuurien kanssa. CSC:n tutkimusinfrastruktuuri mukautuu uusien tieteenaljen tarpeisiin ja yhdistyy luntevasti tutkijan arkeen. CSC timii sillanrakentajana kansallisten ja kansainvälisten tutkimusinfrastruktuurien välillä ja laajentaa kansallista tarjntaa eurppalaisella yhteistyöllä. CSC:n kansainvälisen yhteistyön hedelmät tuvat suraa hyötyä tutkimusryhmille. CSC yhdistää kansallisia ja kansainvälisiä tutkimusinfrastruktuureja eksysteemeiksi rakentamalla mnitieteisyyttä, avimuutta ja yhteentimivuutta tukevia palveluita. 16

17 Lisäksi tieteellisen laskennan strategisia linjauksia tehdään siitä vastaavan CSC:n pääyksikön vusittaisissa timintasuunnitelmissa. Seuraavassa esitetään hjeellinen strategia Sumen tieteellisen laskennan kknaisuudelle Tieteellisen laskennan strategia Tieteellisen laskennan hyödyntäminen lisääntyy kaikilla tieteenalilla ja parantaa sumalaisen yhteiskunnan kilpailukykyä. Tieteellisen laskennan yhteiskunnallinen merkittävyys tunnistetaan yleisesti. Sumalaisilla laskennallisen tieteen tutkijilla n käytettävissään kansainvälisesti kilpailukykyiset tehkkaat, tarkituksen- ja ajanmukaiset kustannustehkkaasti tteutetut laskentaresurssit ja niihin liittyvät palvelut. Krkeatasinen tuki ja kulutus takaavat laitteistjen tehkkaan hyödyntämisen. Keskitetyt resurssit vat helpsti kaikkien käytettävissä. Käyttäjäkunnan laajentaminen Uusia käyttäjiä ja svellusalja tavitellaan tiedtuksella, mahdllisimman helppkäyttöisillä palveluilla, kattavalla tuella ja yhteistyöprjekteilla. Teknlgia- ja menetelmäkehityksen avaamat mahdllisuudet siirretään tutkimusyhteisöjen käyttöön npeasti uusina palveluina. Dataintensiivisen laskennan palveluilla vidaan saavuttaa käyttäjiä uusilta alilta, kuten esimerkiksi bi- ja lääketieteistä. Tehkkuus ja tarkituksenmukaisuus Laitteistt eivät aseta rajituksia tieteelle, ja tarjttavat arkkitehtuurit vastaavat käyttäjien tarpeita. Tarjlla n superknekapasiteettia massiiviseen rinnakkaislaskentaan, massiivista tallennuskapasiteettia datan prsessintia varten, klustereita pienille rinnakkaisajilla ja peräkkäistöille, suurimuistisia ndeja, pilvikapasiteettia, krtetun tietturvatasn kapasiteettia sensitiivisten aineistjen analysintiin, erikisprsessreita ja npeaa tallennuskapasiteettia. Tarkituksenmukaiset palvelut virtualisidaan mnikäyttöisyyden lisäämiseksi. Kustannustehkkuus Tarjamalla raskain kapasiteetti keskitetysti ja alemman tasn (Tier-2) kapasiteetti hajautetusti vältetään päällekkäisyydet ja saavutetaan kknaisuuden kannalta tarkituksenmukaisin ratkaisu. Kapasiteetti, jta ei kannata tteuttaa kansallisella taslla, hankitaan kansainvälisesti, esim. PRACElta. Kalliit erikisratkaisut varataan vain niitä tarvitseville töille ja työt hjataan spivimpaan arkkitehtuuriin. Tavitteena n hyvä käyttöaste ja töiden npeat läpimenajat. Susitaan energiatehkkaita arkkitehtuureja ja knesaleja. Laitteistt uusitaan riittävän usein. Kaikki timijat laskevat kustannukset samjen yhteisesti svittujen periaatteiden mukaisesti. 17

18 Ajanmukaisuus Tutkijille tarjtaan kansainvälisesti kilpailukykyistä laskentakapasiteettia. Turvatun ja jatkuvan rahituksen turvin laitteistjen uusiminen n mahdllista suunnitellusti ja pitkäjänteisesti. Teknlgiaseurannan ja -testauksen avulla pystytään tekemään ikeita valintja laitteistja hankittaessa. Tuki ja kulutus Tukihenkilöstön asiantuntemusta kehitetään jatkuvasti ja tiet siirretään käyttäjille hyvin järjestetyn kulutuksen ja selkeän dkumentaatin avulla. Käyttäjätukea annetaan sekä keskitetysti että paikallisesti. 2.2 Timinnan haasteet ja tavitteet Keskitettyjen resurssien aidsti kansallinen käyttö CSC n petus- ja kulttuuriministeriön mistama yritys, ja sen tarjamat tietkneresurssit ja niiden varassa timivat palvelut vat ministeriön kustantamina tavallisesti maksuttmia ylipistjen ja krkeakulujen tutkijille ja piskelijille. Tarvetta raskaammalle laskentakapasiteetille ja mahdllisuudelle massiivisen dataintensiiviseen prsessintiin n kuitenkin myös muiden ministeriöiden alaisissa tutkimuslaitksissa, ja tällä hetkellä ministeriörajat ylittävä käyttö edellyttää erillisiä spimuksia ja n maksullista. Tämä keintekinen raja haittaa tutkimusta ja yhteiskuntaa, ja siihen törmätään jatkuvasti. Samin ylipistjen ja krkeakulujen tutkijat jutuvat maksamaan CSC:n palveluista, js palvelutas ylittää perustasn, mutta tämän tyyppisille perintikustannuksille n vaikea saada kilpailtua rahitusta. Vaihtehtisesti CSC visi lla aidsti kansallinen resurssi ja kaikkien ministeriöiden alaisten laitsten käytettävissä ilman erillistä laskutusta. Lunnllisin ratkaisu lisi ministeriöiden yhteinen rahitus tai krkealla taslla slmitut ministeriöiden väliset puitespimukset. Tutkimuslaitsten tarvitseman raskaan laskentakapasiteetin keskittäminen lisi myös kustannustehkkaampaa ja säästäisi valtin rahaa CSC:n in huse -asema CSC:n asema kilpailutusten suhteen n nykymutiselle krkeakululaitkselle ainakin jssain määrin epäselvä. Olisi selkeä etu, js ylipistt ja ammattikrkeakulut visivat staa ilman kilpailutusta CSC:ltä myös niitä tieteellisen laskennan ja tutkimuksen tarvitsemia palveluita, jtka eivät sisälly OKM:n vusispimukseen. Muut ministeriöt ja niiden alaiset tutkimuslaitkset (valtin in-huse-asema) vivat hankkia CSC:n palveluita kilpailuttamatta Teknlgian kehityksen aiheuttamat haasteet Tietkneiden tehn kasvu niin santun Mren lain mukaisesti perustui pitkään ainakin sittain yksittäisten prsessrien tai prsessriytimien npeutumiseen ja kelltaajuuden kasvamiseen. Tämän hyödyntäminen li käyttäjille helppa; hjelmat npeutuivat lähes autmaattisesti seuraavaan prsessrisukuplveen siirryttäessä. Muutksia kdiin ei siis 18

19 juurikaan tarvinnut tehdä. Samaan aikaan kneiden teh kasvi myös rinnakkaisuutta eli prsessrien ja ydinten määrää lisäämällä. Viime aikina tehn kasvu n kuitenkin perustunut yksinmaan rinnakkaisuuden lisäämiseen, ja kelltaajuudet vat jpa hieman laskeneet. Tähän n sasyynä sähkönkulutuksen vimakas riippuvuus kelltaajuudesta. Rinnakkaisuus lisääntyy kaikilla lgisen hierarkian tasilla: kneissa n enemmän laskentaslmuja (jiden välinen kmmunikaati pitää hjelmida eksplisiittisesti), slmujen prsessreissa n enemmän ytimiä (jiden välillä vidaan käyttää yhteisen muistin rinnakkaistusta) ja ytimet surittavat yhdellä käskyllä enemmän laskutimituksia (vektrinti). Lisääntyneen rinnakkaisuuden tehkas hyödyntäminen edellyttää hjelmien ptimintia aikaisempaa enemmän ja laitearkkitehtuurin syvällisempää ymmärtämistä. Tämä krstaa tieteellisen laskennan kulutuksen ja käyttäjätuen merkitystä ja edellyttää niiden sekä itse tieteellisen laskennan hjelmien jatkuvaa kehittämistä. Saatavilla levien tieteellisten hjelmistjen lukumäärä jatkaa kasvuaan. Erityisesti alilla, jille laskennallisen tiede tekee tulaan, uusia hjelmistja syntyy kiihtyvällä tahdilla tutkimushjelmien tulksena. Esimerkiksi bilgiassa ja ympäristön tutkimuksessa tarvitaan jatkuvasti uusia algritmeja jhtuen tutkimusinstrumentaatin npeasta kehityksestä. Jpa vusittain uusiutuvat labratrilaitteet pystyvät tuttamaan jk laadullisesti tai määrällisesti kertalukkaa paremmin dataa, jka täytyy prsessida ennen kuin se vidaan tulkita. Tämän seurauksena laskentapalveluiden tarjajien pitää pystyä tarjamaan ratkaisu, jssa kunkin tieteenalan tai sen sa-alueen tai pikkitieteellisen yhteistyön data-analyysin vaadittavat hjelmistt vat erittäin npealla aikataululla saatavilla. Tieteen kehityksen seuraamisen tekee mahdlliseksi muun muassa CSC:n laskentaympäristön virtualisinti (esim. Putapilvipalvelu), jka mahdllistaa tietverkn välityksellä timitettavat tieteellisten hjelmistjen taslla räätälöitävät laskentapalvelimet. Yksi tieteellisen laskennan suurimmista haasteista n kneiden tehn mukana kasvava sähkönkulutus; sähkölaskun suus laskennan kknaiskustannuksista alkaa lähestyä kipurajaa. Tätäkin ngelmaa pyritään ratkaisemaan rinnakkaisuutta lisäämällä: sekä kiihdyttimissä (esimerkiksi Nvidian GPGPU:t) ja apuprsessreissa (esimerkiksi Intelin MIC/Xen Phi) n suuri määrä suhteellisen hitaita prsessintiyksiköitä. Nämä erikisprsessrit eivät svellu kaikkiin tehtäviin, mutta parhaimmillaan niistä saatava teh n mninkertainen tavallisiin prsessreihin verrattuna ja niiden energiatehkkuus n erinmainen. Valittavasti erikisprsessrien tehkas hjelminti n ainakin tistaiseksi hyvin hankalaa ja tistaiseksi svellusten tuki erikisprsessreille n vielä harvinaista. Siitä hulimatta vaikuttaa tdennäköiseltä, että CSC:n n seuraavassa knehankinnassaan panstettava myös näihin teknlgiihin sumalaisten tutkijiden kilpailukyvyn säilyttämiseksi. Selkeä haaste liittyy myös valintaan näiden erikisteknlgiiden välillä seuraavassa hankinnassa. Tällä hetkellä ei le selvää tulevatk mlemmat säilymään vai kuleek tinen. Virheellinen päätös lisi erittäin kallis sekä taludellisesti että palvelun tasn kannalta. Riskiä vidaan vähentää hulellisella teknlgiaseurannalla ja malla testaamisella, mutta tällainen vaatii resursseja Laitteisthankinnat ja niiden rahitus Tekniikan kehityksen ja erityisesti jatkuvasti parantuvan surituskyvyn ja sähkön kulutuksen suhteen vuksi suurtehlaskennan laitteistjen kustannustehkas käyttöikä n maksimissaan 19

20 viisi vutta. Myös kapasiteetin tarve kasvaa ja elinkaaren lppupäässä laitteistjen käyttöaste n tyypillisesti erittäin krkea ja jntusajat pitenevät. CSC n perinteisesti jutunut hakemaan rahituksen uusiin laitteistihin erikseen jka kerralla. Epävarmuus rahituksen tassta ja aikataulusta vaikeuttaa pitkäjänteistä suunnittelua. Rahituksen tasaisempi jakautuminen estäisi säännöllisin väliajin tistuvan resurssipulan kneiden elinkaaren lppuvaiheessa. Rahituksen lunteen vuksi CSC jutuu uusimaan kaikki suurimmat laitteistnsa yhtä aikaa, mikä tekee hankintaprjekteista vaativampia ja työläämpiä. Kapasiteetin tarjnnan kannalta visi esimerkiksi lla parempi uusia superkne ja klusteri eri tahdissa, jllin asiakkailla lisi useammin uuttaa teknlgiaa käytettävissä ilman että kknaisinvestinti kasvaisi. Hankintja hjaa lainsäädäntö, jka pyrkii turvaamaan tasapulisuuden timittajien kannalta, mutta samalla kankeudellaan pakttaa hankkijan määrittelemään arviintiperusteensa erittäin perusteellisesti j aikaisessa vaiheessa. Tämä lisää hankinnan epännistumisen riskiä js tarjttava teknlgia pikkeaa ennakidusta. Hulellisella valmistautumisella, neuvtteluilla ja tieta keräämällä riskiä vidaan pienentää, mutta n sittautunut, että valmistajat vat hyvin vastahakisia antamaan tarkkja tietja hinnista ja jpa knfiguraatiista ennen varsinaista tarjusta. Esimerkkinä lainsäädännön ja käytännön laiteinvestintien rahituksen haasteista n yhteistyö Sumen tutkimusinfrastruktuurien tiekartan (FIRI) kanssa. Sumen Akatemia n erikseen kieltänyt CSC:n hankkeilta edulliseksi havaitun leasing rahitusmallin. CSC:n hallintaan päätyvien laitteiden päämakustannus n pitänyt tehdä kertastina ja kertapistina yhden budjettikauden sisällä. Tämän seurauksena FIRI hankkeissa kehitettävien laskentapalveluiden vusikustannuksiin päätyy suuriakin vaihteluita. Parempi malli lisi, että palveluiden tuttamisen tiettekniset edellytysten eli laitekannan kustannukset vitaisiin jakaa tasaisesti kk luvatulle palvelun elinkaarelle, ja tarvittaessa kasvattaa laitekantaa käyttöasteen kasvun myötä. Hankkijan liikkumavaran vähentyminen n jhtanut arviintikriteeristön mnimutkaistumiseen, mikä pulestaan n sittautunut ngelmaksi timittajille ja jhtanut epätäydellisiin tarjuksiin, jtka n juduttu hylkäämään Kansainvälisen käytön ja tukipalveluiden rahitus Kuten edellä tdetaan, suurtehlaskenta-arkkitehtuurien kasvavan rinnakkaisuuden tehkas hyödyntäminen vaatii asiantuntemusta ja paljn työtä. Tällainen työ n välttämättömyydestään hulimatta väliinputajan asemassa rahitusta haettaessa: hjelmankehitys ja surituskyvyn ptiminti ei varsinaisesti le tiedettä, jten tutkimusrahan saaminen sitä varten n vaikeaa. Samaten n tyypillistä, että laitteisthankintjen rahituksen yhteydessä perintiin ja tukeen ei myönnetä resursseja. Nämä vat kuitenkin leellisia tekijöitä laitteistjen hyödyntämisen kannalta, ja asiaa tulisi käsitellä kknaisuutena. Erityisesti tuen merkitys kasvaa jatkuvasti, kuten edellä tdetaan. CSC tuttaa palvelut OKM:lle makustannusperusteisesti mikä n kustannustehkasta, mutta samalla aiheuttaa kaikenlaisen puskurin puuttumisen tukipalveluiden rahituksesta. OKM pystyy rahittamaan vain san tukipalveluiden henkilötyöstä ja lpuille n haettava rahitus ulkpulelta jk sittain rahitettuina prjekteina tai täysin rahitettuna alihankintatyönä. Kun 20

21 situmukset työmääristä n täytettävä kummassakin kategriassa, lpputuls n erittäin kankea, ja uusiin hankkeisiin n vaikeaa löytää vapaita resursseja. Ministeriön rahitukseen pitäisi sisältyä justvaraa palveluiden kehitykseen. Kehitystyötä vidaan pririsida esim. kytkemällä ministeriön rahitus kilpailtuun ulkiseen kehitysrahitukseen (esim. FIRI, H2020). Kansainvälisten e-infrastruktuurien perinti ja käyttäjätuki rahitetaan tyypillisesti sin EUrahituksella. jka vaatii käytännössä aina lisäksi kansallisen rahitussuuden. Hankkeet n usein mnivutisia prjekteja vaikka niiden kautta tarjttavat palvelut mielletään pysyviksi ja n usein tunnistettu strategisesti välttämättömiksi Eurpan kilpailukyvylle ja tutkimukselle (mm. ESFRIt). Näin is sa tieteellisen laskennan tarvitsemasta tuesta, erityisesti kansainvälisten resurssien ja palveluiden salta tteutetaan ankarasti kilpaillun rahituksen turvin. Tähän timinta malliin liittyy merkittävä riski palvelujen epäjatkuvuudelle. Tisaalta EU-rahitteiset kehitys- ja tutkimusinfrastruktuurihankkeet mahdllistavat paremman asiakaspalvelun samalla panstuksella tai saman palvelutasn kansantaludellisesti edullisemmin. Tällöin kuitenkin haasteeksi mudstuu tarvittavien marahitussuuksien hankkiminen kun lukuisiin tutkimusinfrastruktuureihin pitäisi pystyä situtumaan samanaikaisesti useiksi vusiksi kerrallaan Kknaisptiminti ja kustannustietisuus Ideaalisessa tilanteessa Sumen tieteellisen laskennan resurssit järjestettäisiin kknaisuutena mahdllisimman kustannustehkkaasti ttaen humin kaikkien sapulien tarpeet. Suurin este tällaisen kknaisptiminnin tiellä n se, että timijat vat käytännössä itsenäisiä yksiköitä, jtka tekevät päätöksiä mista lähtökhdistaan. Kknaisvaltaisen kustannustehkkuuden kannalta ngelmaksi n havaittu, että eri timijat arviivat laskentaresurssien kustannukset eri tavalla. Esimerkiksi ylläpitkustannuksia tai sähkölaskua ei aina khdisteta laskennan kustannuksiin. Minimitavite n kustannusten laskeminen ttuuden mukaisesti samja sääntöjä käyttämällä. Tämä lisää kustannustietisuutta ja hjaa rahan tehkkaaseen käyttämiseen Tieteellinen laskenta tellisuudessa Vaikka laskennallinen tiede n Sumessa krkeatasista, yrityksissä matemaattista mallinnusta ja tietknesimulaatiita n hyödynnetty enimmäkseen melk hunsti, mikä n hukattu tilaisuus kilpailukyvyn kannalta. Myös numeerisen matematiikan tutkimus ja petus ylipistissa n nykyään vähäisempää kuin aikaisemmin. Tilanne n ehkä muuttumassa ns. Big Datan myötä, kun yrityksissä n havaittu massatiedn mahdllisuudet esimerkiksi tutteiden khdistamisessa ikealle kuluttajaryhmälle tai erilaisissa ptimintingelmissa. Tinen kasvava liiketiminta-alue n nk. yksilölliset hitmudt ja erilaiset terveydenhidn svellukset, jtka phjautuvat genmitasn tiedn, instrumenttidatan ja rekisteritietjen yhdistämiseen. Sumessa n pikkeuksellisen paljn systemaattisesti kerättyjä näytekkelmia ja rekisteriaineistja, jita n kerätty 1900-luvun pulivälistä saakka. Sumeen n viimeisten kymmenen vuden aikana syntynyt tutkimusryhmiä ja niistä pnnistavia pieniä yrityksiä, jtka vat erikistuneet eri tieteenaljen datan prsessintiin ja laskentaan tarvittavien referenssitietkantjen tulkintaan. Startup-yrityksillä ei kuitenkaan le päämia tai intressiä luda tarvittavaa tietteknistä laskenta-alustaa. CSC n ELIXIR (FIRI) - hankkeen myötä yhteistyössä klmen bialan pienen tai keskisuuren yrityksen kanssa 21

22 2.3 Palvelut laskentapalveluiden tarjajana löytääkseen rahituksellisesti ja spimuksellisesti kestävän mallin infrastruktuuritasn yhteistimintaan. Kuva 13. Keskeisimpien palveluiden tuttajat ja käyttäjät: T = tuttaja, K = käyttäjä. T, K = tuttaja ja käyttäjä Laskentaresurssit Tärkein tieteellisen laskennan palveluista n laskentaresurssien tarjaminen. Suurtehlaskentaresurssit lukitellaan usein klmeen kategriaan laskevan tehn mukaan: Tier- 0, Tier-1 ja Tier-2. Laajin käyttäjäkunta n Tier-2-kneilla, ja vain äärimmäistä teha tarvitsevia tutkimusngelmia kannattaa ratka Tier-0-laitteilla. Kuva 14. Laskentaresurssien eri tast. Tier-0:lla tarkitetaan maailman tehkkaimpia tietkneita, eli käytännössä Tp 500 -listan tehkkaimman kneen jukkn kuuluvia laitteistja. Tier-0-kneissa n tyypillisesti satja tuhansia laskentaytimiä sekä npea erikiskytkentäverkk, ja niiden tehkas hyödyntäminen edellyttää erittäin hyvin rinnakkaistuvaa hjelmaa: tyypilliset ajt käyttävät kymmeniä tuhansia 22

23 ytimiä. Tällainen kne edellyttää suurta ja edistynyttä käyttäjäkuntaa, ja esimerkiksi Sumen kaltaisessa maassa Tier-0-kneen hankkiminen ei lisi kustannustehkasta. Tier-0:aa karakterisi usein myös kansainvälinen käyttö ja vaativa vertaisarviintiprsessi; sumalaiset tutkijat pääsevät käyttämään tällaisia kneita PRACEn kautta. Tier-1-kneita vidaan pitää kansallisen tasn resursseina, ja esimerkiksi CSC:n nykyinen superkne Sisu ytimellään kuuluu tähän kategriaan. Tier-1-kneet n tarkitettu isille rinnakkaistöille, jtka pystyvät hyödyntämään tuhansia ytimiä. Tier-2 kstuu paikallisista ylipist- tai laitstasn laitteista, jtka vat tyypillisesti npealla InfiniBand-kytkentäverklla varustettuja klustereita. Näitä kneita käytetään sekä peräkkäisajihin että pieniin muutaman sadan ytimen rinnakkaisajihin. Hierarkian kaikki tast vat välttämättömiä ja tukevat tisiaan; tie raskaimpaan Tier-0- laskentaan vaatii kkemusta ja kehitystyötä ja kulkee Tier-1- ja Tier-2-tasjen kautta. Lisäksi Tier-2-resurssit vidaan paremmin räätälöidä paikallisiin tarpeisiin, jiden tyydyttäminen keskitetysti n jskus vaikeaa tai epätarkituksenmukaista. Edellä kuvattua lukittelua vidaan pitää suurtehlaskennan eksysteeminä. Kaikkia tasja tarvitaan ja ne vat riippuvaisia tisistaan. Laskentatehn kasvattaminen vaatii kalliita erikisratkaisuja, jista ei le hyötyä pienemmissä kneissa. Tier-0-kneiden hyödyntäminen edellyttää myös alemmilla tasilla tehtyä kehitystyötä, hyppy suraan huipputaslle n käytännössä mahdtn myös siksi, että resurssihakemuksessa n pystyttävä näyttämään ngelman spivuus ja hjelmistn surituskyky isilla kneilla. Mnissa supertietkneissa n nykyisin erikisprsessreita (GPU tai MIC), ja n tdennäköistä että tämä pätee CSC:n seuraaviin superkneisiin. CSC:llä n muutaman vuden ajan llut erikisprsessreita pienessä mittakaavassa ja lähinnä testikäytössä. Ensimmäinen GPU/MIC-kne yleiseen asiakaskäyttöön avattiin tämä syksynä. Vaikka erikisprsessrit eivät svi kaikkien ngelmien ratkaisemiseen, niille vidaan kustannustehkkaasti siirtää sa tavallisten prsessrien kurmasta. Erikisprsessrit ja niiden hjelmintimallit vat edelleen kehitysvaiheessa. Ainakin tistaiseksi erikisprsessrien tehkas hyödyntäminen edellyttää erittäin krkeatasista teknistä saamista ja paljn hjelmintityötä; erikisprsessreita ei siis tässäkään mielessä vi pitää yleiskäyttöisinä. Eri paikissa levia laskentaresursseja vidaan yhdistää suuremmaksi kknaisuudeksi hajautetun laskentamallin (grid-laskenta) avulla. Siinä mallissa käyttäjät lähettävät työnsä ajn erillisen välihjelman avulla. Työt hjautuvat autmaattisesti niille laskentaresursseille jissa n vapaata tilaa. Näin saadaan hajautetut resurssit tehkkaaseen käyttöön. Sumessa hajautettua laskentaa n tehty mm. M-Grid ja sitä seuranneen FGI/FGCI-knsrtin puitteissa. Mlemmissa tapauksissa Tier-2-tasn kneita n llut useassa ylipistssa ja kullakin laitteistlla mat ylläpitäjänsä. CSC n antanut keskitettyä ylläpittukea. Hajautettu järjestelmä mahdllistaa yksittäisten resurssien räätälöimisen paikallisten käyttäjien tarpeisiin, mutta kknaisuudessaan lisää ylläpitn tarvittavaa työtä verrattuna keskitettyyn järjestelmään Virtualisidut laskentaresurssit Yllä kuvatuissa järjestelmissä n käytössä etukäteen valittu käyttöjärjestelmä ja työt menevät ajn eräajjärjestelmän kautta. Perinteinen malli ei enää riitä kaikkiin tarpeisiin. 23

24 Infrastruktuuri palveluna pilvilaskentamallissa (IaaS) palveluntarjaja ylläpitää fyysistä laskentaresurssin ja sen päällä levaa virtualisintikerrsta. Lppukäyttäjälle annetaan virtualisidusta laskentaympäristöstä ma virtuaalinen palvelin. Lppukäyttäjä vi valita virtuaalikneeseen tarvitsemansa käyttöjärjestelmän ja mukata hjelmistvalikiman palvelimessa tutkimusngelmaan ja prsessintiin spivaksi. Tämä antaa käyttäjälle vapauden räätälöidä hjelmistvalikima, mutta vaatii samalla käyttäjältä situtumista hjelmistympäristön ja palvelimen ylläpittyöhön. CSC n piltinut IaaS-pilvipalvelua käyttäjien kanssa vudesta 2011 ja tarjnnut tutanttasista (Puta IaaS) palvelua huhtikuusta 2014 saakka. Pilviympäristö sveltuu hyvin myös dataintensiiviseen laskentaan ja ympäristöä llaan kehittämässä laajemmin datankäsittelyn tarpeita humiivaksi vuden 2015 aikana Krtetun tietturvatasn laskenta Virtualisintiin perustuva Puta Infrastructure as a Service (IaaS) pilvipalvelun sveltuu myös arkalunteisen datan prsessintiin. Palvelun arkalunteiseen prsessintiin suunnattu eputa n krtetun tietturvatasn ratkaisu, jka n suunnattu tutkimusryhmien ja rganisaatiiden käyttöön. Palvelussa prsessitava data vi lla esimerkiksi ihmisiin liittyviä tutkimuskäyttöön hyväksyttyjä tietaineistja. eputa-palvelussa n asiakkaina eri rganisaatita, jiden eristäminen tisistaan n keskeinen minaisuus palvelussa. CSC:n näkökulmasta lutettuja tahja kknaislaskentapalvelun tutannssa vat IT-ylläpitäjät rganisaatissa, kuten ylipistssa, instituutissa, bikeskuksessa tai yksittäisessä tutkimusryhmässä. Palvelun avulla rganisaati vi tteuttaa haluamiaan lppukäyttäjäpalveluita. Lppukäyttäjäpalvelut vidaan suunnata rganisaatiiden tutkijille tai muille henkilöille tai rganisaatiille. Asiakasrganisaatin näkökulmasta palvelu n tietverkkyhteydeltään man rganisaatin sisäpulella, mutta palvelun fyysinen infrastruktuuri sijaitsee man rganisaatin ulkpulella. Siten arkalunteisen datan säilytys ja käsittely tapahtuu tietarkkitehtuurin näkökulmasta man rganisaatin sisällä. Kntrlli ympäristön virtualisiduista laitteista ja laitetilasta lppukäyttäjiin säilyy man rganisaatin hallinnassa. Ottaakseen IaaS-palvelun käyttöön arkalunteisen tietaineistjen analyysissä rganisaatin tulee vida luttaa palvelun tuttajaan, tässä tapauksessa CSC:hen. Puta palvelu tutetaan Sumessa sijaitsevista knesaleista ja virtualisitujen CSC:n resurssien käyttööntt ja integriminen lemassa levaan ympäristöön vaatii käyttöönttprjektin, kuten verkkyhteyksien tteuttamisen ja virtuaalikneiden hallinnan rganisinnin. Palvelun käyttööntssa CSC:n ja asiakasrganisaatin välillä ludaan tietturvaspimus pääspimuksen liitteeksi, jssa määritellään mm. svellettavat käytännöt, vastuut ja ikeudet, yhteystiedt kriisitilanteissa sekä kkuskäytännöt tietturvallisuuden laadun varmistamiseksi. eputa-palvelu tulee tutantn vuden 2015 alkupulelta ja n mahdllinen ratkaisu mm. bipankkien data-aineistjen käsittelyyn. Edellä n kuvattu laskentakapasiteettia lähinnä erilaisten käyttötarpeiden mukaisesti. Teknlgiaseurannan vuksi n kuitenkin leellista, että uusia laitearkkitehtuureja pystytään hankkimaan myös testikäyttöön ilman lemassa levaa asiakastarvetta. Ainastaan näin pystytään varmistamaan ikeat päätökset hankintja tehtäessä Käyttäjätuki 24

25 Perustukeen kuuluvat käyttö- ja hjelmintiympäristön tuki (eräajt, levy/tallennusjärjestelmä, kääntäjät, kirjastt, hjelminti- ja surituskykytyökalut), jka hidetaan yleensä helpdesklunteisesti eikä nrmaalisti vaadi paljn aikaa kyselyä khden. Vaativampaan tukeen tai asiantuntijapalveluihin kuuluvat yleisen tieteellisen laskennan menetelmätuen lisäksi hjelmien siirt, ptiminti ja rinnakkaistaminen. Varsinkin kaksi viimeksi mainittua saattavat vaatia hyvinkin paljn perehtymistä ja aikaa, mutta parhaimmillaan jhtavat humattavaan surituskyvyn paranemiseen ja sitä kautta tieteelliseen impaktiin. Asiantuntijapalveluihin lukeutuu myös tiedetuki, jka mnesti liittyy tieteellisten hjelmistjen käytön tukeen. Tärkeä sa käyttäjätukea n dkumentaatin ja käyttäjäppaiden tuttaminen ja ylläpit. Osa kansainvälisiin resursseihin, kuten PRACEen, liittyvästä tuesta n tteutettu ulkisesti rahitetuissa prjekteissa. PRACEn tapauksessa tuki n kuulunut EU:n rahittamiin PRACE IP -prjekteihin Kulutus Perinteinen hjenura kulutukseen liittyen CSC:n ja ylipistjen välillä n llut päällekkäisyyden välttäminen; CSC järjestää kursseja tieteellisistä hjelmistista, Frtranhjelminnista, ptiminnista ja rinnakkaistamisesta ja ylipistt vat hulehtineet numeerisesta matematiikasta ja laskennallisesta tieteestä. Edellä kuvatun teknlgian kehityksen myötä vaikeutuneen kneiden tehn hyödyntämisen myötä kulutuksen merkitys lisääntyy jatkuvasti. Tavitteena n yhdistää CSC:n tarjama tieteellisen laskennan kulutus tiiviimmin ylipistjen petukseen erityisesti jatk-pinnissa ja tutkijakuluissa. Osa kansainvälisiin resursseihin, kuten PRACEen, liittyvästä kulutuksesta n tteutettu ulkisesti rahitetuissa prjekteissa. PRACEn tapauksessa kulutus n kuulunut EU:n rahittamiin PRACE IP -prjekteihin. NrdFrskin NeGI-tutkimushjelmassa (Nrdic e- Science Glbalisatin Initiative) suunnitellaan parhaillaan tukea yhteisphjismaiselle escience-kulutukselle Ohjelmist- ja tietkantapalvelut Ohjelmistpalveluihin kuuluu valmishjelmistjen tarjamisen lisäksi mien tieteellisen laskennan hjelmistjen kehitys. Esimerkiksi CSC:llä kehitetään Elmeriä, GPAWia ja Chipsteriä, jtka kaikki perustuvat avimeen lähdekdiin. CSC tarjaa krkeakulujen tutkijiden käyttöön laajaa asiakasjukka hyödyttäviä ja CSC:n laskentakapasiteetin tehkkaasti käyttäviä tieteellisiä hjelmistja ja tietkantja (sekä avimen lähdekdin hjelmistja että kaupallisia tutteita). Kaupalliset tutteet pyritään hankkimaan keskitetysti kansallisille lisenssiknsrtiille, jllin useat käyttäjäryhmät saavat hjelmistn/tietkannan käyttöönsä yhteisen hankinnan kautta. Tällaiset hjelmistt n usein mahdllista ajaa myös paikallisilla työasemilla. CSC tarjaa lisenssipalvelua kansallisten hjelmistlisenssien jakn. Ohjelmistvalikimaa kehitetään yhteistyössä mm. krkeakulujen Lisenssi SIG -työryhmän kanssa

26 2.3.7 Kriittiset palvelut muualta Tutkimuksen tietverkk FUNET ja sen lisäpalvelut Eduram Tallennus ja arkistintipalvelut Työtilat datan reaaliaikaiseen käsittelyyn Lyhytaikainen ja keskipitkä varastinti Varmennuspalvelut (Back-up) 2.4 Timijat ja sidsryhmät Seuraavassa tieteellisen laskennan timijat ja sidsryhmät n lukiteltu palveluiden tuttajiin, lppukäyttäjiin, rahittajiin ja hjaaviin elimiin (kuva 9). Kuva 9. Tieteellisen laskennan timijat ja sidsryhmät Palveluiden tuttajat CSC Laskenta- ja tallennusresurssit Ohjelmistt ja tietkannat Laskentaympäristön käytön tuki Tiede- ja menetelmätuki Kulutus Knesalipalvelut Ylipistjen ja ammattikrkeakulujen ATK-keskukset/laitkset/labratrit Esim. Helsingin ylipist, Aalt, TTY, jne. Laskentaresurssit Laskentaympäristön käytön tuki 26

27 Tutkimuslaitsten ATK-keskukset Esim. Ilmatieteen laits, VTT, Luke jne. Laskentaresurssit Laskentaympäristön käytön tuki Eurppalaiset laskennalliset tutkimusinfrastruktuurit Laskentaresurssit Laskentaympäristön käytön tuki Kulutus PRACE EGI.eu hajautetut laskentaresurssit (grid, pilvi) Muut kv. (alakhtaiset) resurssit ja ESFRI NeIC ECMWF ELIXIR Phjismainen sääknehanke Kv. laskentakeskukset Hajautettu laskentainfrastruktuuri (Grid, pilvi IaaS) Kaupalliset pilvipalvelut ja -brkerit Jne Lppukäyttäjät Ylipistjen tutkijat ja piskelijat Ammattikrkeakulujen tutkijat ja piskelijat Tutkimuslaitkset Ylipistlliset sairaalat Yritykset Rahittajat Opetusministeriö CSC Ylipistt ja ammattikrkeakulut Muut ministeriöt Tutkimuslaitkset Ylipistlliset sairaalat, bipankit jne. Sumen Akatemia Ylipistt Tutkimuslaitkset Ammattikrkeakulut CSC Tekes Ylipistt Ammattikrkeakulut Tutkimuslaitkset EU CSC Ylipistt Ammattikrkeakulut Tutkimuslaitkset 27

28 2.4.4 Ohjaus Opetusministeriö Ylipistt, ammattikrkeakulut CSC Tieteellisen laskennan yhteistyöfrumi CSC Tieteellisen laskennan asiakaspaneeli CSC 2.5 Organisaati Tieteellisellä laskennalla ei Sumessa le yhteistä rganisaatita, vaan timijat vat pitkälti itsenäisiä. Tutkimuslaitkset timivat mien ministeriöidensä alla, ylipistt ja ammattikrkeakulut vat itsenäisiä ikeushenkilöitä ja CSC n petusministeriön mistama sakeyhtiö. Kuva 10 esittää tieteellisen laskennan yleistä rganisaatita Sumessa. Kuva 11 havainnllistaa tieteellisen laskennan rahitusta ja kuvassa 12 n esitetty tieteellisen laskennan hjausrakenteet CSC:hen liittyen. Tavitteena n yhteinen, laajaphjainen yli sektrirajjen ulttuva hjaus/yhteistyöelin, jka krdini tieteellisen laskennan kknaisuutta. Kuva 10. Tieteellisen laskennan rganisaati Sumessa. 28

29 Kuva 11. Tieteellisen laskennan rahitus CSC CSC:ssä tieteellinen laskenta ja siihen liittyvät palvelut kuuluvat tieteen palvelut -yksikköön (SR), ja laitteistjen ylläpidn ja perinnin tallennuspalvelut mukaan lukien SR:lle tuttaa teknlgia-alustat -yksikkö (ICTP). Opetus- ja kulttuuriministeriön kulttuuri- ja tiedeplitiikan sast (KTPO) staa CSC:ltä krkeakuluille suunnatun tieteellisen laskennan palvelun vusittain tarkistettavan spimuksen mukaisesti. Laskentapalvelinten hankinta rahitetaan erikseen ministeriön budjetista, ja laitteistt vat valtin maisuutta. Tukipalvelut kuuluvat ministeriön spimuksen piiriin, mutta niiden kehitystyötä tehdään paljn myös erilaisissa sittain ulkisesti rahitetuissa prjekteissa. KTPO n nimittänyt tieteellisen laskennan yhteistyöfrumin hjaamaan ja arviimaan CSC:ltä stettavia palveluita. Yhteistyöfrumi edustaa tieteellisen laskennan palveluiden käyttäjiä ja rahittajia, ja siinä n edustajia ylipistista, ammattikrkeakuluista, tutkimuslaitksista, Sumen Akatemiasta, TEKESistä ja petus- ja kulttuuriministeriöstä. Palautetta ja hjausta CSC saa myös tieteelliseltä asiakaspaneelilta, jnka jäsenet vat laskennallisen tieteen prfessreja. Nrmaalit laskentaresurssihakemukset käsittelee CSC:n resurssienjakryhmä (RJR), jka arvii töiden spivuuden CSC:n kneille ja myöntää laskentakiintiöt. RJR kkntuu klmen viikn välein. Suurempia resursseja tarvitsevia hankkeita varten järjestetään vusittain tyypillisesti kaksi Grand Challenge -hakua (GC). GC- ja PRACE DECI -hakemusten tieteellisestä arviinnista vastaa Tieteellinen asiakaspaneeli. 29

30 Ylipistt Kuva 12. Tieteellisen laskennan hjausrakenteet CSC:n kannalta. Ylipistissa tieteellinen laskenta hidetaan kunkin ylipistn tiettekniikkasastn ja alan tutkimusta tekevien tiedekuntien ja laitsten yhteistyönä. Ylipistt vivat tehdä myös surastja CSC:ltä niistä palveluita, jtka eivät sisälly OKM:n vusispimukseen. Ylipistjen eri hallintmallien takia yhteistyön frmaali mut vaihtelee, mutta pääasiallisena periaatteena n, että tiettekniikkasastt hitavat tietliikenneyhteydet ylipistn sisällä ja FUNETin kautta CSC:lle ja maailmalle ja phjainfrastruktuurin kuten knehuneet, kun taas tutkimuksesta vastaavat tiedekunnat ja laitkset hitavat klusterien ja muun tieteellisen laskennan spesifisen infrastruktuurin hankinnat ja hallinninnin. Tämä n tarkituksenmukaista kska sillä tavalla tutkimusryhmät vivat räätälöidä paikallisen kapasiteetin ptimaalisesti tutkimusta palvelemaan. Esimerkiksi Helsingin ylipistssa tieteellistä laskentaa krdini matemaattislunnntieteellisen tiedekunnan Kumpulan kampuksen tiettekniikkatimikunta, jissa n edustajat tiettekniikkasaststa ja kaikista kampuksen laskentaa tekevistä laitksista Ammattikrkeakulut Tutkimuslaitkset 30

31 2.6 Prsessit Resurssien jak Resurssien jakprsessit timivat eri resursseille eri periaattein ja ne nudattavat siten erityyppisiä vaikka sin samankaltaisia menettelyjä. CSC:n hallinnimien resurssien jak jakautuu eri tyyppeihin myönnettävien resurssien suuruuden ja lunteen mukaan. Perusresurssit krkeakulututkija tai -piskelija saa käyttöönsä Haka-rekisteröinnillä. Keskikkiset laskentaresurssit eli laskentaprjekti haetaan prjektihakemuksella. Nämä resurssit käsittelee CSC:n Resurssienjakryhmä. Suurimmat laskentaresurssit jaetaan ns. Grand Challenge -hakujen kautta. Hakuja järjestetään keskimäärin 1 2 kertaa vudessa. Prjektihakemukset arvii CSC:n Tieteellinen asiakaspaneeli. Muiden kuin krkeakulututkijiden tai -piskelijiden laskentaresurssit svitaan maksullisilla spimuksilla. PRACE Tier-0 -resurssien jak perustuu keskitettyyn malliin, jssa ns. Prject access -hakuja järjestetään kaksi vudessa ja saapuneet hakemukset arvii yhteinen eurppalainen tieteellinen paneeli. Lpulliset myönnöt päättää ns. Access Cmmittee (AC), jnka valitsee PRACEn Scientific Steering Cmmittee (SSC). Prsessi n viisivaiheinen ja se sisältää lisäksi valitusmahdllisuuden: 1) Perustaminen ja määrittely 2) Haun valmistelu ja hakemusten tek 3) Hakemusten evaluinti ja prsessinti 4) Resurssien jak 5) Prjektien käynnistäminen ja arviinti 6) Valitusmenettely Lisäksi n llut mahdllisuus hakea resursseja prjektin valmistelua varten eli ns. Preparatry access -hakuja, jtka vat periaatteessa jatkuvasti auki ja hakemukset n arviitu tietyin väliajin. Sen lisäksi n myös llut mahdllisuus ns. Multiyear access -prjekteihin. PRACE DECI eli Tier-1 -resursseja n jaettu ns. juste retur -periaatteella, jssa kukin maa saa saman verran resursseja kuin se hakuun tarjaa. Prjektihakemusten valinta perustuu sin hajautettuun ja sin keskitettyyn malliin. Ne maat, jilla n lemassa spiva tieteellinen elin valintaan, käyttävät mia kansallisia elimiään arviimaan masta maasta tulevat hakemukset. Näin n menetellyt mm. Sumi, jssa evaluintipaneelina n timinut CSC:n Tieteellinen asiakaspaneeli. Hakemuksille, jtka tulevat maista, jissa ei tällaista elintä le, tai jtka tulevat DECI-ryhmän ulkpulisista maista, n käytetty yhteistä tieteellisin perustein valittua paneelia, Nn-cntributing Partner Cmmittee fr Tier-1 Peer Review. Hakuja n järjestetty 0,5 1 vuden välein. Prjektien laskenta-alustat määrää ja lpulliset resurssimyönnöt tekee ns. DECI Access and Allcatins Cmmittee (DAAC), jka kstuu DECI-sapulien edustajista Käyttäjähallinta Oikeuksien hallinta Käyttöikeudet perustuvat käyttäjän hyväksymiin käyttöehtihin. CSC:n yleiset käyttöehdt n svittu OKM:n kanssa ja julkaistu www-sivulla 31

32 CSC:n laskentaympäristöt integridaan 2015 aikana CSC:n uuteen käyttäjähallintjärjestelmään. Paperisten lmakkeiden täytöstä pyritään ern jllin prjektien vastuuhenkilöt vivat itse hallinnida prjektinsa tunnuksia sähköisesti. Pilvipalveluissa käyttöikeudet kskevat pilvivälihjelmista. Käyttäjät hallinnivat itse virtuaalikneidensa käyttäjätunnuksia käyttöehtjen mukaan. HAKA-autentikinti Käyttäjien rekisteröinti CSC:n käyttäjäksi tapahtuu sumalaisten krkeakuluasiakkaiden salta Haka-autentikinnilla. Muiden käyttäjien rekisteröinti tehdään käsin erikseen. Haka n krkeakulujen ja tutkimuslaitsten käyttäjätunnistusjärjestelmä, jka perustuu luttamusverkstn. Haka-verkstn jäsenet, tutkijat, piskelijat ja henkilöstö, vivat käyttää ktirganisaatinsa käyttäjätunnuksia kirjautuessaan. Myös käyttäjien henkilötietja vidaan siirtää turvallisesti palveluihin kirjautumisen yhteydessä. Haka n yhteenspiva muiden phjismaiden krkeakulujen luttamusverkstjen kanssa, jten käytettävissäsi vat myös phjismaiset palvelut. Ktirganisaatin tiethallint vastaa käyttäjiensä käyttäjätiedista ja henkilöllisyyden tdentamisesta. Hakassa levien palvelujen käyttäjätiedt saadaan suraan käyttäjän ktirganisaatista. Ulkmaalaiset käyttäjät CSC:n hallinnimien laskentaresurssien kansainvälisen käytön timintaperiaatteet n svittu OKM:n kanssa vunna Näitä periaatteita nudatetaan edelleen. Pääperiaatteena n, että resursseja vidaan myöntää sellaisille ulkmailla timiville krkeakulututkijille, jtka vat sumalaisen tutkijaryhmän kanssa yhteistyössä sumalaisessa krkeakulussa työskentelevän ryhmänvetäjän hjauksessa, js työn tulkset (tiet, kkemus ja julkaisut) hyödyttävät sumalaisia tutkimusryhmiä. Päätöksen tekee tältä phjalta CSC:n jhtryhmän valtuuttama henkilö tai ryhmä. Sellaisena timii CSC:n resurssienjakryhmä. Sektritutkimuslaitsten ym. käyttöikeudet Sektritutkimuslaitkset käyttävät tieteelliseen laskentaan pääsääntöisesti mia laskentaresurssejaan. CSC:n hallinnimien resurssien käyttö n tällä hetkellä mahdllista vain maksullisella spimuksella. Kansainväliset yhteistyöprjektit CSC:n kansainvälisiin yhteistyöprjekteihin svelletaan samaa spimusta kuin ulkmaalaiskäyttöönkin. Pääperiaatteena n resurssien vaiht ulkmaisten keskusten kanssa, jllin sumalaisille käyttäjille annetaan ulkmaille prjektiin myönnettyä ktimaista resurssia vastaavat resurssit ulkmailta. Vaihdn ei välttämättä tarvitse tapahtua samalla kaudella vaan resurssien kysynnän ja tarjnnan kannalta spivaan aikaan. Päätös CSC:n situtumisesta 6 Plicy fr internatinal use f CSC s cmputing resurces,

33 prjekteihin tehdään yhteistyössä OKM:n kanssa, mutta resurssipäätökset tehdään yleensä prjektien sisällä. Käyttöprjektien elinkaaren hallinta CSC:n kneilla käyttöprjekteissa n seuraavat periaatteet: Käyttäjä n ainakin yhden prjektin jäsen. Kullakin prjektilla n yksi käyttäjä, jka n prjektin vastuuhenkilö. Oletusarvisesti hän n ensimmäinen käyttäjä. Prjektin vastuuhenkilö vi pyytää CSC:tä lisäämään käyttäjiä prjektiinsa. Jäsenen lähtiessä prjektista prjektin vastuuhenkilön n ilmitettava tästä CSC:lle. CSC:n pyynnöstä prjektin vastuuhenkilön n raprtitava prjektin etenemisestä ja palveluiden käytöstä. Käyttäjätunnus n vimassa enintään kaksi vutta kerrallaan myöntöpäivästä alkaen, ellei tisin le svittu. CSC lähettää käyttäjälle muistutuksen hyvissä ajin ennen tunnuksen viimeistä vimassalpäivää. Palveluiden käyttöikeus päättyy, kun käyttötarkitus ei le enää vimassa tai kun käyttäjä ei enää le tutkimusprjektissa tai piskelu- tai työsuhteessa ylipistn tai ammattikrkeakuluun. Päättyvää käyttäjätunnusta ja siihen liittyvä sisältöä käsitellessään CSC nudattaa palvelukuvausta. CSC ei autmaattisesti tuha sisältöä yrittämättä ttaa yhteyttä käyttäjään. Näistä ehdista svitaan asiakkaan kanssa j käyttäjäksi tullessa Laskentapalvelujen yleisissä käyttöehdissa. Käytön raprtinti CSC raprti yleistiedt laskentaresurssien käytöstä ja prjektista. Näihin tietihin kuuluu prjektin nimi, vastuuhenkilö, rganisaati, kuvaus ja resurssien käyttö Resurssien ylläpit ja uudistaminen Hankintaprsessi Laitteistjen ylläpitprsessi Laitteistjen elinkaaren hallintaprsessi Ohjelmistjen hankinta ja elinkaaren hallinta Tietturva Palvelukehitys ja teknlgiaseuranta Palveluiden mnitrinti ja raprtinti Palvelujen myynti Viestintä ja tiedtus Tieteellisen laskennan tietarkkitehtuuri Kartturi-mallin mukaisesti tietarkkitehtuuri kuvaa käsitteellisellä taslla käsitteistön ja rlit ja lgisella taslla tietmallit, lgiset tietvarannt, tietvirrat, järjestelmät ja tietvarannt 33

34 3.1 Käsitteitä sekä prsessitiedt. Tässä vaiheessa tieteellisen laskennan kknaisarkkitehtuuri sisältää kuitenkin vain käsitteistön ja muita arkkitehtuurin sia lisätään työn seuraavassa vaiheessa. Laskennallinen tiede ja tieteellinen laskenta Laskennallinen tiede n tietkneiden kehityksen myötä vakiintunut klmanneksi paradigmaksi perinteisten kkeellisten ja tereettisten menetelmien rinnalle. Laskennallisen tieteen prsessi vidaan karkeasti jakaa neljään vaiheeseen: 1) Tutkittavasta ilmiöstä tehdään matemaattinen malli. 2) Matemaattiselle mallille etsitään numeerinen ratkaisumenetelmä, jta kutsutaan usein algritmiksi. 3) Numeerinen algritmi hjelmidaan ja ajetaan tietkneella. Tätä kutsutaan usein simulimiseksi. 4) Tulsten tulkinta ja havainnllistaminen, mikä tyypillisesti vaatii lisää laskentaa tietkneella. Erityisesti khdat 2) ja 3) karakterisivat laskennallista tiedettä. Laskennallisen tieteen ja tietknesimulaatiiden avulla vidaan tarkastella ilmiöitä, jiden tutkiminen kkeellisesti n liian hidasta, kallista, vaarallista tai yksinkertaisesti mahdtnta. Puhtaasti tereettinen lähestymistapa muuttuu laskennalliseksi tieteeksi, kun käytettävät matemaattiset mallit tulevat niin mnimutkaisiksi, että niitä vidaan analysida vain numeerisesti. Tieteellinen laskenta käsittää pääasiassa edellä levan listan khdan 3), mutta käytettävissä levan tietkneen tekniset minaisuudet vivat vaikuttaa khtaan 2) eli algritmin valintaan. Jatkssa tarkastellaan tieteellisen laskennan kknaisarkkitehtuuria tai -kuvaa, jnka keskeisimmät sakknaisuudet vat: 1) Laskentakapasiteetti käyttöympäristöineen. 2) Oheispalvelut kuten tallennuskapasiteetti, hjelmistt, aineistt ja tietkannat jne. 3) Laskentakapasiteetin käyttöön ja hjelmintiin liittyvä käyttäjätuki. 4) Edellisiin liittyvä kulutus. Pilvilaskenta Tieteelliseen laskentaan tarkitettu pilvipalvelu käsittää datan prsessinnin, tallennuksen, verkkratkaisun ja muut lennaiset laskennallisen tieteen tarvitsemat resurssit. Palvelun käyttäjä ei peri tai hallinni pilven fyysistä infrastruktuuria, mutta vivat valita haluamansa käyttöjärjestelmät, levyjärjestelmät, sekä käytettävät svellushjelmistt ja mahdllisesti myös verkkliikenteen kmpnentit (esim. palmuuri, dynaamiset valplut). Pilvipalveluknsepti pitää sisällään myös resurssien hallinnan ja käyttöympäristön ylläpidn. Pilvipalveluiden klme keskeisintä palvelumallia vat: Infrastruktuuri palveluna (IaaS; Infrastructure as a Service), jssa palveluntarjaja rakentaa virtualisintikerrksen laskentaresurssien päälle. Asiakas vi rakentaa man ympäristönsä tämän kerrksen päällä ja hallinnida sitä. Tämä palvelumalli spii 34

35 parhaiten käyttäjille, jtka tarvitsevat räätälöidyn ympäristön ja saavat itse rakentaa sen. Svellusalusta (PaaS; Platfrm as a Service). Tässä palveluntarjaja tuttaa ja ylläpitää ympäristön, jhn asiakas vi asentaa valitsemiaan svelluksia tai palveluita. Svellus (Saas; Sftware as a Service). Tässä palveluntarjaja tuttaa ja ylläpitää svelluksen, jta asiakas käyttää. Grid Hajautettu eli grid-laskenta muistuttaa paljlti nrmaalia klusterilaskentaa. Merkittävin er tavalliseen laskentaklusterin käyttöön verrattuna n se, että grid-laskennassa käyttäjä ei ta suraan yhteyttä l laskentapalvelimeen. Sen sijaan yhteydentn ja tiedstjen siirrn surittaa autmaattisesti niin santtu välihjelmist. Grid-ympäristöön n tyypillisesti liitetty useita laskentaklustereita, jista välihjelmist valitsee tehtävään spivat klusterit, jille työt hjataan. Suurteh- ja rinnakkaislaskenta Suurtehlaskenta n käsitteenä hieman epämääräinen, mutta yleensä se tarkittaa laskentaa, jssa tarvitaan humattavasti tavallista pöytäknetta (tai vastaavaa) enemmän teha. Käytännössä teh saavutetaan rinnakkaistamalla eli hyödyntämällä useita laskentaytimiä saman tehtävän ratkaisemiseen. Rinnakkaislaskenta edellyttää lähes aina hjelman kirjittamista tai mukkaamista siten, että se vi hyödyntää käytettävissä levan knearkkitehtuurin rinnakkaisuutta. Rinnakkaislaskennan peruskäsitteisiin kuuluu (vahva) skaalautuvuus, jka kuvaa hjelman suritusajan lyhentymistä laskentaytimien lukumäärää lisättäessä. Ihanteellisessa tapauksessa suritusaika puliintuu aina kun ytimien määrä kaksinkertaistuu, mutta tyypillisesti npeutuminen pysähtyy tietyn rajan jälkeen, ja ytimien määrän kasvattaminen ei enää kannata. Hyvin kirjitetut rinnakkaishjelmat timivat tehkkaasti kymmenillä ja jpa sadilla tuhansilla ytimillä. Tavallisimmat rinnakkaishjelmintimallit vat viestinvälitys, jka tteutetaan kirjastkutsuilla, ja yhteisen muistin rinnakkaistus, jka tteutetaan kääntäjän direktiiveillä tai pragmilla. Myös kiihdyttimien ja apuprsessrien teh perustuu rinnakkaisuuteen. Tehkkaan rinnakkaishjelman kirjittaminen vaatii yleensä hyvää asiantuntemusta ja paljn työtä. Tier-0,1,2 Supertietkneet ja suurtehlaskentaresurssit vidaan tehn perusteella jakaa klmeen ryhmään. Tier-0 käsittää maailman tehkkaimmat supertietkneet, jtka vat Tp500-listalla tyypillisesti 20 ensimmäisen jukssa. Näissä kneissa n tavallisesti satja tuhansia laskentaytimiä ja tehkas kytkentäverkk. Tier-1:een kuuluvat kansallisen tasn kneet, kuten CSC:n Sisu. Tier-1-kneissa n tyypillisesti kymmeniä tuhansia laskentaytimiä. Tier-2 mudstuu paikallisen tasn, kuten ylipistjen, kneista, jtka vat tavallisesti klustereita. Hierarkian kaikki tast vat välttämättömiä ja tukevat tisiaan; tie raskaimpaan Tier-0- laskentaan vaatii kkemusta ja kehitystyötä ja kulkee Tier-1- ja Tier-2-tasjen kautta. Lisäksi Tier-2-resurssit vidaan paremmin räätälöidä paikallisiin tarpeisiin, jiden tyydyttäminen keskitetysti n jskus vaikeaa tai epätarkituksenmukaista. 35

36 PRACE PRACE n vunna 2010 perustettu eurppalainen suurtehlaskennan infrastruktuuri, jnka tarkitus n taata laskennallisen tieteen tutkijille tutkijille kansainvälisesti huippulukan resurssit. PRACEssa n 25 jäsenmaata, ja Sumi n edustettuna CSC:n kautta (kuva 16). PRACE n hajautettu infrastruktuuri, jhn tällä hetkellä kuuluu kuusi Tier-0-lukan knetta Saksassa, Ranskassa, Italiassa ja Espanjassa. Laskenta-aikaa n tarjttu kahdesti vudessa järjestettävissä hauissa, ja ehdtukset käyvät läpi tiukan tieteellisen ja teknisen arviinnin. Viite: PRACEn laskentaresurssit vat tistaiseksi lleet jäsenmaille ilmaisia, mutta tilanne tulee muuttumaan infrastruktuurin tisessa vaiheessa, jka alkaa vuden 2015 keväällä. Tarkka malli kustannusten kattamisesta n vielä auki, mutta se tullee perustumaan jäsenten suhteellisiin BKT-suuksiin ja käyttöön ensimmäisen vaiheen aikana. Sumessa PRACE n hyväksytty Akatemian FIRI-tiekartalle. PRACEn tulevaisuus, jatkuvuus ja timintamalli vat neuvtteluvaiheessa ja ne täydennetään kun kknaisuus n selvillä. Kuva 16. PRACEn jäsenet. Kiihdyttimet ja apuprsessrit Kiihdyttimillä tarkitetaan yleiskäyttöisiä grafiikkaprsessreita (GPGPU tai yksinkertaisesti GPU), jiden merkittävin valmistaja n Nvidia. Intelin kilpaileva arkkitehtuuri n MIC (many integrated cres), jta kutsutaan apuprsessriksi (c-prcessr). Mlempien perusajatus n sama: teha ja energiatehkkuutta n haettu rinnakkaisuudella ja usealla alhaisen kelltaajuuden fyysisellä tai lgisella laskentayksiköllä. Parhaimmillaan erikisprsessreilla, ja varsinkin GPU:illa, saavutetaan mninkertainen surituskyky tavallisiin prsessreihin verrattuna ja laskentatehn ja surituskyvyn suhde n myöskin selkeästi parempi. Erikisprsessrit kehittyvät jatkuvasti, ja niiden minaisuudet spivat yhä paremmin 36

37 laskentaan, mutta siitä hulimatta niiden hjelminti n edelleen hankalampaa kuin tavallisien prsessrien. Erityisesti hyvän surituskyvyn saavuttaminen vaatii tistaiseksi hyvää asiantuntemusta ja paljn työtä. Tällä hetkellä (vuden 2014 lpussa) Nvidian Tesla n Intelin Knights Crner -MICin edellä käytettävyydellä ja svellusten määrällä mitattuna, mutta Intelin seuraava versi, Knights Landing, tulee suurella tdennäköisyydellä tasittamaan kilpailutilannetta. Mren laki Mren laki n histriaan perustuva havaint, jnka alkuperäisen mudn mukaan yhden integridun piirin tai prsessrin transistrien määrä kaksinkertaistuu kahden vuden välein. Tämä itseään tteuttava havaint n pitänyt hyvin paikkansa 1960-luvulta lähtien nykypäiviin asti. Myös pitkään jatkuneeseen prsessrien tehn kaksinkertaistumiseen 18 kuukauden välein viitataan usein Mren lakina. Vaikuttaa kuitenkin vahvasti siltä, että tällä hetkellä yleisesti käytössä levalla teknlgialla kasvu ei enää vi jatkua 2020-luvulla. Vaihtehtisia ratkaisuja kuitenkin tutkitaan intensiivisesti. Tallennuskapasiteetti Tässä yhteydessä tallennuskapasiteetilla tarkitetaan npeita levyjärjestelmiä, jilla levaa dataa vidaan käyttää laskennan aikana. Datan prsessintiin ja hallintaan tarvittavan tallennuskapasiteetin npeus n nykyisin useissa dataintensiivisissä hankkeissa tieteellisen laskennan pullnkaula: prsessreille ei pystytä syöttämään dataa suurista satunnaisesti luettavista tiedstista niin npeasti kuin prsessrit pystyisivät sitä käsittelemään. Tietenkin js data n kltaan niin suurta, että sitä ei pystytä tumaan laskentaympäristöön, laskentaa ei vida edes käynnistää. Tämän vuksi CSC n aktiivisesti kasvattanut laskentaympäristön kapasiteettia tieteellisen datan prsessinnille. Arkkitehtuuriperiaatteet 4.1 Sidsarkkitehtuurit Tieteellisen laskennan keskeiset sidsarkkitehtuurit vat tutkimukseen, tietverkkn ja tallennukseen liittyvät sekä petus- ja kulttuuriministeriön Opetus, tiede ja kulttuuri - khdealueen arkkitehtuurit. Tallennusarkkitehtuuri Tutkimuksen tietaineistt -kknaisarkkitehtuuri TTA-hanke lunns Verkkarkkitehtuurit Funet-kknaisarkkitehtuuri Tutkimuksen kknaisarkkitehtuuri Avimen tieteen ja tutkimuksen asiantuntijaryhmä tekeillä Tutkimuksen tuen ja hallinnn viitearkkitehtuuri Tutkimuksen tuen ja hallinnn verkst 37

38 tekeillä Krkeakulujen piskelun ja petuksen viitearkkitehtuuri Digitalisituvan piskelun ja petuksen yhteistyöryhmä tekeillä Krkeakulujen ICT-palveluiden nykytila ja tavitearkkitehtuuri Krkeakulujen tiethallint- ja ICT-hjausryhmä tekeillä Yhteentimivuuden tietarkkitehtuuri ja yhteentimivuusmalli Krkeakulujen tiethallint- ja ICT-hjausryhmä tekeillä Kansallinen pinthallinnn viitearkkitehtuuri linnnxkansallinenxviitearkkitehtuurixv1_0.pdf Opetus, tiede ja kulttuuri -khdealueen kknaisarkkitehtuurit uri_ Kansallisen Digitaalisen Kirjastn kknaisarkkitehtuuri julkaistu: Krkeakulujen muut kknaisarkkitehtuurit Valtinhallinnn yhteinen kknaisarkkitehtuuri kitehtuuri Kuva 15. Tieteellisen laskennan läheisimmät kknaisarkkitehtuurit 4.2 Yleiset arkkitehtuuriperiaatteet 1. Arkkitehtuuri seuraa yleisiä hjaavia periaatteita 2. Arkkitehtuuri n strategialähtöistä 3. Arkkitehtuuri n asiakas- ja timintalähtöistä 38