Arviointikehikko valtionhallinnon tietojärjestelmähankkeiden arviointiin

Transkriptio

1 Hallinnon kehittämisosasto VM149:00/2010 β-versio Arviointikehikko valtionhallinnon tietojärjestelmähankkeiden arviointiin 1 Mikä kehikko on? Tausta 2 2 Mitä arvioidaan? Arvioitavat hankkeet Tulosohjauksen käsitteistö Arvioitavat osa-alueet 4 3 Miten arvioidaan? Arvioijat Ensimmäiseksi aina hankkeen itsearviointi Ulkopuolinen arviointi hankkeen merkittävyyden mukaan 5 4 Mitä hyötyä arvioinnista on? Hyödyt hankkeelle Hyödyt hankkeen omistajalle, virastolle Hyödyt ohjaavalle ministeriölle Valtiovarainministeriön konserniohjaus 6 5 Arviointikehikko 7 Valtiovarainministeriö Puh tai (vaihde) Snellmaninkatu 1 A, Helsinki Faksi PL 28, Valtioneuvosto valtiovarainministerio@vm.fi Y-tunnus

2 2 (11) 1 Mikä kehikko on? 1.1 Tausta Valtionhallinnon tietojärjestelmähankkeiden arviointikehikon ensimmäinen versio on kehitetty arviointitoiminnan kehittämishankkeessa pilotoitujen kolmen arviointikehikon sekä kotimaisten että ulkomaisten kokemusten pohjalta. Arviointikehikon ensimmäinen versio on tarkoitettu siihen vaiheeseen, jossa hankkeen esiselvitys on tehty ja on tarve päättää hankkeen jatkosta. Tämä on piste, jossa tehdään tärkeimmät päätökset hankkeen toteutuksesta. Seuraavat arviointipisteet ovat vaatimusmäärittelyn valmistuminen ja kilpailuttamisen jälkeen hankintapäätöksen tekeminen. Nämä arvioinnit perustuvat esiselvityksen jälkeen tehtyyn arviointiin. Ennen hankintapäätöstä tehtävässä arvioinnisssa on esiselvityksen jälkeen tehtyä arviointia täydennettävä hankintaprosessissa saadun lisätiedon ja tarkennettujen suunnitelmien pohjalta. On varmistettava, että hankittavaksi esitettävä ratkaisu toteuttaa hankkeelle asetetut vaikuttavuus- ja tuottavuustavoitteet, kustannukset ovat pysyneet arvioidussa raamissa, hankkeessa on riittävä henkilöstö valitun ratkaisun läpiviemiseksi ja hankkeen hallintamenettelyt ovat asianmukaiset. Kehittämishankkeiden toteuttaminen edellyttää toiminnan ja tietojärjestelmien kehittämisestä vastaavien henkilöiden yhteistyötä. Aivan kuten kehittämishankkeissa, myös hankkeiden arvioinnissa tulisi kokonaisuuden hahmottamiseksi aina olla mukana sekä toiminnan että tietojärjestelmien kehittämisestä vastaavat henkilöt. Kehittämishankkeen suunnittelussa ja toteutuksessa on katsottava toteutettavaa hanketta laajemmalle sekä toiminnallisesti että ajallisesti. Viraston ja sen sidosryhmien toiminta ja tietojärjestelmät sekä niiden kehittämistarpeet ja -suunnitelmat on huomioitava, samoin kuin kehitettävän tietojärjestelmän ja uuden toimintamallin elinkaarikustannukset, joista merkittävä osa kertyy hankkeen valmistumisen jälkeen. Kuva 1: ICT-palvelujen kehittämisen vaiheet JHS- suosituksissa Virastoissa on käytössä erilaisia hankehallinnan menetelmiä ja hankkeiden vaiheet on niissä nimetty osittain eri tavoin. Erityisesti ennen esiselvitystä olevan vaiheen nimi ja sisältö on vaihteleva. Käytössä ovat ainakin kehittämiskohteiden tunnistaminen, ideointi ja business case. Esiselvityksen ja sitä edeltävien vaiheiden sisällötkin vaihtelevat malleittain. Kokonaisarkkitehtuurin hallinta on virastoissa vielä toistaiseksi vähäistä, mutta sen vaikutus erityisesti hankkeen alkuvaiheeseen on merkittävä. Tietohallintolain toimeenpanon myötä arkkitehtuurinhallinta vahvistuu ja tietojärjestelmähankkeiden hallintamenetelmät kehittyvät sen mukaisesti. Tästä syystä myös ICT- palveluiden kehittämiseen liittyviä JHS suosituksia ollaan päivittämässä. Yhtenäisyyttä käytössä olevista menetelmistä löytyy kuitenkin run- 2

3 3 (11) saasti ja esiselvitysvaiheen lopussa kaikissa tarkastelluissa malleissa näyttäisi olevan jotakuinkin samat aihealueet selvitettyinä. 2 Mitä arvioidaan? 2.1 Arvioitavat hankkeet Arviointikehikko on tarkoitettu käytettäväksi tietojärjestelmähankkeiden arviointiin sekä sellaisten toiminnan kehittämishankkeiden arviointiin, joihin sisältyy tietojärjestelmän kehittämistä. 2.2 Tulosohjauksen käsitteistö Tulosohjauksen käsikirjassa on tuloksellisuuden käsitteet, mittaaminen ja peruskriteerit julkisessa toiminnassa esitetty seuraavasti: Kuva 2 Tuloksellisuuden käsitteet ja mittaaminen Kuva 3 Tulosprisma: tuloksellisuuden peruskriteerit (oikeat ja riittävät tiedot) 3

4 4 (11) 2.3 Arvioitavat osa-alueet Arviointikehikossa on käytetty samaa käsitteistöä kuin tuloksellisuuden mittaamisessa. Hankkeesta arvioitavat asiat on jaettu viiteen raportoitavaan osa-alueeseen, jotka muodostuvat useammasta arvioitavasta kohteesta. Kolme ensimmäistä osa-aluetta on nimetty tulosprisman kolmen tason mukaisesti. Lisäksi on otettu omiksi osa-alueikseen kehittämishankkeen toteutettavuus sekä kehittämishankkeessa kehitettävän toiminnan ja tietojärjestelmän yhteentoimivuus. Osa- alueet ovat: 1. Vaikuttavuus 2. Tehokkuus, Taloudellisuus, Tuottavuus 3. Osaaminen 4. Toteutettavuus 5. Yhteentoimivuus Kuva 4 Arvioinnin osa-alueet ja kohteet kehittämisprosessissa Arvioitavat kohteet on valittu niin, että hankkeen lopputuloksena syntyvästä toimintamallista ja tietojärjestelmästä sekä itse hankkeesta ja sen onnistumisen edellytyksistä olisi mahdollista saada realistinen kuva päätöksenteon tueksi. 3 Miten arvioidaan? Hankkeen vastuuhenkilöiden on hyvä tutustua arviointikehikkoon jo ennen esiselvityksen käynnistämistä. Näin voidaan varmistaa, että käytettävästä esiselvitysmenetelmästä riippumatta kaikki tarvittavat asiat tulevat käydyksi läpi esisuunnitteluvaiheessa. Arvioinnin perusteellisuus tulee suhteuttaa hankkeen kokoon ja merkittävyyteen. 3.1 Arvioijat Arviointi voidaan toteuttaa joko hankkeen omistavan viraston itsearviointina tai ulkopuolisena arviointina. Ulkopuolinen arviointi voidaan toteuttaa joko ristiinarviointina valtionhallinnon sisällä tai ostettuna, kaupallisen IT- toimittajan tekemänä arviointina. Yksityisen sektorin arvioijia käytettäessä tulee varmistaa, että yritys ei ole osallistunut hankkeeseen sen aiemmissa vaiheissa, ja sitouttaa yritys olemaan osallistumatta tietojärjestelmän toteutukseen, mikäli se toimii hankkeen arvioijana. 4

5 5 (11) 3.2 Ensimmäiseksi aina hankkeen itsearviointi Hanke koostaa arviointiraportin itsearviointina aina kun se on siirtymässä vaiheesta seuraavaan. Raportissa kuvataan kunkin arvioitavan asian tila lyhyesti ja viitataan asiakirjaan (esim. markkinaselvitys tai esiselvitys) ja asiakirjan sivuun, josta löytyy laajempi kuvaus asiasta. Lyhyimmillään arviointiraportin kohta voi olla Kyllä/Ei valinta. Arviointiraportin liitteeksi laitetaan kaikki ne asiakirjat, joihin raportissa on viitattu. Pienissä hankkeissa viraston sisäinen itsearviointi on riittävä. Suositeltavaa on, että arvioinnin tekee hankkeen työstämän itsearviointiraportin pohjalta sellainen henkilö, joka ei itse ole osallistunut hankkeeseen. Arvioinnilla varmistetaan, että hanke on kypsä siirtymään seuraavaan vaiheeseen tai osoitetaan, että jotkut osa-alueet kaipaavat vielä lisäselvityksiä. Joissakin tapauksissa arviointi saattaa osoittaa, että hankkeeseen ei kannata ryhtyä. Tällaista lopputulosta ei tule pitää huonona, ja sekin on syytä dokumentoida. 3.3 Ulkopuolinen arviointi hankkeen merkittävyyden mukaan Hankkeen suuruuden ja merkittävyyden (esim. useita yhteistyökumppaneita tai sidosryhmiä) perusteella syvennetään arviointia joko hallinnon sisäisellä ristiinarvioinnilla tai kokonaan ulkopuolisen arvioijan tekemällä arvioinnilla. Tällöinkin pohjana on hankkeen tuottama itsearviointiraportti. Ulkopuolinen arviointi toteutetaan yleensä viisi- vaiheisesti: 1. Hankkeen esittely arvioijille (2 h esittelykokous) ja haastatteluista sopiminen 2. Arvioijat tutustuvat itsearviointiraporttiin ja sen liitteisiin 3. Avainhenkilöiden ja sidosryhmien haastattelut itsearviointiraportin pohjalta (1-2 pv) 4. Arviointiraporttiluonnoksen tuottaminen itsearviointiraportin ja haastattelujen pohjalta (1-2 pv) 5. Palautekeskustelu hankkeelle ja hankkeen omistajalle (2 h palautekokous) 6. Lopullisen arviointiraportin tuottaminen (1 pv) (sulussa olevat ajat ovat arvioita) 4 Mitä hyötyä arvioinnista on? 4.1 Hyödyt hankkeelle Arviointi on hankkeelle mahdollisuus osoittaa päätöksentekijöille, että hanke kannattaa toteuttaa ja että hankkeessa on mietitty vaihtoehtoisia ratkaisumalleja tunnistettuun ongelmaan, tehty perusteltu ratkaisuehdotus, huomioitu hankkeen ympäristö sekä varmistettu, että hankkeella on onnistumisen edellytykset. Joissakin tilanteissa arviointi antaa hankkeelle mahdollisuuden osoittaa, että hanke on annetuissa puitteissa epärealistinen ja että korjaaviin toimenpiteisiin on ryhdyttävä, jos hanke aiotaan toteuttaa. Hankeryhmän arviot hankkeen onnistumisen edellytyksistä saattavat muodostua ylioptimistisiksi erityisesti hankkeen alkuvaiheissa, jolloin hanke on juuri saanut ongelman ratkaistavakseen ja löytänyt siihen mielestään kelpo ratkaisun. Tällöin ulkopuolisen arvioijan on helpompi nostaa esille mahdollisia puutteita hankkeen toteuttamiskelpoisuudessa annetussa aikataulu- ja resurssiraamissa. 4.2 Hyödyt hankkeen omistajalle, virastolle Hankkeen omistajalle arvioinnista on hyötyä hankkeen etenemispäätöksiä tehtäessä: onko hanke toteutettavissa ja ovatko vaikuttavuustavoitteet saavutettavissa ehdotetulla ratkaisulla ja toimintamallilla vai tulisiko korjaaviin toimenpiteisiin ryhtyä? Eri hankkeiden arviointien pohjalta on myös mahdollista 5

6 6 (11) priorisoida hankkeita. Joissakin tilanteissa voi olla järkevää siirtää vaikutuksiltaan vähäisiä kehittämishankkeita toteutettavaksi myöhemmin merkittävien hankkeiden toteutuksen nopeuttamiseksi. 4.3 Hyödyt ohjaavalle ministeriölle Ohjaava ministeriö saa tulosohjauksen tueksi arviointiraporttien kautta yhtenäisen näkymän hallinnonalansa hankkeisiin, tukea rahoituksen järjestämiseen ja tarvittaessa priorisointeihin. Ministeriö voi varmistaa, että hankkeissa on riittävän laajasti huomioitu eri toimijat ja löytää hallinnonalalla yhteisesti toteutettavaksi soveltuvia hankkeita. 4.4 Valtiovarainministeriön konserniohjaus Valtiovarainministeriön konserniohjaus voi hyödyntää arviointiraportteja budjetti- ja kehysprosesseissa. Tietojärjestelmien kehittäminen uusien, tehokkaiden toimintamallien käyttöön ottamisen tukemiseksi nähdään tärkeimmäksi keinoksi hallinnon tuottavuuden kehittämisessä. Rahoituspäätöksiä tehtäessä halutaan varmistaa, että hankkeella on olemassa mahdollisuudet onnistua ja täyttää ne tuottavuusja vaikuttavuustavoitteet, jotka sille on asetettu. Konsernitasolla halutaan myös välttää päällekkäisten hankkeiden toteuttaminen. 6

7 Arviointikehikko esiselvityksen valmistuttua tehtävään arviointiin tietojärjestelmähankkeille ja sellaisille toiminnan kehittämishankkeille, joissa on mukana tietojärjestelmän kehittäminen 5 Arviointikehikko Lyhyt hankkeen kuvaus Tässä TTS Excel- lomakkeen A-osa tai ainakin samat tiedot Vaikuttavuus ja asiakashyödyt Miksi hanke toteutetaan? Tarpeet hankkeen toteuttamiselle Yhteys hallitusohjelmaan ja ylätason strategioihin. Tavoiteltava yhteiskunnallinen vaikuttavuus Yhteiskunnallinen hyöty Hallinnollisen taakan väheneminen yritykset, kansalaiset Palvelujen laadun paraneminen käsittelyajat saavutettavuus käytettävyys luotettavuus lisäarvo kansalaiselle, yritykselle Mahdolliset ei-toivotut vaikutukset Kuvattuna lyhyesti arviointiraporttiin, viittaus selvitykseen. Kuvattuna lyhyesti arviointiraporttiin Arviointiraportissa yhteenveto, viittaus mahdolliseen tarkempaan arvioon. Lyhyt kuvaus viittaus mahdolliseen selvitykseen. Lyhyt arvio. 7

8 Arviointikehikko esiselvityksen valmistuttua tehtävään arviointiin tietojärjestelmähankkeille ja sellaisille toiminnan kehittämishankkeille, joissa on mukana tietojärjestelmän kehittäminen Tehokkuus, Tuottavuus, Taloudellisuus Kokonaiskustannukset järjestelmän suunnitellun elinkaaren ajalta ajoitettuna vuosille: Investointimenot sisältäen tietojärjestelmän toteuttaminen vanhojen tietojen konversio uuteen järjestelmään käyttöönotto koulutus vanhan järjestelmän purku Vuosittaiset käyttömenot sisältäen käyttö ylläpito tuki jatkokehitys Kustannukset muulle valtionhallinnolle mille organisaatiolle kustannuksia aiheutuu millaisia kustannuksia Kokonaishyödyt ajoitettuna vuosille Nykyisen järjestelmän kustannusten poistuminen Toiminnan tehostumisesta saavutettavat kustannussäästöt Mahdolliset lisätuotot Malli hyötyjen realisoimiselle Toimenpiteet, jotka on tehtävä hyötyjen realisoimiseksi omassa organisaatiossa Malli muun valtionhallinnon hyötyjen realisoimiselle Toimenpiteet, jotka on tehtävä hyötyjen realisoimiseksi muualla valtionhallinnossa Miten hanke on suunniteltu rahoitettavaksi? Arviointiraportissa luvut taulukkona, Viittaus kustannus-hyötylaskelmaan. Menot eriteltynä ostettava työ/palvelu ohjelmistot, lisenssit, laitteet, yms. oma työ: nykyisen henkilöstön ja tarvittavan lisähenkilöstön henkilöstökustannukset yleiskustannuksineen Arviointiraportissa luvut taulukkona, viittaus kustannus-hyötylaskelmaan. Nykyisen järjestelmän poistumisesta aiheutuvat säästöt eriteltynä: ostettava työ/palvelu ohjelmistot, lisenssit, laitteet, yms. oma työ Toiminnan tehostumisesta saavutettavat kustannussäästöt eriteltynä: omalle organisaatiolle realisoitavat htv- säästöt muu työmäärän väheneminen muut kustannussäästöt muulle valtionhallinnolle organisaatioittain Lyhyt kuvaus toimenpiteistä ja siitä, mitä niiden toteuttamisesta on sovittu. Viittaus taustamateriaaliin. Lyhyt kuvaus toimenpiteistä, vastuutahoista ja siitä, mitä toimenpiteiden toteuttamisesta on sovittu. Arviointiraportissa lyhyt kuvaus. 8

9 Arviointikehikko esiselvityksen valmistuttua tehtävään arviointiin tietojärjestelmähankkeille ja sellaisille toiminnan kehittämishankkeille, joissa on mukana tietojärjestelmän kehittäminen Osaaminen Onko hankkeen henkilöstö- ja osaamistarpeet sekä mahdollinen osaamisvaje kartoitettu? Onko suunnitelma osaamisvajeen korjaamiseksi? Vaatiiko tietojärjestelmän käyttö, ylläpito ja kehittäminen käyttöönoton jälkeen uudenlaista osaamista tietohallintohenkilöstöltä ja tietojärjestelmän käyttäjiltä? Onko varauduttu henkilöstön kouluttamiseen tai mahdollisiin uusrekrytointeihin? Hankeryhmän kokoonpano. Viittaus arvioon ja mahdolliseen suunnitelmaan osaamisvajeen korjaamisesta. Viittaus selvitykseen. 9

10 Arviointikehikko esiselvityksen valmistuttua tehtävään arviointiin tietojärjestelmähankkeille ja sellaisille toiminnan kehittämishankkeille, joissa on mukana tietojärjestelmän kehittäminen Toteutettavuus Onko kypsyyttä/halua toimintatavan muutokseen? Oma organisaatio Koko toimintoketju Sidosryhmät Onko tuleva toiminta kuvattu? Vastaako karkealla tasolla kuvattu, toteutettava ratkaisu asetettuja strategisia ja toiminnallisia tavoitteita: palvelu, toiminta, tietojärjestelmä Onko hankkeella omistaja? Onko omistajalla valtuudet päätöksentekoon ja onko hän sitoutunut hankkeen onnistumisen varmistamiseen? Onko hankkeella ohjausmalli ja organisaatio? Hankkeen ohjaus Koko toimintoketjun osallistuminen Sidosryhmien osallistuminen Onko selvitetty kohdealueeseen liittyvän lainsäädännön ja hallinnon yleislakien vaatimukset ja/tai mahdolliset muutostarpeet lainsäädäntöön? Onko selvitetty tietoturva-, varautumis- ja tietosuojavaatimukset ja näkyvätkö ne hankkeen suunnittelussa? Selvitykset ratkaisuvaihtoehdoista: Onko tehty vaihtoehtoistarkastelu toivotun vaikuttavuuden aikaansaamiseksi? Onko mietitty vaihtoehtoisia järjestelmän toteuttamismalleja? Onko selvitetty vastaavanlaisia toteutuksia muualla hallinnossa, yksityisellä sektorilla ja muiden maiden hallinnossa? Onko tehty markkinakartoitus (markkinoilla olevat valmisratkaisut, osittaisratkaistu ja potentiaaliset toimittajat) ja päätetty hankintamallista? Onko ehdotetusta ratkaisusta tehty riskiarvio ja riskienhallintasuunnitelma? Hankkeen riskit Uuden toimintamallin ja tietojärjestelmän riskit Onko hankkeen toteutusaikataulussa huomioitu: Liittymät muihin tietojärjestelmiin ja hankkeisiin sekä niiden toteutusaikatauluihin. Hyötyjen realisointi mahdollisimman aikaisessa vaiheessa Järjestelmän testaus, käyttäjien ja ylläpitäjien koulutus Onko olemassa käyttöönottosuunnitelma ja onko siihen sitouduttu? Vanhojen sopimusten päättyminen Sidosryhmien sitoutuminen Arvio. Erityisesti yhteishankkeissa ja useamman organisaation kattavissa toimintokokonaisuuksissa viittaus selvityksiin ja yhteisesti sovittuihin aikatauluihin. Sähköiset palvelut: viittaus selvityksiin palvelujen tulevien käyttäjien (esim. yritykset, kansalaiset tai muu rajattu kohderyhmä) valmiuksista uuden toimintamallin ja palvelun käyttöönottoon. Viittaus kuvaukseen ja arvioon määriteltyjen vaatimusten ja tavoitteiden vastaavuudesta: kattavuus, palvelutaso Organisaatio, nimi ja asema. Jos useita organisaatioita kattava hanke, yhteyshenkilöiden nimet. Kuvaus ohjausmallista. Viittaus asettamispäätökseen tai organisointisuunnitelmaan. Luettelo mahdollisista muutostarpeista. Viittaus lainsäädäntöselvitykseen. Viittaus selvitykseen tai tietoturva-auditointiraporttiin. K/E, Viittaus vaihtoehtotarkasteluun, jossa mm. toiminnalliset vaihtoehdot Viittaus vaihtoehtotarkasteluun, jossa arvioitu mm. tehdäänkö kokonaisuudistus vai osa-alueen uudistaminen Viittaus mahdolliseen selvitykseen. Viittaus kartoitukseen, jossa tarkasteltu mm. palveluhankintaa, valmisohjelmistohankintaa, räätälöityä tietojärjestelmää Raportissa tai liitteenä riskiarvio ja riskienhallintasuunnitelma. Viittaus aikataulusuunnitelmaan. esim. osittaiset käyttöönotot ja vanhasta järjestelmästä luopuminen päällekkäisten kustannusten minimoimiseksi Lyhyt kuvaus käyttöönotosta. Viittaus suunnitelmaan. Erityisen tärkeä yhteishankkeissa ja monia sidosryhmiä käsittävissä hankkeissa. 10

11 Arviointikehikko esiselvityksen valmistuttua tehtävään arviointiin tietojärjestelmähankkeille ja sellaisille toiminnan kehittämishankkeille, joissa on mukana tietojärjestelmän kehittäminen Yhteentoimivuus Onko valtiotason yleiset arkkitehtuurilinjaukset huomioitu? Liittymät muihin käynnissä/käynnistymässä oleviin hankkeisiin Toimintoarkkitehtuuri Onko tulevan toimintomallin suunnittelussa huomioitu oman organisaation, koko toimintoketjun, toimialan ja koko valtionhallinnon toimintoarkkitehtuuri? Luodaanko hankkeessa oman organisaation tai toimialan toimintoarkkitehtuuria? Tietoarkkitehtuuri Onko oman organisaation, toimialan ja koko valtionhallinnon tietoarkkitehtuuri huomioitu? Onko yhteiset perustietovarannot suunniteltu otettavaksi käyttöön? Luodaanko hankkeessa oman organisaation tai toimialan tietoarkkitehtuuria? Tietojärjestelmäarkkitehtuuri Yhteentoimivuus muiden tietojärjestelmien kanssa (oma organisaatio, koko toimintoketju, sidosryhmät)? Onko kaikki järjestelmän kohdealueelle tehdyt valtionhallinnon yhteiset palvelut suunniteltu otettavaksi käyttöön? Teknologia-arkkitehtuuri Oman organisaation, toimialan ja koko valtionhallinnon teknologia- linjaukset huomioitu? Jos teknologiaratkaisut tehty: onko valittu teknologia kypsää ja koeteltua? Viittaus selvitykseen. Luettelo hankkeista ja yhteenveto siitä, miten koordinointi on järjestetty. Viittaus mahdolliseen tarkempaan selvitykseen. Viittaus selvitykseen tai arkkitehtuurivastaavan lausuntoon. Viittaus selvitykseen tai arkkitehtuurivastaavan lausuntoon siitä, mitä tietoarkkitehtuurin osia (sanastot, käsitteet, ontologiat, metatiedot, luokitukset ja tunnisteet) kohdealueelle on olemassa, miten niitä hankkeessa hyödynnetään ja miltä osin on tarkoitus luoda uutta tietoarkkitehtuuria osana hanketta. Viittaus selvitykseen tai arkkitehtuurivastaavan lausuntoon. Viittaus selvitykseen tai arkkitehtuurivastaavan lausuntoon. 11