JHS XXX ICT-palvelujen kehittäminen: Laadunvarmistus

Transkriptio

1 JHS XXX ICT-palvelujen kehittäminen: Laadunvarmistus Versio: 0.9 Julkaistu: n.n.2011 Voimassaoloaika: toistaiseksi Sisällys 1 Johdanto Soveltamisala Termit ja määritelmät ICT-palvelun laadunvarmistus Yleistä ICT-palvelun elinkaari Suositukset Määritä laadunvarmistuspisteet Määrittele laadunvarmistuksen tehtävät, roolit ja vastuut Laadi laadunvarmistussuunnitelma sekä kehitys- että tuotantovaiheisiin Suunnittele katselmoinnit ennakkoon Tee kattava testaussuunnitelma ja laadi testitapaukset Auditoi ICT-palvelu säännöllisesti Laadi mittarit ja tee seurantasuunnitelma Tunnista laadunvarmistukseen liittyvät kumppanit ja sidosryhmät Huolehdi muutosten hallinnasta Hallitse riskit Opastavat tiedot Liitteet Johdanto Tämä suositus opastaa organisaatioita ICT-palvelujen laadunvarmistukseen niiden koko elinkaaren ajan. Suositus perustuu julkisen ja yksityisen sektorin tietohallintojen hyviin käytäntöihin, joita on kerätty suosituksen laadinnan yhteydessä. Lähdemateriaalina on käytetty mm. ITIL-mallia, Valtionhallinnon tietoturvallisuuden johtoryhmä VAHTI:n ohjeita, Verohallinnon, Maanmittauslaitoksen, MMMTiken ja Valtiokonttorin ohjeistoja sekä yksityisen sektorin yleisesti käyttämiä ohjeita ja menetelmiä. Suositus on osa ICT-palvelujen kehittäminen suositussarjaa. Suositus keskittyy ICT-palvelujen (ohjelmisto ja sen avulla tuotettu palvelu) laatuun suosittelemalla mitä laadun varmistamiseksi tulisi tehdä. Suosituksessa ei käsitellä yksityiskohtaisesti laadunvarmistusmenetelmiä eikä suositus käsittele hankinta-, tuotekehitys-, palvelu-, ylläpito- tai muunkaan prosessin laatua ja sen varmistamista, vaikkakin näillä on selkeä vaikutus ICT-palvelujen laatuun. 1/11

2 2 Soveltamisala Suosituksessa ohjataan julkisen hallinnon tietohallintoa yhdenmukaiseen laadunvarmistusprosessiin ICTpalvelujen laadun varmistamiseksi sen elinkaaren kaikissa vaiheissa. Suosituksen kohderyhmään kuuluvat julkisen hallinnon toiminnan ja prosessien kehittäjät, organisaation kokonaisarkkitehtuurista vastaavat tahot ja sen kehittäjät, julkisen hallinnon tietojärjestelmien kehittäjät, järjestelmäkehityshankkeiden vetäjät ja asiantuntijat, laadunvarmistuksen asiantuntijat (esim. testaus- ja auditointipalveluita tarjoavat julkiset ja yksityiset organisaatiot) sekä järjestelmien testaajat. Kuva 1 esittää yleisellä tasolla julkishallinnon ICT-palvelujen laadunhallintaan osallistuvat toimijat. Keskeisessä roolissa on valtiovarainministeriö, joka ohjaa ICT-palvelujen tuottamista konsernitasolla mm. julkishallinnon KA linjauksilla ja JHS-suosituksilla. VM:n arviointitoiminto arvioi valtionhallinnon ICThankkeiden edellytyksiä ennen niiden käynnistämistä. Julkishallinnon yksikön sisäinen tarkastus huolehtii, että ICT-hankkeiden laadunvarmistus toteutetaan ennalta määritellyissä laadunvarmistuksen tarkastuspisteissä annetun ohjeistuksen mukaisesti. Valtiotalouden tarkastusvirasto toimii ulkoisena tarkastusviranomaisena ja arvioi hanketoteutuksien tarkoituksenmukaisuutta ja onnistumista omien prosessiensa mukaisesti. Kuva 1: Laadunhallinnan keskeiset toimijat Suositus soveltuu kaikenlaisille tietojärjestelmille niiden käyttötavoista ja -tarkoituksista riippumatta: niin työasemiin asennettavin erikoisohjelmistoihin kuin kansalaisille tarjottaviin palveluihin. Suositus esittelee hyväksi havaittuja toimintatapoja. Suositus ei käsittele yksittäisiä laadunvarmistuksen menetelmiä tai teknisiä työkaluja, kuten esim. testausmenetelmiä tai testauksen hallinnan välineitä. ICT-palvelujen laadunvarmistukseen liittyviä muita suosituksia ovat mm. Julkisen hallinnon tietohallinnon neuvottelukunta JUHTA:n julkaisemat muut JHS-suositukset, etenkin JHS 174 ICT-palvelujen 2/11

3 palvelutasoluokitus. Muita hyödyllisiä suosituksia ovat Valtionhallinnon tietoturvallisuuden johtoryhmä VAHTI:n ohjeet sekä VM:n julkaisema Verkkopalvelujen laatukriteeristö. 3 Termit ja määritelmät Auditointi Järjestelmällinen ja riippumaton toiminta, jossa hankitaan objektiivista tietoa tarkasteltavasta kohteesta sen määrittämiseksi, missä määrin sovitut kriteerit on täytetty. Elinkaari Järjestelmän olemassaolon kestoaika: ajanjakso järjestelmän ensimmäisen vaatimuksen määrittelystä järjestelmän käytöstä poistoon. Etappi Kts. tarkistuspiste Hyväksymistestaus Hyväksymistestauksessa todennetaan, että järjestelmä täyttää sille asetetut vaatimukset ja toimii tuotannonomaisessa ympäristössä. Hyväksymistestauksen tarkoituksena on myös varmistaa, että järjestelmän toimitus voidaan hyväksyä. Integrointitestaus Järjestelmän komponenttien yhteentoimivuuden todentaminen. Painopiste on komponenttien välisten rajapintojen toimivuuden varmistamisessa. ITIL IT Infrastructure Library, kokoelma parhaita käytäntöjä IT-palveluiden hallintaan ja johtamiseen. Järjestelmätestaus Koko järjestelmän toiminnan vertaaminen määrittelyvaiheessa syntyneeseen dokumentaatioon. Järjestelmätestauksessa testataan myös järjestelmän ei-toiminnalliset ominaisuudet, kuten suorituskyky, luotettavuus, käytettävyys jne. KA Katso: Kokonaisarkkitehtuuri. Katselmointi Katselmointi on [kirjallisen] tuotoksen laadun varmistamista lukemalla, analysoimalla, puutteita tunnistamalla sekä keskustelemalla siitä ja sopimalla toimenpiteistä tunnistettujen puutteiden poistamiseksi. Kokonaisarkkitehtuuri Kokonaisarkkitehtuuri on toiminnan, prosessien ja palvelujen, tietojen, tietojärjestelmien ja niiden tuottamien palvelujen muodostaman kokonaisuuden rakenne. Kokonaisvaltainen lähestymistapa organisaation toiminnan ja sen rakenteiden hallinnoimiseksi ja kehittämiseksi. Laadunhallinta Yleisen johtamistoimen osa-alue, joka määrittää laatupolitiikan ja -tavoitteet sekä laatuun liittyvät vastuut ja toteuttaa ne laadunsuunnittelun, laadunohjauksen, laadunvarmistuksen ja laadunparantamisen avulla. Laadunvarmistus Niiden suunniteltujen ja järjestelmällisten laatujärjestelmän toimintojen joukko, joilla saavutetaan riittävä luottamus siihen, että tarkoite täyttää laatuvaatimukset, ja joiden toimivuus voidaan tarvittaessa osoittaa. Laatu Tuotteen tai prosessin [ominaisuuksien ja yhteyksien] ja siihen kohdistuvien [sidosryhmien] vaatimusten suhde. Laatu = vaatimustenmukaisuus. 3/11

4 Laatumittari Kts. Laatumääre ja Mittari Laatumääre Laatua koskeva tekijä ja sen yksikkö. Määre, jota käytetään laadun mittaamiseen. Esim. palveluaika (yksikkö = aikaväli tunteina ja minuutteina), käytettävyys (yksikkö = käytettävyysprosentti), toimitusaika (yksikkö = kesto). Laatuvaatimus Laatukriteerille asetettu ehto, hyväksytty vaihteluväli, pienin ja/ tai suurin arvo, jolla tuote tai palvelu täyttää sen laadulle asetetut vaatimukset. Liittymätestaus Toimintojen, osajärjestelmien ja järjestelmien välisten liittymien ja rajapintojen testaaminen. Todennetaan järjestelmän toiminta muiden järjestelmien kanssa. Mittari Mittari on mitattavan kohteen ominaisuuden ilmaisin valitulla suureella. Palvelu Palvelulla tarkoitetaan toiselle osapuolelle tarjottua toiminnallista tai teknistä palvelua. Palvelu voidaan tarjota joko organisaation sisälle tai sen ulkopuolelle. Palvelutaso Mitattu ja raportoitu yhden tai useamman palvelutasotavoitteen saavuttaminen. Termiä käytetään joskus muodollisesti tarkoittamaan palvelutasotavoitetta. Tarkastus Tarkastus on kokous, jossa tarkastetaan jonkin työvaiheen tuotos tai osa siitä, ja yritetään löytää siitä puutteita ja virheitä. Vrt. Katselmointi Tarkistuspiste Suunnitelmaan merkitty ajankohta, jolloin ohjausryhmä hyväksyy projektin välituloksia ja päättää projektin jatkosta. Testaaminen Testaaminen on prosessi etukäteen määritettyjen vaatimusten täyttymisen osoittamiseksi ja mahdollisten virheiden löytämiseksi. Vaatimukset voivat olla joko käyttäjä- tai järjestelmävaatimuksia. Testaus on yleisnimitys sekä todentamiseen että kelpuutukseen liittyvistä toimenpiteistä vaatimustenmukaisuuden osoittamiseksi. Tietoturva-auditointi Tietoturvallisuuteen keskittyvä auditointi. Todentaminen Prosessi, jolla varmistetaan, että järjestelmä tai ratkaisu täyttää järjestelmävaatimukset (verification). Yksikkötestaus Erikseen testattavissa olevan yksittäisen komponentin toiminnan ja vaatimustenmukaisuuden todentaminen. 4 ICT-palvelun laadunvarmistus 4.1 Yleistä Laadunvarmistus vastaa siitä, että tuote, palvelu tai prosessi tuottaa ennalta määritellyn tuotoksen sille asetettujen laatuvaatimusten mukaisesti. 4/11

5 Mitä varhaisemmassa vaiheessa ICT-palvelun elinkaarta laatupoikkeama huomataan ja korjataan, sitä edullisempaa se on. 1 Siksi laadunvarmistukseen on panostettava palvelun elinkaaren alusta lähtien. Usein laadusta puhuttaessa keskitytään toimintaprosessin laatuun, koska prosessin tarkoituksena on varmistaa, että oleelliset asiat tulevat huomioitua. ICT-palvelun elinkaareen kuuluu monia prosesseja, joista osa (mm. hankesalkun hallinta, palvelutuotanto) on organisaation ja osa (mm. ohjelmistokehitys) kehityshankkeen vastuulla. Tässä suosituksessa esitellään laadunvarmistuksen käytäntöjä ICT-palvelun koko elinkaaren varrelle. 4.2 ICT-palvelun elinkaari Tietojärjestelmän elinkaari on aika sen kehittämisen aloittamisesta käytöstä poistoon. Kuva 2: Palvelun elinkaari esittää elinkaaren päävaiheet. Kuvassa ovat myös vaiheisiin liittyvät tärkeimmät prosessit. Kuva 2: Palvelun elinkaari ICT-palvelua tarjoavan järjestelmän elinkaari alkaa, kun strategian mukainen palvelutarve on tunnistettu ja järjestelmän esiselvitys päätetään aloittaa. Kun järjestelmä on määritelty ja tuotekehitysprosessia noudattaen saatu toimintakuntoon, otetaan se käyttöön ja palvelun saatavuudesta huolehditaan palveluprosessin avulla elinkaaren loppuun asti. 1 Ilkka Haikala ja Jukka Märijärvi: Ohjelmistotuotanto. ISBN Talentum Media Oy, /11

6 Laadunvarmistusta tulee tehdä jokaisen kehitysvaiheen tuotoksille, vähintään silloin kun vastuu siirtyy toiselle organisaatiolle. Kuva 2: Palvelun elinkaari sisältää useita luontevia laadunvarmistuspisteitä eri kehitysvaiheiden välissä. Palveluille on tyypillistä, että ne kehittyvät jatkuvasti uusien versioiden myötä. Kuva 3: ITILv3 elinkaarimalli esittää palvelun elinkaaren palvelustrategiakeskeisesti ja jatkuvasti kehittyvänä. Kuva 3: ITILv3 elinkaarimalli ITILv3 elinkaarimalli korostaa palvelun jatkuvaa kehittymistä, parannuksien suunnittelua ja näiden tuomista palvelutuotantoon. Tällöin laadun varmistamisen keskiössä on muutoksenhallinta. ITILv3 elinkaarimallissa luontevat laadunvarmistuspisteet ovat palvelun kehityksen siirtyessä strategisesta aihiosta tai kehitysehdotuksesta palvelusuunnitteluun, palvelun käyttöönottoa aletaan suunnitella, tai palvelu otetaan käyttöön. Ennalta sovittujen ja prosessien mukaisten laadunvarmistuspisteiden lisäksi toimintaa voidaan tarkastaa auditoinneilla ja viranomaistarkastuksilla. 5 Suositukset 5.1 Määritä laadunvarmistuspisteet Laadunvarmistuspisteet on sovittava etukäteen. Laadunvarmistuspisteissä todennetaan, onko toimittu tavoitteiden mukaisesti ja reagoidaan mahdollisiin poikkeamiin. Laadunvarmistuksen tulos ja poikkeamien korjaamiseksi sovitut toimenpiteet kirjataan ja tallennetaan seurantaa varten. Suunniteltujen, ennalta sovittujen laadunvarmistuspisteiden lisäksi projektitoimintaa, lopputuotosta ja palvelua voidaan tarkastaa auditoinneilla ja viranomaistarkastuksilla. Luontevia paikkoja laadunvarmistuspisteille ovat käytössä olevien prosessien ja niiden vaiheiden päätepisteet. Tällöin tarkistetaan, että kaikki prosessissa/vaiheessa tehtäviksi tarkoitetut asiat on tehty sovitulla tavalla. Suurissa projekteissa on huolehdittava, ettei laadunvarmistuspisteiden välille jää liian pitkää aikaa ja kehitystyön jatkuminen vaatimusten mukaisena voidaan varmistaa. Laadunvarmistuspisteissä pääasiassa tarkistetaan että tuotokset vastaavat niille asetettuja vaatimuksia. Laadunvarmistuspisteissä todetut ja hyväksytyt vaatimuksien muutokset on huomioitava laadunvarmistuksen kohteena olevien tuotoksien seuraavissa versioissa. Laadunvarmistuspisteissä voidaan myös kerätä parannus- ja kehitysideoita. 6/11

7 Laadunvarmistuspisteet on otettava huomioon tilaajan ja toimittajan välisissä sopimuksissa siten, että niissä on kuvattu menettelytavat, joiden perusteella laadunvarmistuksessa havaitut poikkeamat korjataan. ICTpalveluissa ilmenevien virheiden korjaaminen kuuluu ensisijaisesti toimittajan vastuulle ja toimittajan lukuun tehtäväksi. Laadunvarmistuksen johdosta tehdyt muutokset tulee dokumentoida muutoksenhallintaan sekä päivittää tarvittaessa muuta ICT-palvelua koskevaa dokumentaatiota. Palveluja kehitettäessä käyttöönottoa edeltää viimeinen kehittämisen laadunvarmistuspiste. Tällöin tuotos siirtyy kehitysprojektin vastuulta linjaorganisaatiolle, usein myös toimittajan vastuulta tilaajalle. Toimenpiteet tässä laadunvarmistuspisteessä on suunniteltava huolellisesti. Tuotannossa olevan palvelun laatua on seurattava suunnitelmallisesti. Poikkeamaraportit ja käyttäjäpalaute on käsiteltävä säännöllisesti ja käyttäjien tyytyväisyyttä on selvitettävä käyttäjäkyselyin. Liite 6 listaa kappaleessa 3 katselmointi- eli laadunvarmistuspisteitä. Julkisen hallinnon tietohallinnon ohjauksesta annetun lain (634/2011) 4.4 :n mukaan ennen kuin valtion viranomainen päättää tietohallintoa koskevasta omasta hankinnastaan taikka muusta sellaisesta sen ratkaistavissa olevasta valtion talousarviosta rahoitetusta tietohallintoa koskevasta hankinnasta, jolla on laajaa toiminnallista merkitystä tai joka on taloudelliselta arvoltaan merkittävä, sen on pyydettävä asiasta valtiovarainministeriön lausunto. Jos edellä tarkoitettu viranomainen haluaa poiketa valtiovarainministeriön lausunnosta, sen on saatettava asia hallinnonalansa ministeriön päätettäväksi. 5.2 Määrittele laadunvarmistuksen tehtävät, roolit ja vastuut Laadunvarmistuksen näkökulmasta on tehtävät, roolit ja niistä vastuulliset henkilöt määriteltävä selkeästi. Yksi henkilö voi olla useammassa roolissa. Liite 1: Laadunvarmistuksen tehtäviä sisältää kuvauksia oleellisista tehtävistä. Laadunvarmistuksen tärkeimmät roolit ovat määrittelijä, katselmoija, testaaja ja laadunvarmistusvastaava: Määrittelijä vastaa siitä, että järjestelmän toiminnalliset ja ei-toiminnalliset ominaisuudet on selkeästi kuvattu ja että niiden perusteella ICT-palvelu voidaan toteuttaa ja testata sen vaatimustenmukaisuus ja toimivuus. Katselmoija vastaa siitä, että katselmoitavan tuotoksen poikkeamat vaatimuksiin on kommentoitu hänen edustamansa näkökulman osalta. Testaaja huolehtii siitä, että lopputuotteen poikkeamat määrittelyistä (niin toiminnallisilta kuin eitoiminnallisiltakin ominaisuuksiltaan) on löydetty ja raportoitu. Laadunvarmistusvastaavan tehtävänä on huolehtia, että laadunvarmistus toteutetaan ennalta määritellyissä laadunvarmistuksen tarkastuspisteissä annetun ohjeistuksen mukaisesti. 5.3 Laadi laadunvarmistussuunnitelma sekä kehitys- että tuotantovaiheisiin ICT-palvelun laadunvarmistus on tehtävä suunnitelmallistesti kehitys- ja tuotantovaiheessa. Laadunvarmistuksessa käytettävät menetelmät valitaan, niiden käyttö aikataulutetaan, sekä tarvittavien resurssien käytettävyys varmistetaan. Nämä asiat kirjataan laadunvarmistussuunnitelmaan. Liite 2 sisältää asioita, jota on hyvä huomioida laadunvarmistussuunnitelmassa. Laadunvarmistussuunnitelmaa laadittaessa on huomioitava mahdollisten ulkoisten auditointien ja tarkastusten aikataulutus. Kehitysvaiheen laadunvarmistussuunnitelma sisältää suunnitelman toimenpiteistä, joilla varmistetaan kehitystyön tuotoksen laadukkuus. Ennakoivan laadunvarmistuksen mukaisesti on varmistettava kehittäjien perehtyneisyys kokonaisarkkitehtuurin linjauksiin ja periaatteisiin riittävällä tasolla. Vaikkakin kehitysvaiheessa laadunvarmistuksen toimenpiteet painottuvat toiminnallisuuden laadun varmistamiseen, on myös ei-toiminnallisien vaatimuksien toteutumista varmistettava koko ajan. 7/11

8 Tuotantovaiheen laadunvarmistussuunnitelma sisältää suunnitelman toimenpiteistä, joilla varmistetaan palvelun laatu. Palvelutuotanto perustuu sopimuksiin, joiden noudattaminen selvitetään parhaiten toiminnan auditoinnilla. Auditoinnin lisäksi palvelutuotannon selviytyminen poikkeustilanteista on testattava ja selvitettävä onko toipumiseen kuluva aika vaatimusten mukainen. 5.4 Suunnittele katselmoinnit ennakkoon Katselmoinnit on suunniteltava ennakkoon. On syytä määrätä, mitkä vaihetuotteet tulee katselmoida ja määriteltävä, mitkä näkökulmat katselmoinneissa on oltava edustettuina. Laadi kaikkia katselmointeja varten katselmoinnin tarkistuslistat organisaation teknisten, toiminnallisten ja menetelmäohjeiden pohjalta. Katselmoinnissa on noudatettava jatkuvan katselmoinnin periaatetta, jonka mukaan kaikkien vaiheiden tulosten laatu varmistetaan katselmoimalla ennen kuin tulosta käytetään jatkotyön pohjana. Katselmoinnissa on pyrittävä huomioimaan riippumattomuuden periaate, jonka mukaan katselmoinnissa tulee aina osallistua muitakin kuin tuotoksen tekijöitä. Onnistunut katselmointi edellyttää, että katselmoijilla on riittävästi aikaa tutustua katselmoinnin kohteeseen. Käytettävä prosessi usein määrittää muistilistan kulloinkin katselmoitavista asioista. Tämän lisäksi katselmoijien tulee kokemuksiensa ja kompetenssiensa myötä olla kyvykkäitä kohteen monipuoliseen tarkasteluun. Kukin katselmoija tarkastelee tuotosta omasta näkökulmastaan ja vastaa osaltaan, että katselmoinnin kohteen mahdolliset puutteet on huomattu. Katselmoinnista on tuotettava muistio, johon merkitään katselmoinnissa havaitut puutteet sekä mahdollisesti sovittu korjausmenettely. Katselmoinneissa on lisäksi otettava kantaa siihen, hyväksytäänkö tuotos sellaisenaan, korjauksin vai vaaditaanko uusi katselmointi. Muistioon on kirjattava selkeästi päätös ja mahdollisten korjausten aikataulu ja tarkistamistapa sekä vastuut korjauksista. Katselmoinnissa tulee erottaa virheet ja kehitystä edellyttävät poikkeamat toisistaan, koska niillä on vaikutuksensa tilaajan ja toimittajan välisiin vastuisiin. Katselmointiin osallistuvien henkilöiden määrä kannattaa pitää riittävän pienenä, jotta katselmoinnin tehokkuus ei kärsi. Katselmoinnissa tarvittavat näkökulmat riippuvat katselmoinnin kohteesta. Loppukäyttäjiä on syytä pitää mukana katselmoinneissa, samoin kokonaisarkkitehtuurin näkökulmia (toiminta-arkkitehtuuri, tietoarkkitehtuuri, tietojärjestelmäarkkitehtuuri ja teknologia-arkkitehtuuri). Testaajia on hyvä pitää mukana etenkin vaatimuksia ja määrityksiä katselmoitaessa. Liite 4 sisältää katselmointimuistion mallipohjan. Liite 5 sisältää dokumenttipohjan muistion liitteeksi sopivan havaintoluettelon, johon katselmointikokouksessa kirjataan poikkeamat sekä niille sovitut jatkotoimenpiteet. Liite 6 kuvaa katselmointiprosessin. 5.5 Tee kattava testaussuunnitelma ja laadi testitapaukset Testauksen suunnittelu lähtee liikkeelle palvelulle tehdyistä määrittelyistä. Kuva 4: V-malli näyttää erilaisten testausten vastaavuuden tehtyihin suunnitelmiin. Malli kuvaa asioiden loogiset suhteet ja kattaa siten myös ketterät menetelmät. Testitapaukset tulee johtaa määrittelydokumentaation käyttötapauksista, jotta niiden kattavuus voidaan todentaa. Testaussuunnitelmia on päivitettävä kehitysaikana syntyvien muutoksien mukaisesti. 8/11

9 Kuva 4: V-malli Ennen testien suorittamista katselmoidaan testaussuunnitelmat, jotta niiden kattavuus tulee varmistettua. Loppukäyttäjiä on hyvä pitää mukana testauksen suunnittelussa mahdollisimman varhaisesta vaiheesta asti. Mahdollisten muutosten vaikutukset vaatimuksiin ja suunnitelmiin on huomioitava testitapauksissa. Testien on katettava toiminnallisuuden lisäksi ei-toiminnalliset asiat, kuten käytettävyys, tietoturva ja suorituskyky. Testeissä on todettava mahdollisista laitevioista toipumiseen menevä aika ja verrata sitä vaatimuksiin. Testiraporttien perusteella arvioidaan mahdollisten poikkeamien hyväksyttävyys. Tärkein palvelun testaus on hyväksymistestaus. Hyväksymistestauksen tulee olla ICT-palvelun tilaajan vastuulla, jotta tilaaja voi todentaa ICT-palvelun vaatimustenmukaisuuden, jonka jälkeen tilaus voidaan hyväksyä. Hyväksymistestaus on pakollinen, koska sillä hyväksytään tilauksen mukainen tuotos. Liite 2 sisältää muistilistoja mm. erilaisia testaussuunnitelmia varten. JHS 173 ICT-palvelujen kehittäminen: Vaatimusmäärittely sisältää myös muistilistaa ei-toiminnallisista ja tietoturvavaatimuksista. 5.6 Auditoi ICT-palvelu säännöllisesti Palvelutuotanto suositellaan auditoitavaksi säännöllisesti. Auditoinnit on syytä tehdä eri näkökulmista, kuten vikasietoisuus, palvelukatkot, tietoturvatasot, jotka helposti muuttuvat palvelutuotannon teknologioiden kehittyessä ja uusien palveluntarjonnan komponenttien käyttöönoton yhteydessä. Etenkin suositellaan ulkoistetun palveluntuotannon auditointi, koska palvelutuotannon järjestäminen on palveluntarjoajan vastuulla. Auditointiraportit suositellaan katselmoitaviksi siten, että auditoinnin kohteen edustaja on mukana varmistamassa osaltaan raportin paikkansapitävyys. Mahdolliset näkemyserot, korjaavat toimenpiteet ja seurantamenettelyt kirjataan raporttiin. Auditoinnit on otettava huomioon toimitus- ja palvelusopimuksissa. Sopimuksissa on myös määriteltävä vastuut auditointitulosten käsittelystä. Auditointi voi paljastaa muutostarpeita palvelun lisäksi myös palvelutasosopimukseen. Oikean palvelutason määrittämiseksi on hyvä tutustua esim. ITIL-ohjeistukseen sekä suositukseen JHS 174 ICT-palvelujen palvelutasoluokitus. 5.7 Laadi mittarit ja tee seurantasuunnitelma Mittaaminen ja seuranta on tehtävä suunnitelmallisesti. Mitattavat asiat on määriteltävä yksiselitteisesti. Mittaaminen ja seuranta kannattaa kohdistaa ominaisuuksiin, jotka ovat palvelulle oleellisia. Seuranta on suunniteltava huolellisesti, ja seurantamenettelyt on määriteltävä selkeästi ja yhdenmukaisella tavalla. Palvelulle ja sen kehittämiselle on hyvä määrittää erityisiä seurantapisteitä, joissa palvelua ja kehitystyön tuloksia arvioidaan. 9/11

10 Loppukäyttäjien tyytyväisyyttä on syytä seurata sitä tarkemmin mitä laajempi palvelun käyttäjäkunta on. Liite 3 sisältää esimerkkejä mittareista ja Taulukko 1 järjestelmän ominaisuuksia vastaavia mittaristoja. Järjestelmän liitetty ominaisuus Mitattava asia Prosessin tehostaminen Tehtävän suoritusaika Tuotoksilla suuri taloudellinen vaikutus Luotettavuus Helppokäyttöisyys, hyödyllisyys Käyttäjätyytyväisyys Pitkä elinkaari Ylläpidettävyys Muutosherkkyys Ylläpidettävyys Teknologian kypsymättömyys Siirrettävyys, jatkuvuus Odotettavissa monia muutoksia elinkaaren aikana Ylläpidettävyys Käsittelyn reaaliaikaisuus Tehokkuus, luotettavuus Tietojen luottamuksellisuus Toiminnallisuus, turvallisuus Tarve liittää toisiin järjestelmiin Toiminnallisuus, yhteentoimivuus Taulukko 1: Järjestelmän ominaisuuksia vastaavat mittaristot 5.8 Tunnista laadunvarmistukseen liittyvät kumppanit ja sidosryhmät Tietojärjestelmien ja niiden avulla tarjottavien palvelujen kehittämisessä ja tuottamisessa käytetään alihankkijoita mitä moninaisimmissa rooleissa. Myös liittymät julkishallinnon järjestelmistä lisääntyvät ja palvelujen versiovaihdoksissa tapahtuvat muutokset aiheuttavat integraatiorajapintojen muuttumisia. Ennen teknisten ratkaisujen määrittelyn aloittamista on huolehdittava, että sidosryhmät ovat tietoisia kokonaisarkkitehtuurin mukaisista periaatteista ja linjauksista. Kaikissa rajapinnoissa, teknisissä ja toiminnallisissa, on kirjattava vastuut ja velvollisuudet selkeästi. Etenkin järjestelmien integroinneissa ja rajapintojen integraatiotestauksissa on oltava selkeät vastuut siitä, kenen vastuulla on mahdollisten virheellisyyksien selvittäminen ja korjaaminen. Alihankkijoiden kanssa tehtävissä sopimuksissa on tehtävä selkeät rajaukset tehtäville, niihin kuuluville rooleille ja vastuille. Vaihetuotteiden hyväksymisellä tulee olla selkeät kriteerit. Sopimuksiin on kirjattava alihankkijan vastuu tuotoksen testaamisesta ja mahdollisten jälkeenpäin löytyvien virheiden korjaamisesta. Julkisen hallinnon organisaatioiden on sovittava varhaisessa vaiheessa testaukseen liittyvät vastuut, aikataulutus ja kustannusten jako. Sopimus on tehtävä kirjallisena. 5.9 Huolehdi muutosten hallinnasta Kaikissa palvelun elinkaaren vaiheissa tulee muutostarpeita. Ne kohdistuvat niin palvelun vaatimuksiin, tekniseen toteutukseen kuin palvelutuotantoonkin. Muutoksien käsittelyssä eri vaiheissa on omat erityispiirteensä, mutta perusasiat ovat samat. Muutoksia on hallittava järjestelmällisesti ja siten, että muutoksiin liittyvät riskit ovat hallinnassa. Ennen muutoksen hyväksymistä sen suorat ja epäsuorat vaikutukset on analysoitava kaikkien siihen liittyvien tuotosten osalta. Muutokset voi hyväksyä vain siihen valtuutettu taho. Muutokset ja niiden perusteet dokumentoidaan ja niiden vaikutuksia seurataan. Tehtyjen muutoksien tulee olla jäljitettävissä Hallitse riskit Riskienhallinta on suunniteltava ja riskien seuranta on järjestettävä palvelun elinkaaren ajalle. Hyviä ohjeita ja työkaluja on VAHTI ohjeistossa, esim.: 10/11

11 Riskien arviointi tietoturvallisuuden edistämiseksi valtionhallinnossa, VAHTI 7/2003 ICT-toiminnan varautuminen häiriö- ja erityistilanteisiin, VAHTI 2/ Opastavat tiedot Tätä suositusta ylläpitää Julkisen hallinnon tietohallinnon neuvottelukunta JUHTA, puh (09) 16001, sähköposti: jhs-sihteeri@jhs-suositukset.fi JHS-järjestelmän verkkosivut: 7 Liitteet Liite 1: Laadunvarmistuksen tehtäviä Liite 2: Tarkistuslistoja Liite 3: Mittareita Liite 4: Katselmointimuistio Liite 5: Katselmoinnin havaintoluettelo Liite 6: Katselmointiprosessi 11/11