PTJ2008-HYVÄKSYMISTESTISUUNNITELMA V1.01.0 Dokumentin tiedot: Asiakas: Projekti: PTJ2008 Versio: 1.0, 15.11.2007 Talletus: PTJ2008_Hyväksymistestisuunnitelma.doc Laatija: Terja Ketola Tila: Hyväksytty Tarkastanut: Pekka Tikkanen, Fujitsu Services Oy Hyväksynyt: PTJ-ohjausryhmä 14.11.2007 Versiohistoria: Versio: Pvm: Laatija: Muutokset: 0.1 3.10.2007 Terja Ketola Alustava versio 0.5 17.10.2007 Ilkka Hakoniemi Täydennyksiä testauksen kohteisiin ja testikäytäntöihin 0.6 18.10.2007 Terja Ketola Lisätty luku 4.2, muokattu vähäisiä tekstikohtia, poistettu järjestelmän kuva luvusta 3.1. Päivitetty varmistuksia ja palautuksia koskevia kohtia. 0.7 31.10.2007 Terja Ketola Projektiryhmälle jaettava versio, luvussa 1.4 mainitut liitteet puuttuvat vielä tästä versiosta. Fujitsu katselmoinut suunnitelman. 0.71 1.11.2007 Terja Ketola Vähäisiä korjauksia ja täsmennyksiä aikatauluun. 1.0 15.11.2007 Terja Ketola Ohjausryhmän kommentit 14.11.2007 otettu huomioon Tulosti: Terja Ketola Projektitoimitusprosessi 1 (14) Tulostettu: 15.11.07 Copyright Fujitsu Services Oy PTJ2008_Testisuunnitelma_v1.0
Sisällysluettelo 1. Johdanto... 3 1.1 Dokumentin tarkoitus... 3 1.2 Sanasto... 4 1.3 Viitteet... 4 1.4 Liiteluettelo... 4 1.5 Testisuunnitelman hyväksyminen... 4 1.6 Hyväksymistestin reunaehdot... 4 2. Testauksen kohde... 5 3. Testiympäristö... 6 3.1 Yleiskuva... 6 3.2 Perustietojen luonti... 6 3.3 Apuvälineet... 7 3.4 Testien palautettavuus... 7 4. Testivaatimukset... 7 4.1 Testattavat ominaisuudet / PTJ... 7 4.1.1 Toiminnallisuus... 7 PTJ2008-muutokset... 7 Olemassa olevan PTJ-järjestelmän testaus... 7 4.1.2 Liittymät ja rajapinnat muihin järjestelmiin... 8 4.1.3 Tietoturva... 8 4.1.4 Käyttöliittymä... 8 4.1.5 Lokalisaatiotestaus... 8 4.1.6 Toipuminen ja käytettävissä olo... 8 4.1.7 Palautukset ja varmistukset... 8 4.2 Käyttäjähallinnon muutosten testaus... 9 4.3 Testauksen ulkopuolelle rajaus... 9 4.4 Testityypit... 9 5. Testauksen hallinta... 10 5.1 Testauksen suorittaminen... 10 5.2 Virheiden hallinta... 11 5.2.1 Virheiden luokittelu...11 5.2.2 Virheiden kirjaus projektissa...12 5.2.3 Virheen uudelleentestaus...12 5.3 Raportointi... 12 5.3.1 Viikoittainen testaustilaraportti...12 5.3.2 Loppuraportit...12 6. Testauksen etapit, resurssit ja aikataulu... 12 6.1 Testien ryhmittely... 12 6.2 Rajaukset... 13 6.3 Testauksen vaiheet... 13 6.4 Resurssit... 13 6.5 Aikataulu... 14 6.6 VNK:n ja VNTHY:n vastuut testauksessa... 14 6.7 Järjestelmän hyväksyminen (vasta koko järjestelmän toimituksen jälkeen)... 14 6.8 Raportointi... 14 Tulosti: Terja Ketola Projektitoimitusprosessi 2 (14) Tulostettu: 15.11.07 Copyright Fujitsu Services Oy PTJ2008_Testisuunnitelma_v1.0
1. JOHDANTO Hyväksymistestin tarkoituksena on varmistaa, että toimitettu ohjelmisto on hyväksyttyjen määrittelyjen mukainen ja täyttää muut hyväksytyt hyväksymiskriteerit. Hyväksymistesti suoritetaan hyväksytyn testisuunnitelman mukaisesti. Tämä testisuunnitelmaversio sisältää PTJ2008-ohjelmistotoimituksen hyväksymiseen testiympäristössä tarvittavat tiedot. 1.1 Dokumentin tarkoitus jäsentää testaukseen liittyvät vastuut esittää PTJ2008-projektin hyväksymistestauksen tavoitteet ja tarpeet laadun ja aikataulun puitteissa listata, mitä projektissa tulee testata suositella ja kuvata, kuinka kussakin testauksen vaiheessa tehdään testauksen kannalta oikeita asioita, oikeaan aikaan, oikealla prioriteetilla ja oikeilla voimavaroilla, jotta asetetut testauksen tavoitteet saavutettaisiin yksilöidä testaukseen liittyviä riskejä suositella, kuinka testaus tulee priorisoida siten että sekä riskit että vaatimukset otetaan huomioon listata testauksen tuottamat dokumentit Kohdeyleisö Dokumentti on tarkoitettu PTJ2008-testiryhmälle. Tarvittavat esitiedot 1. Lukijan oletetaan tuntevan nykyinen PTJ-sovellus 2. PTJ2008-hankkeen määrittely Riskit 1. Testattava järjestelmä otetaan käyttöön vuoden 2007 lopussa siten, että 2.1.2008 alkaen PTJ:n toiminnot tukevat ministeriöiden tehtäviä. Aikataulun siirtäminen ei ole käytännössä mahdollista. Tämä merkitsee sitä, että testauksessa tulee keskittyä erityisesti järjestelmän välttämättömien osien testaamiseen. 2. Vaikka muutokset eivät ole teknisesti erityisen monimutkaisia, ovat päätösreitit, objektien elinkaaret ja tilat ja roolien oikeudet monien yksityiskohtien vuoksi Tulosti: Terja Ketola Projektitoimitusprosessi 3 (14) Tulostettu: 15.11.07 Copyright Fujitsu Services Oy PTJ2008_Testisuunnitelma_v1.0
Kommentit 1.2 Sanasto monimutkaisia ja niihin on paljon poikkeuksia. Tehokkaiden testitapausten laatiminen vaatii huolellista jäsentämistä, jotta kaikki tarpeellinen saadaan testattua kohtuullisella testitapausten määrällä. Testaajien tulee tutustua vaatimuksiin hyvin ja olla tarkkoja yksityiskohdissa. 3. Mikäli testiympäristö ei ole käytettävissä aikataulun mukaan, ei testaus voi alkaa suunnitellusti. Ilkka Hakoniemi, valtioneuvoston kanslia, valtioneuvoston istuntoyksikkö, puh. 16022498, sähköposti Ilkka.Hakoniemi@vnk.fi. Tässä dokumentissa käytetään seuraavia lyhenteitä: VNK 1.3 Viitteet VNTHY Valtioneuvoston kanslia Valtioneuvoston tietohallintoyksikkö, Valtiovarainministeriö Viitenro 1.4 Liiteluettelo Dokumentti Saata villa K/E Tekijä 1. PTJ2008-määrittely K Fujitsu HARE 2. PTJ2008-projektisuunnitelma K Fujitsu/VNK HARE Säilytyspaikka 1. Käyttäjähallinnon testisuunnitelma 2. Virheraportointilomake 3. PTJ2008-testitapaukset 4. Versiosaate 1.5 Testisuunnitelman hyväksyminen Tämä testisuunnitelma hyväksytään PTJ-hankkeen ohjausryhmässä. 1.6 Hyväksymistestin reunaehdot Asiakkaan tulee tehdä asiakaskohtaisen ohjelmiston hyväksymistesti kahdenkymmenenkahdeksan (28) päivän kuluessa siitä, kun toimittaja on luovuttanut ohjelmiston asiakkaalle hyväksymistestin tekemistä varten. Virallinen hyväksymistestaus alkaa 5.11.2007, josta alkaa myös 28 päivän testiaika. Hyväksymistestauksen aloittamisen edellytykset ohjelmisto on läpäissyt toimittajan järjestelmätestin hyväksytysti ohjelmisto on toimitettu hyväksymistestiin testisuunnitelma on hyväksytty asiakkaan testimateriaali on valmis (esim. 1 viikko) ennen testiä hyväksymistestiympäristö on määrityksissä kuvatun mukainen ja oikein installoitu ja toimiva Tulosti: Terja Ketola Projektitoimitusprosessi 4 (14) Tulostettu: 15.11.07 Copyright Fujitsu Services Oy PTJ2008_Testisuunnitelma_v1.0
VNK:n ja VNTHY:n vastuut: testisuunnitelman laatiminen testiaineisto järjestelmän asentaminen hyväksymistestaus testauksessa havaittujen poikkeamien raportointi käyttäen VNK:n käytössä olevaa virheraportointilomaketta testauksen hallinnointi muut testisuunnitelmassa asiakkaalle osoitetut tehtävät Fujitsu Services Oy:n vastuut: tuki hyväksymistestauksen aikana Vaiheen hyväksymiskriteerit: ohjelmistossa ei ole avoinna olevia käyttöönoton estäviä virheitä 2. TESTAUKSEN KOHDE Taustaa Pääministeri Matti Vanhasen II hallituksen ohjelmassa edellytetään työ- ja elinkeinoministeriön perustamista, kauppa- ja teollisuusministeriön ja työministeriön lakkauttamista sekä eräitä ministeriöiden toimiala- ja tehtävämuutoksia. PTJ2008-hankkeen tavoitteena on toteuttaa sähköiseen päätöksentekojärjestelmään (PTJ) pääministeri Matti Vanhasen II hallituksen ohjelman edellyttämät muutokset ministeriörakenteisiin sekä ministeriöiden toimialoihin ja/tai tehtäviin siten, että PTJ tukee myös 1.1.2008 jälkeen asioiden esittelyä kaikista ministeriöistä raha-asiainvaliokuntaan, valtioneuvoston yleisistuntoon sekä tasavallan presidentin esittelyyn sekä asiakirjaliikennettä ministeriöiden, painotalon ja eduskunnan sekä valtioneuvoston viestintäyksikön verkkopalvelun välillä. Testauksen kohde Ministeriötietoihin vaadittavat toiminnallisuudet aiheuttavat PTJ:ään uuden metatiedon, jolla ilmaistaan ministeriön passivointi. Tämä tieto estää uusien asioiden perustamisen ko. ministeriöön, mutta sallii järjestelmässä olevien asioiden hakemisen ja selailun. Asioiden käsittelyn jatkaminen uudessa ministeriössä vaatii PTJ:ään kaksi uutta toiminnallisuutta: 1. Asiat täytyy voida siirtää toiseen ministeriöön 2. Asioille täytyy määritellä uudet käsittelijät uudessa ministeriössä, koska asioiden käsittelijöiden käyttäjätunnukset vaihtuvat ministeriömuutoksen yhteydessä (PTJ:ssä käsittelijöillä tarkoitetaan asian avaajia ja esittelijöitä) Tulosti: Terja Ketola Projektitoimitusprosessi 5 (14) Tulostettu: 15.11.07 Copyright Fujitsu Services Oy PTJ2008_Testisuunnitelma_v1.0
3. TESTIYMPÄRISTÖ 3.1 Yleiskuva Testausympäristönä käytetään valtioneuvoston yhteisten järjestelmien testiympäristöä (koulutusympäristö). PTJ:n testaus ei ole riippuvainen työaseman kokoonpanosta, työasemassa voidaan käyttää eri selaimia, suositus on toistaiseksi Internet Explorer 5.5 tai uudempi. 3.2 Perustietojen luonti Käyttäjätiedot Testausta varten käyttäjätiedot päivitetään, ts. lakkautettavien ministeriöiden käyttäjätunnukset passivoidaan, uusi ministeriö ja käyttäjätunnukset PTJ-rooleineen perustetaan juurihakemistoon. Tiedot päivitetään PTJ:ään. Asiatiedot Testausta varten varmistetaan, että testiympäristössä on riittävästi materiaalia, jolla asioiden siirtoa ja käyttöoikeuksien siirtämistä voidaan testata. Materiaaliin tulee sisältyä sekä eduskunnasta että painotalosta palautuvaa materiaalia. Perustiedot Käyttäjät ja käyttäjäroolit - testikäyttäjiä jokaisesta ministeriöstä ja yhteistyökumppaneilta (selvitettävä, ketkä testaavat) - VNTHY perustaa. Käytetään juurihakemistoa. Asiatyypit - asiatyyppilista on nykyisen PTJ:n asiatyyppilista Organisaatiot - normaalisti tietoja, jotka annetaan kerran ja päivitetään harvoin (esim. ministeriöt) - uusi ministeriö perustetaan PTJ:ään - lakkautettavat ministeriöt passivoidaan PTJ:ssä - VNK päivittää ylläpitoliittymän kautta Asiakirjatyypit - nykyiset asiakirjatyypit Erikoistiedot ja -roolit Erikoistietoja ylläpidetään valtioneuvoston kanslian istuntoyksikössä (ministereiden järjestys) sekä ministeriöissä (esittelijöiden järjestys). Esittelijöiden ja ministereiden järjestäminen - VNK ylläpitää tarvittaessa - esittelijäjärjestys nykyisen PTJ:n mukainen soveltaen testikäyttäjiin Tulosti: Terja Ketola Projektitoimitusprosessi 6 (14) Tulostettu: 15.11.07 Copyright Fujitsu Services Oy PTJ2008_Testisuunnitelma_v1.0
Oikeuskanslerin, apulaisoikeuskanslerin ja tasavallan presidentin tietojen päivitys - VNK tekee tarvittaessa ylläpitoliittymän kautta Muita testauksen aloittamiseen liittyviä perustietoja Istuntojen perustaminen - VNK perustaa. 3.3 Apuvälineet - 3.4 Testien palautettavuus Sovelluspalvelimilla on koodin eri versioiden asennuspaketit, joten niiden palautus onnistuu helposti. Paketit sijaitsevat hakemiston /users/oraias/ptj alihakemistoissa, jonka sisältyminen varmistettaviin hakemistoihin pitää varmistaa. Testin kuluessa testikannasta otetaan varmistus viikoittain, jotta palaaminen aikaisempaan ajankohtaan on tarvittaessa mahdollista. 4. TESTIVAATIMUKSET 4.1 Testattavat ominaisuudet / PTJ 4.1.1 Toiminnallisuus PTJ2008-muutokset uudet käyttötapaukset kaikkine haaroineen Olemassa olevan PTJ-järjestelmän testaus käyttö työasemalta (selain, Acrobat Reader) o tulostukset o liitteiden hallinta Käyttötapaukset kaikkine haaroineen Eduskunta Objektien (esim. asioiden, listojen, istuntojen) o luominen, muokkaaminen, poistaminen o tilat ja elinkaaret (eri oikeudet ja ominaisuudet eri prosessin vaiheessa, milloin näkyvät aktiivisina, milloin lopetetaan, tai poistetaan, mitkä tilat näytetään missäkin vaiheessa, mitä voi tehdä missäkin tilassa olevalle objektille) o tyypit ja tyyppien muuttaminen o attribuutit (kenttien pituudet, tyypit, virheenhallinta) o historiatiedon tallentuminen ja näyttäminen Puuttuva toiminnallisuus Tulosti: Terja Ketola Projektitoimitusprosessi 7 (14) Tulostettu: 15.11.07 Copyright Fujitsu Services Oy PTJ2008_Testisuunnitelma_v1.0
Käyttäjien roolit ja yhdistelmäroolit (huom. myös päivämääriin liittyvät näkyvyyssäännöt) Päätösreitit Liitteiden käsittely o versionumerointi o versiohallinta, esim. aiemman liitetiedoston version palauttaminen Sähköpostin lähettäminen kokonaiset toimintaketjut esim. asian valmistelusta sen eduskuntakäsittelyyn raportit dokumenttien tulostaminen (tärkeää mm., että tulostus on aina täsmälleen samannäköinen kaikilla tulostimilla) näyttöjen tulostaminen pääkäyttäjän toiminnot ylläpitäjän toiminnot virheilmoitukset hakutoiminnot o huom. vain oman ministeriön asioita saa palauttaa ennen jakelua (paitsi laajat oikeudet) o sivutus o hakutoiminnon palautusvasteaika o lajittelu o passivoidun ministeriön asioiden haettavuus 4.1.2 Liittymät ja rajapinnat muihin järjestelmiin Painotalo (liittymä) Valtioneuvoston viestintä (rajapinta) 4.1.3 Tietoturva Sovelluksen tietoturva: Testattava, että roolikohtaiset rajoitukset toimivat kaikkialla. Testattava erityisesti myös, onko mahdollista suoraa URL-osoitetta käyttäen ohittaa käyttöoikeuksia 4.1.4 Käyttöliittymä navigoinnit sisältäen myös o sivujen paluutoiminnot o selaimen takaisin-toiminnot sivutukset erityisesti kun esim. liitteet jakautuvat useammalle sivulle lajittelut uusien näyttöjen yhdenmukaisuus ja käyttäjäystävällisyys 4.1.5 Lokalisaatiotestaus käyttöjärjestelmän erilaisten päivämääräasetusten vaikutus 4.1.6 Toipuminen ja käytettävissä olo ei testata tässä testissä 4.1.7 Palautukset ja varmistukset Sovelluspalvelimilla on koodin eri versioiden asennuspaketit, joten niiden palautus onnistuu helposti. Paketit sijaitsevat hakemiston /users/oraias/ptj alihakemistoissa, jonka sisältyminen varmistettaviin hakemistoihin pitää varmistaa. Tulosti: Terja Ketola Projektitoimitusprosessi 8 (14) Tulostettu: 15.11.07 Copyright Fujitsu Services Oy PTJ2008_Testisuunnitelma_v1.0
Testin kuluessa testikannasta otetaan varmistus viikoittain, jotta palaaminen aikaisempaan ajankohtaan on tarvittaessa mahdollista. Mahdollinen varmistusten palautustestaus on sovittava erikseen ja koordinoitava Fujitsun käyttöpalveluiden kanssa, joka vastaa laitteista ja hallinnoi niitä. Testattava o Tietokannan ja tiedostojen varmistukset o Toimiminen varmistusohjeiden mukaisesti ja palautuksen onnistuminen ohjeiden mukaisesti. 4.2 Käyttäjähallinnon muutosten testaus Ennen PTJ-testauksen aloittamista on juurihakemiston päähaaraan luotava TEMaliryhmä. Ryhmälle luodaan myös samanniminen TEM-ryhmä, jonka käyttöä hyödyntää vain hakemistosovellus itse. Tämän jälkeen voidaan aloittaa varsinainen PTJ:ää koskeva osuus. Testauksen kohteena on uuden ministeriön ptj-ryhmien siirtyminen PTJ:ään sekä käyttäjien liittäminen näihin ryhmiin. Testauksessa läpikäydään myös käyttäjän oikeuksien vaihtaminen sekä käyttäjän aktivointi ja passivointi. 4.3 Testauksen ulkopuolelle rajaus 4.4 Testityypit Documentumin peruspalvelut. Nämä oletetaan jo testatuiksi varsin hyvin kuormitustestauksen suunnittelu ja suorittaminen testaus tehdään normaalissa valtioneuvoston runkoverkossa. Testausta ei tehdä poikkeusolosuhteille osoitetussa ympäristössä eikä esim. Naantalissa. järjestelmän tietoturvatestaus Asennettavuus: Testataan asennusohje toimimalla sen mukaan. Käyttöliittymätestaus: Käydään läpi jokainen sivu tarkistaen, että sivu ja sillä olevat toiminnot ovat tarkoituksenmukaiset, johdonmukaiset ja yhdenmukaiset. Tarkistetaan mm. fontit, tyylit, erityismerkit, kirjoitusvirheet, tekstikoon muutokset, oletustoiminnot, tabulaattorijärjestykset, värit, menut ja linkit. Käyttötapausten perustoiminnallisuuden ja sivuhaarojen testaus: Jokainen käyttötapaus tuottaa useita testejä. Minimissään käyttötapauksen päähaara luo yhden testitapauksen ja jokainen sivuhaara ja poikkeus vaativat oman tapauksensa. Käyttötapauksissa ei koskaan luetella kaikkia mahdollisia poikkeuksia, joten testisuunnittelijan täytyy ottaa huomioon myös lisätestien tekemisen tarve. Organisaatiolle tyypillisten prosessien elinkaarien (tässä testissä päätösprosessi) testaus: Laaditaan testitapaukset niin, että ne toteuttavat o yhden käyttäjän tekemän tyypillisen toimintojen sarjan, joka käsittää useita käyttötapauksia Tulosti: Terja Ketola Projektitoimitusprosessi 9 (14) Tulostettu: 15.11.07 Copyright Fujitsu Services Oy PTJ2008_Testisuunnitelma_v1.0
o useamman käyttäjän yhdessä tekemän toimintojen sarjan, jossa kukin käyttäjä vuorollaan tekee toimintoja, joihin seuraava käyttäjä tai järjestelmä vastaa. Liittymät: Testataan että tieto välittyy järjestelmästä toiseen oikein: välitettävien parametrien tyypit ovat oikeat, arvot on rajoitettu oikealle välille (erityisesti testattava raja-arvot), datan korruptoitumattomuus, datan täydellisyys ja suorituskyky. Ohjetoiminnallisuus (Help): Testataan että asiaa koskevat ohjeet avautuvat oikeasta paikasta. Testataan ohjeiden oikeellisuus ja oikeinkirjoitus. Operointiohjeiden testaus: Käydään läpi järjestelmän operointia koskevat ohjeet tarkastaen että ohjeet ovat oikeelliset. Tietoturva: Testataan että järjestelmä on suojattu luvatonta ja vahinkoa aiheuttavaa ulkopuolista hyökkäystä vastaan. Tilojen testaus: On mahdollista, että käyttötapaukset eivät kuvaa kaikkia tilasiirtymiä. Toipuminen katkoista: Testataan että järjestelmä pystyy käynnistymään virhetilanteen jälkeen ja palautumaan erilaisten hardware-, software- tai verkko-ongelmien jälkeen ilman että tietoa tai toiminnallisuutta katoaa. Tarkoituksena on varmistaa, että niille järjestelmille, joiden pitää olla aina käytössä, vaihtoehtoinen tai backup-järjestelmä pystyy ottamaan tilanteen haltuunsa ilman että tietoa tai transaktioita katoaa. Kyseessä on aggressiivinen testaus, jossa järjestelmä asetetaan alttiiksi ääritilanteille. Tutkiva testaus: Käydään läpi järjestelmää ilman valmiiksi kirjoitettuja testitapauksia, tutkien sen ominaisuuksia. Testaukselle on asetettu tavoitteet ja rajaukset (esim. testata Liitteiden hallintaa) ja siitä tehdään dokumentti, joten se on järjestelmällinen prosessi. Virhetilat: Negatiivisia testitapauksia, jotka ajavat järjestelmän virhetilanteisiin. Tarkistetaan että virhe havaitaan, käsitellään oikein ja virheestä ilmoitetaan oikealla tavalla käyttäjälle. Yhdenmukaisuustestaus: Testataan että vanhalla ja uudella järjestelmällä tuotetut tiedot (listat, istuntotiedot, asian tilat jne.) ovat yhteneväisiä. Vanhan ministeriön nimissä perustettujen, keskeneräisten asioiden käsittelyä tulee voida jatkaa uudessa ministeriössä. 5. TESTAUKSEN HALLINTA 5.1 Testauksen suorittaminen Testauksessa on kolme vaihetta: 1. Pääkäyttäjät (VNTHY ja VNI) testaavat uudet toiminnallisuudet PTJ:n käyttäjähallinnan osalta sekä olemassa olevat PTJ:n toiminnot näiden muutosten jälkeen. Virheistä käynnistetään heti korjausmenettely. Käyttäjähallinnan muutosten pitää olla käytännössä virheettömänä hyväksytty ennen kuin toiseen vaiheeseen siirrytään. Luokituksen (luku 5.2.1) mukaisia lieviä virheitä voidaan kuitenkin hyväksyä. Tulosti: Terja Ketola Projektitoimitusprosessi 10 (14) Tulostettu: 15.11.07 Copyright Fujitsu Services Oy PTJ2008_Testisuunnitelma_v1.0
5.2 Virheiden hallinta 2. Pääkäyttäjä (VNI) testaa uudet toiminnallisuudet sekä olemassa olevat PTJ:n toiminnot. Virheistä käynnistetään heti korjausmenettely. Toisen vaiheen pitää olla hyväksytty ilman haittaavia virheitä (Virheiden luokittelu 5.2.1) ennen kuin kolmanteen vaiheeseen siirrytään. 3. Kolmannessa vaiheessa ministeriöiden ylläpitäjät testaavat PTJ2008:n uudet toiminnot ja PTJ:n perustoiminnallisuuden yhteistyössä pääkäyttäjän (VNI) kanssa. Testaus tapahtuu siten, että a) pääkäyttäjä siirtää ennakolta sovituille ylläpitäjätestaajille suunnitelman mukaiset asiat vastaanottavaan ministeriöön siirrettävät testitapausasiat. Testitapausasiat ovat lähestulkoon oikean kaltaisia asioita, joista on kansilehdet, liitteet ja liitteiden versioita. Testitapausasioissa on tehty jakeluja ja korjausjakeluja ja ne ovat jossain päätösprosessin vaiheessa. Testaajaylläpitäjä vastaanottaa asiat, suorittaa käyttöoikeuksien siirron ja testaa asioiden siirron toiminnallisuuden ylläpitäjän toimintojen kannalta. b) edellisen lisäksi testaajaylläpitäjä testaa PTJ:n perustoiminnallisuuden jatkaen asian käsittelyä PTJ:n tehtävienantotoiminnon kautta annettavan käyttöoikeuden avulla. Näin varmistutaan, että mikään nykyisen PTJ:n toiminnoista ei puutu tai ole virheellinen. Sovelluksesta laaditaan alustava käyttöohje näyttökuvilla. Testaajat perehdytetään yksipäiväisellä koulutuksella toimintaan. Koulutus valmistaa käyttäjiä paitsi testaamiseen myös vuodenvaihteessa tapahtuvaan asioiden siirtoon ja ylläpitotehtävien hoitoon. Hyväksymistestauksessa esiin tulevat virheet raportoidaan sähköpostitse asiantuntija Ilkka Hakoniemelle (Ilkka.hakoniemi@vnk.fi). Ilkka Hakoniemi tarkastaa, että virhettä ei ole jo kirjattu, toimittaa virheet toimittajalle, ottaa vastaan virheen selvittämiseen liittyvät tiedot toimittajalta ja koordinoi virheen korjauksen tarkastamisen (korjatun toiminnon testaus, uudesta versiosta tiedottaminen, korjauksen onnistumisen toteaminen, virheraportin sulkeminen asiakkaan puolella). 5.2.1 Virheiden luokittelu Virheiden luokittelu tehdään Fujitsu Service Oy:n virheenkirjausohjeen mukaisesti. Virheet luokitellaan vakavuuden mukaan seuraavasti: Virheen Selite Kuvaus vakavu us 1 Kriittinen Järjestelmää ei voi käyttää ( kaatuu ) 2. Vakava Yksittäistä toimintoa tai ohjelmaa ei voi käyttää. Testausta ei kannata jatkaa. 3. Haittaava Määrittelyn vastainen toiminto tai toiminnallinen ongelma, joka voidaan ohittaa 4. Lievä Kosmeettinen haitta ohjelman toiminnassa tai dokumentissa 5. Ehdotus Parannusehdotus tai muutosehdotus Virheet luokitellaan kiireellisyyden mukaan seuraavasti Tulosti: Terja Ketola Projektitoimitusprosessi 11 (14) Tulostettu: 15.11.07 Copyright Fujitsu Services Oy PTJ2008_Testisuunnitelma_v1.0
Virheen Selite Kuvaus kiireelli syys 1. 1-Low Korjaus voidaan siirtää myöhemmäksi 2. 2-High Korjaus viikon kuluessa 3. 3-Urgent Vaatii erittäin kiireellisen korjauksen. Ohittaa muut työt. Kiireellisyysluokituksen tekevät asiakkaan projektipäälliköt, mutta luokitusta voidaan muuttaa projektipäälliköiden yhteisellä suostumuksella. 5.2.2 Virheiden kirjaus projektissa Virheestä kirjataan vähintään pakolliset perustiedot ja kuvaus lähetetään Ilkka Hakoniemelle, joka alustavan analysoinnin jälkeen osoittaa sen toimittajalle sovitulla virheiden raportointilomakkeella. Virheen löytäjän vastuulla on analysoida ja tehdä seuraavat asiat, jotta virheen selvittely olisi mahdollisimman tehokasta: 1. Koettaa toistaa virhe vähintään 3 kertaa välillä selaimen sulkien, jos kyseessä on selaimella toteutettava testitapaus. 2. Mikäli mahdollista kaapata ruudulta kuva (Alt+Print Scrn) virheen esiintymisestä ja liittää se virheraporttiin. 5.2.3 Virheen uudelleentestaus 5.3 Raportointi Kun virhe on korjattu ja korjattu versio on toimitettu asiakkaalle, testataan ainakin se testitapaus uudelleen, jossa virhe huomattiin. Mikäli virheeseen liittyy muitakin testitapauksia, ne testataan testaajan harkinnan mukaan. 5.3.1 Viikoittainen testaustilaraportti Projektipäälliköt käyvät läpi testauksen tilan viikoittain, tarvittaessa useammin. Tilanteesta raportoidaan sekä PTJ2008-hankkeen ohjausryhmälle että PTJ2008- johtoryhmälle. 5.3.2 Loppuraportit Loppuraportti tehdään hyväksymistestausvaiheen lopussa. Loppuraportti jaetaan projektin johto- ja ohjausryhmälle sekä PTJ2008-testausryhmälle. 6. TESTAUKSEN ETAPIT, RESURSSIT JA AIKATAULU 6.1 Testien ryhmittely Testit ryhmitellään seuraavasti: Kriittiset testit: Testit toiminnallisuudelle, jota käyttää suurin osa käyttäjistä tai jota käytetään usein tai jonka toiminnallisuus on niin olennaista että sen toimimattomuus häiritsee koko järjestelmän käyttöä. Testit, jotka testaavat järjestelmän muita elintärkeitä ominaisuuksia. Tulosti: Terja Ketola Projektitoimitusprosessi 12 (14) Tulostettu: 15.11.07 Copyright Fujitsu Services Oy PTJ2008_Testisuunnitelma_v1.0
6.2 Rajaukset Normaalit testit: Testit toiminnallisuudelle, jota käyttää pienempi joukko käyttäjiä, jotka ovat yleensä kokeneempia, esim. ylläpitotoiminnot, ellei kyseessä sitten ole erityisen kriittinen toiminto. Testit toiminnallisuudelle, jota käytetään harvoin tai joka voidaan kiertää muilla tavoin. Ohjetoiminnallisuuden testaus. Ylimääräiset testit: Testit, joita ei voida suoraan johtaa vaatimuksiin. - 6.3 Testauksen vaiheet VKO 1. päivä VAIHEEN KUVAUS TOIMIJAT MUUTA Suunnittelu - 42-19.10.2007 Testisuunnitelman aloitus TKe, IH - 45-9.11.2007 Testitapausten aloitus IH 46 14.11.2007 Testaussuunnitelman hyväksyminen Ohjausryhmä 1. toimituksen vastaanotto 1 1. toimituksen TKe, IH, TR luovutuskatselmointi Testauksen valmistelu 45-4.11.2007 Ohjelmiston toimitus TKe, IH, TR 45 9.11.2007 Projektiryhmän kokous TKe, IH, TR 43-48 - 26.11.2007 Testitapausten ja IH,TR testausohjeiden laadinta 48 27.11.2007 Ministeriön ylläpitäjien ja testaajien koulutus ja mahdollinen yhteistesti Testaus 45-48 5.- 30.11.2007 Asiakkaan hyväksymistesti vaiheina 1-3 (luku 5.1) IH, TR, ministeriöiden testaajat Vaiheen hyväksymisen valmistelu 48 30.11.2007 Hyväksymistestaus loppuu 49-50 Loppuraportin laatiminen 49 4.12.2007 Vaiheen hyväksyminen johtoryhmä Ei vielä aikoihin sidottuja testejä. 6.4 Resurssit Testeihin osallistuu ylläpitäjä tai muu henkilö eri ministeriöistä sekä yhteistyökumppaneilta, valtioneuvoston kanslian istuntoyksikkö sekä 1 henkilö valtiovarainministeriön valtioneuvoston tietohallintoyksiköstä (käyttäjähallinnon muutosten testaus). Jokainen käyttää oman ministeriönsä laitteita ja testaus tehdään omassa ministeriössä. Yhteiset testipalaverit järjestetään tarvittaessa virka-aikana valtioneuvoston linnassa. Testiryhmänä toimii soveltuvin osin hankkeen projektiryhmä, jonka kokoonpano on kuvattu PTJ2008-projektisuunnitelmassa. Tulosti: Terja Ketola Projektitoimitusprosessi 13 (14) Tulostettu: 15.11.07 Copyright Fujitsu Services Oy PTJ2008_Testisuunnitelma_v1.0
6.5 Aikataulu Testaajien perehdytykseen käytetään PTJ2008-projektin resursseja. Testauksen aikatauluun vaikuttavat seuraavat asiat: testiympäristön käytettävyys virheiden korjausvauhti ja laatu testidatan laatu testaajien lukumäärä testattavan koodin valmistumisaikataulu (vähitellen kerralla paljon) testitapausten valmius ja sopivuus 6.6 VNK:n ja VNTHY:n vastuut testauksessa Katso myös PTJ2008-projektisuunnitelma. testisuunnitelman laadinta käyttöympäristön testaus tietoturvatestaus 6.7 Järjestelmän hyväksyminen (vasta koko järjestelmän toimituksen jälkeen) 6.8 Raportointi Testauksen perusteella järjestelmä voidaan hyväksyä, kun tärkeät testit on hyväksytysti suoritettu kaikki tunnetut ongelmat on kirjattu tunnetut ongelmat eivät olennaisesti haittaa tuotantokäyttöä Varsinaisen päätöksen hyväksymisestä tekee johtoryhmän kokous projektiryhmän suositusta kuunnellen. Testauksesta raportoidaan PTJ-hankkeen ohjausryhmälle ja PTJ2008-hankkeen johtoryhmälle. Testiraportissa selvitetään testauksen yleistilanne, pysyminen aikataulussa, virheiden määrä ja niiden vakavuusluokittelu. Liitteenä raportissa on luettelo löydetyistä virheistä. Raportti jaetaan tarvittaessa em. ryhmien jäsenien lisäksi testiryhmälle (=projektiryhmälle). Testauksesta laaditaan myös loppuraportti, jossa kuvataan testi ja sen tulokset. Raportti jaetaan PTJ2008-johtoryhmälle, PTJ-hankkeen ohjausryhmälle, PTJ2008- testiryhmälle (=PTJ2008-projektiryhmälle). Tulosti: Terja Ketola Projektitoimitusprosessi 14 (14) Tulostettu: 15.11.07 Copyright Fujitsu Services Oy PTJ2008_Testisuunnitelma_v1.0