HYVÄKSYMISTESTAUS- SUUNNITELMA - HAKEUTUJAN PALVELUT JA TODENNETUN OSAAMISEN REKISTERI

HYVÄKSYMISTESTAUS- SUUNNITELMA - HAKEUTUJAN PALVELUT JA TODENNETUN OSAAMISEN REKISTERI Dokumentin tallennuspaikka Sivu 1/34

Hankkeen nimi: SADe Projektin nimi: Oppijan verkkopalvelut Projektin omistajat: Ritva Sammalkivi, OKM Koulutuspolitiikan osasto Ilmari Hyvönen OKM, Korkeakoulupolitiikan osasto PROJEKTIN PERUSTIEDOT Hanketunnus: Projektitunnus: Projektipäällikkö: Antti Ylä-Jarkko Testauspäällikkö: Arja Törmälä DOKUMENTIN VERSIOTIEDOT Versio Pvm Muutosten kuvaus Tekijä 0.1 7.2.2013 1. luonnos Pauli Lönnroth 0.2 11.2.2013 Päivitetty 8.2. palaverin kommenttien perusteella Pauli Lönnroth 0.3 13.2.2013 Päivitetty Antti Y-J:n kommenttien perusteella Pauli Lönnroth 0.4 14.2.2013 Päivitetty A.Törmälän katselmoinnin perusteella Arja Törmälä 0.5 15.2.2013 Päivitetty A.Reunasen katselmoinnin perusteella Arja Törmälä Dokumentin tallennuspaikka Sivu 2/34

SISÄLLYSLUETTELO 1 JOHDANTO... 6 1.1 DOKUMENTIN TARKOITUS... 6 1.2 TAUSTA... 7 1.3 TESTAUKSEN TAVOITTEET... 7 2 TESTATTAVA KOKONAISUUS... 8 2.1 TESTAUKSEN KOHDE... 8 2.1.1 Prosessien päästä päähän testaus... 9 2.1.2 Liittymät ja rajapinnat muihin järjestelmiin... 10 2.1.3 Testattava palvelukokonaisuus... 10 2.2 RAJAUKSET... 11 2.3 RIIPPUVUUDET... 12 3 HYVÄKSYMISTESTAUSPROSESSI... 12 3.1 SUUNNITELLUT TESTAUKSET... 13 3.2 Testauksen aikataulut ja tarkistuspisteet... 14 3.2.1 Edellytykset testauksen aloittamiselle... 14 3.2.2 Asiakkaan hyväksymistestaus... 15 3.2.3 Opetushallituksen sisäinen hyväksymistestaus... 15 3.2.4 tehtävät ja Aikataulu... 16 3.3 TESTAUKSEN TEKNIIKAT JA APUVÄLINEET... 20 3.4 TESTIYMPÄRISTÖ... 21 3.5 TESTITAPAUKSET... 21 3.5.1 Vastuut testitapausten luonnista... 22 Dokumentin tallennuspaikka Sivu 3/34

3.5.2 Testitapausten luokittelu... 23 3.5.3 Prosessien testaus... 23 3.6 TESTIAINEISTO... 23 3.6.1 Testiaineiston palautettavuus... 24 3.7 HYVÄKSYMISKRITEERIT... 24 4 TESTAUKSEN ORGANISOINTI JA OHJAUS... 25 4.1 TESTAUSORGANISAATIO... 25 4.1.1 Fyysiset resurssit... 27 4.2 OHJAUSMENETTELYT... 27 4.3 MUUTOSHALLINTA... 28 4.4 VIRHEIDEN KIRJAAMINEN JA KÄSITTELY... 28 4.4.1 havainnon kirjaaminen... 28 4.4.2 Havaintojen käsittely... 28 4.4.3 Virheen uudelleentestaus... 30 4.4.4 Eskalointiketjun kuvaus... 30 4.5 TESTAUKSEN MITTARIT... 30 4.6 TESTAUKSEN RAPORTOINTI... 30 4.6.1 Viikoittainen hyväksymistestauksen tilaraportti... 30 4.6.2 version Loppuraportti... 31 4.6.3 koko järjestelmän Loppuraportti... 31 4.7 VIESTINTÄ JA TIEDOTTAMINEN... 31 4.8 TESTAUKSEN LAADUNVARMISTUS... 32 5 RISKIT... 32 6 TESTAUKSEN TUOTOKSET... 33 Dokumentin tallennuspaikka Sivu 4/34

LIITTEET... 34 Dokumentin tallennuspaikka Sivu 5/34

1 JOHDANTO Hyväksymistestaus on järjestelmän omistajan vastuulla oleva testaus, jolla varmistutaan siitä että toimitettu tietojärjestelmä täyttää hyväksytyt vaatimukset. Lisäksi on tarkoitus varmistua siitä, että järjestelmää voidaan käyttää suunniteltuun tarkoitukseensa ja mahdolliset käytännön yllätykset voidaan käsitellä ennen käyttöönottoa. Hyväksymistestauksen tavoitteena on tuottaa faktoihin perustuvaa tietoa järjestelmän laadusta yksittäisten julkaisujen ja koko järjestelmän käyttöönottopäätösten tekemistä varten. Hyväksymistestauksen tuottama laatupalaute on yhteenveto järjestelmän käyttäjän ja omistajan näkökantojen huomioimiselle. Hyväksymistestaus on osa projekteille tarpeellista testausten ketjua. Hyväksymistestaus on yksi vaihe, jonka avulla tarkistetaan, että riskit ovat hallinnassa käyttöönoton näkökulmasta. 1.1 DOKUMENTIN TARKOITUS Tämä dokumentti kuvaa hakeutujan palveluiden ja todennetun osaamisen rekisterin hyväksymistestaussuunnitelman toisen asteen ja korkeakouluasteen toimintojen osalta siinä laajuudessa kuin ne otetaan käyttöön 05/2013 01/2014 välisenä aikana. Dokumentin tarkoitus on esittää Oppijan palvelukokonaisuus-projektin hyväksymistestauksen tavoitteet jäsentää testaukseen liittyvät vastuut kuvata testauksen vaiheistus ja aikataulutus listata, mitä projektissa tulee testata suositella ja kuvata, kuinka kussakin testauksen vaiheessa tehdään testauksen kannalta oikeita asioita, oikeaan aikaan, oikealla prioriteetilla ja oikeilla voimavaroilla, jotta asetetut testauksen tavoitteet saavutettaisiin yksilöidä testaukseen liittyviä riskejä suositella, kuinka testaus tulee priorisoida siten että sekä riskit että vaatimukset otetaan huomioon listata testauksen tuottamat dokumentit Kohdeyleisö Dokumentti on tarkoitettu Oppijan palvelukokonaisuuden hankejohdolle ja testiryhmälle. Dokumentin tallennuspaikka Sivu 6/34

Tarvittavat esitiedot Lukijan oletetaan tuntevan Oppijan palvelukokonaisuus palveluiden esittelytilaisuuksien pohjalta. Toisen asteen tai korkeakoulujen valmistautuminen hakuun prosessin tai haku- ja/tai valintaprosessin tuntemus Tämä hyväksymistestaussuunnitelma hyväksytään Oppijan palvelukokonaisuuden klusteriryhmässä sekä KSHJ-hankkeen ohjausryhmässä. 1.2 TAUSTA Oppijan palvelukokonaisuudessa rakennetaan koulutuksen sähköistä sivistyskeskusta, josta löytyvät jatkossa kaikki sekä kansalaisten että koulutuksen ja opetuksen järjestäjien palvelut esiopetukseen ilmoittautumisesta aikuiskoulutukseen asti. Luvassa on helppokäyttöinen palveluportaali, joka tarjoaa kattavasti opiskelua ja siihen hakeutumista sekä oppimista ja urasuunnittelua tukevia palveluita elinikäisen oppimisen periaatteella. Palvelu tukee yksilöllisten oppimispolkujen suunnittelua ja toteuttamista. Palvelun käyttäjiä ovat koulutukseen hakeutujat, opiskelijat, perheet, oppilaitokset, koulutuspalvelun tuottajat, yritykset ja muut työelämän organisaatiot, julkishallinto sekä koulutus- ja uravaihtoehtojaan pohtivat kansalaiset. Oppijan palvelukokonaisuus tarjoaa luotettavan ja ajantasaisen tiedon koulutuksesta, ammateista, työelämästä ja uravaihtoehdoista. Palvelun kautta haetaan ja tullaan valituksi koulutukseen. Oppijan verkkopalvelu syntyy olemassa olevista ja kehitettävistä uusista palveluista sekä niiden tuottamista tukevista tietojärjestelmistä. Asiakaslähtöinen, yhtenäinen ja kustannustehokas palvelukokonaisuus tukee hallinnollisia rajoja ylittävien työ- ja toimintatapojen kehittämistä. Näin se edistää myös julkisen hallinnon ja opetustoimen tuottavuutta. Järjestelmän omistajana toimii Opetus- ja kulttuuriministeriö. 1.3 TESTAUKSEN TAVOITTEET TAVOITE Järjestelmä mahdollistaa määriteltyjen prosessien ja työnkulkujen suorituksen KUVAUS JA MITTARI Järjestelmä mahdollistaa määriteltyjen prosessien ja työnkulkujen suorituksen Mittari: Prosesseista ja työnkuluista johdetut testitapaukset ja prosessitestit voidaan suorittaa hyväksytysti (ei kriittisiä tai vakavia virheitä). Dokumentin tallennuspaikka Sivu 7/34

Järjestelmä toteuttaa liiketoiminnan asettamat kriittiset vaatimukset Järjestelmä soveltuu sille suunniteltuun käyttöön Järjestelmä toteuttaa asetetut liiketoiminnalliset vaatimukset. Mittari: Liiketoimintavaatimuksista johdetut testitapaukset voidaan suorittaa hyväksitysti. Järjestelmä tukee loppukäyttäjien työskentelyä Mittari: Avoimia kriittisiä hyväksymistestihavaintoja (virheitä tai parannusehdotuksia) ei ole. 2 TESTATTAVA KOKONAISUUS 2.1 TESTAUKSEN KOHDE Testauksen kohteena ovat Oppijan palvelukokonaisuuteen sisältyvät koulutukseen hakeutumiseen ja valintaan liittyvät pääprosessit ja työnkulut. Pääprosessit ja työnkulut testataan hakijan ja virkailijan näkökulmista käsin. Asiakas vastaa myös hakijan osuuden testaamisesta. Näkökulmat testataan seuraavien haku- ja valintakokonaisuuksien osalta: 1. Ammatillisen koulutuksen, lukiokoulutuksen ja muu peruskoulun jälkeisen koulutuksen haku- ja valintapalvelut 2. Korkeakoulujen haku- ja valintapalvelut Testaus tehdään suomen-, ruotsin- ja englanninkielisillä käyttöliittymillä julkaisuaikataulun mukaisesti. Virkailijat Virkailijan näkökulmasta keskeiset testattavat pääprosessit ja niihin liittyvät työnkulkujen osa-alueet ovat: 1. valmistautuminen hakuun haun hallinta koulutustarjontatiedon hallinta hakulomakkeiden hallinta valintaperusteiden mallinnus 2. hakeutuminen koulutukseen ilmoitusten ja muistutusten lähettäminen hakemusten käsittely prosessin seuranta 3. valintojen toteuttaminen Dokumentin tallennuspaikka Sivu 8/34

valintalaskenta sijoittelu 4. opintojen aloittaminen opiskelupaikan vastaanotto 5. jälkiohjaus jälkiohjauksen muodostaminen ja lähetys Hakijat Hakijan näkökulmasta keskeiset testattavat pääprosessit ja niihin liittyvät työnkulkujen osaalueet ovat: 1. valmistautuminen hakuun tunnistautuminen tiedonhaku koulutuskori omat tiedot 2. hakeutuminen koulutukseen hakemuksen täyttäminen ja lähettäminen prosessin seuranta hakemuksen muuttaminen osaamistietojen päivittäminen 3. valintojen toteuttaminen - 4. opintojen aloittaminen paikan vastaanotto läsnäoloilmoittauminen 5. jälkiohjaus hae täydennyshaun tai lisähaun hakukohteet Opintopolku-palvelussa 2.1.1 PROSESSIEN PÄÄSTÄ PÄÄHÄN TESTAUS Prosessien testaus tapahtuu kunkin julkaisun yhteydessä siinä laajuudessa kuin julkaistu toiminnallisuus mahdollistaa prosessien suorittamisen. Valmistautuminen hakuun -prosessin hyväksymistestaus tehdään toisen asteen ja korkeakoulujen osalta ennen ensimmäistä tuotantokäyttöönottoa. Dokumentin tallennuspaikka Sivu 9/34

Haku- ja valintaprosessin päästä päähän testaus tehdään elokuun julkaisun jälkeisen hyväksymistestauksen yhteydessä. Testattavat prosessit ovat: virkailija: haku- ja valintaprosessi sekä opintojen aloittaminen ja jälkiohjaus hakija: haku- ja valintaprosessi sekä opintojen aloittaminen ja jälkiohjaus 2.1.2 LIITTYMÄT JA RAJAPINNAT MUIHIN JÄRJESTELMIIN Liittymien kattava testaus tehdään osana järjestelmätestausta. Hyväksymistestauksessa keskitytään ainoastaan virkailijan ja hakijan kannalta oleellisten liittymien testaukseen. Liittymätestaukset tehdään osana pääprosessien ja työnkulkujen testausta ja vain siinä laajuudessa kuin liittymät näkyvät käyttäjälle. Palveluista testataan seuraavat liittymät siinä laajuudessa kuin liittymät näkyvät käyttäjälle. organisaatiotiedot YTJ:stä (valmistautuminen hakuun) henkilötietojen tarkastus VRK:sta (valmistautuminen hakuun) käyttäjän tunnistautuminen Haka koodistojen siirrot (valmistautuminen hakuun) koulutustarjontatietojen siirto (valmistautuminen hakuun) käyttäjän tunnistautuminen ViRTU, Vatema arvosanasiirto (valmistautuminen hakuun) valintaesitykset ja -päätökset opiskeluoikeus-, vastaanotto- ja ilmoittautumistieto (valintojen toteuttaminen) tutkinnot ja opintosuoritukset järjestämis- ja koulutusluvat arkistoitavat tiedot 2.1.3 TESTATTAVA PALVELUKOKONAISUUS Järjestelmäkokonaisuuden toimintojen kattava testaus suoritetaan Opetushallituksen toimesta. Opetushallituksen suorittamat toiminnallisuustestaukset kattavat seuraavien palveluiden testauksen: haku- ja valintaprosessin ohjauspalvelu hakulomakkeen hallintapalvelu hakemusten lähettäminen, käsittely ja seuranta -palvelu koodistopalvelu käyttäjähallintapalvelu henkilötietojen hallintapalvelu organisaatiotietojen hallintapalvelu koulutustarjontatietojen hallintapalvelu Dokumentin tallennuspaikka Sivu 10/34

valintojen toteuttamispalvelu opiskelupaikan vastaanotto- ja ilmoittautumispalvelu koulutusinformaatiopalvelut virkailijan sähköinen työpöytä oppijan henkilökohtaiset palvelut koulutustiedon haku- ja selauspalvelu asiakirjallisen tiedon arkistointipalvelu viestintäpalvelut ulkoiset rajapinnat ja liittymät raportointipalvelut tapahtumalokipalvelut osoitetietopalvelu 2.2 RAJAUKSET Hyväksymistestauksen ulkopuolelle rajataan seuraavat järjestelmätestauksen yhteydessä suoritettavat testaukset: kuormitustestaus tietoturvatestaus sisältäen käyttöoikeuksien ja lokituksen kattavan testauksen lokalisointitestaus raja-arvotestaus Lisäksi hyväksymistestauksen ulkopuolelle rajataan seuraavat asiat, jotka testataan OPH:n toimesta järjestelmätestauksen yhteydessä Järjestelmien väliset liittymät testataan järjestelmätestauksen yhteydessä. Hyväksymistestauksessa liittymille ei tehdä omia testitapauksia, vaan ne sisältyvät normaalien prosessien/työnkulkujen mukaisiin testitapauksiin siinä laajuudessa kun ne näkyvät käyttäjälle. Järjestelmän tekniseen administrointiin liittyvät toiminnot (mm. asennukset, varmistukset ja palautukset) Kolmansille osapuolille (mm. Kela, Tilastokeskus) tehtävät tiedonsiirrot pois luettuna mahdollinen loppukäyttäjälle näkyvä osuus Massalähetettävien kirjeiden ja sähköpostien lähetys Muut kuin toisen asteen ja korkeakoulujen toiminnallisuudet, esim. aikuiskoulutuksen toiminnallisuudet, eivät kuulu tämän hyväksymistestaussuunnitelman laajuuteen. Dokumentin tallennuspaikka Sivu 11/34

2.3 RIIPPUVUUDET Oppijan verkkopalvelut projekti on jaettu kahteen projektiin korkeakoulujen (KSHJ-projekti) ja 2. asteen osalta (ALPE-projekti). Kummankin osapuolen edustajien pitää osallistua hyväksymistestaukseen. Vuoden 2014 aikana mukaan tulevat aikuiskoulutus (AIKU-projekti) sekä sähköiset opintosuunnitelmat (eops). Nämä ovat tämän hyväksymistestaussuunnitelman ulkopuolella. 3 HYVÄKSYMISTESTAUSPROSESSI Hyväksymistestaus suoritetaan kuudessa (6) erässä. Testaus tehdään aina ennen asiakaskäyttöönottoa käyttöönotettavan version laajuuden mukaisesti. Version hyväksymistestaus jakautuu aina viiteen (5) vaiheeseen. 1. Ensimmäisessä vaiheessa suorittaa Opetushallitus käyttöönotettavalle versiolle hyväksymistestauksen. Testauksen tavoitteena on huolehtia siitä, että toimitus vastaa määriteltyä. Lisäksi tavoitteena on löytää virheet, jotka saattaisivat estää asiakkaan suorittaman hyväksymistestauksen. Tämän testauksen jälkeen suoritetaan tarvittava havaittujen vikojen korjaus. 2. Toisessa vaiheessa suorittaa asiakas version hyväksymistestauksen. Asiakkaat testaavat toiminnallisuuksia käyttäen omaa testimateriaalia ja ennalta tehtyjä testitapauksia. Testaus tapahtuu siten, että a) Opetushallitus järjestää kullekin asiakassektorille oman hyväksymistestaustilaisuuden. Tilaisuudessa käydään läpi testaussuunnitelma, testitapaukset, raportointikäytännöt sekä aloitetaan konkreettinen testaus. Lisäksi tilaisuudessa annetaan lyhyt perehdytys järjestelmän käyttöön testattavan toiminnallisuuden osalta. b) Asiakkaat suorittavat omista toimipisteistään käsin hyväksymistestausta testaussuunnitelman mukaisesti ja raportoivat havainnoista sovittujen käytäntöjen mukaisesti. 3. Kolmannessa vaiheessa hyväksymistestipäällikkö käy asiakkaan havainnot läpi ja tallentaa ne Jiraan (testihavaintojen kirjaus- ja seurantajärjestelmä). Havainnot käydään läpi OPH:n sisäisellä prosessilla; havaintojen kiireellisyys tarkistetaan ja havainnoille annetaan korjausaikataulu. Jiraan kirjatuista havainnoista koostetaan Wikissä julkaistava Exceltaulukko. 4. Neljännessä vaiheessa koostaa testauksesta vastaava testauspäällikkö testausraportin projektin ohjausryhmille hyväksymistestauksen hyväksymistä/hylkäämistä ja mahdollisia jatkotoimia varten. Dokumentin tallennuspaikka Sivu 12/34

5. Viidennessä vaiheessa ohjausryhmät hyväksyvät tai hylkäävät käyttöönotettavaksi aiotun kokonaisuuden. Hyväksynnän jälkeen käyttöönotettava kokonaisuus asennetaan tuotantoympäristöön. Opetushallituksen vastuut: hyväksymistestaussuunnitelman laatiminen hyväksymistestausympäristön asentaminen testiaineisto järjestelmän tietokannoissa Opetushallituksen hyväksymistestaus testauksen hallinnointi tuki asiakkaan hyväksymistestauksen aikana asiakastestaustilaisuuksien järjestäminen yhdessä asiakkaan yhteyshenkilön kanssa testauksen loppuraportti ohjausryhmille Asiakkaan ja omistajan vastuut: testauksen suorittaminen testaussuunnitelman mukaan kattavasti ja sovitun aikataulun puitteissa oman testimateriaalin koonti testauksessa havaittujen poikkeamien raportointi käyttäen käytössä olevaa virheraportointilomaketta testauksen asiakkaan puolen hallinnointi ja testauksen etenemisen varmistaminen 3.1 SUUNNITELLUT TESTAUKSET OPH suorittaa järjestelmän kattavan järjestelmätestauksen ennen hyväksymistestausta sisältäen mm. suorituskykytestauksen, raja-arvotestit, yms., joten näitä asioita ei tarvitse huomioida hyväksymistestauksen testitapauksissa. Opetushallitus suorittaa koko järjestelmän kattavan sisäisen hyväksymistestauksen. Asiakkaat suorittavat hyväksymistestauksen vain heidän omassa työssään käyttämien toimintojen ja tietojen osalta. Dokumentin tallennuspaikka Sivu 13/34

3.2 TESTAUKSEN AIKATAULUT JA TARKISTUSPISTEET Hyväksymistestauksen aikataulu on sidottu palveluiden käyttöönoton ja koulutusten aikatauluihin. Hankkeen toteutusorganisaatio julkaisee uuden version jokaisen sprinttikierroksen jälkeen OPH:n hyväksymistestaukseen. Julkaisun yhteydessä OPH:n palvelunomistajat päivittävät testitapaukset. Asiakkaan hyväksymistestaus täytyy tehdä kaikille versioille, joissa tuotantoympäristöön ollaan tuomassa asiakkaan käyttöönotettavaksi merkittäviä uusia toiminnallisuuksia. OPH voi päättää ns. väliversioiden asennuksesta tuotantokäyttöön ilman, että versiolle tehdään erillistä hyväksymistestausta. Väliversio sisältää tuotantokäytön kannalta oleellisia vikakorjauksia. Asiakas voi halutessaan (mikäli aikataulu antaa myöten,) testata myös väliversioita. Asiakaskäyttöönottojen aikataulu: 1 6.5.2013 käyttöönotto 2. asteen osalta (valmistautuminen hakuun prosessi) 2 3.6.2013 käyttöönotto kk-sektorin osalta (valmistautuminen hakuun prosessi) 3 2.9.2013 2. asteen tarjonnan julkaisu hakijoille (tiedon haku) 4 23.9.2013 2. asteen yhteishaun toiminnallisuus 5 1.10.2013 kk-tarjonnan julkaisu hakijoille 6 18.11.2013 korkeakoulujen hakulomake ja valintaperusteiden mallinnus 7 1.1.2014 kevään 2014 yhteishakujen toiminnallisuus 3.2.1 EDELLYTYKSET TESTAUKSEN ALOITTAMISELLE Hyväksymistestauksen aloittamisen edellytykset hyväksymistestaussuunnitelma on hyväksytty testitapaukset on kuvattu testattavan toiminnallisuuden osalta Dokumentin tallennuspaikka Sivu 14/34

hyväksymistestiympäristö on määrityksissä kuvatun mukainen ja oikein installoitu ja toimiva testaajille on luotu toimivat testitunnukset testauksen kannalta välttämätön testimateriaali on valmis vähintään 1 viikkoa aiemmin ennen testin alkua julkaistavasta versiosta ei ole tiedossa testauksen estäviä kriittisiä virheitä 3.2.2 ASIAKKAAN HYVÄKSYMISTESTAUS Asiakkaan tulee tehdä asiakaskohtaisen ohjelmiston hyväksymistesti neljäntoista (14) kalenteripäivän kuluessa siitä, kun Opetushallitus on luovuttanut tietojärjestelmän asiakkaalle hyväksymistestin tekemistä varten. Asiakkaan suorittamat viralliset hyväksymistestaukset alkavat seuraavasti: Alku Loppu Sisältö Testaajat 25.3. 5.4. Koodistojen, organisaatioiden ja käyttäjien hallinta KK-aste 15.4. 19.4. 2. asteen koulutustarjonta 2. aste 6.5. 17.5. KK-asteen koulutustarjonta KK-aste 12.8. 23.8. 2. asteen yhteishaku 2. aste 21.10. 1.11. Korkeakoulujen hakulomake + valintaperusteiden mallinnus KK-aste 2. aste 18.11. 29.11. Lopullinen KK- & 2. asteen käyttöönottoversio KK-aste 2. aste 3.2.3 OPETUSHALLITUKSEN SISÄINEN HYVÄKSYMISTESTAUS Opetushallitus suorittaa kullekin julkaisulle sisäisen hyväksymistestauksen: Alku Loppu Sisältö Testaajat 25.3. 28.3. Koodistojen, organisaatioiden ja käyttäjien hallinta OPH 8.4. 12.4. 2. asteen koulutustarjonnan syöttö OPH 29.4. 10.5. KK-asteen koulutustarjonnan syöttö OPH Dokumentin tallennuspaikka Sivu 15/34

3.6. 14.6. Sisältö tarkistetaan OPH 1.7. 12.7. Sisältö tarkistetaan OPH 12.8. 23.8. 2. asteen yhteishaku OPH 23.9. 4.10. Sisältö tarkistetaan OPH 21.10. 1.11. Korkeakoulujen hakulomake + valintaperusteiden mallinnus OPH 18.11. 29.11. Lopullinen KK- & 2. asteen julkaisu OPH Varsinaisten julkaisuiden yhteydessä tuodaan merkittäviä uusia toiminnallisuuksia tuotantoon. Näiden lisäksi voi olla useita välijulkaisuita, joissa tuodaan pieniä parannuksia ja korjauksia tuotantoon. Välijulkaisuiden tuotantoon siirron hyväksymistestaus voidaan suorittaa OPH:n sisäisellä hyväksymistestauksella ilman asiakkaiden suorittamaa testausta. 3.2.4 TEHTÄVÄT JA AIKATAULU Tehtäviä ja aikatauluja tarkennetaan sitä mukaa kun testattavien versioiden sisältö varmistuu. VKO PVM TEHTÄVÄN KUVAUS TOIMIJAT Suunnittelu 09-1.3. Hyväksymistestaussuunnitelman teko Testauspäällikkö 10-8.3. Hyväksymistestaussuunnitelman hyväksyminen Ohjausryhmä Testauksen valmistelu 10-8.3. Testausohjeet valmiit Testauspäällikkö 11-15.3. Testitapaukset valmiit Palveluiden omistajat 11-15.3. OPH:n testaajien tunnukset ja oikeudet luotu QA-ympäristöön 11-15.3. Asiakkaiden testaajien tunnukset ja oikeudet luotu QA-ympäristöön Testauspäällikkö Testauspäällikkö Dokumentin tallennuspaikka Sivu 16/34

Versio X 13 25.3. OPH hyväksymistestauksen kick-off - 1 pv Testauspäällikkö, tuotteen omistaja 13 26.-28.3. OPH sisäinen hyväksymistestaus: julkaisu 3 OPH testausryhmä 13 26.3. KK-asteen hyväksymistestauksen kick-off 1 pv Testauspäällikkö, tuotteen omistaja 13-14 27.3.- 5.4. KK-asteen hyväksymistestaus: julkaisu 3 KK-asteen testausryhmä 15-16 Julkaisun 3 hyväksyminen Ohjausryhmä Versio X 14-5.4. Valmistelevat toimenpiteet: testitapauksien päivitys testimateriaalin päivitys käyttäjäoikeuksien päivitys testauksen organisointi testausryhmien vetäjien kanssa Testauspäällikkö, palveluiden omistajat 15 8.4.- 12.4. OPH sisäinen hyväksymistestaus: julkaisu 3.1 OPH testausryhmä 16 15.-16.4. 2. asteen hyväksymistestauksen kick-off 2pv Testauspäällikkö, tuotteen omistaja 16 15. 19.4. 2. asteen hyväksymistestaus: julkaisu 3.1 2.asteen testausryhmä 17 Julkaisun 3.1 hyväksyminen Ohjausryhmä Versio X 17-26.4. Valmistelevat toimenpiteet: testitapauksien päivitys testimateriaalin päivitys käyttäjäoikeudet & tunnukset testauksen organisointi testausryhmien vetäjien kanssa 18-19 29.4.- 10.5. OPH sisäinen hyväksymistestaus: julkaisu 4 OPH Testauspäällikkö, palveluiden omistajat Dokumentin tallennuspaikka Sivu 17/34

testausryhmä 19 6.5. Asiakkaan hyväksymistestaus: julkaisu 4 - asiakastestaustilaisuus 1 pv Testauspäällikkö, tuotteen omistaja 19-20 7. 17.5. Asiakkaan hyväksymistestaus: julkaisu 4 KK-asteen testausryhmät 21 Julkaisun 4 hyväksyminen Ohjausryhmä Versio X 22-31.5. Valmistelevat toimenpiteet: testitapauksien päivitys testimateriaalin päivitys käyttäjäoikeudet & tunnukset testauksen organisointi testausryhmien vetäjien kanssa Testauspäällikkö, palveluiden omistajat 23-24 3. - 14.6. OPH sisäinen hyväksymistestaus: julkaisu 5 OPH testausryhmä 25 Julkaisun 5 hyväksyminen Ohjausryhmä Versio X 26-28.6. Valmistelevat toimenpiteet: testitapauksien päivitys testimateriaalin päivitys käyttäjäoikeudet & tunnukset testauksen organisointi testausryhmien vetäjien kanssa Testauspäällikkö, palveluiden omistajat 27-28 1. 12.7. OPH sisäinen hyväksymistestaus: julkaisu 5.1 OPH testausryhmä 31 Julkaisun 5.1 hyväksyminen Ohjausryhmä Versio X 32-9.8. Valmistelevat toimenpiteet: testitapauksien päivitys testimateriaalin päivitys käyttäjäoikeudet & tunnukset testauksen organisointi testausryhmien vetäjien kanssa Testauspäällikkö, palveluiden omistajat Dokumentin tallennuspaikka Sivu 18/34

33-34 12. - 23.8. OPH sisäinen hyväksymistestaus: julkaisu 6 OPH testausryhmä 33 12. - 13.8. Asiakkaan hyväksymistestaus: julkaisut 6 asiakastestaustilaisuus 2pv 33-34 14. - 23.8. Asiakkaan hyväksymistestaus: julkaisu 6 - Sis. prosessin päästä-päähän testaus Testauspäällikkö, tuotteen omistaja 2. asteen testausryhmä 35 Julkaisun 6 hyväksyminen Ohjausryhmä 36-37 2. - 13.9. OPH sisäinen hyväksymistestaus: - julkaisu 6 korjaukset OPH testausryhmä 38 Julkaisun 6 korjausten hyväksyminen Ohjausryhmä Versio X 38-20.9. Valmistelevat toimenpiteet: testitapauksien päivitys testimateriaalin päivitys käyttäjäoikeudet & tunnukset testauksen organisointi testausryhmien vetäjien kanssa Testauspäällikkö, palveluiden omistajat 39-40 23.9. 4.10. OPH sisäinen hyväksymistestaus: julkaisu 6 OPH testausryhmä Versio X 42-18.10. Valmistelevat toimenpiteet: testitapauksien päivitys testimateriaalin päivitys käyttäjäoikeudet & tunnukset testauksen organisointi testausryhmien vetäjien kanssa Testauspäällikkö, palveluiden omistajat 43-44 21.10. - 1.11. OPH sisäinen hyväksymistestaus: julkaisu 7 OPH testausryhmä 43 21. & 22.10. Asiakkaan hyväksymistestaus: julkaisut 7 asiakastestaustilaisuus 1 pv/testausryhmä Testauspäällikkö, tuotteen omistaja 43-44 23.10. - 1.11. Asiakkaan hyväksymistestaus: julkaisu 7 Asiakkaiden testausryhmät Dokumentin tallennuspaikka Sivu 19/34

45 Julkaisun 7 hyväksyminen Ohjausryhmä Versio X 46-15.11. Valmistelevat toimenpiteet: testitapauksien päivitys testimateriaalin päivitys käyttäjäoikeudet & tunnukset testauksen organisointi testausryhmien vetäjien kanssa Testauspäällikkö, palveluiden omistajat 47-48 18. - 29.11. OPH sisäinen hyväksymistestaus: julkaisu 8 OPH testausryhmä 47 18. & 19.11. Asiakkaan hyväksymistestaus: julkaisu 8 asiakastestaustilaisuus 1 pv/testausryhmä Testauspäällikkö, tuotteen omistaja 47-48 20. - 29.11. Asiakkaan hyväksymistestaus: julkaisu 8 Asiakkaiden testausryhmät 50 Julkaisun 8 hyväksyminen Ohjausryhmä Versio X - 48-29.11. Hyväksymistestaus loppuu Testauspäällikkö 49-50 2. - 13.12. Loppuraportin laatiminen Testauspäällikkö 50 Hyväksymistestauksen hyväksyminen ohjausryhmässä Ohjausryhmä 3.3 TESTAUKSEN TEKNIIKAT JA APUVÄLINEET Hyväksymistestausta tehdään kolmella tavalla: Testitapauksien mukaisesti Prosessi-/työnkulkutesteinä testitapauksiin perustuen Tutkivana (vapaana) testauksena perustuen testaajien substanssiosaamiseen Hyväksymistestauksessa käytettävät dokumenttipohjat ja työkalut: Testitapaukset kuvataan vakiotestitapauspohjille ohjeistuksen mukaisesti. Prosessitestien työnkulut ja niihin liittyvät testitapaukset ja roolit kuvataan omalle vakiopohjalleen. Dokumentin tallennuspaikka Sivu 20/34

Testaajat kirjaavat hyväksymistestaushavainnot vakiopohjaan ohjeistuksen mukaisesti. Esikäsitellyt havainnot tallennetaan lopuksi JIRAan, josta myös generoidaan havaintoja koskeva raportointi. 3.4 TESTIYMPÄRISTÖ Testausympäristönä käytetään Opetushallituksen Oppijan palvelukokonaisuutta varten luomaa testausympäristöä (QA-ympäristö). QA-ympäristö vastaa tuotantoympäristöä konfiguroinniltaan. Oppijan verkkopalvelu QA https://testi.opintopolku.fi Virkailijan portaali QA https://testi.virkailija.opintopolku.fi Testiympäristö on käytettävissä arkisin klo 8-16:00 välisenä aikana (tieto tarkistettava). Testiympäristö on suljettu testaukselta julkaisupäivää edeltävänä arkipäivänä (tieto tarkistettava). Testitunnuksia voi pyytää hyväksymistestauspäälliköltä. Mahdollisissa ongelmatapauksissa (esim. palvelu ei käynnisty tai kirjautuminen ei onnistu) yhteys hyväksymistestauspäällikköön Testaus ei ole riippuvainen työaseman kokoonpanosta, työasemassa voidaan käyttää eri selaimia, suositus on toistaiseksi Internet Explorer 8 tai uudempi. 3.5 TESTITAPAUKSET Hyväksymistestauksen tavoitteena on testata että testattavalla järjestelmällä voidaan suorittaa vaaditut prosessit ja työnkulut. Testitapausten tulee olla riittävän yleispäteviä, että niitä voidaan käyttää sekä OPH:n ja asiakkaiden suorittamassa testauksessa. Lisäksi testitapauksien tulee olla uudelleen käytettäviä, jotta niitä voidaan päivittää järjestelmän kehittyessä ja käyttää koko järjestelmän elinkaaren ajan. Hyväksymistestitapauksilla varmistetaan testauksen minimi kattavuus. Hyväksymistestauksen testitapausten tulee kattaa yleiset työnkulut ja niiden tärkeimmät poikkeukset. Testitapausten ei siis tarvitse kattaa kaikkia mahdollisia työnkulun haaroja, vaikka mahdollisimman suureen kattavuuteen pitäisi tähdätä. Testitapauksiin kirjataan: perustyönkulku tärkeimmät poikkeukset työnkulkuun / vaihtoehtoiset työnkulut Dokumentin tallennuspaikka Sivu 21/34

tärkeimmät negatiiviset testitapaukset, esim. tärkeimmät syötetarkastukset ja niistä aiheutuvat virheilmoitukset Hyväksymistestauksessa luotetaan testaajan substanssiosaamiseen, jolloin eksakteja syötteitä ei määritetä testitapauksissa. (Jos eksakteja syötteitä tarvitaan, ne pitää määritellä erilliseen dokumenttiin joka tulee testitapauksen liitteeksi.) Testitapaukset johdetaan käyttötapauksista (toiminnallisista vaatimuksista) ja ne järjestetään loogista työnkulkua vastaavaan järjestykseen. Testitapauksissa kuvataan vain järjestelmän testiin julkaistu toiminnallisuus. (Eli testitapaus saattaa sisältää vain osan vastaavan käyttötapauksen toiminnallisuudesta.) Testitapaukset tehdään testitapauspohjalle. Testitapausten tulee olla yhdenmukaisesti kuvattuja. Testauspäällikkö katselmoi testitapaukset ja valvoo niiden laatua ja yhdenmukaisuutta. Kunkin uuden järjestelmäversion julkaisun yhteydessä pitää luoda uudet testitapaukset uusille julkaistuille toiminnoille sekä päivittää olemassa olevat käyttötapaukset ja testitapaukset muuttuneiden toimintojen osalta. 3.5.1 VASTUUT TESTITAPAUSTEN LUONNISTA Vastuu testitapausten luonnista on palvelun omistajilla. Henkilö Juha Tretjakov Seppo Ränninranta Heidi Bergström Outi Kivipelto Palvelu Käyttäjähallinta Koodistopalvelu Organisaatiotietojen hallinta Koulutustarjontatietojen hallinta Päivitettävä muut omistajat Dokumentin tallennuspaikka Sivu 22/34

3.5.2 TESTITAPAUSTEN LUOKITTELU Testitapaukset luokitellaan kriittisyyden perusteella seuraavasti: 1 - Kriittinen: Testit toiminnallisuudelle, jota käyttää suurin osa käyttäjistä tai jota käytetään usein tai jonka toiminnallisuus on niin olennaista että sen toimimattomuus häiritsee koko järjestelmän käyttöä. Testit, jotka testaavat järjestelmän elintärkeitä ominaisuuksia. 2 - Normaali: Testit toiminnallisuudelle, jota käyttää pienempi joukko käyttäjiä, jotka ovat yleensä kokeneempia, esim. ylläpitotoiminnot, ellei kyseessä sitten ole erityisen kriittinen toiminto. Testit toiminnallisuudelle, jota käytetään harvoin tai joka voidaan kiertää muilla tavoin. 3 - Matala: Testit, joita ei voida suoraan johtaa vaatimuksiin tai eivät ole perusprosessien toiminnan kannalta merkittäviä. Esim. perusprosesseihin liittymättömät, käyttöä helpottavat aputoiminnallisuudet. 3.5.3 PROSESSIEN TESTAUS Jokaista tunnistettua prosessia varten muodostetaan testitapauksista prosessin työnkulkua vastaavat testitapauslistat, johon merkitään testitapauksen tunnus sekä rooli jolla se suoritetaan. Ennen testauksen alkamista kullekin roolille määritellään ko. roolin osuudesta vastaava testaaja. Prosessin testitapauslistaan merkitään kukin testitapauksen kohdalle sen onnistuminen/epäonnistuminen, että nähdään missä vaiheessa ko. prosessin suoritus epäonnistui. Prosessitestit suunnitellaan kunkin käyttöönoton yhteydessä kattamaan ko. käyttöönotettavan kokonaisuuden laajuus. Prosessin kattava päästä-päähän testaus voidaan suorittaa vasta julkaisun 6 hyväksymistestauksen yhteydessä. 3.6 TESTIAINEISTO Käyttäjätiedot Hyväksymistestaukseen kuuluvat käyttäjätunnukset ja heidän roolit esitetty liitteessä Käyttäjätunnukset ja roolit.xls. Hyväksymistestausympäristön käyttöoikeusryhmien luonnista ja ylläpidosta sekä käyttäjätunnusten luonnista vastaa testauspäällikkö. Jokaiselle virkailijaliittymää testaavalle on luotu oma testitunnus. Asiatiedot Dokumentin tallennuspaikka Sivu 23/34

Testausta varten varmistetaan, että testiympäristössä on riittävästi materiaalia, jolla pääprosesseja ja niihin liittyviä työkulkuja voidaan testata. Testimateriaalin suhteen lähdetään siitä että virkailijat syöttävät seuraavat tiedot: organisaatiot haut, koulutukset, hakukohteet, lomakkeet, viestinnät valintaperusteet hakijat Tiedot jotka pitää perustaa järjestelmään ennen hyväksymistestausta: koodistot - vastuuhenkilö on Seppo Ränninranta yhteystietotyypit käyttöoikeusryhmät, käyttäjätunnukset vastuuhenkilö on OPH:n pääkäyttäjä/ Juha Tretjakov koulutusten pohjatiedot muuta, mitä (tarkistetaan) 3.6.1 TESTIAINEISTON PALAUTETTAVUUS Testausympäristö voidaan palauttaa lähtötilaan tietojen osalta. Testin kuluessa testikannasta otetaan varmistus viikoittain, jotta palaaminen aikaisempaan ajankohtaan on tarvittaessa mahdollista. Testauspäällikkö pyytää tilanteen sitä vaatiessa hyväksymistestausympäristön palautusta varmistuksista ympäristön ylläpitäjältä Hyväksymistestauksen testitapaukset pitää kuvata niin, etteivät ne vaadi testiympäristön palautusta. (Palautustarpeen pitää tulla muualta kuin testitapauksista.) 3.7 HYVÄKSYMISKRITEERIT Julkaisun hyväksymiskriteerit: Testauksen perusteella järjestelmän julkaisu voidaan ottaa tuotantokäyttöön, kun tärkeät (Kriittiset ja normaalit) testit on hyväksytysti suoritettu eikä järjestelmässä ei ole avoinna olevia käyttöönoton estäviä (vakavuudeltaan kriittisiä tai vakavia) virheitä eikä puutteita Järjestelmän hyväksymiskriteerit: Järjestelmä voidaan hyväksyä vasta koko järjestelmän toimituksen jälkeen. Dokumentin tallennuspaikka Sivu 24/34

Testauksen perusteella järjestelmä voidaan hyväksyä, kun tärkeät (Kriittiset ja normaalit) testit on hyväksytysti suoritettu eikä järjestelmässä ei ole avoinna olevia käyttöönoton estäviä (vakavuudeltaan kriittisiä tai vakavia) virheitä eikä puutteita kaikki tunnetut ongelmat on kirjattu tunnetut ongelmat eivät olennaisesti haittaa tuotantokäyttöä Varsinaisen päätöksen hyväksymisestä tekee ohjausryhmän kokous projektiryhmän suositusta kuunnellen. 4 TESTAUKSEN ORGANISOINTI JA OHJAUS 4.1 TESTAUSORGANISAATIO Hyväksymistestausta johtaa projektipäällikkö Arja Törmälä. Hyväksymistestaukseen osallistuvat aina asiakkaan ja omistajan edustajat. Testauspäällikkö OPH testausryhmä OKM:n testausryhmä Testausryhmä 2. aste Testausryhmä kk-aste Testauspäällikkö Henkilö Osasto/Yksikkö Rooli/vastuu Arja Törmälä OPH Testauksen suunnittelu,ohjaus, testauksen asiakastuki, ongelmatilanteiden selvitys, raportointi OKM:n testausryhmä Henkilö Osasto/Yksikkö Rooli/vastuu Ritva Sammalkivi OKM toisen asteen testausryhmän yhteyshenkilö Ilmari Hyvönen OKM KK-asteen testausryhmän yhteyshenkilö Dokumentin tallennuspaikka Sivu 25/34

Testausryhmien ei pitäisi olla suurempia kuin 10 henkeä. Isommasta ryhmästä ei enää ole testauksen laadun kannalta hyötyä, mutta testiryhmän ja tulosten hallinnointi vaikeutuu jos ryhmät ovat hyvin suuria. OPH osallistuu tarvittaessa asiakastestauksen järjestämiseen yhdessä OKM:n kanssa. OPH TESTAUSRYHMÄ Henkilö Organisaatio Rooli/vastuu Koulutusaste Annika Grönholm OPH Marcus Caselius OPH KK Satu Hornborg OPH 2.aste Pirjo Karhu OPH KK Anne Nyman OPH KK Anne-Maria Paakkinen OPH 2. aste Jaana Saha OPH 2. aste Christian Seger OPH 2. aste Heidi Bergström OPH 2. aste Outi Kivipelto OPH KK Katariina Männikkö OPH 2. aste Laura Alalääkkölä OPH KK & 2.aste OPH:n vastuulla olevat muut tahot Henkilö Osasto/Yksikkö Rooli/vastuu Annika Grönholm OPH OPH:n testausryhmän yhteyshenkilö Juha Vapalahti OPH Järjestelmätestauksesta vastaava Riku Karjalainen Toteutus QA-palvelimen ylläpito ja asennukset, tuotantopalvelimen asennukset (toistaiseksi) Koulutustarjonta on testattava erikseen sekä KK että 2.asteella. Muuten riittää että koodistojen, käyttäjien ja organisaatioiden hallinta on testattu jomman kumman toimesta. (tarkistettava asiakkaalta testattava kuitenkin seuraavan julkaisun yhteydessä regressiotestauksena) 2. ASTEEN TESTAUSRYHMÄ Henkilö Oppilaitos Rooli/vastuu Työpanos X htp/vko Dokumentin tallennuspaikka Sivu 26/34

KK-ASTEEN TESTAUSRYHMÄ Henkilö Korkeakoulu Rooli/vastuu Työpanos X htp/vko 4.1.1 FYYSISET RESURSSIT Hyväksymistestauksen järjestämistä varten varataan tilat sellaisesta oppilaitoksesta tai korkeakoulusta, jossa on atk-luokka (mikäli testaajilla ei ole omia kannettavia tietokoneita). Optimitilanne olisi, mikäli asiakas voisi käyttää omia laitteita jotta testausta tehdään erilaisilla tietokoneilla ja eri selaimilla ja selainasetuksilla. Tarkennetaan. 4.2 OHJAUSMENETTELYT Hyväksymistestauksen lopullisen hyväksynnän tekee hankkeen ja KSHJ:n ohjausryhmät. Ohjausryhmä sekä hyväksyy kunkin julkaisun käyttöönoton että tekee koko järjestelmän hyväksynnän. Dokumentin tallennuspaikka Sivu 27/34

4.3 MUUTOSHALLINTA Muutoshallinta tapahtuu projektin yleisen muutoshallintaprosessin mukaisesti. 4.4 VIRHEIDEN KIRJAAMINEN JA KÄSITTELY 4.4.1 HAVAINNON KIRJAAMINEN Havainto (virhe tai parannusehdotus) kirjataan havaintoraportointipohjalle. Havainnoista kirjataan vähintään pakolliset perustiedot: testaaja testatun ohjelmiston versionumero & testausympäristö mihin testitapaukseen ja steppiin havainto liittyy mihin toiminnallisuuteen havainto liittyy (palvelu & toiminto) miten virhetilanteeseen päädyttiin miten virhe ilmenee / miten toiminnallisuutta voi parantaa käyttöliittymän kuvakaappaus (Print screen) virhetilanteesta, milloin mahdollista Kuvauksen pitää olla niin kattava, että muut järjestelmän testaajat ja toteuttajat voivat toistaa virhetilanteen. Havaintoraportti lähetetään sähköpostilla testauspäällikölle osoitteeseen oppija.testitulokset@oph.fi Virheen löytäjän vastuulla on analysoida virhe ja kirjata yllämainitut asiat, jotta virheen selvittely olisi mahdollisimman tehokasta tai parannusehdotus on lukijalle ymmärrettävä. 4.4.2 HAVAINTOJEN KÄSITTELY Hyväksymistestauksessa tehdyt havainnot raportoidaan vakiopohjaa käyttäen testauspäällikölle. Testauspäällikkö tarkastaa, että havaintoa ei ole aiemmin kirjattu. Testaus päällikkö kirjaa uudet havainnot JIRAan (OPH:n sisäinen työkalu). Virheet menevät toimittajalle korjattaviksi, jonka jälkeen testauspäällikkö ottaa vastaan virheen selvittämiseen liittyvät tiedot toimittajalta ja koordinoi virheen korjauksen tarkastamisen. Parannusehdotukset menevät järjestelmän omistajan arvioitaviksi ja sitä kautta toteutukseen. Havaintojen luokittelu tehdään aina samalla tavalla. Dokumentin tallennuspaikka Sivu 28/34

Havainnon tyyppi: Tyyppi Virhe Kuvaus Järjestelmä ei toimi määritysten mukaan (JIRAssa Bug) Parannusehdotus Järjestelmän määriteltyä toiminnallisuutta pitää muuttaa (JIRAssa Improvement) tai määrittely puuttuu kokonaan (toiminnallisuuspuute) Virheen vakavuusaste luokitellaan seuraavasti: Vakavuusaste Kuvaus Kriittinen Järjestelmää ei voi käyttää ( kaatuu ). Estää kaiken testauksen. Suuri Yksittäistä toimintoa tai ohjelmaa ei voi käyttää. Testausta ei kannata jatkaa. Keskisuuri Määrittelyn vastainen toiminto tai toiminnallinen ongelma, joka voidaan ohittaa. Pieni Kosmeettinen haitta ohjelman toiminnassa tai dokumentissa. Virheet luokitellaan kiireellisyyden (JIRAssa priority) mukaan seuraavasti: Kiireellisyys Kuvaus Välitön Vaatii erittäin kiireellisen korjauksen. Ohittaa muut työt. (JIRAssa Blocker ) Kiireellinen Korjaus viikon kuluessa. (JIRAssa Critical) Normaali Korjaus voidaan siirtää seuraavaan julkaisuun. (JIRAssa Minor) Alhainen Korjauksella ei ole kiire (JIRAssa Trivial) Kiireellisyysluokituksen tekevät Opetushallituksen testauspäällikkö sekä päätuotteenomistajat. Dokumentin tallennuspaikka Sivu 29/34

4.4.3 VIRHEEN UUDELLEENTESTAUS Kun virhe on korjattu ja korjattu versio on toimitettu testattavaksi, testataan ainakin se testitapaus uudelleen, jossa virhe havaittiin. Mikäli virheeseen liittyy muitakin testitapauksia, ne testataan testaajan harkinnan mukaan (suositeltavaa olisi testata muutkin testitapaukset ainakin jos kyseessä on vakavuusasteeltaan suuri tai kriittinen virhe). Mikäli korjaus on tehty hyväksyttävällä tavalla, voidaan virhe kuitata korjatuksi virheraportointijärjestelmässä. Muutoin virhe avataan uudestaan korjattavaksi. Projektin järjestelmätestausryhmä vastaa korjausten testaamisesta. 4.4.4 ESKALOINTIKETJUN KUVAUS Käytetään projektiorganisaation yleistä eskalointiketjua. 4.5 TESTAUKSEN MITTARIT Hyväksymistestauksesta raportoidaan seuraavat tiedot: Tehdyt havainnot per tyyppi ja vakavuusaste raportoidaan JIRAsta Suoritetut testitapaukset vs. kaikki testitapaukset saadaan testaajien palauttamista testitapauslistoista Suoritetut prosessitestit vs. kaikki prosessitestit saadaan saadaan testaajien palauttamista prosessitestilistoista 4.6 TESTAUKSEN RAPORTOINTI Hyväksymistestaukseen osallistuville sekä asiakkaalle tarvitaan näkyvyys kirjattuihin havaintoihin. Testauspäällikkö julkaisee julkisessa Wikissä Excel raportin JIRAan kirjatuista hyväksymistestaushavainnoista ja niiden statuksesta sekä ehdotetusta korjausaikataulusta 4.6.1 VIIKOITTAINEN HYVÄKSYMISTESTAUKSEN TILARAPORTTI Testauspäällikkö raportoi hyväksymistestauksen tilanteesta viikoittain Oppijan palvelukokonaisuuden projekti- ja klusteriryhmälle, KSHJ-hankkeen ohjausryhmälle sekä testausryhmille. Testiraportissa selvitetään: testauksen yleistilanne ja pysyminen aikataulussa riskit ja ongelmat Dokumentin tallennuspaikka Sivu 30/34

virheiden määrä ja niiden vakavuusluokittelu virheiden korjauksen tilanne erikseen lueteltuna kriittiset virheet ja niiden tila Liitteenä raportissa on luettelo löydetyistä virheistä. 4.6.2 VERSION LOPPURAPORTTI Jokaisesta hyväksymistestauksesta testauspäällikkö koostaa loppuraportin, jossa kuvataan testaus ja sen tulokset. Loppuraportti sisältää tiedot version järjestelmätestauksesta, OPH:n hyväksymistestauksesta ja asiakkaan hyväksymistestauksesta. Loppuraportin perusteella ohjausryhmä tekee päätöksen julkaisun tuotantoon siirrosta. Hyväksymistestatun version loppuraporttina toimii viimeisen versio viikkoraportista päivitettynä arviolla avointen kriittisten ja vakavien havaintojen vaikutuksesta käyttöönottoon sekä statistiikalla testitapausten suorituksen toteumasta. Kun ohjausryhmä on tehnyt päätöksen version hyväksymisestä, voidaan versio asentaa tuotantoympäristöön käyttöönotettavaksi. OPH varmistaa omalla testauksella tuotantoon asennetun version toimivuuden. 4.6.3 KOKO JÄRJESTELMÄN LOPPURAPORTTI Koko järjestelmän hyväksymistestauksen loppuraportti tehdään hyväksymistestausvaiheen lopussa, viimeisen hyväksymistestauksen jälkeen. Loppuraportti jaetaan projektin johto- ja ohjausryhmälle sekä testausryhmälle. Loppuraportin perusteella ohjausryhmä tekee päätöksen järjestelmän hyväksymisestä ja projektin päättämisestä. 4.7 VIESTINTÄ JA TIEDOTTAMINEN MITÄ KUKA KENELLE MITEN & KOSKA Testauspäällikkö Testausryhmien yhteyshenkilöt Testauksen aloitusta edeltävät toimenpiteet - testausjärjestelyt ja resurssit sovittava Testauksen aloitusta edeltävät toimenpiteet testitapauksien ja käyttäjäoikeuksien päivitys, testiaineiston teko, jne Testauspäällikkö Palveluiden omistajat ja MPO:t sähköposti / f-2-f - 4vk ennen testauksen alkua sähköposti / f-2-f - 2 vk ennen testauksen alkua Testauksen aloitus Testauspäällikkö Testausryhmät Kick-off - Testauksen alkaessa Dokumentin tallennuspaikka Sivu 31/34

Testauksen edistyminen Testauspäällikkö Ohjausryhmä, projektiryhmä, testausryhmät Julkaisun hyväksymistestauksen lopputulos Testauspäällikkö Ohjausryhmä, projektiryhmä, testausryhmät Hyväksymistestauksen viikkoraportti & Lista havainnoista ja niiden tilat Wikiin - viikottain testauksen alusta käyttöönottoon Hyväksymistestauksen loppuraportti - ennen julkaisun käyttöönottopäätöstä 4.8 TESTAUKSEN LAADUNVARMISTUS Hyväksymistestauspäällikkö katselmoi testitapaukset varmistaa, että testitapaukset on toteutettu ohjeistuksen mukaisesti ja ovat keskenään samankaltaisia. Hyväksymistestauksen tulosten raportoinnin yhteydessä raportoidaan myös testitapausten suorituksen kattavuus: suoritetut vs. suunnitellut testitapaukset. 5 RISKIT Testattava järjestelmä otetaan käyttöön virkailijoiden osalta 05/2013 valmistautuminen hakuun prosessin osalta sekä hakijoiden osalta 09/2013 ammatillisen koulutuksen ja lukiokoulutuksen syksyn yhteishaussa. Ennen käyttöönottoja suoritetaan käyttöönotettavan version hyväksymistestaus, siten että palvelukokonaisuuden koulutus voidaan aloittaa 05/2013. Aikataulun siirtäminen ei ole käytännössä mahdollista. Tämä merkitsee sitä, että testauksessa tulee keskittyä erityisesti järjestelmän välttämättömien osien testaamiseen. Vaikka muutokset eivät ole sisällöllisesti erityisen monimutkaisia, on kyseessä erittäin laaja kokonaisuus testauksen osalta. Tyypillisiin työnkulkuihin keskittyvien tehokkaiden testitapausten laatiminen vaatii huolellista jäsentämistä, jotta kaikki tarpeellinen saadaan testattua kohtuullisella testitapausten määrällä. Testaajien tulee tutustua käyttötapauksiin ja vaatimuksiin hyvin sekä olla tarkkoja yksityiskohdissa. Lista tärkeimmistä tunnistetuista riskeistä. Riskit on kuvattu erillisessä dokumentissa. Dokumentin tallennuspaikka Sivu 32/34

Todennäköisyys Vaikutus Painoarvo HYVÄKSYMISTESTAUSSUUNNITELMA Kuvaus Vaikutus testauksen lopputulokseen Toimenpiteet Testaajat eivät suorita testejä Havaintojen raportointi- ja käsittelyprosessi ei toimi Virheiden suuri määrä Testausta ei saada fokusoitua ko. julkaisun kannalta kriittiseen toiminnallisuuteen Testaukselle ei varata tarpeeksi aikaa tai se jätetään suorittamatta Testausympäristö on puutteellinen Testitapaukset eivät ole kattavia kriittisen toiminnallisuuden suhteen - Virheitä ei löydetä - Tuotantoon siirretään puutteellinen järjestelmä, jota ei voida käyttää - Havaintojen jatkokäsittelijät ylikuormittuvat - Testauksen tulokset jäävät epätarkoiksi - Virheitä ei saada korjatuksi - Julkaisua ei hyväksytä - Tuotantoon siirto viivästyy - Testaajat turhautuvat - Ohjelmiston maine huononee - Testaajat eivät tiedä mitä testata - Testaus ei ole kattavaa kriittisten toiminnallisuuksien suhteen - Tuotantoon siirretään puutteellinen järjestelmä, jota ei voida käyttää - Virheitä ei löydetä - Tuotantoon siirretään puutteellinen järjestelmä, jota ei voida käyttää - Kaikkia testitapauksia ei pystytä suorittamaan - Testaus, hyväksyminen ja tuotantoon siirto viivästyvät - Testaus ei ole kattavaa kriittisten toiminnallisuuksien suhteen - Tuotantoon siirretään puutteellinen järjestelmä, jota ei voida käyttää 2 3 5 2 3 5 - Havaintojen käsittely ohjeistettava - Prosessin toimivuus arvioitava 2 2 4 - Panostettava järjestelmätestaukseen, että virheet löytyvät ennen hyväksymistestausta 2 2 4 - Testitapauksissa kuvataan vain julkaistutoiminnallisuus - Testauksen tavoitteista viestintä - Prosessitestien määrittely 1 3 4 - Pidettävä tiukasti kiinni siitä, että tuotantoon ei julkaista uutta versiota ohi hyväksymistestausmenettelyn 1 3 4 - Palveluiden omistajien ja järjestelmätestiryhmän varmistettava hyväksymistestausympäristön toimivuus ja tarvittavan testiaineiston olemassaolo 1 2 3 - Testitapaukset kuvattava ohjeistuksen mukaisesti - Testitapausten katselmoinnit - Prosessitestien suunnittelu ja vertaaminen testitapauksiin 6 TESTAUKSEN TUOTOKSET Testisuunnitelma Testitapaukset Prosessitestien kuvaukset Havaintoraportit Havaintojenkirjaukset JIRAan Testauksen tilaraportit Confluence:Hyväksymistestaus/Testaussuunnitelma Confluence:Hyväksymistestaus/Testitapaukset Confluence:Hyväksymistestaus/Testitapaukset Sharepoint? - Johanna Rouhikko selvittää JIRA Sharepoint? Dokumentin tallennuspaikka Sivu 33/34

Testauksen loppuraportti Confluence:Hyväksymistestaus LIITTEET Ohje hyväksymistestauksen havaintojen raportointiin - Confluence:Hyväksymistestaus/Testausohjeet Ohje hyväksymistestauksen havaintojen käsittelyyn - sisäinenwiki: Dashboard/Koodausympäristöjen ohjeet/kehittäjän ohjeet /Käytännöt /Hyväksymistestauksen havaintojen käsittely Ohje testitapausten tekoon Confluence:Hyväksymistestaus/Testitapaukset/Testitapausten teko-ohjeet Testitapauspohja Confluence:Hyväksymistestaus/Testitapaukset/Testitapausten teko-ohjeet Prosessitestipohja Confluence:Hyväksymistestaus/Testitapaukset/Testitapausten teko-ohjeet Riskilista - Hyväksymistestauksen riskilista.xls Dokumentin tallennuspaikka Sivu 34/34