HYVÄKSYMISTESTAUS- SUUNNITELMA - HAKEUTUJAN PALVELUT JA TODENNETUN OSAAMISEN REKISTERI Dokumentin tallennuspaikka Sivu 1/33
Hankkeen nimi: SADe Projektin nimi: Oppijan verkkopalvelut Projektin asiakkaat: Ritva Sammalkivi, OKM Koulutuspolitiikan osasto Ilmari Hyvönen OKM, Korkeakoulupolitiikan osasto PROJEKTIN PERUSTIEDOT Hanketunnus: Projektitunnus: Projektipäällikkö: Erja Nokkanen Testauspäällikkö: Arja Törmälä DOKUMENTIN VERSIOTIEDOT Versio Pvm Muutosten kuvaus Tekijä 0.1 7.2.2013 1. luonnos Pauli Lönnroth 0.2 11.2.2013 Päivitetty 8.2. palaverin kommenttien perusteella Pauli Lönnroth 0.3 13.2.2013 Päivitetty Antti Y-J:n kommenttien perusteella Pauli Lönnroth 0.4 14.2.2013 Päivitetty A.Törmälän katselmoinnin perusteella Arja Törmälä 0.5 15.2.2013 Päivitetty A.Reunasen katselmoinnin perusteella Arja Törmälä 0.6 24.2.2013 Päivitetty Ritva Sammalkiven ja Ilmari Hyvösen Arja Törmälä kanssa pidetyn katselmoinnin perusteella. 1.0 13.3.2013 Hyväksytty OKM:n projektiryhmässä 19.2 ja Arja Törmälä KSHJ:n ohjausryhmässä 13.3. 1.1 22.3.2013 Tarkennettu päivämääriä. Asiakkaiden Arja Törmälä hyväksymistestauksen aloitusta siirretty viikolla. Tuotantokäyttöönoton aloitusta 2. asteen osalta siirretty viikolla eteepäin. 1.2 3.6.2013 Tarkistettu päivämääriä hankkeen aikatauluja vastaavaksi. Yksinkertaistettu tehtävälistaa (tehtävätason aikataulut poistettu). Muutokset Arja Törmälä Dokumentin tallennuspaikka Sivu 2/33
merkitty keltaisella huomiovärillä. SISÄLLYSLUETTELO 1 JOHDANTO... 6 1.1 DOKUMENTIN TARKOITUS... 6 1.2 TAUSTA... 7 1.3 TESTAUKSEN TAVOITTEET... 7 2 TESTATTAVA KOKONAISUUS... 8 2.1 TESTAUKSEN KOHDE... 8 2.2 Prosessien päästä päähän testaus... 9 2.2.1 Liittymät ja rajapinnat muihin järjestelmiin... 10 2.2.2 Testattava palvelukokonaisuus... 10 2.3 RAJAUKSET... 11 2.4 RIIPPUVUUDET... 12 3 HYVÄKSYMISTESTAUSPROSESSI... 12 3.1 SUUNNITELLUT TESTAUKSET... 13 3.2 Testauksen aikataulut ja tarkistuspisteet... 14 3.2.1 Edellytykset testauksen aloittamiselle... 15 3.2.2 Asiakkaan hyväksymistestaus... 15 3.2.3 Opetushallituksen sisäinen hyväksymistestaus... 16 Dokumentin tallennuspaikka Sivu 3/33
3.2.4 Tehtävät... 17 3.3 TESTAUKSEN TEKNIIKAT JA APUVÄLINEET... 18 3.4 TESTIYMPÄRISTÖ... 18 3.5 TESTITAPAUKSET... 19 3.5.1 Vastuut testitapausten luonnista... 20 3.5.2 Testitapausten luokittelu... 20 3.5.3 Prosessien testaus... 21 3.6 TESTIAINEISTO... 21 3.6.1 Testiaineiston palautettavuus... 22 3.7 HYVÄKSYMISKRITEERIT... 22 4 TESTAUKSEN ORGANISOINTI JA OHJAUS... 23 4.1 TESTAUSORGANISAATIO... 23 4.1.1 Fyysiset resurssit... 25 4.2 OHJAUSMENETTELYT... 26 4.3 MUUTOSHALLINTA... 26 4.4 VIRHEIDEN KIRJAAMINEN JA KÄSITTELY... 26 4.4.1 havainnon kirjaaminen... 26 4.4.2 Havaintojen käsittely... 26 4.4.3 Virheen uudelleentestaus... 28 4.4.4 Eskalointiketjun kuvaus... 29 4.5 TESTAUKSEN MITTARIT... 29 4.6 TESTAUKSEN RAPORTOINTI... 29 4.6.1 Viikoittainen hyväksymistestauksen tilaraportti... 29 4.6.2 version Loppuraportti... 30 Dokumentin tallennuspaikka Sivu 4/33
4.6.3 koko järjestelmän Loppuraportti... 30 4.7 VIESTINTÄ JA TIEDOTTAMINEN... 30 4.8 TESTAUKSEN LAADUNVARMISTUS... 31 5 RISKIT... 31 6 TESTAUKSEN TUOTOKSET... 32 LIITTEET... 33 Dokumentin tallennuspaikka Sivu 5/33
1 JOHDANTO Hyväksymistestaus on järjestelmän asiakkaan vastuulla oleva testaus, jolla varmistutaan siitä että toimitettu tietojärjestelmä täyttää hyväksytyt vaatimukset. Lisäksi on tarkoitus varmistua siitä, että järjestelmää voidaan käyttää suunniteltuun tarkoitukseensa ja mahdolliset käytännön yllätykset voidaan käsitellä ennen käyttöönottoa. Hyväksymistestauksen tavoitteena on tuottaa faktoihin perustuvaa tietoa järjestelmän laadusta yksittäisten julkaisujen ja koko järjestelmän käyttöönottopäätösten tekemistä varten. Hyväksymistestauksen tuottama laatupalaute on yhteenveto järjestelmän käyttäjän ja asiakkaan näkökantojen huomioimiselle. Hyväksymistestaus on osa projekteille tarpeellista testausten ketjua. Hyväksymistestaus on yksi vaihe, jonka avulla tarkistetaan, että riskit ovat hallinnassa käyttöönoton näkökulmasta. 1.1 DOKUMENTIN TARKOITUS Tämä dokumentti kuvaa hakeutujan palveluiden ja todennetun osaamisen rekisterin hyväksymistestaussuunnitelman toisen asteen ja korkeakouluasteen toimintojen osalta siinä laajuudessa kuin ne otetaan käyttöön vuosien 2013-2014 välisenä aikana. Dokumentin tarkoitus on esittää Oppijan palvelukokonaisuus-projektin hyväksymistestauksen tavoitteet jäsentää testaukseen liittyvät vastuut kuvata testauksen vaiheistus ja aikataulutus listata, mitä projektissa tulee testata suositella ja kuvata, kuinka kussakin testauksen vaiheessa tehdään testauksen kannalta oikeita asioita, oikeaan aikaan, oikealla prioriteetilla ja oikeilla voimavaroilla, jotta asetetut testauksen tavoitteet saavutettaisiin yksilöidä testaukseen liittyviä riskejä suositella, kuinka testaus tulee priorisoida siten että sekä riskit että vaatimukset otetaan huomioon listata testauksen tuottamat dokumentit Kohdeyleisö Dokumentti on tarkoitettu Oppijan palvelukokonaisuuden hankejohdolle ja testiryhmälle. Dokumentin tallennuspaikka Sivu 6/33
Tarvittavat esitiedot Lukijan oletetaan tuntevan Oppijan palvelukokonaisuus palveluiden esittelytilaisuuksien pohjalta. Toisen asteen tai korkeakoulujen valmistautuminen hakuun prosessin tai haku- ja/tai valintaprosessin tuntemus Tämä hyväksymistestaussuunnitelma hyväksytään Oppijan palvelukokonaisuuden klusteriryhmässä sekä KSHJ-hankkeen ohjausryhmässä. 1.2 TAUSTA Oppijan palvelukokonaisuudessa rakennetaan koulutuksen sähköistä sivistyskeskusta, josta löytyvät jatkossa kaikki sekä kansalaisten että koulutuksen ja opetuksen järjestäjien palvelut esiopetukseen ilmoittautumisesta aikuiskoulutukseen asti. Luvassa on helppokäyttöinen palveluportaali, joka tarjoaa kattavasti opiskelua ja siihen hakeutumista sekä oppimista ja urasuunnittelua tukevia palveluita elinikäisen oppimisen periaatteella. Palvelu tukee yksilöllisten oppimispolkujen suunnittelua ja toteuttamista. Palvelun käyttäjiä ovat koulutukseen hakeutujat, opiskelijat, perheet, oppilaitokset, koulutuspalvelun tuottajat, yritykset ja muut työelämän organisaatiot, julkishallinto sekä koulutus- ja uravaihtoehtojaan pohtivat kansalaiset. Oppijan palvelukokonaisuus tarjoaa luotettavan ja ajantasaisen tiedon koulutuksesta, ammateista, työelämästä ja uravaihtoehdoista. Palvelun kautta haetaan ja tullaan valituksi koulutukseen. Oppijan verkkopalvelu syntyy olemassa olevista ja kehitettävistä uusista palveluista sekä niiden tuottamista tukevista tietojärjestelmistä. Asiakaslähtöinen, yhtenäinen ja kustannustehokas palvelukokonaisuus tukee hallinnollisia rajoja ylittävien työ- ja toimintatapojen kehittämistä. Näin se edistää myös julkisen hallinnon ja opetustoimen tuottavuutta. Järjestelmän asiakkaana toimii Opetus- ja kulttuuriministeriön Sade-hanke sekä KSHJ-hanke. 1.3 TESTAUKSEN TAVOITTEET TAVOITE Järjestelmä mahdollistaa määriteltyjen prosessien ja työnkulkujen suorituksen KUVAUS JA MITTARI Järjestelmä mahdollistaa määriteltyjen prosessien ja työnkulkujen suorituksen Mittari: Prosesseista ja työnkuluista johdetut testitapaukset ja prosessitestit voidaan suorittaa hyväksytysti (ei kriittisiä tai vakavia virheitä). Dokumentin tallennuspaikka Sivu 7/33
Järjestelmä toteuttaa liiketoiminnan asettamat kriittiset vaatimukset Järjestelmä soveltuu sille suunniteltuun käyttöön Järjestelmä toteuttaa asetetut liiketoiminnalliset vaatimukset. Mittari: Liiketoimintavaatimuksista johdetut testitapaukset voidaan suorittaa hyväksitysti. Järjestelmä tukee loppukäyttäjien työskentelyä Mittari: Avoimia kriittisiä hyväksymistestihavaintoja (virheitä tai parannusehdotuksia) ei ole. 2 TESTATTAVA KOKONAISUUS 2.1 TESTAUKSEN KOHDE Testauksen kohteena ovat Oppijan palvelukokonaisuuteen sisältyvät koulutukseen hakeutumiseen ja valintaan liittyvät pääprosessit ja -työnkulut. Pääprosessit ja -työnkulut testataan hakijan ja virkailijan näkökulmista käsin. Näkökulmat testataan seuraavien hakuja valintakokonaisuuksien osalta: 1. Ammatillisen koulutuksen, lukiokoulutuksen ja muu peruskoulun jälkeisen koulutuksen haku- ja valintapalvelut 2. Korkeakoulujen haku- ja valintapalvelut Testaus tehdään suomenkielisellä käyttöliittymällä. Ruotsin- ja englanninkielisillä käyttöliittymille tehdään termien, kieliasun ja kenttäpituuksien tarkistuksia. Hakijan osuuden testaamiseen rekrytoidaan perusopetuksen päättävien luokkien ja lukion päättävien luokkien opiskelijoita ja testaus tehdään erillisenä tai Opetushallituksen vastuulla oleva käytettävyystestauksen yhteydessä. Virkailijat Virkailijan näkökulmasta keskeiset testattavat pääprosessit ja niihin liittyvät työnkulkujen osa-alueet ovat: 1. valmistautuminen hakuun haun hallinta koulutustarjontatiedon hallinta hakulomakkeiden hallinta valintaperusteiden mallinnus 2. hakeutuminen koulutukseen ilmoitusten ja muistutusten lähettäminen Dokumentin tallennuspaikka Sivu 8/33
hakemusten käsittely prosessin seuranta 3. valintojen toteuttaminen valintalaskenta sijoittelu 4. opintojen aloittaminen opiskelupaikan vastaanotto 5. jälkiohjaus jälkiohjauksen muodostaminen ja lähetys Hakijat Hakijan näkökulmasta keskeiset testattavat pääprosessit ja niihin liittyvät työnkulkujen osaalueet ovat: 1. valmistautuminen hakuun tunnistautuminen tiedonhaku koulutuskori omat tiedot 2. hakeutuminen koulutukseen hakemuksen täyttäminen ja lähettäminen prosessin seuranta hakemuksen muuttaminen osaamistietojen päivittäminen 3. valintojen toteuttaminen - 4. opintojen aloittaminen paikan vastaanotto läsnäoloilmoittauminen 5. jälkiohjaus hae täydennyshaun tai lisähaun hakukohteet Opintopolku-palvelussa 2.2 PROSESSIEN PÄÄSTÄ PÄÄHÄN TESTAUS Dokumentin tallennuspaikka Sivu 9/33
Prosessien testaus tapahtuu kunkin julkaisun yhteydessä siinä laajuudessa kuin julkaistu toiminnallisuus mahdollistaa prosessien suorittamisen. Valmistautuminen hakuun -prosessin hyväksymistestaus tehdään toisen asteen ja korkeakoulujen osalta ennen ensimmäistä tuotantokäyttöönottoa. Haku- ja valintaprosessin päästä päähän testaus tehdään elokuun julkaisun jälkeisen hyväksymistestauksen yhteydessä. Testattavat prosessit ovat: virkailija: haku- ja valintaprosessi sekä opintojen aloittaminen ja jälkiohjaus hakija: haku- ja valintaprosessi sekä opintojen aloittaminen ja jälkiohjaus 2.2.1 LIITTYMÄT JA RAJAPINNAT MUIHIN JÄRJESTELMIIN Liittymien kattava testaus tehdään osana järjestelmätestausta. Hyväksymistestauksessa keskitytään ainoastaan virkailijan ja hakijan kannalta oleellisten liittymien testaukseen. Liittymätestaukset tehdään osana pääprosessien ja työnkulkujen testausta ja vain siinä laajuudessa kuin liittymät näkyvät käyttäjälle. Palveluista testataan seuraavat liittymät siinä laajuudessa kuin liittymät näkyvät käyttäjälle. organisaatiotiedot YTJ:stä (valmistautuminen hakuun) henkilötietojen tarkastus VRK:sta (valmistautuminen hakuun) käyttäjän tunnistautuminen Haka koodistojen siirrot (valmistautuminen hakuun) koulutustarjontatietojen siirto (valmistautuminen hakuun) käyttäjän tunnistautuminen ViRTU, Vatema arvosanasiirto (valmistautuminen hakuun) valintaesitykset ja -päätökset opiskeluoikeus-, vastaanotto- ja ilmoittautumistieto (valintojen toteuttaminen) tutkinnot ja opintosuoritukset järjestämis- ja koulutusluvat arkistoitavat tiedot 2.2.2 TESTATTAVA PALVELUKOKONAISUUS Järjestelmäkokonaisuuden toimintojen kattava testaus suoritetaan Opetushallituksen toimesta. Opetushallituksen suorittamat toiminnallisuustestaukset kattavat seuraavien palveluiden testauksen: haku- ja valintaprosessin ohjauspalvelu hakulomakkeen hallintapalvelu hakemusten lähettäminen, käsittely ja seuranta -palvelu koodistopalvelu Dokumentin tallennuspaikka Sivu 10/33
käyttäjähallintapalvelu henkilötietojen hallintapalvelu organisaatiotietojen hallintapalvelu koulutustarjontatietojen hallintapalvelu valintojen toteuttamispalvelu opiskelupaikan vastaanotto- ja ilmoittautumispalvelu koulutusinformaatiopalvelut virkailijan sähköinen työpöytä oppijan henkilökohtaiset palvelut koulutustiedon haku- ja selauspalvelu asiakirjallisen tiedon arkistointipalvelu viestintäpalvelut ulkoiset rajapinnat ja liittymät raportointipalvelut tapahtumalokipalvelut osoitetietopalvelu 2.3 RAJAUKSET Hyväksymistestauksen ulkopuolelle rajataan seuraavat järjestelmätestauksen yhteydessä suoritettavat testaukset: kuormitustestaus tietoturvatestaus sisältäen käyttöoikeuksien ja lokituksen kattavan testauksen lokalisointitestaus raja-arvotestaus Lisäksi hyväksymistestauksen ulkopuolelle rajataan seuraavat asiat, jotka testataan OPH:n toimesta järjestelmätestauksen yhteydessä Järjestelmien väliset liittymät testataan järjestelmätestauksen yhteydessä. Hyväksymistestauksessa liittymille ei tehdä omia testitapauksia, vaan ne sisältyvät normaalien prosessien/työnkulkujen mukaisiin testitapauksiin siinä laajuudessa kun ne näkyvät käyttäjälle. Järjestelmän tekniseen administrointiin liittyvät toiminnot (mm. asennukset, varmistukset ja palautukset) Kolmansille osapuolille (mm. Kela, Tilastokeskus) tehtävät tiedonsiirrot pois luettuna mahdollinen loppukäyttäjälle näkyvä osuus Massalähetettävien kirjeiden ja sähköpostien lähetys Dokumentin tallennuspaikka Sivu 11/33
Muut kuin toisen asteen ja korkeakoulujen toiminnallisuudet, esim. aikuiskoulutuksen toiminnallisuudet, eivät kuulu tämän hyväksymistestaussuunnitelman laajuuteen. 2.4 RIIPPUVUUDET Oppijan verkkopalvelut projekti on jaettu kahteen projektiin korkeakoulujen (KSHJ-projekti) ja 2. asteen osalta (ALPE-projekti). Kummankin osapuolen edustajien pitää osallistua hyväksymistestaukseen. Vuoden 2014 aikana mukaan tulevat aikuiskoulutus (AIKU-projekti) sekä sähköiset opintosuunnitelmat (eops). Nämä ovat tämän hyväksymistestaussuunnitelman ulkopuolella. 3 HYVÄKSYMISTESTAUSPROSESSI Hyväksymistestaus suoritetaan kuudessa (6) erässä. Testaus tehdään aina ennen asiakaskäyttöönottoa käyttöönotettavan version laajuuden mukaisesti. Version hyväksymistestaus jakautuu aina viiteen (5) vaiheeseen. 1. Ensimmäisessä vaiheessa suorittaa Opetushallitus käyttöönotettavalle versiolle hyväksymistestauksen. Testauksen tavoitteena on huolehtia siitä, että toimitus vastaa määriteltyä. Lisäksi tavoitteena on löytää virheet, jotka saattaisivat estää asiakkaan suorittaman hyväksymistestauksen. Tämän testauksen jälkeen suoritetaan tarvittava havaittujen vikojen korjaus. 2. Toisessa vaiheessa suorittaa asiakas version hyväksymistestauksen. Asiakkaat testaavat toiminnallisuuksia käyttäen omaa testimateriaalia ja ennalta tehtyjä testitapauksia. Testaus tapahtuu siten, että a) Opetushallitus järjestää kullekin asiakassektorille oman hyväksymistestaustilaisuuden. Tilaisuudessa käydään läpi testaussuunnitelma, testitapaukset, raportointikäytännöt sekä aloitetaan konkreettinen testaus. Lisäksi tilaisuudessa annetaan lyhyt perehdytys järjestelmän käyttöön testattavan toiminnallisuuden osalta. b) Asiakkaat suorittavat omista toimipisteistään käsin hyväksymistestausta testaussuunnitelman mukaisesti ja raportoivat havainnoista sovittujen käytäntöjen mukaisesti. 3. Kolmannessa vaiheessa hyväksymistestipäällikkö käy asiakkaan havainnot läpi ja tallentaa ne Jiraan (testihavaintojen kirjaus- ja seurantajärjestelmä). Havainnot käydään läpi OPH:n Dokumentin tallennuspaikka Sivu 12/33
sisäisellä prosessilla; havaintojen kiireellisyys tarkistetaan ja havainnoille annetaan korjausaikataulu. Jiraan kirjatuista havainnoista koostetaan Wikissä julkaistava Exceltaulukko. 4. Neljännessä vaiheessa koostaa testauksesta vastaava testauspäällikkö testausraportin projektin ohjausryhmille hyväksymistestauksen hyväksymistä/hylkäämistä ja mahdollisia jatkotoimia varten. 5. Viidennessä vaiheessa ohjausryhmät hyväksyvät tai hylkäävät käyttöönotettavaksi aiotun kokonaisuuden. Hyväksynnän jälkeen käyttöönotettava kokonaisuus asennetaan tuotantoympäristöön. Opetushallituksen vastuut: hyväksymistestaussuunnitelman laatiminen hyväksymistestausympäristön asentaminen testiaineisto järjestelmän tietokannoissa Opetushallituksen hyväksymistestaus testauksen hallinnointi tuki asiakkaan hyväksymistestauksen aikana asiakastestaustilaisuuksien järjestäminen yhdessä asiakkaan yhteyshenkilön kanssa testauksen loppuraportti ohjausryhmille Asiakkaan vastuut: testauksen suorittaminen testaussuunnitelman mukaan kattavasti ja sovitun aikataulun puitteissa oman testimateriaalin koonti testauksessa havaittujen poikkeamien raportointi käyttäen käytössä olevaa virheraportointilomaketta testauksen asiakkaan puolen hallinnointi ja testauksen etenemisen varmistaminen 3.1 SUUNNITELLUT TESTAUKSET OPH suorittaa järjestelmän kattavan järjestelmätestauksen ennen hyväksymistestausta sisältäen mm. suorituskykytestauksen, raja-arvotestit, yms., joten näitä asioita ei tarvitse huomioida hyväksymistestauksen testitapauksissa. Opetushallitus suorittaa koko järjestelmän kattavan sisäisen hyväksymistestauksen. Dokumentin tallennuspaikka Sivu 13/33
Asiakkaat suorittavat hyväksymistestauksen vain heidän omassa työssään käyttämien toimintojen ja tietojen osalta. 3.2 TESTAUKSEN AIKATAULUT JA TARKISTUSPISTEET Hyväksymistestauksen aikataulu on sidottu palveluiden käyttöönoton ja koulutusten aikatauluihin. Hankkeen toteutusorganisaatio julkaisee uuden version jokaisen sprinttikierroksen jälkeen OPH:n hyväksymistestaukseen. Julkaisun yhteydessä OPH:n palvelunomistajat päivittävät testitapaukset. Asiakkaan hyväksymistestaus tehdään kaikille niille versioille, joissa tuotantoympäristöön ollaan tuomassa asiakkaan käyttöönotettavaksi merkittäviä uusia toiminnallisuuksia. OPH voi päättää ns. väliversioiden asennuksesta tuotantokäyttöön ilman, että versiolle tehdään erillistä hyväksymistestausta. Väliversio sisältää tuotantokäytön kannalta oleellisia vikakorjauksia. Asiakas voi halutessaan (mikäli aikataulu antaa myöten,) testata myös väliversioita. Maalis Huhti Touko Kesä Heinä Elo Syys Loka Marras Joulu Tapahtuma 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 Julkaisu 0 1 2 4.1 4.2 5 5.1 6 6.1 7 8 OPH - Hyväksymistestaus 0 1 2 4.2 5 5.1 6.1 7 8 Asiakas - Hyväksymistestaus (2. aste) 1 5.1 7 Asiakas - KK - sovelluskatselmointi 6 7 Asiakas - Hyväksymistestaus (kk) 1 6.1 7 Tuotantoon siirto 1 4.2 x x 5 5.1 x x 6.1 7 Asiakaskäyttöönotto 1 4.2 5 5.1 6 6.1 Tammi 2014 Helmi Maalis Huhti Touko Kesä Heinä Elo Syys Loka Tapahtuma 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 Julkaisu 9 10 11 12 OPH - Hyväksymistestaus 9 10 11 12 Asiakas - Hyväksymistestaus (2. aste) 11 Asiakas - KK - sovelluskatselmointi Asiakas - Hyväksymistestaus (kk) 8 9 10 Tuotantoon siirto 7 8 9 10 x x 11 x Asiakaskäyttöönotto 7 8 9 10 11 Asiakaskäyttöönottojen aikataulu: 1 17.6.2013 2. asteen syksyn 2013 yhteyshaun tarjonnan syöttö alkaa 2 9.8.2013 2. asteen kevään 2014 yhteishaun ja erityisopetuksena järjestettävien perustutkintojen tarjonnan syöttö aloitetaan. 3 23.9. 2. asteen yhteishaun toiminnallisuuden käyttöönotto. Hakuaika 25.9 4.10. 4 1.10. Nivelvaiheen, erityisopetuksena järjestettävien perustutkintojen sekä muiden yhteishaun ulkopuolisten hakujen (syksyllä 2014 alkava nuorten vieraskielinen ammatillinen koulutus, erityislukiot) tarjonnan syöttö aloitetaan. Dokumentin tallennuspaikka Sivu 14/33
5 15.10. 2. asteen kevään 2014 yhteishaun ja erityisopetuksena järjestettävien perustutkintojen tarjonnan julkaisu, Studyinfo.fi. Opintopolun 1. lanseeraus. 6 2.12. Syksyllä 2014 alkavan nivelvaiheen, erityisopetuksena järjestettävien perustutkintojen sekä muiden yhteishaun ulkopuolisten koulutusten (vieraskielinen ammatillinen koulutus, erityislukiot), tarjonnan julkaisu 7 14.2. 2. asteen kevään 2014 yhteishaku (viikoilla 9-11). 8 20.3. Korkeakoulujen tarjonnan koulutusversio 9 14.4. Korkeakoulujen tarjonnan, hakulomakkeiden ja valintaperusteiden hallinnan käyttöönotto. Hakulomakkeen hallinnan koulutus voi alkaa. Korkeakoulujen syksyn 2014 yhteis- ja erillishakujen tarjonnan syöttö aloitetaan. Korkeakoulujen kevään 2015 yhteishaun tarjonnan syöttö aloitetaan. 10 16.5. Korkeakoulujen yhteishaun toiminnallisuus on valmiina ja hyväksymistestattuna. 11 13.6. 2. asteen nivelvaiheen haku (valmentavat koulutukset ja kymppiluokat) 12 26.6. Korkeakoulujen syksyn 2014 hakujen tarjonnan julkaisu (viimeistään). Korkeakoulujen kevään 2015 yhteishaun tarjonnan julkaisu. Opintopolun 2. lanseeraus. 13 15.8. Aikuiskoulutuksen tarjonnan syöttö alkaa. (riippuvuus eperusteisiin). 14 5.9. Syksyn 2014 korkeakoulujen yhteishaun asiakaskäyttöönotto. Haku 8.9 22.9. Opintopolku käyttöön hankkeen lopullisessa laajuudessa. 3.2.1 EDELLYTYKSET TESTAUKSEN ALOITTAMISELLE Hyväksymistestauksen aloittamisen edellytykset hyväksymistestaussuunnitelma on hyväksytty testitapaukset on kuvattu testattavan toiminnallisuuden osalta hyväksymistestiympäristö on määrityksissä kuvatun mukainen ja oikein installoitu ja toimiva testaajille on luotu toimivat testitunnukset (yksi testitunnus per rooli, yhdellä testaajalla voi olla useampi tunnus) testauksen kannalta välttämätön testimateriaali on valmis vähintään 1 viikkoa aiemmin ennen testin alkua julkaistavasta versiosta ei ole tiedossa testauksen estäviä kriittisiä virheitä 3.2.2 ASIAKKAAN HYVÄKSYMISTESTAUS Asiakkaan tulee tehdä asiakaskohtaisen ohjelmiston hyväksymistesti neljäntoista (14) kalenteripäivän kuluessa siitä, kun Opetushallitus on luovuttanut tietojärjestelmän asiakkaalle hyväksymistestin tekemistä varten. Asiakkaan suorittamat viralliset hyväksymistestaukset alkavat seuraavasti: Alku Loppu Sisältö Testaajat 24.4 3.5 Organisaatioiden ja käyttäjien hallinta Korkeakoulut Dokumentin tallennuspaikka Sivu 15/33
22.4. 3.5. Organisaatioiden ja käyttäjien hallinta, 2. asteen koulutustarjonta 2. aste 26.8. 6.9. 2. asteen yhteishaussa tarvittava toiminnallisuus 2. aste 18.11. 29.11. Lopullinen 2. asteen käyttöönottoversio, nivelvaiheen koulutustarjonta, ruotsinkielinen Studieinfo.fi 9.12. 20.12. Korkeakoulujen koulutustarjontatietojen hallinta, valintaperusteiden mallinnus 2. aste Korkeakoulut 13.1 24.1. Korkeakoulujen hakulomakkeet, valintaperusteet Korkeakoulut 17.3 28.3. Korkeakoulujen hakulomakkeet ja hakulomakkeiden hallinta, yhteishaun muut toiminnallisuudet Korkeakoulut 21.4. 2.5 Korkeakoulujen lopullinen versio Korkeakoulut 3.2.3 OPETUSHALLITUKSEN SISÄINEN HYVÄKSYMISTESTAUS Opetushallitus suorittaa kullekin julkaisulle sisäisen hyväksymistestauksen: Alku Loppu Sisältö Testaajat 18.3. 28.3. Koodistojen, organisaatioiden ja käyttäjien hallinta OPH 16.4. 26.4. 2. asteen koulutustarjonnan syöttö OPH 17.6. 28.6 Hakeutuminen 2. asteen koulutukseen, hakulomake, alustavasti valinnat ja sijoittelu 15.7. 26.7. Tarjonnan haku ja näyttäminen Opintopolussa, hakeutuminen 2. asteen koulutukseen, hakulomake, valinnat ja sijoittelu 19.8. 23.8. 2. asteen yhteishaku, viimeistellyt toiminnallisuudet, korjatut viat OPH OPH OPH 30.9. 4.10. 2. asteen nivelvaiheen koulutustarjonta, OPH Dokumentin tallennuspaikka Sivu 16/33
korkeakoulujen tarjonnan hallinta v. 0.5, 2. asteen raportit 11.11 15.11. Kevään 2014 yhteishaussa tarvittava toiminnallisuus, korkeakoulujen tarjonnan hallinta, seuraava versio, korkeakoulujen valintaperusteiden mallinnus v.0.5 23.12. 3.1. 2. asteen lopullinen versio, Korkeakoulujen hakulomake ja valintaperusteet 24.2 7.3. Korkeakoulujen hakulomakkeen hallinta, syksyn 2014 korkeakoulujen yhteishaun versio, 2. asteen nivelvaiheen toiminnallisuus OPH OPH OPH 14.4 25.4. Korkeakoulujen yhteishaun versio OPH 23.6 27.6. Opintopolun laajennukset, korkeakoulujen version virhekorjaukset OPH 13.10 24.10 Korkeakoulujen jatkokehitys OPH Varsinaisten julkaisuiden yhteydessä tuodaan merkittäviä uusia toiminnallisuuksia tuotantoon. Näiden lisäksi voi olla useita välijulkaisuita, joissa tuodaan pieniä parannuksia ja korjauksia tuotantoon. Välijulkaisuiden tuotantoon siirron hyväksymistestaus voidaan suorittaa OPH:n sisäisellä hyväksymistestauksella ilman asiakkaiden suorittamaa testausta. 3.2.4 TEHTÄVÄT Tehtäviä tarkennetaan sitä mukaa kun testattavien versioiden sisältö varmistuu. Valmistelevat toimenpiteet: testitapauksien päivitys testimateriaalin päivitys käyttäjäoikeuksien päivitys testauksen organisointi testausryhmien vetäjien kanssa OPH:n hyväksymistestauksen aloitus, hyväksymistestaus Testauspäällikkö, palveluiden omistajat Testauspäällikkö, tuotteen omistaja, OPH:n testausryhmä 2. asteen hyväksymistestauksen aloitus-2 pv ja Testauspäällikkö, tuotteen Dokumentin tallennuspaikka Sivu 17/33
testaus Korkeakoulujen hyväksymistestauksen aloitus 2 pv ja testaus Julkaisun xx hyväksyminen Julkaisun xx hyväksyminen Loppuraportin laatiminen Opintopolun hyväksyminen lopullisessa laajuudessaan käyttöön omistaja 2.asteen testausryhmä Testauspäällikkö, tuotteen omistaja KK-asteen testausryhmä OKM/Sade projektiryhmä KSHJ ohjausryhmä Testauspäällikkö OKM/Sade projektiryhmä, KSHJ ohjausryhmä 3.3 TESTAUKSEN TEKNIIKAT JA APUVÄLINEET Hyväksymistestausta tehdään kolmella tavalla: Testitapauksien mukaisesti Prosessi-/työnkulkutesteinä testitapauksiin perustuen Tutkivana (vapaana) testauksena perustuen testaajien substanssiosaamiseen Hyväksymistestauksessa käytettävät dokumenttipohjat ja työkalut: Testitapaukset kuvataan vakiotestitapauspohjille ohjeistuksen mukaisesti. Prosessitestien työnkulut ja niihin liittyvät testitapaukset ja roolit kuvataan omalle vakiopohjalleen. Testaajat kirjaavat hyväksymistestaushavainnot vakiopohjaan ohjeistuksen mukaisesti. Esikäsitellyt havainnot tallennetaan lopuksi JIRAan, josta myös generoidaan havaintoja koskeva raportointi. 3.4 TESTIYMPÄRISTÖ Testausympäristönä käytetään Opetushallituksen Oppijan palvelukokonaisuutta varten luomaa testausympäristöä (QA-ympäristö). QA-ympäristö vastaa tuotantoympäristöä konfiguroinniltaan. Oppijan verkkopalvelu QA https://testi.opintopolku.fi Dokumentin tallennuspaikka Sivu 18/33
Virkailijan portaali QA https://testi.virkailija.opintopolku.fi Testiympäristö on käytettävissä arkisin klo 8-16:00 välisenä aikana (tieto tarkistettava). Testitunnuksia voi pyytää hyväksymistestauspäälliköltä. Mahdollisissa ongelmatapauksissa (esim. palvelu ei käynnisty tai kirjautuminen ei onnistu) yhteys hyväksymistestauspäällikköön Testaus ei ole riippuvainen työaseman kokoonpanosta, työasemassa voidaan käyttää eri selaimia, suositus on toistaiseksi Internet Explorer 8 tai uudempi. 3.5 TESTITAPAUKSET Hyväksymistestauksen tavoitteena on testata että testattavalla järjestelmällä voidaan suorittaa vaaditut prosessit ja työnkulut. Testitapausten tulee olla riittävän yleispäteviä, että niitä voidaan käyttää sekä OPH:n ja asiakkaiden suorittamassa testauksessa. Lisäksi testitapauksien tulee olla uudelleen käytettäviä, jotta niitä voidaan päivittää järjestelmän kehittyessä ja käyttää koko järjestelmän elinkaaren ajan. Hyväksymistestitapauksilla varmistetaan testauksen minimi kattavuus. Hyväksymistestauksen testitapausten tulee kattaa yleiset työnkulut ja niiden tärkeimmät poikkeukset. Testitapausten ei siis tarvitse kattaa kaikkia mahdollisia työnkulun haaroja, vaikka mahdollisimman suureen kattavuuteen pitäisi tähdätä. Testitapauksiin kirjataan: perustyönkulku tärkeimmät poikkeukset työnkulkuun / vaihtoehtoiset työnkulut tärkeimmät negatiiviset testitapaukset, esim. tärkeimmät syötetarkastukset ja niistä aiheutuvat virheilmoitukset Hyväksymistestauksessa luotetaan testaajan substanssiosaamiseen, jolloin eksakteja syötteitä ei määritetä testitapauksissa. (Jos eksakteja syötteitä tarvitaan, ne pitää määritellä erilliseen dokumenttiin joka tulee testitapauksen liitteeksi.) Testitapaukset johdetaan käyttötapauksista (toiminnallisista vaatimuksista) ja ne järjestetään loogista työnkulkua vastaavaan järjestykseen. Testitapauksissa kuvataan vain järjestelmän testiin julkaistu toiminnallisuus. (Eli testitapaus saattaa sisältää vain osan vastaavan käyttötapauksen toiminnallisuudesta.) Dokumentin tallennuspaikka Sivu 19/33
Testitapaukset tehdään testitapauspohjalle. Testitapausten tulee olla yhdenmukaisesti kuvattuja. Testauspäällikkö katselmoi testitapaukset ja valvoo niiden laatua ja yhdenmukaisuutta. Kunkin uuden järjestelmäversion julkaisun yhteydessä pitää luoda uudet testitapaukset uusille julkaistuille toiminnoille sekä päivittää olemassa olevat käyttötapaukset ja testitapaukset muuttuneiden toimintojen osalta. 3.5.1 VASTUUT TESTITAPAUSTEN LUONNISTA Vastuu testitapausten luonnista on palvelun omistajilla. Henkilö Juha Tretjakov Katariina Stubbe Heidi Bergström Outi Kivipelto Laura Alalääkkölä Satu Meriluoto Merja Väistö Merja Väistö Sanna Eskelinen Palvelu Käyttäjähallinta Henkilötietojen hallinta Koodistojen hallinta Organisaatiotietojen hallinta Koulutustarjontatietojen hallinta Hakulomakkeen hallinta Hakemusten lähettäminen, käsittely ja seuranta Viestintäpalvelu Virkailijan sähköinen työpöytä Koulutusinformaatiopalvelut Valintojen toteuttaminen Opiskelupaikan vastaanotto ja ilmoittautuminen Oppijan henkilökohtaiset palvelut 3.5.2 TESTITAPAUSTEN LUOKITTELU Testitapaukset luokitellaan kriittisyyden perusteella seuraavasti: 1 - Kriittinen: Testit toiminnallisuudelle, jota käyttää suurin osa käyttäjistä tai jota käytetään usein tai jonka toiminnallisuus on niin olennaista että sen toimimattomuus häiritsee koko järjestelmän käyttöä. Testit, jotka testaavat järjestelmän elintärkeitä ominaisuuksia. 2 - Normaali: Testit toiminnallisuudelle, jota käyttää pienempi joukko käyttäjiä, jotka ovat yleensä kokeneempia, esim. ylläpitotoiminnot, ellei kyseessä sitten ole erityisen kriittinen toiminto. Testit toiminnallisuudelle, jota käytetään harvoin tai joka voidaan kiertää muilla tavoin. 3 - Matala: Testit, joita ei voida suoraan johtaa vaatimuksiin tai eivät ole perusprosessien toiminnan kannalta merkittäviä. Esim. perusprosesseihin liittymättömät, käyttöä helpottavat aputoiminnallisuudet. Dokumentin tallennuspaikka Sivu 20/33
3.5.3 PROSESSIEN TESTAUS Jokaista tunnistettua prosessia varten muodostetaan testitapauksista prosessin työnkulkua vastaavat testitapauslistat, johon merkitään testitapauksen tunnus sekä rooli jolla se suoritetaan. Ennen testauksen alkamista kullekin roolille määritellään ko. roolin osuudesta vastaava testaaja. Prosessin testitapauslistaan merkitään kukin testitapauksen kohdalle sen onnistuminen /epäonnistuminen, että nähdään missä vaiheessa ko. prosessin suoritus epäonnistui. Prosessitestit suunnitellaan kunkin käyttöönoton yhteydessä kattamaan ko. käyttöönotettavan kokonaisuuden laajuus. Prosessin kattava päästä-päähän testaus voidaan suorittaa vasta julkaisun 6 hyväksymistestauksen yhteydessä. 3.6 TESTIAINEISTO Käyttäjätiedot Hyväksymistestaukseen kuuluvat käyttäjätunnukset ja heidän roolit esitetty liitteessä Käyttäjätunnukset ja roolit.xls. Hyväksymistestausympäristön käyttöoikeusryhmien luonnista ja ylläpidosta sekä käyttäjätunnusten luonnista vastaa testauspäällikkö. Jokaiselle virkailijaliittymää testaavalle on luotu oma testitunnus. Asiatiedot Testausta varten varmistetaan, että testiympäristössä on riittävästi materiaalia, jolla pääprosesseja ja niihin liittyviä työkulkuja voidaan testata. Testimateriaalin suhteen lähdetään siitä että virkailijat syöttävät seuraavat tiedot: organisaatiot haut, koulutukset, hakukohteet, lomakkeet, viestinnät valintaperusteet hakijat Tiedot jotka pitää perustaa järjestelmään ennen hyväksymistestausta: koodistot - vastuuhenkilö on Seppo Ränninranta yhteystietotyypit Dokumentin tallennuspaikka Sivu 21/33
käyttöoikeusryhmät, käyttäjätunnukset vastuuhenkilö on OPH:n pääkäyttäjä/ Juha Tretjakov koulutusten pohjatiedot muuta, mitä (tarkistetaan) 3.6.1 TESTIAINEISTON PALAUTETTAVUUS Testausympäristö voidaan palauttaa lähtötilaan tietojen osalta. Testin kuluessa testikannasta otetaan varmistus viikoittain, jotta palaaminen aikaisempaan ajankohtaan on tarvittaessa mahdollista. Testauspäällikkö pyytää tilanteen sitä vaatiessa hyväksymistestausympäristön palautusta varmistuksista ympäristön ylläpitäjältä Hyväksymistestauksen testitapaukset pitää kuvata niin, etteivät ne vaadi testiympäristön palautusta. (Palautustarpeen pitää tulla muualta kuin testitapauksista.) 3.7 HYVÄKSYMISKRITEERIT Julkaisun hyväksymiskriteerit: Testauksen perusteella järjestelmän julkaisu voidaan ottaa tuotantokäyttöön, kun tärkeät (Kriittiset ja normaalit) testit on hyväksytysti suoritettu eikä järjestelmässä ei ole avoinna olevia käyttöönoton estäviä (vakavuudeltaan kriittisiä tai vakavia) virheitä eikä puutteita Järjestelmän hyväksymiskriteerit: Järjestelmä voidaan hyväksyä vasta koko järjestelmän toimituksen jälkeen. Testauksen perusteella järjestelmä voidaan hyväksyä, kun tärkeät (Kriittiset ja normaalit) testit on hyväksytysti suoritettu eikä järjestelmässä ei ole avoinna olevia käyttöönoton estäviä (vakavuudeltaan kriittisiä tai vakavia) virheitä eikä puutteita kaikki tunnetut ongelmat on kirjattu tunnetut ongelmat eivät olennaisesti haittaa tuotantokäyttöä Varsinaisen päätöksen hyväksymisestä tekee ohjausryhmän kokous projektiryhmän suositusta kuunnellen. Dokumentin tallennuspaikka Sivu 22/33
4 TESTAUKSEN ORGANISOINTI JA OHJAUS 4.1 TESTAUSORGANISAATIO Hyväksymistestausta johtaa projektipäällikkö Arja Törmälä. Hyväksymistestaukseen osallistuvat aina sekä Opetushallituksen että asiakkaan edustajat. Testauspäällikkö OPH testausryhmä OKM Sade-hankkeen Testausryhmä 2. aste OKM KSHJ-hankkeen testausryhmä kk-aste Testauspäällikkö Henkilö Osasto/Yksikkö Rooli/vastuu Arja Törmälä OPH Testauksen suunnittelu, ohjaus, testauksen asiakastuki, ongelmatilanteiden selvitys, raportointi, testitapausten katselmointi OKM:n testausvastuu Henkilö Osasto/Yksikkö Rooli/vastuu Ritva Sammalkivi OKM toisen asteen vastuuhenkilö Ilmari Hyvönen OKM KK-asteen vastuuhenkilö Ossi Raatikainen CSC KK-asteen testausryhmän koordinoija Testausryhmien ei pitäisi olla suurempia kuin 10 henkeä. Isommasta ryhmästä ei enää ole testauksen laadun kannalta hyötyä, mutta testiryhmän ja tulosten hallinnointi vaikeutuu jos ryhmät ovat hyvin suuria. OPH osallistuu tarvittaessa asiakastestauksen järjestämiseen yhdessä OKM:n kanssa. OPH TESTAUSRYHMÄ Henkilö Organisaatio Rooli/vastuu Koulutusaste Marcus Caselius OPH KK Dokumentin tallennuspaikka Sivu 23/33
Satu Hornborg OPH 2.aste Pirjo Karhu OPH KK Anne Nyman OPH KK Anne-Maria Paakkinen OPH 2. aste Jaana Saha OPH 2. aste Christian Seger OPH 2. aste Heidi Bergström OPH 2. aste Outi Kivipelto OPH KK Katariina Männikkö OPH 2. aste Merja Väistö OPH KK Laura Alalääkkölä OPH KK & 2.aste OPH:n vastuulla olevat muut tahot Henkilö Osasto/Yksikkö Rooli/vastuu Annika Grönholm OPH OPH:n testausryhmän yhteyshenkilö Juha Vapalahti Toteutus Järjestelmätestauksesta vastaava, testitapausten katselmointi Riku Karjalainen Toteutus QA-palvelimen ylläpito ja asennukset, tuotantopalvelimen asennukset (toistaiseksi) Koulutustarjonta on testattava erikseen sekä KK että 2.asteella. Muuten riittää että käyttäjähallinta ja organisaatioiden hallinta on testattu korkeakoulujen toimesta. Testaus vie aikaa arvioilta 8-10 htp / henkilö. Hankkeet (Sade ja KSHJ) maksavat testaajien matkakulut valtion matkustussäännön mukaan (poikkeukset: ei päivärahoja, ei pysäköintimaksuja muuten kuin liittymäpysäköinnin osalta) Toisen asteen testaukseen osallistuvat: Henkilö Oppilaitos Tarkenne Hannele Rissanen Bovallus-ammattiopisto Jyväskylä Hyväksymistestaaja Eija Kaartinen Etelä-Karjalan koulutuskuntayhtymä Hyväksymistestaaja Tomi Kytölä Helsingin diakoniaopisto Hyväksymistestaaja Leila Vuori Helsingin opetusvirasto Hyväksymistestaaja Tiina Mäkinen Jyväskylän kristillinen opisto Hyväksymistestaaja Marja Toivanen Kannaksen lukio Hyväksymistestaaja Timo Tervo Keski-Uudenmaan koulutuskuntayhtymä (Keuda) Etätestaaja Laura Heikkilä Keski-Uudenmaan koulutuskuntayhtymä (Keuda) Hyväksymistestaaja Marja Mylly Kiipulan ammattiopisto Hyväksymistestaaja Sami Raunio Koulutuskeskus Salpaus Hyväksymistestaaja Erja Öhman Mikkelin Lyseon koulu Hyväksymistestaaja Dokumentin tallennuspaikka Sivu 24/33
Aini Rouhiainen Mikkelin Lyseon koulu Varalla / Etätestaaja Anne Madetoja Oulun kaupunki Hyväksymistestaaja Jani Syrjälä Oulun kaupunki Varalla / Etätestaaja Ruut Pasanen Oulun kaupunki Varalla / Etätestaaja Seija Lehto Oulun seudun ammattiopisto Etätestaaja Sirpa Utriainen Pohjois-Karjalan koulutuskuntayhtymä Etätestaaja Hilkka Tolvanen Pohjois-Karjalan koulutuskuntayhtymä Etätestaaja Veli-Pekka Lehtinen Ressun lukio Hyväksymistestaaja Ilse Karhunen Savon koulutuskuntayhtymä Hyväksymistestaaja Timo Töyri Stadin ammattiopisto Hyväksymistestaaja Anja Telin Stadin ammattiopisto Varalla / Etätestaaja Leena Komulainen Vantaan ammattiopisto Varia Hyväksymistestaaja Kaisa Määttänen Vantaan ammattiopisto Varia Varalla / Etätestaaja Jaakko Turpeinen Vantaan kaupunki Hyväksymistestaaja Arja Lohtander Vantaan kaupunki Varalla / Etätestaaja Marjo Pihlaja Vantaan kaupunki Varalla / Etätestaaja Milla-Miia Luosujärvi Vantaan kaupunki Varalla / Etätestaaja Korkeakoulujen testaukseen osallistuvat: Henkilö Korkeakoulu Rooli/vastuu Ossi Raatikainen CSC - Tieteen tietotekniikan Keskus Testauksen koordinointi Anne Kemppainen HAAGA-HELIA ammattikorkeakoulu Anu Lehtinen Turun ammattikorkeakoulu Bertta Hakkarainen Rovaniemen ammattikorkeakoulu Elsa Prokkola-Tero Oulun seudun ammattikorkeakoulu Jesper Fogelholm Svenska handelshögskolan Jukka Tiitto Itä-Suomen yliopisto Katariina Lehto Seinäjoen ammattikorkeakoulu Marko Wilen Laurea-ammattikorkeakoulu Mikko Kautto University Admissions Finland Osmo Troberg Metropolia ammattikorkeakoulu Pia Paulamäki Tampereen yliopisto Tiina Kainulainen Helsingin yliopisto Tuulikki Kaski Aalto-yliopisto Suvi Ylioja Turun yliopisto Virve Peltoniemi Tampereen ammattikorkeakoulu 4.1.1 FYYSISET RESURSSIT Hyväksymistestauksen järjestämistä varten varataan tilat Opetushallituksesta toisen asteen testausta varten sekä CSC:ltä korkeakoulujen testausta varten. Toivottavaa on, että Dokumentin tallennuspaikka Sivu 25/33
testaajat voisivat käyttää omia tietokoneitaan testauksen aikana, jotta testausta saadaan tehtyä erilaisilla tietokoneilla ja eri selaimilla ja selainasetuksilla. 4.2 OHJAUSMENETTELYT Hyväksymistestauksen lopullisen hyväksynnän tekee hankkeen ja KSHJ:n ohjausryhmät. Ohjausryhmät sekä hyväksyvät kunkin julkaisun käyttöönoton että tekevät koko järjestelmän hyväksynnän. 4.3 MUUTOSHALLINTA Muutoshallinta tapahtuu projektin yleisen muutoshallintaprosessin mukaisesti. 4.4 VIRHEIDEN KIRJAAMINEN JA KÄSITTELY 4.4.1 HAVAINNON KIRJAAMINEN Havainto (virhe tai parannusehdotus) kirjataan havaintoraportointipohjalle. Havainnoista kirjataan vähintään pakolliset perustiedot: testaaja testatun ohjelmiston versionumero & testausympäristö mihin testitapaukseen ja steppiin havainto liittyy mihin toiminnallisuuteen havainto liittyy (palvelu & toiminto) miten virhetilanteeseen päädyttiin miten virhe ilmenee / miten toiminnallisuutta voi parantaa käyttöliittymän kuvakaappaus (Print screen) virhetilanteesta, milloin mahdollista Kuvauksen pitää olla niin kattava, että muut järjestelmän testaajat ja toteuttajat voivat toistaa virhetilanteen. Havaintoraportti lähetetään sähköpostilla testauspäällikölle osoitteeseen oppija.testitulokset@oph.fi. Korkeakoulut voivat käyttää myös GoogleDocsia havaintoraportointiin. Virheen löytäjän vastuulla on analysoida virhe ja kirjata yllämainitut asiat, jotta virheen selvittely olisi mahdollisimman tehokasta tai parannusehdotus on lukijalle ymmärrettävä. 4.4.2 HAVAINTOJEN KÄSITTELY Dokumentin tallennuspaikka Sivu 26/33
Hyväksymistestauksessa tehdyt havainnot raportoidaan vakiopohjaa käyttäen testauspäällikölle. Testauspäällikkö tarkastaa, että havaintoa ei ole aiemmin kirjattu. Testaus päällikkö kirjaa uudet havainnot JIRAan (OPH:n sisäinen työkalu). Virheet menevät toimittajalle korjattaviksi, jonka jälkeen testauspäällikkö ottaa vastaan virheen selvittämiseen liittyvät tiedot toimittajalta ja koordinoi virheen korjauksen tarkastamisen. Parannusehdotukset menevät Opetushallituksen palvelunomistajien arvioitaviksi ja toteutukseen. Havaintojen luokittelu tehdään aina samalla tavalla. Tyyppi Virhe Kuvaus Järjestelmä ei toimi määritysten mukaan (JIRAssa Bug) Puute Järjestelmästä puuttuu sen käyttöönoton kannalta oleellinen toiminnallisuus (toiminnallinen vaatimus puuttuu tai määrittely puuttuu). Parannusehdotus Järjestelmän määriteltyä toiminnallisuutta pitää muuttaa (JIRAssa Improvement) Virheen vakavuusaste luokitellaan seuraavasti: Vakavuusaste Kuvaus Kriittinen Järjestelmää ei voi käyttää ( kaatuu ). Estää kaiken testauksen. Esimerkiksi: Järjestelmään ei pääse kirjautumaan sisään, tai sisäänkirjautumisen jälkeen testattava toiminnallisuus ei käynnisty vaikka käyttäjällä on toimintoon riittävät käyttöoikeudet. Suuri Yksittäistä toimintoa tai ohjelmaa ei voi käyttää. Testausta ei kannata jatkaa. Esimerkiksi: Käyttäjä on syöttänyt kaikki pakolliset tiedot järjestelmään ja tietoa tallennettaessa tulee jokin järjestelmävirhe joka estää tiedon tallentumisen. Tai käyttäjä on tallentanut uuden tiedon tietokantaan Dokumentin tallennuspaikka Sivu 27/33
mutta ei pysty enää muuttamaan sitä (järjestelmä antaa virheilmoituksen). Keskisuuri Määrittelyn vastainen toiminto tai toiminnallinen ongelma, joka voidaan ohittaa. Esimerkiksi: Käyttäjä on perustamassa uutta käyttäjätunnusta ja syöttää tunnukseksi jo olemassa oleva käyttäjän käyttäjätunnuksen. Järjestelmä ei anna tilanteesta virheilmoitusta mutta käyttäjätunnuksen luonti (tallennus) ei onnistu. Virheilmoitus pitäisi tulla käyttäjälle näkyville. Käyttäjätunnuksen perustaminen onnistuu toiselle käyttäjätunnukselle. Pieni Kosmeettinen haitta ohjelman toiminnassa tai dokumentissa. Esimerkiksi: Jossain järjestelmän käyttäjälle antamassa viestissä tai käyttöohjeessa on kirjoitusvirhe. Tai kentän sisältö ei näy käyttöliittymässä kokonaan (vaikka tietoa muokatessa koko sisältö näkyy oikein). Virheet luokitellaan kiireellisyyden (JIRAssa priority) mukaan seuraavasti: Kiireellisyys Kuvaus Välitön Vaatii erittäin kiireellisen korjauksen. Ohittaa muut työt. (JIRAssa Blocker ) Kiireellinen Korjaus viikon kuluessa. (JIRAssa Critical) Normaali Korjaus voidaan siirtää seuraavaan julkaisuun. (JIRAssa Minor) Alhainen Korjauksella ei ole kiire (JIRAssa Trivial) Kiireellisyysluokituksen tekevät Opetushallituksen testauspäällikkö sekä päätuotteenomistajat. 4.4.3 VIRHEEN UUDELLEENTESTAUS Kun virhe on korjattu ja korjattu versio on toimitettu testattavaksi, testataan ainakin se testitapaus uudelleen, jossa virhe havaittiin. Mikäli virheeseen liittyy muitakin Dokumentin tallennuspaikka Sivu 28/33
testitapauksia, ne testataan testaajan harkinnan mukaan (suositeltavaa olisi testata muutkin testitapaukset ainakin jos kyseessä on vakavuusasteeltaan suuri tai kriittinen virhe). Mikäli korjaus on tehty hyväksyttävällä tavalla, voidaan virhe kuitata korjatuksi virheraportointijärjestelmässä. Muutoin virhe avataan uudestaan korjattavaksi. OPH järjestelmätestausryhmä vastaa korjausten testaamisesta. Asiakas voi testata korjaukset myös halutessaan. 4.4.4 ESKALOINTIKETJUN KUVAUS Käytetään projektiorganisaation yleistä eskalointiketjua. 4.5 TESTAUKSEN MITTARIT Hyväksymistestauksesta raportoidaan seuraavat tiedot: Tehdyt havainnot per tyyppi ja vakavuusaste raportoidaan JIRAsta Suoritetut testitapaukset vs. kaikki testitapaukset saadaan testaajien palauttamista testitapauslistoista Suoritetut prosessitestit vs. kaikki prosessitestit saadaan testaajien palauttamista prosessitestilistoista 4.6 TESTAUKSEN RAPORTOINTI Hyväksymistestaukseen osallistuville sekä asiakkaalle tarvitaan näkyvyys kirjattuihin havaintoihin. Testauspäällikkö julkaisee julkisessa Wikissä Excel raportin JIRAan kirjatuista hyväksymistestaushavainnoista ja niiden statuksesta sekä ehdotetusta korjausaikataulusta 4.6.1 VIIKOITTAINEN HYVÄKSYMISTESTAUKSEN TILARAPORTTI Testauspäällikkö raportoi hyväksymistestauksen tilanteesta viikoittain Oppijan palvelukokonaisuuden projekti- ja klusteriryhmälle, KSHJ-hankkeen ohjausryhmälle sekä testausryhmille. Testiraportissa selvitetään: testauksen yleistilanne ja pysyminen aikataulussa riskit ja ongelmat virheiden määrä ja niiden vakavuusluokittelu virheiden korjauksen tilanne erikseen lueteltuna kriittiset virheet ja niiden tila Dokumentin tallennuspaikka Sivu 29/33
Liitteenä raportissa on luettelo löydetyistä virheistä. 4.6.2 VERSION LOPPURAPORTTI Jokaisesta hyväksymistestauksesta testauspäällikkö koostaa loppuraportin, jossa kuvataan testaus ja sen tulokset. Loppuraportti sisältää tiedot version järjestelmätestauksesta, OPH:n hyväksymistestauksesta ja asiakkaan hyväksymistestauksesta. Loppuraportin perusteella ohjausryhmä tekee päätöksen julkaisun tuotantoon siirrosta. Hyväksymistestatun version loppuraporttina toimii viimeisen versio viikkoraportista päivitettynä arviolla avointen kriittisten ja vakavien havaintojen vaikutuksesta käyttöönottoon sekä statistiikalla testitapausten suorituksen toteumasta. Kun ohjausryhmä on tehnyt päätöksen version hyväksymisestä, voidaan versio asentaa tuotantoympäristöön käyttöönotettavaksi. OPH varmistaa omalla testauksella tuotantoon asennetun version toimivuuden. 4.6.3 KOKO JÄRJESTELMÄN LOPPURAPORTTI Koko järjestelmän hyväksymistestauksen loppuraportti tehdään hyväksymistestausvaiheen lopussa, viimeisen hyväksymistestauksen jälkeen. Loppuraportti jaetaan projektin johto- ja ohjausryhmälle sekä testausryhmälle. Loppuraportin perusteella ohjausryhmä tekee päätöksen järjestelmän hyväksymisestä ja projektin päättämisestä. 4.7 VIESTINTÄ JA TIEDOTTAMINEN MITÄ KUKA KENELLE MITEN & KOSKA Testauspäällikkö Testausryhmien yhteyshenkilöt Testauksen aloitusta edeltävät toimenpiteet - testausjärjestelyt ja resurssit sovittava Testauksen aloitusta edeltävät toimenpiteet testitapauksien ja käyttäjäoikeuksien päivitys, testiaineiston teko, jne Testauspäällikkö Palveluiden omistajat ja MPO:t sähköposti / f-2-f - 4vk ennen testauksen alkua sähköposti / f-2-f - 2 vk ennen testauksen alkua Testauksen aloitus Testauspäällikkö Testausryhmät Kick-off - Testauksen alkaessa Testauksen edistyminen Testauspäällikkö Ohjausryhmä, projektiryhmä, testausryhmät Hyväksymistestauksen viikkoraportti & Lista havainnoista ja Dokumentin tallennuspaikka Sivu 30/33
Julkaisun hyväksymistestauksen lopputulos Testauspäällikkö Ohjausryhmä, projektiryhmä, testausryhmät niiden tilat Wikiin - viikottain testauksen alusta käyttöönottoon Hyväksymistestauksen loppuraportti - ennen julkaisun käyttöönottopäätöstä 4.8 TESTAUKSEN LAADUNVARMISTUS Hyväksymistestauspäällikkö katselmoi testitapaukset varmistaa, että testitapaukset on toteutettu ohjeistuksen mukaisesti ja ovat keskenään samankaltaisia. Hyväksymistestauksen tulosten raportoinnin yhteydessä raportoidaan myös testitapausten suorituksen kattavuus: suoritetut vs. suunnitellut testitapaukset. 5 RISKIT Testattava järjestelmä otetaan käyttöön virkailijoiden osalta 05/2013 valmistautuminen hakuun prosessin osalta sekä hakijoiden osalta 09/2013 ammatillisen koulutuksen ja lukiokoulutuksen syksyn yhteishaussa. Ennen käyttöönottoja suoritetaan käyttöönotettavan version hyväksymistestaus, siten että palvelukokonaisuuden koulutus voidaan aloittaa 05/2013. Aikataulun siirtäminen ei ole käytännössä mahdollista. Tämä merkitsee sitä, että testauksessa tulee keskittyä erityisesti järjestelmän välttämättömien osien testaamiseen. Vaikka muutokset eivät ole sisällöllisesti erityisen monimutkaisia, on kyseessä erittäin laaja kokonaisuus testauksen osalta. Tyypillisiin työnkulkuihin keskittyvien tehokkaiden testitapausten laatiminen vaatii huolellista jäsentämistä, jotta kaikki tarpeellinen saadaan testattua kohtuullisella testitapausten määrällä. Testaajien tulee tutustua käyttötapauksiin ja vaatimuksiin hyvin sekä olla tarkkoja yksityiskohdissa. Lista tärkeimmistä tunnistetuista riskeistä. Riskit on kuvattu erillisessä dokumentissa. Dokumentin tallennuspaikka Sivu 31/33
Todennäköisyys Vaikutus Painoarvo HYVÄKSYMISTESTAUSSUUNNITELMA Kuvaus Vaikutus testauksen lopputulokseen Toimenpiteet Testaajat eivät suorita testejä Havaintojen raportointi- ja käsittelyprosessi ei toimi Virheiden suuri määrä Testausta ei saada fokusoitua ko. julkaisun kannalta kriittiseen toiminnallisuuteen Testaukselle ei varata tarpeeksi aikaa tai se jätetään suorittamatta Testausympäristö on puutteellinen Testitapaukset eivät ole kattavia kriittisen toiminnallisuuden suhteen - Virheitä ei löydetä - Tuotantoon siirretään puutteellinen järjestelmä, jota ei voida käyttää - Havaintojen jatkokäsittelijät ylikuormittuvat - Testauksen tulokset jäävät epätarkoiksi - Virheitä ei saada korjatuksi - Julkaisua ei hyväksytä - Tuotantoon siirto viivästyy - Testaajat turhautuvat - Ohjelmiston maine huononee - Testaajat eivät tiedä mitä testata - Testaus ei ole kattavaa kriittisten toiminnallisuuksien suhteen - Tuotantoon siirretään puutteellinen järjestelmä, jota ei voida käyttää - Virheitä ei löydetä - Tuotantoon siirretään puutteellinen järjestelmä, jota ei voida käyttää - Kaikkia testitapauksia ei pystytä suorittamaan - Testaus, hyväksyminen ja tuotantoon siirto viivästyvät - Testaus ei ole kattavaa kriittisten toiminnallisuuksien suhteen - Tuotantoon siirretään puutteellinen järjestelmä, jota ei voida käyttää 2 3 5 2 3 5 - Havaintojen käsittely ohjeistettava - Prosessin toimivuus arvioitava 2 2 4 - Panostettava järjestelmätestaukseen, että virheet löytyvät ennen hyväksymistestausta 2 2 4 - Testitapauksissa kuvataan vain julkaistutoiminnallisuus - Testauksen tavoitteista viestintä - Prosessitestien määrittely 1 3 4 - Pidettävä tiukasti kiinni siitä, että tuotantoon ei julkaista uutta versiota ohi hyväksymistestausmenettelyn 1 3 4 - Palveluiden omistajien ja järjestelmätestiryhmän varmistettava hyväksymistestausympäristön toimivuus ja tarvittavan testiaineiston olemassaolo 1 2 3 - Testitapaukset kuvattava ohjeistuksen mukaisesti - Testitapausten katselmoinnit - Prosessitestien suunnittelu ja vertaaminen testitapauksiin 6 TESTAUKSEN TUOTOKSET Testisuunnitelma Testitapaukset Prosessitestien kuvaukset Havaintoraportit Havaintojenkirjaukset JIRAan Testauksen tilaraportit Confluence:Hyväksymistestaus/Testaussuunnitelma Confluence:Hyväksymistestaus/Testitapaukset Confluence:Hyväksymistestaus/Testitapaukset Sähköpostitse JIRA Confluence:Hyväksymistestaus Dokumentin tallennuspaikka Sivu 32/33