HYVÄKSYMISTESTAUS- RAPORTTI - HAKEUTUJAN PALVELUT JA TODENNETUN OSAAMISEN REKISTERI 13.5.2013 Dokumentin tallennuspaikka Sivu 1/8
SISÄLLYSLUETTELO 1 DOKUMENTIN TARKOITUS... 3 2 TESTAUKSEN TILANNE... 3 2.1 RAJAUKSET... 3 2.2 EDELLYTYKSET TESTAUKSEN ALOITTAMISELLE... 4 2.3 TESTIYMPÄRISTÖ... 4 3 HYVÄKSYMISTESTAUKSEN TULOKSET... 5 3.1 Testitapaukset... 5 3.2 Havainnot... 6 4 JOHTOPÄÄTÖKSET... 8 5 Seuraavat hyväksymistestaukset... 8 LIITTEET... 8 Dokumentin tallennuspaikka Sivu 2/8
1 DOKUMENTIN TARKOITUS Tämä dokumentti kuvaa hakeutujan palveluiden ja todennetun osaamisen rekisterin hyväksymistestiraportin toisen asteen ja korkeakoulujen toimintojen osalta siinä laajuudessa, kuin ne hyväksymistestataan 04/2013-11/2013 välisenä aikana. Raportissa esitellään - Testauksen tilanne - Järjestelmätestauksessa löydetyt avoimet viat vakavuusasteittain - Testattuun versioon korjatut viat vakavuusasteittain - Hyväksymistestauksessa löydetyt viat, puutteet ja kehitysehdotukset palveluittain - Lista kriittisistä ja vakavista vioista palveluittain - Johtopäätökset hyväksymistestauksen tavoitteiden ja tulosten mukaisesti Kohdeyleisö - Dokumentti on tarkoitettu Oppijan palvelukokonaisuuden ohjausryhmille, hankejohdolle ja hyväksymistestiryhmille. 2 TESTAUKSEN TILANNE Testauksen kohteena ovat koulutukseen hakeutumiseen ja valintaan liittyvät pääprosessit ja -työnkulut. Pääprosessit ja -työnkulut testataan hakijan ja virkailijan näkökulmista käsin. Näkökulmat testataan seuraavien haku- ja valintakokonaisuuksien osalta: 1. Ammatillisen koulutuksen, lukiokoulutuksen ja muu peruskoulun jälkeisen koulutuksen haku- ja valintapalvelut 2. Korkeakoulujen haku- ja valintapalvelut Järjestelmäversiolla julkaisu3.1 testattiin Opetushallituksen hyväksymistestaustiimin toimesta 16.4 26.4. välisenä aikana. Julkaisu3.1 testattiin myös toisen asteen ja korkeakoulujen hyväksymistestaajien toimesta 22.3 3.5.2013 välisenä aikana. Julkaisu 3.1 sisälsi seuraavat testattavat palvelut: Käyttäjähallintapalvelu, henkilötietojen hallintapalvelu ja käyttövaltuudet (kaikki kouluasteet) Organisaatiotietojen hallintapalvelu (kaikki kouluasteet) Koodistopalvelu (kaikki kouluasteet) Koulutustarjontatietojen hallintapalvelu (2. asteen ammatillisen ja lukiokoulutuksen osalta) 2.1 RAJAUKSET Dokumentin tallennuspaikka Sivu 3/8
Tämä raportti ei vielä sisällä tietoja seuraavista testauksista kuormitustestaus (testausta tehdään säännöllisesti koko ajan) tietoturvatestaus sisältäen käyttöoikeuksien ja lokituksen kattavan testauksen lokalisointitestaus järjestelmien väliset liittymät järjestelmän tekniseen administrointiin liittyvät toiminnot (mm. asennukset, varmistukset ja palautukset) tiedonsiirtorajapintapalvelut Tukea Internet Explorer versiolle 10 ympäristössä ei ollut vielä toteutettu. 2.2 EDELLYTYKSET TESTAUKSEN ALOITTAMISELLE Hyväksymistestauksen aloittamisen edellytykset hyväksymistestaussuunnitelma on hyväksytty (Valmis) testitapaukset on kuvattu testattavan toiminnallisuuden osalta (Valmis) hyväksymistestiympäristö on määrityksissä kuvatun mukainen ja oikein installoitu ja toimiva (Valmis) testaajille on luotu toimivat testitunnukset (yksi testitunnus per käyttäjä/rooli) (Valmis) testauksen kannalta välttämätön testimateriaali on valmis vähintään 1 viikkoa aiemmin ennen testin alkua (Valmis) o koodistot (valmis) o organisaatiotiedot (valmis) o koulutusten pohjatiedot (koodistosta, valmis) o yhteystietotyypit (valmis) o koosteroolit (valmis) julkaistavasta versiosta ei ole tiedossa testauksen estäviä kriittisiä virheitä (Valmis) 2.3 TESTIYMPÄRISTÖ Testausympäristönä käytettiin Opetushallituksen Oppijan palvelukokonaisuutta varten luomaa testausympäristöä (QA-ympäristö). Testaus tehtiin testaajien omilla työasemilla. Jokaisella asiakkaan testaajalla oli käytössään vastuukäyttäjän roolin mukainen käyttäjätunnus omassa organisaatiossaan. OPH testasi usealla eri roolin mukaisella yhteiskäyttöisellä käyttäjätunnuksella. Testaajien käytössä olivat seuraavat käyttöjärjestelmät: Dokumentin tallennuspaikka Sivu 4/8
Windows XP Windows 7 OS X Testaajien käytössä olivat seuraavat selaimet ja versiot: Chrome 11, Chrome 12 Firefox 12, Firefox 13, Firefox 17.0.5, Firefox 18.0.1, Firefox 20.0.1 Internet Explorer 8, Internet Explorer 9 Safari 3 HYVÄKSYMISTESTAUKSEN TULOKSET 3.1 TESTITAPAUKSET Seuraavassa taulukossa on listattu testaajien suorittamat testitapaukset ja prosessitestit ja niiden läpimeno %. Kaikki palvelut saatiin testattua kattavasti. Testitapausten määrä määrä Onnistui Läpimeno Palvelut kpl kpl % "Punaisen langan prosessi", testissä olleiden palveluiden osalta, keskiarvo 12 12 100 OPH:n tehtävät 17 17 100 2. asteen tehtävät 10 10 100 Korkeakoulujen tehtävät 10 10 100 Käyttäjähallinta ja käyttövaltuudet, keskiarvo 45 38 84 Käyttäjähallinta ja käyttövaltuudet, OPH 45 39 87 Käyttäjähallinta ja käyttövaltuudet, 2. aste 45 39 87 Käyttäjähallinta ja käyttövaltuudet, KK 45 36 80 Organisaatiotietojen hallinta, keskiarvo 21 19 92 Organisaatiotietojen hallinta, OPH 36 32 89 Organisaatiotietojen hallinta, 2. aste, vastuukäyttäjä 22 20 91 Organisaatiotietojen hallinta, 2. aste, katselija 3 3 100 Organisaatiotietojen hallinta, KK 22 21 95 Koodistot, keskiarvo 16 13,5 84 Koodistopalvelu, OPH 28 23 82 Koodistojen katselija 4 4 100 Koulutustarjontatiedot, keskiarvo 37,5 26 69 Dokumentin tallennuspaikka Sivu 5/8
Koulutustarjontatietojen hallinta, OPH 42 28 67 Koulutustarjontatietojen hallinta, 2. aste 33 24 73 3.2 HAVAINNOT Hyväksymistestauksen aikana kirjattiin yhteensä 158 vikailmoitusta virheidenhallintajärjestelmään (Jira). Vikailmoituksia tehtiin huomattavasti enemmän; listalta poistettiin duplikaatit. Havainnoista 37 on korjattu hyväksymistestauksen aikana. Jirassa on tällä hetkellä (13.5.2013) raportoitu 311 avointa vikaa tuotantokäytön aloittavien palveluiden osalta. (Listalla voi edelleen olla muutama duplikaatti). Seuraavassa taulukossa on listattu hyväksymistestauksessa tehdyt avoimet havainnot per tyyppi ja prioriteetti, sekä Jirassa edelleen avoinna olevat kaikki havainnot (tilanne 13.5.2013). Prioriteetin mukaan Hyväksymistestauksessa Jirassa havaitut avoimet viat avoinna olevat viat yhteensä Palvelut Blocker Kriittinen Suuri Keskisuuri Pieni Blocker Kriittinen Suuri Keskisuuri Pieni Käyttäjähallinta ja käyttövaltuudet 0 0 15 10 1 0 0 41 23 4 Organisaatiotietojen hallinta 0 0 24 13 2 0 1 37 47 11 Koodiston hallinta 0 0 8 4 0 0 0 25 19 1 Koulutustarjontatietojen hallinta 0 1 38 7 2 0 3 69 18 2 Virkailijan sähköinen työpöytä 0 0 1 1 0 0 0 4 2 0 Yhteensä: 0 1 86 35 5 0 4 176 109 18 Hyväksymistestauksen aikana tehtiin myös 73 parannusehdotusta käyttöönotettaviin palveluihin. Parannusehdotuksista valtaosa koski käytettävyyden parannusta toteutettuun palveluun. Hyväksymistestauksen aikana tehdyt Palvelut Käyttäjähallinta ja käyttövaltuudet parannusehdotukset 17 Organisaatiotietojen hallinta 23 Koodistot 13 Koulutustarjontatiedot 20 Yhteensä: 73 Seuraavassa taulukossa on esitetty lista käyttöönoton estävistä kriittisistä virheistä. Käyttöönoton estävät virheet ovat palvelunomistajien ja päätuotteenomistajien kriittisiksi(critical, blocker) priorisoimia. Summary Component/s Status Dokumentin tallennuspaikka Sivu 6/8
Koulutuksia luotaessa saman koulutuksen alkamisajankohta muuttuu kaikille samaksi Organisaatiopalvelussa oppilaitoksen vastuukäyttäjä voi poistaa koulutustoimijan, oppilaitoksen sekä toimipisteen vaikka ei saisi voida. Liitteen tietojen lisääminen hakukohteeseen on mahdotonta, koska liitetyyppikoodisto puuttuu Koulutus- ja opetustarjontatietojen hallinta Organisaatiotietojen hallinta (Toimijatiedot) Koulutus- ja opetustarjontatietojen hallinta Reopened (Rejected) Open In Analysis Dokumentin tallennuspaikka Sivu 7/8
4 JOHTOPÄÄTÖKSET Hyväksymistestaus saatiin suoritettua kattavasti eri käyttöjärjestelmien ja selainversioiden osalta. Mitään varsinaista selaimesta johtuvaa vikaa ei löytynyt. Hyväksymistestauksen tuloksena voidaan todeta, että edellytykset käyttöönoton aloitukselle eivät kaikilta osin täyty. Kaikkia hyväksymistestauksessa mukana olleiden palveluiden toiminnallisuuksia ei voi ottaa käyttöön niissä esiintyvien vikojen vuoksi. Palvelut voidaan ottaa käyttöön, mikäli taulukossa esitetyt kriittiset viat on saatu korjattua ja korjaus verifioitua sekä järjestelmätestaus- että hyväksymistestaus-ympäristöissä (viikolla 20) ennen koulutusten ja tuotantokäytön aloitusta, eikä testauksessa havaita uusia kriittisiä virheitä. Korjausten verifioinnin yhteydessä pitää pystyä riittävästi todentamaan myös jo ennestään toimivien kokonaisuuksien virheettömyys (regressiotestaus). Toteutuksen korjaustoimet ovat keskittyneet ja keskittyvät blockereiden ja kriittisten vikojen korjaamiseen jotta tuotantokäytön aloitus suunnitellussa aikataulussa on mahdollista. 5 SEURAAVAT HYVÄKSYMISTESTAUKSET Testaaja Yhteinen tilaisuus Hyväksymistestausaika Testattava kokonaisuus OPH:n hyväksymistestaajat 15.7. 19.8. 15.7-19.7 19.8 23.8 Hakemusten käsittely, hakulomake, valinnat ja sijoittelu, tarjonnan haku ja näyttäminen Opintopolussa 2. asteen hyväksymistestaajat 26.8.- 27.8 26.8-30.8 (- 6.9) Hakemusten käsittely, hakulomake, valinnat ja sijoittelu, tarjonnan haku ja näyttäminen Opintopolussa LIITTEET Lista avoimista vioista löytyy Jirasta. Hyväksymistestauksessa löydetyt havainnot merkitty labelilla Hyväksymistestaus. Havainnot viedään myös ti 14.5. hyväksymistestaustulosten osalta Wikiin https://confluence.csc.fi/display/oppija/tulokset Dokumentin tallennuspaikka Sivu 8/8