Testaussuunnitelma Toiminimi Nina Flink PL 4 37501 Lempäälä Y-tunnus 2281388-9 www.ninaflink.com
Sisältö Testaussuunnitelma... 3 Projektitiimi... 4 Testausjärjestelyt... 5 Testauksen tavoitteet... 5 Testausmenetelmät... 6 Testauksen kulku... 6 Tulosaineisto ja pisteytys... 7 Testauksen yhteydessä tallennettu aineisto... 7 Aikataulu... 8 Testausympäristö... 8 Testauspaikka... 8 Testauslaitteisto... 8 Testikäyttäjät... 9 Testitehtävät... 9 2
Testaussuunnitelma Tässä testaussuunnitelmassa kuvataan Tampere3 (Tampereen yliopisto (TaY), Tampereen teknillinen yliopisto (TTY) ja Tampereen ammattikorkeakoulu (TAMK)) hankinnan kohteena olevan HR-järjestelmän tarjouskilpailuun osallistuvien järjestelmien käytettävyystestaussuunnitelma. Käytettävyystestauksesta vastaa UX-yrittäjistä koostuva projektitiimi. Käytettävyystestaus on osa HR-järjestelmän hankintaprosessia ja käytettävyystestauksella varmistetaan, että hankittava järjestelmä soveltuu Tampere3:n tarpeisiin. Dokumentissa esitetään testausjärjestelyt, testauksen aikataulu, testausympäristö, testikäyttäjät sekä esimerkkitestitehtävät. Testitehtävät tarkentuvat tilaajan tarpeiden, käyttäjäryhmien sekä järjestelmien testattavien osa-alueiden perusteella. Testausjärjestelyjen yhteydessä esitellään testauksen tavoitteet yleisellä tasolla, käytettävät testausmenetelmät, testauksen kulku sekä tulosaineiston ja testattavien järjestelmien paremmuusjärjestyksen määrittelevät tekijät. Tulosaineiston yhteydessä esitetään myös tulosaineistoon liittyvät ehdot ja rajoitteet. 3
Projektitiimi Käytettävyystestauksesta vastaavat seuraavat asiantuntijat: Nina Flink UX-asiantuntija Puhelin: +358 50 317 4119 Sähköposti: nina@ninaflink.com Jukka Järvelä UX-asiantuntija Puhelin: +358 40 727 1610 Sähköposti: jukka.jarvela@uxcel.fi Matleena Koivisto UX-asiantuntija Puhelin: +358 40 130 5550 Sähköposti: matleena.koivisto@gmail.com 4
Testausjärjestelyt Tässä kappaleessa esitellään käytettävyystestauksen testausjärjestelyt yleisellä tasolla. Testauksen tavoitteet Käytettävyystestauksella selvitetään testattavien HR-järjestelmien käytettävyyden ja käyttäjäkokemuksen taso niiltä osin kuin se käytettävyystestien aikana suoritettavien tehtävien osalta on mahdollista. Käytettävyystestauksessa selvitetään kuinka hyvin järjestelmät vastaavat ISO-standardin (ISO 9241-11) mukaisiin käytettävyysattibuutteihin tehokkuus, tarkoituksenmukaisuus ja tyytyväisyys. Näiden lisäksi testauksessa selvitetään muun muassa järjestelmien opittavuutta ja intuitiivisuutta. Käytettävyystestauksen varsinaisesta testausosasta saadaan laadullista haastattelu- ja havainnointiaineistoa liittyen käyttäjien subjektiivisiin kokemuksiin järjestelmien käytettävyydestä. Projektitiimin asiantuntijat analysoivat aineiston, jonka perusteella asiantuntijat arvioivat kunkin järjestelmän soveltuvuuden Tampere3:n tarpeisiin asetettujen vaatimusten mukaan. Numeerisesti vertailtavissa olevaa arviointiaineistoa saadaan testauksien välillä täytettävillä kyselyillä, joissa käyttäjät arvioivat järjestelmiä omien kokemusten pohjalta ja asettavat lopuksi järjestelmät oman kokemuksensa mukaiseen paremmuusjärjestykseen. Järjestelmiä ei käytännön rajoitteiden vuoksi voida testata kaikilta yksittäisten järjestelmien osilta. Testattavat toiminnot ja osa-alueet sovitaan tilaajan kanssa siten, että testitehtävät keskittyvät tilaajalle olennaisimpiin toimintoihin, mutta kuitenkin siten, että kaikkia järjestelmiä voidaan näiden osalta testata. Järjestelmät asetetaan saadun informaation perusteella paremmuusjärjestykseen käytettävyystestauksen osalta. 5
Testausmenetelmät Käytettävyystesteissä käyttäjiä pyydetään suorittamaan järjestelmillä ennalta määrättyjä tehtäviä omatoimisesti. Testauksessa käytetään ns. Think Aloud-menetelmää, jossa käyttäjiä pyydetään kertomaan ja kuvailemaan ajatuksiaan ja kokemuksiaan tehtäviä suorittaessaan. Testien moderaattorit kirjaavat tehtävien suoritusten aikana havaitsemiaan ongelmia ja näiden lisäksi myös havaintoja niistä osa-alueista, joista käyttäjät suoriutuvat tehtäviä suorittaessaan ongelmitta. Tehtävien suoritusten jälkeen käyttäjiä pyydetään täyttämään lyhyt 15 kysymystä sisältävä kysely, joka pohjautuu tunnettuihin käytettävyyskyselyihin kuten SUS (System Usability Scale), SUMI (Software Usability Measurement Inventory) ja QUIS (Questionnaire for User Interaction Satisfaction). Kyselyn vastaukset annetaan viisiportaisella likert-asteikolla. Kysely täytetään, kun kaikki testitehtävät on suoritettu. Käyttäjät jaetaan ryhmiin ja järjestelmien testausjärjestystä vaihdetaan eri käyttäjien kohdalla. Tällä pyritään eliminoimaan testausjärjestyksen aiheuttamat vinoutumat tuloksiin. Testauksesta laaditaan äänitallenne. Testauksen aikana saatetaan tarpeen vaatiessa tallentaa video- ja still-kuvamateriaalia. Testauksen kulku Testauksen alussa käyttäjille esitetään testauksen tarkoitus ja selostetaan testitilanteen kulku lyhyesti. Alkuesittelyn ainaka käyttäjiä pyydetään allekirjoittamaan suostumus testaukseen ja kuva- ja ääniaineiston tallentamiseen. Alkuesittelyn jälkeen järjestelmät testataan järjestyksessä ja jokaisen järjestelmän testauksen jälkeen käyttäjä täyttää siihen liittyvän kyselyn. Kun kaikki järjestelmät on testattu, käyttäjää pyydetään vielä täyttämään kysely, jossa järjestelmät pyydetään asettamaan paremmuusjärjestykseen. Testausaineisto arkistoidaan ja kuvamateriaali tallennetaan kunkin yksittäisen testauksen jälkeen. Ääni- ja kuvamateriaali varmuuskopioidaan kunkin testauspäivän päätteeksi ulkoiseen tietovarastoon. Yksittäinen testitapahtuma pyritään viemään läpi kahdessa tunnissa. Testausasetelman toiminta varmistetaan ennen varsinaisten testien aloittamista suoritettavalla pilottitestauksella. Pilottitestauksen havaintojen perusteella varsinaiseen testaukseen saatetaan joutua tekemään muutoksia esimerkiksi testitehtävien suhteen. 6
Tulosaineisto ja pisteytys Testauksen tulosaineisto analysoidaan ja arvioidaan projektitiimin toimesta. Yksittäiset havainnot luokitellaan seuraavan asteikon mukaisesti: 1. Lievä ongelma tai kosmeettinen haitta 2. Merkittävä ongelma 3. Kriittinen ongelma Tehtävien suoritusten perusteella saadut havainnot arvioidaan ja luokitellaan. Kunkin järjestelmän havaintojen arviointi perustuu asetettuihin käytettävyysvaatimuksiin ja siihen, kuinka merkittävä vaikutus havainnolla on käyttäjän tavoitteen saavuttamiseen. Pisteytyksessä huomioidaan myös käyttäjien testauksen aikana antamat kommentit soveltuvasti. Järjestelmäkohtaisten kyselyiden tulokset kootaan yhteen järjestelmittäin ja kyselyiden tulokset lasketaan yhteen. Testauksen lisäksi pisteitä annetaan asiantuntija-arviosta. Asiantuntija-arviosta on mahdollisuus saada enintään 60 pistettä ja käytettävyystestauksesta enintään 90 pistettä eli yhteensä 150 pistettä. Asiantuntija-arviosta ja käytettävyystestauksesta saadut pisteet lasketaan yhteen ja näin saadut pisteet painotetaan seuraavasti: Käytettävyystestin painoarvo on 20 % eli enintään 20 pistettä. Vertailussa paras järjestelmä (eniten pisteitä saanut) saa 15 pistettä. Muut saavat pisteitä seuraavasti: vertailtava pistemäärä / eniten pisteitä saaneen tarjoajan pistemäärä * 20. Testauksen yhteydessä tallennettu aineisto Testauksen aikana tallennettu aineisto on luottamuksellista, eikä testauksen aikana tallennettua aineistoa (mukaan lukien kuva- ja ääniaineisto) luovuteta missään olosuhteissa kolmansille osapuolille. Aineisto on vain ja ainoastaan testauksesta vastaavan tahon (projektitiimi) hallussa ja käytettävissä. Aineisto tuhotaan välittömästi toimenksiannon päätyttyä. 7
Aikataulu Käytettävyystesteihin arvioidaan kuluvan noin kaksi - kolme viikkoa, riippuen siitä, kuinka monta järjestelmää testaukseen kuuluu, ja kuinka testausajat saadaan järjestettyä valittujen käyttäjien kanssa. Testien analysoimiseen, pisteytykseen ja raportointiin tilaajalle arvioidaan alustavasti kuluvan noin kaksi viikkoa. Testausympäristö Tässä kappaleessa esitellään käytettävyystestauksen suunniteltu suorituspaikka ja käytettävyystestauksessa käytettävä testauslaitteisto. Testauspaikka Käytettävyystestit suoritetaan käytettävyystestauslaboratoriossa tai muuten vastaavissa tiloissa, joihin testausympäristön saa pystytettyä. Testauslaitteisto Testauslaitteisto edustaa nykyaikaista työpöytäkäyttöön tarkoitettua työasemaa. Laitteistossa on asennettuna Tampereen teknillisellä yliopistolla, Tampereen yliopistolla ja Tampereen ammattikorkeakoululla tuetut selaimet, joilla testattavien järjestelmien tulee toimia. Poikkeusjärjestelyistä on ilmoitettava ja sovittava testauksesta vastaavan tahon (projektitiimi) kanssa hyvissä ajoin ennen testauksen aloittamista. Järjestelmätoimittajien tulee ensisijaisesti pyrkiä kaikien mahdollisin keinoin siihen, ettei poikkeusjärjestelyihin tarvitse ryhtyä. Järjestelmät tulee olla käytettävissä kaksi (2) arkipäivää ennen testauksen aloittamista. 8
Testikäyttäjät Käytettävyystesteihin osallistuvat käyttäjät on valittu tilaajan puolesta. Käyttäjät edustavat hankinnan kohteena olevan järjestelmän tyypillisiä käyttäjiä tilaajan määrittelemistä käyttäjäryhmistä. Testikäyttäjien määrä tarkentuu tilaajan tarpeiden perusteella sekä testattavien järjestelmien määrän perusteella. Testitehtävät Testitehtävät valitaan ja suunnitellaan tilaajan laatimien käyttötapausten pohjalta. Tehtävät jakautuvat eri käyttäjäryhmien välillä siten, että kunkin tehtävät suorittavat testauksessa ne käyttäjäryhmät, joiden työtehtävien kannalta tehtävä on olennainen. Testitehtävien osalta tulee huomioida se, ettei järjestelmillä ole asiantuntija-arvioiden perusteella mahdollista testata kaikkia tilaajan laatimia käyttötapauksia. Käyttötapauksia joudutaan näin ollen karsimaan, muokkaamaan ja yksinkertaistamaan huomattavassa määrin käytettävyystestausta varten. Testitehtävien valinnassa pyritään siihen, että kaikki tehtävät ovat suoritettavissa jokaiselle järjestelmälle tavalla tai toisella. Mikäli testauksen aikana on ilmeistä, ettei käyttäjä suoriudu tehtävästä, tehtävän suoritus keskeytetään ja testauksessa siirrytään seuraavaan tehtävään. 9