MATKAKORTTIAUTOMAATTI Testaussuunnitelma

Transkriptio

1 T Käyttäjäkeskeisen tuotekehityksen harjoitustyö MATKAKORTTIAUTOMAATTI Testaussuunnitelma

2 Sisällysluettelo 1 Johdanto Yleistä harjoitustyöstä Käyttäjäryhmät Käytettävyystestin tavoite Käytettävyyskriteerien määrittely Käytettävyysominaisuudet Opittavuus Miellyttävyys Virheettömyys Tehokkuus Muistettavuus Käytettävyysominaisuuksien toteutumisen mittaus Opittavuuden mittaus Miellyttävyyden mittaus Virheettömyyden mittaus Käytettävyyskriteerien testaaminen Testikäyttäjien valinta Testausmenetelmät Havainnointi Ääneen ajattelu Kysely ja haastattelu Testien toteutus Testin kulku Aineiston tallennus ja testausryhmän työnjako Testiympäristö Käytettävyystestissä suoritettavat tehtävät Heti alkavan kauden lataus käteisellä maksaen Kauden lataus tulevalle ajalle pankkikortilla maksaen Arvon lataus valmiilla summalla pankkikortilla maksaen Arvon lataus omalla summalla käteisellä maksaen Kertalipun osto käteisellä maksaen Kysely ja haastattelu Kyselyt Haastattelu Aineiston analysointi Kvantitatiivisen aineiston analysointi Kvalitatiivisen aineiston analysointi Käytettävyystestin testaus Pilottitestin tavoitteet Pilottitestin toteutus Pilottitestin analyysi Pilottitesti käytettävyystestinä Heuristinen arviointi lisämenetelmänä Jatkosuunnitelmat...25 Lähteet...26 Liite 1 Kyselylomake...27 Liite 2 Käyttäjävaatimukset...28

3 1 Johdanto 1.1 Yleistä harjoitustyöstä Tämä raportti liittyy harjoitustyöhön, jonka tarkoituksena on suunnitella käyttäjäkeskeisesti matkakortin latausautomaatti. Matkakortti on pääkaupunkiseudun joukkoliikenteessä käytettävä kortti, jolle voi ladata arvoa tai kautta. Latausautomaatilla voi ladata kortille sekä kautta että arvoa, ja lisäksi sillä voi ostaa kertalippuja pääkaupunkiseudun joukkoliikenteeseen. Tässä harjoitustyössä valitaan yksi monista matkakorttiautomaatin käyttäjäryhmistä, tutkitaan tämän ryhmän tarpeita ja suunnitellaan lopulta automaatti, joka täyttää ryhmän tarpeet. Tämä nimenomainen raportti on harjoitustyön toiseen vaiheeseen liittyvä testaussuunnitelma, jossa asetetaan tuotteelle käytettävyyskriteerit ja suunnitellaan paperiprototyypin avulla tapahtuva kriteerin täyttymisen testaus. 1.2 Käyttäjäryhmät Tässä harjoitustyössä pyritään suunnittelemaan matkakorttiautomaatti yhden käyttäjäryhmän tarpeiden perusteella ottaen kuitenkin sopivassa määrin huomioon muutkin mahdolliset käyttäjäryhmät. Erityisesti huomioon otettavan käyttäjäryhmän rajauksessa jako tehtiin kolmen kriteerin perusteella; nämä kriteerit olivat ikä, asuinpaikka ja ammatti. Kunkin kriteerin perusteella valittiin kaikista mahdollisista käyttäjistä tietty ryhmä. Iän suhteen jakautuneista käyttäjäryhmistä valittiin yli 50-vuotiaat pääkaupunkiseudun joukkoliikenteen käyttäjät. Tämän käyttäjäryhmän erityispiirre on tällä hetkellä, että he ovat eläneet nuoruutensa ilman tietotekniikkaa ja vain osa heistä on myöhemminkään hankkinut itselleen vankkoja tietoteknisiä taitoja. Ikäryhmään kuuluville on tyypillistä myös heikentyneet aistit ja reaktionopeus. Yli 50-vuotiaiden käyttäjien ryhmä valittiin sen takia, että heillä kaikista ikäryhmistä todennäköisimmin on ongelmia koneen kanssa kommunikoinnissa, ja käyttäjäkeskeisen suunnittelun avulla nämä ongelmat voisivat olla ratkaistavissa. Asuinpaikan suhteen jakautuneista käyttäjäryhmistä valittiin pääkaupunkiseudulla asuvat joukkoliikenteen käyttäjät, koska he ovat joka tapauksessa automaattien pääasiallisia käyttäjiä. Pääkaupunkiseudun ulkopuolella asuvat saattavat toki joskus käyttää matkakorttiautomaattia, mutta ei kuitenkaan liene mielekästä suunnitella automaattia erityisesti ulkopuolisia varten unohtaen pääkaupunkiseudulla asuvat. Matkakorttiautomaatin pääasiallinen tarkoitus on olla 1

4 pääkaupunkiseudun asukkaiden käytettävissä ulkopuoliset voidaan toki huomioida erikseen tämän lisäksi. Käyttäjien eri ammattiryhmistä suljettiin pois muun muassa opiskelijat, eläkeläiset ja työttömät jättäen jäljelle kaikki työssäkäyvät ihmiset. Ajatuksena on tarkastella käyttäjäryhmää, joka käyttää joukkoliikennettä tyypillisellä tavalla. Työssäkäyvistä joukkoliikenteen käyttäjistä suuri osa käyttänee joukkoliikennettä melko säännöllisesti työmatkoihin. Tästä rajauksesta ei haluttu tehdä liian rajoittavaa, jotta kolmen eri dimension suhteen rajattu ryhmä ei kutistuisi liian pieneksi. Kuvassa 1 on esitetty eri käyttäjäryhmien painotukset tässä harjoitustyössä. Tummanharmaa kolmiomainen alue keskellä kuvaa on harjoitustyöhön valittu käyttäjäryhmä: yli 50-vuotiaat työssäkäyvät, pääkaupunkiseudulla asuvat, pääkaupunkiseudun joukkoliikennettä käyttävät ihmiset. Kolme muuta kolmiomaista aluetta kuvaavat ryhmiä, joilla on kaksi vaadittavista ominaisuuksista, mutta yksi puuttuu. Näihin ryhmiin kuuluvat ihmiset huomioidaan suunnittelussa varsinaisen valitun ryhmän rinnalla. Lisäksi vielä vaaleamman harmaat alueet, joissa vain yksi vaadittavista ominaisuuksista täyttyy, tulevat jollain tasolla huomioiduksi automaatin suunnittelussa. Kaikkien näiden alueiden ulkopuolisen alueen huomiointi on marginaalista, mutta ei kuitenkaan aivan olematonta. Kuva 1 Mahdolliset käyttäjät ja valitun käyttäjäryhmän rajaus 2

5 1.3 Käytettävyystestin tavoite Käytettävyystestin tarkoituksena on selvittää, onko matkakorttiautomaattiin suunniteltu käyttöliittymä toimiva. Käytettävyystestillä kerättyä tietoa käytetään myöhemmin hyväksi automaatin käyttöliittymän kehittämisessä. Käytettävyystesti tehdään käyttäen hyväksi sitä varten luotua paperiprototyyppiä, joka muistuttaa suunniteltua tuotetta niiltä osin kuin se testattavien käytettävyyskriteerien kannalta on tarpeellista. Testauksen tavoitteena on kerätä mahdollisimman tarkkaa tietoa siitä, kuinka hyvin suunniteltu käyttöliittymä täyttää tässä suunnitelmassa asetetut käytettävyyskriteerit. Lisäksi tutkitaan harjoitustyön edellisessä vaiheessa määriteltyjen, käyttäjätutkimuksen pohjalta muodostettujen käyttäjävaatimusten täyttymistä. Testin tarkoituksena on nimenomaan selvittää automaatin käyttöliittymän toimivuutta valitun käyttäjäryhmän kannalta. 2 Käytettävyyskriteerien määrittely 2.1 Käytettävyysominaisuudet Käytettävyys voidaan jakaa osatekijöihin eri tavoin. Tässä harjoitustyössä analysoidaan tuotteen käytettävyyttä Jacob Nielsenin muotoilemien käytettävyysominaisuuksien perusteella. Nielsenin määrittelemät käytettävyysominaisuudet ovat opittavuus, muistettavuus, tehokkuus, virheettömyys ja miellyttävyys. Vaihtoehtoisesti olisi esimerkiksi voitu käyttää ISO standardissa määriteltyjä käytettävyyskriteereitä, jotka ovat tuottavuus, tehokkuus ja miellyttävyys. Nielsenin jaottelu on hieman yksityiskohtaisempi kuin ISO-jaottelu, mutta Nielsenin ominaisuudet ovat kyllä johdettavissa ISO-standardin määrittelemistä ominaisuuksista. ISO-jaottelun todettiin olevan tähän harjoitustyöhön hieman liian yleisluontoinen, joten päädyttiin Nielsenin jaotteluun, jossa ominaisuuksien toteutuminen on helpommin mitattavissa. Nielsenin käytettävyysominaisuuksia haluttiin käyttää myös sen takia, että ne ovat laajassa käytössä. [1] Tämän työn kannalta Nielsenin käytettävyysominaisuuksien tärkeysjärjestys on seuraava: 1. Opittavuus 2. Miellyttävyys 3. Virheettömyys 4. Tehokkuus 5. Muistettavuus 3

6 Seuraavaksi käydään tärkeysjärjestyksessä läpi Nielsenin muotoilemat käytettävyysominaisuudet, ja samassa on pohdintaa käytettävyysominaisuuksien yhteydestä ryhmän tutkimusaiheeseen Opittavuus Opittavuudella (learnability) tarkoitetaan sitä, kuinka nopeasti aloittelija saavuttaa kohtalaisen taidon tuotteen käytössä [2]. Tuotteella on siis hyvä opittavuus, jos sen käyttäminen ensimmäisen käyttökerran aikana sujuu hyvin. Opittavuuden kriteeri on matkakorttiautomaatin kohdalla hyvin tärkeä. Matkakorttiautomaatin pitää olla kenen tahansa käytettävissä, eikä se saa edellyttää käyttäjältä aikaisempaa kokemusta. Matkakorttiautomaatilta vaaditaan, että ensikertalainenkin onnistuu suorittamaan sillä haluamansa toimenpiteen. Valitun käyttäjäryhmän kohdalla opittavuus vaatii erityishuomiota, sillä iäkkäämmille ihmisille uusien asioiden opettelu voi olla keskimääräistä vaikeampaa. Ensimmäisessä vaiheessa tehdyn käyttäjätutkimuksen tärkeimpiä tuloksia oli, että valittuun käyttäjäryhmään kuuluvat ihmiset usein pelkäävät kokeilla matkakorttiautomaattia. Tämä korostaa opittavuuden merkitystä edelleen. Jos matkakorttiautomaatin ulkoasu viestittää opittavuudesta, automaatti täyttää vaatimuksen 8. Matkakorttiautomaatin tulee näyttää yksinkertaiselta käyttää ja kannustaa käyttäjää kokeilemaan automaattia ensimmäisen kerran. Jos vielä automaatin opittavuus käytön aikana osoittautuu hyväksi, käyttäjä luultavasti voittaa pelkonsa ja uskaltaa käyttää automaattia myös tulevaisuudessa. Suurin osa määritellyistä käyttäjävaatimuksista liittyy nimenomaan opittavuuteen. Tärkeimpiä opittavuuteen liittyviä käyttäjävaatimuksia ovat mm.: 1. Matkakorttiautomaatin tulee antaa käyttäjälle ohjeita. 3. Matkakorttiautomaatin antamien ohjeiden tulee olla yksikäsitteisiä. 4. Matkakorttiautomaatin antamien ohjeiden tulee olla selkeitä. 5. Tekstien tulee olla helposti havaittavissa 6. Käyttäjälle tulee olla selvää, mihin rahat ja kortti laitetaan. 7. Käyttäjälle tulee olla selvää, mistä milloinkin painetaan. Näiden vaatimusten täyttyminen parantaa matkakorttiautomaatin opittavuutta. Riittävän ja hyvin toteutetun ohjeistuksen saatavuus on ensiarvoisen tärkeää tuotteen opittavuuden varmistamiseksi. 4

7 Ohjeiden ja käyttöliittymäelementtien ulkonäkö ja asettelu liittyvät myös olennaisesti käytettävyyteen. Lisäksi on tärkeää, että käyttäjälle tulee kertoa, miten ongelmatapauksissa toimitaan. Tämän perusteella automaatin käyttäjä kykenee toimimaan oikein myös epätavallisissa tilanteissa Miellyttävyys Käytön miellyttävyys (satisfaction) sisältää toisaalta käyttäjien subjektiivisen arvioinnin tuotteen käyttämisen miellyttävyydestä, toisaalta siihen kuuluu "lähestyttävyys" (approachability) eli miten käytettävältä tuote näyttää ennen sen käyttämistä [2]. Matkakorttiautomaatin käytössä miellyttävyys ei välttämättä aina ole kovin tärkeää, koska automaattia käytetään vain harvoin ja lyhyen aikaa kerrallaan. Tähän työhön valitun käyttäjäryhmän kohdalla automaatin käytön miellyttävyys kohoaa kuitenkin toiseksi tärkeimmäksi käytettävyyskriteeriksi. Tämä johtuu siitä, että käyttäjätutkimuksesta saatujen tulosten perusteella useat matkakortin käyttäjät eivät uskalla käyttää matkakorttiautomaattia siihen liittyvien epäluulojen ja pelkojen takia. Automaatti näytti haastateltavien mielestä monimutkaiselta, eivätkä haastateltavat luottaneet siihen, että se ohjaa käyttäjää riittävästi. Haastateltavat olivat huolissaan siitä, että automaatti näyttää liikaa tietoja liian nopeasti, eivätkä he ehdi ymmärtää, mitä pitäisi tehdä. Yleinen oli myös pelko, että automaatti syö rahat tai pankkikortilla maksettaessa imaisee kortin sisäänsä. Lähestyttävyyteen liittyviä vaatimuksia ovat: 8. Matkakorttiautomaatin tulee näyttää yksinkertaiselta käyttää. 12. Matkakorttiautomaatin ulkoasussa tulee olla jotakin käyttäjälle tuttua. 21. Matkakorttiautomaatin tulee vaikuttaa luotettavalta. Lähestyttävyyden lisäksi myös miellyttävä käyttökokemus on tavoiteltava ominaisuus tarkasteltavan käyttäjäryhmän kohdalla. Miellyttävä käyttökokemus ensimmäisellä kokeilukerralla edesauttaa sitä, että automaattia uskalletaan kokeilla toisenkin kerran. Automaattia etukäteen pelkäävälle käyttäjälle miellyttävä käyttökokemus liittyy vahvasti opittavuuteen opittavuudeltaan hyvä automaatti tarjoaa käyttäjälle onnistumisen ja helpotuksen tunteen. Muita miellyttävyyteen liittyviä vaatimuksia ovat: 19. Suuret vaihtorahat tulee voida saada matkakorttiautomaatista setelimuodossa. 22. Matkakorttiautomaatteja tulee sijaita myös lämpimissä sisätiloissa. 5

8 2.1.3 Virheettömyys Virheettömyys tarkoittaa käyttäjän tekemien virheiden määrää ja laatua. Ensinnäkin virheettömyyden kohdalla tarkastellaan korjattavissa olevien virheiden laatua ja tapahtumistiheyttä sekä virheiden korjaamismahdollisuuksia ja korjaamisen onnistumista. Toisaalta tarkastellaan myös peruuttamattomia ja tuhoisia virheitä ja niiden seuraamuksien vakavuutta. [2] Verrattain merkityksettöminä virheinä voidaan matkakorttiautomaatin käytön yhteydessä pitää esimerkiksi virhepainalluksia, jotka vievät käyttäjän väärään valikkoon, jonkin kentän tietojen syöttämisen unohtamista, jne. Tällaisiin virheisiin viitataan myöhemmin raportissa termillä pieni virhe. Automaatti voi pyrkiä estämään virheitä tekemällä joitakin toimintoja mahdottomiksi, mutta ilman tietoa käyttäjän tavoitteista esimerkiksi väärään valikkoon menoa ei voi mitenkään estää. Oleellista näissä tapauksissa on, että käyttäjä voi korjata virheensä, esimerkiksi menemällä takaisinpäin navigaatiohierarkiassa, valitsemalla keskeytys-toiminnon tms. Mikäli tapahtuu sellainen virhe, jonka automaatti tunnistaa virheeksi (esim. pankkikortin tunnusluku syötetään väärin) automaatin on ensiarvoisen tärkeää kertoa käyttäjälle tapahtuneesta virheestä ja ohjata käyttäjän toimintaa virheen korjaamiseksi. Jos tunnusluvun syöttää väärin kolme kertaa peräkkäin, kyseessä on jo hieman vakavampi virhe, sillä se ei ole välittömästi korjattavissa (automaatti taltioi kortin). Suhteellisen vakavina virheinä voidaan pitää virheitä, jotka ovat peruuttamattomia ja joista aiheutuu käyttäjälle taloudellista vahinkoa. Näitä virheitä voisivat olla mm. väärän rahamäärän lataaminen matkakorttiin, väärän ajanjakson syöttäminen tai vaihtorahan unohtuminen laitteeseen. Tällaisista virheistä käytetään myöhemmin termiä keskivakava. Näitä virheitä on mahdollista ehkäistä esimerkiksi varmistamalla kyseisissä tilanteissa käyttäjän toiminta, esimerkiksi kysymällä käyttäjältä haluaako tämä varmasti toteuttaa halutun toiminnon valituilla syötteillä. Erittäin vakavina virheinä voidaan pitää virheitä, joista voi aiheutua käyttäjälle merkittävää taloudellista vahinkoa. Tämän tyyppisiä virheitä voivat olla esimerkiksi pankki- tai matkakortin unohtuminen automaattiin. Virheellisten käyttäytymismallien vahvistamista voidaan myös pitää vakavana virheenä. Esimerkkinä tällaisesta tilanteesta käy vaikka skenaario, jossa käyttäjä aina lataa aina itselleen sisäistä kautta, vaikka matkustaakin jatkuvasti koko seudulla. Tällöin käyttäjä tietämättään käyttää laitetta väärin. Erittäin vakavia virheitä kutsutaan myöhemmin raportissa kriittisiksi virheiksi. 6

9 Tämän harjoitustyön käyttäjävaatimuksista lähes kaikki ovat sellaisia, jotka toteutuessaan vähentävät virheiden määrää, esimerkiksi 7. Käyttäjälle tulee olla selvää, mistä milloinkin painetaan. Kortin unohtumiseen (vakavaksi luokiteltu virhe) liittyy erillinen vaatimus 23. Matkakorttiautomaatin tulee ehkäistä kortin unohtumista laitteeseen. Virheiden korjaamiseen taas liittyy vaatimus 11. Käyttäjälle tulee kertoa, miten ongelmatapauksessa toimitaan. Virheettömyys on oleellinen kriteeri matkakorttiautomaatin yhteydessä, koska automaatin käyttöön sisältyy vakavien virheiden vaara. Vakavien virheiden ennaltaehkäisy on automaattia suunnitellessa erittäin tärkeää. Myös vähemmän vakavien virheiden estämiseen ja niistä selviämiseen tulee ehdottomasti kiinnittää huomiota, mutta siitä huolimatta virheettömyyden ei katsottu tässä työssä olevan ensisijaisen tärkeä käytettävyysominaisuus Tehokkuus Tehokkuudella (efficiency) tarkoitetaan harjaantuneen käyttäjän työskentelynopeutta [2]. Tuote on siis sitä tehokkaampi, mitä nopeammin sillä saa tehtyä sellaisen toimenpiteen, jonka osaa jo tehdä. Matkakorttiautomaatin käyttötilanne on yleensä kiireinen, joten automaatin käytön pitäisi sujua nopeasti. Tämä on myös käyttäjävaatimuksissa, vaatimus 15. Matkakorttiautomaattia tulee olla nopea käyttää. Jos automaatin käyttöön menisi enemmän aikaa kuin matkakortin lataamiseen R- kioskilla, eivät automaatit varmaankaan olisi kovin suosittuja. Tässä työssä tarkasteltavan käyttäjäryhmän erityispiirteiden vuoksi tehokkuus ei kuitenkaan ole ensiarvoisen tärkeä käytettävyysominaisuus. Käyttäjätutkimuksessa haastatellut ihmiset kertoivat arvostavansa käytön helppoutta ja varmuutta huomattavasti enemmän kuin nopeutta. Automaatin käyttötilanteen nimenomaan toivottiin olevan tahdiltaan sen verran rauhallinen, että käyttäjä tuntee pysyvänsä tahdissa mukana. Automaattien liian nopeaa toimintaa jopa hieman pelättiin. Tämä näkyy käyttäjävaatimuksessa 9. Matkakorttiautomaatti ei saa olla liian nopea. Tässä työssä tehokkuus ei siis ole äärimmäisen tärkeä käytettävyysominaisuus, mutta siihenkin kiinnitetään jonkin verran huomiota Muistettavuus Muistettavuus (memorability) eli käyttötaidon säilyminen tarkoittaa satunnaisen käyttäjän kykyä muistaa aiemmin opittu tuotteen käyttötapa [2]. 7

10 Muistettavuus on tärkeää, jotta matkakorttiautomaatin käyttäjä pystyy toimimaan nopeasti asioidessaan automaatilla. Olisi myös hyvä, mikäli käyttäjä pystyisi muistamaan jotain aiemmista käyttökerroista, niin että samat virheet eivät toistuisi säännöllisesti. Lisäksi olisi suotavaa, että käyttäjä ei joka kerta automaattia käyttäessään joutuisi täydellisesti opettelemaan kaikkea uudestaan. Automaatin käyttö on usein käytetyiden automaattien kohdalla monesti aika pitkälle automatisoitunut toimenpide, joten muistettavuudella on automaattien käytössä huomattava rooli. Muistettavuus on kaiken kaikkiaan matkakorttiautomaatin käytön sujuvuutta edistävä tekijä. Tässä tapauksessa se kuitenkin jäi tärkeydeltään viimeiseksi, koska automaatin suunnittelussa panostetaan erityisesti opittavuuteen. Mikäli automaatin opittavuus on erittäin hyvä, automaatin käyttö on helppoa ensimmäisen kerran lisäksi myös myöhemmillä kerroilla, vaikka käyttäjä ei muistaisi automaatin käytöstä mitään. Opittavuuden onnistuessa siis muistettavuus menettää merkitystään, mutta jossain määrin se kannattaa kuitenkin ottaa huomioon. 2.2 Käytettävyysominaisuuksien toteutumisen mittaus Tässä työssä mitataan käytettävyystestillä kolmen tärkeimmän käytettävyysominaisuuden opittavuuden, miellyttävyyden ja virheettömyyden täyttymistä. Tehokkuuden ja muistettavuuden mittaaminen jätetään pois, koska ne eivät kuulu tärkeimpiin kriteereihin ja lisäksi niiden mittaaminen paperiprototyypillä tehtävässä käytettävyystestissä on vaikeaa. Tehokkuuden luonteva mittari olisi tietyn toiminnon suorittamiseen kuluva aika, mutta paperiprototyypillä tehtävässä testissä testin järjestäjän toiminta vaikuttaa aikaan niin paljon, että tulokset eivät kertoisi itse toiminnon suorittamisen tehokkuudesta juuri mitään. Muistettavuuden luotettavaan testaamiseen taas oikeastaan vaadittaisiin kaksi ajallisesti toisistaan erotettua testitilannetta, jotta jälkimmäisessä saataisiin selville, mitä käyttäjä muistaa ensimmäisestä kerrasta. Käytettävyysominaisuuksien mittareille määritellään tavoitetaso, huonoin hyväksyttävä taso ja paras taso. Koska käytettävyystestiin osallistuvien henkilöiden määrää ei vielä tässä vaiheessa tarkasti tiedetä, tasot määritellään yhtä testiä kohden. Koko testin tavoitteena on, että suurimmassa osassa yksittäisistä testeistä tavoitetaso täyttyy ja missään testissä ei jäädä merkittävästi sen alle. Seuraavaksi käydään läpi opittavuuden, miellyttävyyden ja virheettömyyden mittaamiseen valitut mittarit ja lopuksi kootaan käytettävyyskriteerit taulukkoon Opittavuuden mittaus Opittavuuden mittarina käytetään sitä, kuinka suuren osan annetuista tehtävistä käyttäjä saa suoritettua itsenäisesti. Itsenäisellä suoriutumisella tarkoitetaan sitä, että käyttäjä tekee tehtävän 8

11 pelkästään prototyypin kanssa kommunikoiden eikä testin järjestäjä anna hänelle merkittävästi ylimääräisiä ohjeita. Testissä annetaan käyttäjälle viisi erilaista tehtävää. Automaatin opittavuus voidaan todeta hyväksi, mikäli käyttäjä suoriutuu annetuista tehtävistä. Tavoitteena on, että käyttäjä saisi tehtyä kaikki viisi tehtävää, mutta huonoin hyväksyttävä taso on kolme tehtävää viidestä Miellyttävyyden mittaus Miellyttävyyttä mitataan ennen tehtävien suorittamista ja tehtävien suorittamisen jälkeen tehdyillä kyselyillä. Ennen tehtävien suorittamista kuvatut subjektiiviset tuntemukset liittyvät automaatin lähestyttävyyteen, kun taas tehtävien suorittamisen jälkeen kuvattujen tuntemusten avulla voidaan mitata käytön aikaista miellyttävyyttä. Kyselyt sisältävät muutaman kysymyksen ja niihin vastataan Osgoodin asteikolla. Ennen tehtävien suorittamista kysytään seuraavat kysymykset: Miltä matkakorttiautomaatti mielestäsi näyttää? Vaikea käyttää Helppokäyttöinen Epämukava käyttää Mukava käyttää Pelottava Helposti lähestyttävä Tehtävien suorittamisen jälkeen kysytään seuraavat kysymykset: Millaista matkakorttiautomaatin käyttö oli? Epämukavaa Mukavaa Millainen matkakorttiautomaatti mielestäsi nyt on? Pelottava Helposti lähestyttävä Miellyttävyyden suhteen pyritään yksittäisen käyttäjän kohdalla siihen, että käyttäjän antamien vastausten keskiarvo on neljä. Huonoin hyväksyttävä taso on neutraali miellyttävyys, eli taso kolme. Paras mahdollinen tulos on, että käyttäjä vastaa kaikkiin kysymyksiin numerolla viisi Virheettömyyden mittaus Virheettömyyttä voidaan mitata parhaiten virhepainallusten määrällä. Mittauksessa eri virheet on kuitenkin jaoteltava vakavuudeltaan erilaisiin luokkiin ja jokaiselle luokalle on määriteltävä omat tavoitetasonsa. Eri virheluokat on tässä jaoteltu kolmeen tasoon, jotka ovat kriittinen virhe, keskivakava virhe ja pieni virhe. Kriittisiä virheitä ovat sellaiset virheet, joiden seurauksena matkakortti, pankkikortti tai suuri määrä vaihtorahaa jää automaattiin (pois lukien pankkikortin taltiointi). Keskivakavia virheitä ovat väärän rahasumman tai kauden lataaminen pankkikortille ja pankkikortin taltiointi kolmannen väärin annetun tunnusluvun seurauksena. Pieniä virheitä ovat 9

12 sellaiset, joissa tehdään väärä valinta tai syötetään luku tai aika väärin, mutta palataan takaisin korjaamaan virhe tai aloitetaan tehtävä alusta. Virhepainalluksia lukujen ja aikojen syötön yhteydessä ei luokitella virheiksi, mikäli ne korjataan saman tien ennen kuin edetään painamalla OK-nappia. Mikäli muun tyyppisiä virheitä esiintyy, verrataan niiden vakavuutta edellä mainittuihin ja määrätään niiden vakavuustaso sen mukaan. Kriittisiä virheitä ei hyväksytä lainkaan huonoin hyväksyttävä taso samoin kuin tavoitetaso on nolla kriittistä virhettä. Yhden käyttäjän suorittaessa viisi annettua tehtävää voidaan keskivakavia virheitä hyväksyä kaksi kappaletta, mutta tavoitteena on vain yksi keskivakava virhe. Pienten virheiden määrä pyritään pitämään viidessä, mutta kymmenen pientä virhettä voidaan hyväksyä. Taulukko 1 Käytettävyyskriteerit ja toteutumisen tavoitetasot Käytettävyystekijä Mittari Mittayksikkö Huonoin hyväksyttävä taso Suunniteltu taso Paras taso Opittavuus Onnistuneesti suoritettujen tehtävien määrä kpl 3/5 5/5 5/5 Miellyttävyys Miellyttävyysarvioiden keskiarvo Tyytyväisyysasteikko Virheettömyys Eri vakavuustasojen virheiden määrä kpl kr: 0 kr: 0 kr: 0 kv: 2 kv: 1 kv: 0 p: 10 p: 5 p: 0 3 Käytettävyyskriteerien testaaminen Käytettävyyskriteerien täyttymistä arvioidaan pääasiassa käytettävyystesteillä. Käytettävyystestitilanteessa suoritetaan varsinaisen testin lisäksi kysely ja haastattelu. Lisäksi käytettävyyskriteerien täyttymistä arvioidaan heuristisen arvioinnin keinoin. 3.1 Testikäyttäjien valinta Testikäyttäjiksi tarvitaan tutkittavaan pääkäyttäjäryhmään kuuluvia henkilöitä, jotka eivät kuitenkaan ole samoja kuin harjoitustyön edellisessä vaiheessa haastatellut henkilöt. Testikäyttäjiksi valitaan vähintään kolme käyttäjäryhmään kuuluvaa henkilöä. Mikäli ryhmä onnistuu löytämään enemmän testikäyttäjiä, testi suoritetaan useammalle kuin kolmelle henkilölle. Ylimääräisten 10

13 testikäyttäjien etsintään ei kuitenkaan nähdä kovin paljon vaivaa. Pääkäyttäjäryhmään kuuluvien ihmisten etsiminen ja saaminen testikäyttäjiksi vie niin paljon resursseja, ettei sen katsota olevan tässä harjoitustyössä aiheellista. Testikäyttäjiksi valitaan harjoitusryhmän jäsenten tuttavien sukulaisia ja vanhempia. Tällaiset henkilöt eivät ole entuudestaan tuttuja harjoitusryhmän jäsenille, ja siksi käytettävyystestitilanne säilyy neutraalina. Toisaalta tällaisiin henkilöihin on helppo ottaa yhteyttä ja heidän motivaationsa osallistua tutkimukseen voi olla suurempi kuin täysin ventovierailla. Pyrkimyksenä on saada testikäyttäjiksi kolme mahdollisimman erilaista määriteltyyn käyttäjäryhmään kuuluvaan henkilöä, jotta testauksen avulla voitaisiin saada tietoa toisistaan eroavista matkakorttiautomaatin käyttäjistä ja käyttötilanteista. 3.2 Testausmenetelmät Havainnointi Käyttäjää havainnoidaan tämän suorittaessaan annettuja tehtäviä. Havainnoinnin erityistarkoituksena on käyttäjän tekemien virheiden huomioiminen ja muistiin kirjaaminen. Näiden muistiinpanojen perusteella on myöhemmin mahdollista laskea eri vakavuustasoisten virheiden määrä, jota tässä työssä käytetään virheettömyyden mittarina. Käyttäjän tekemien virheiden lisäksi havainnoidaan käyttäjän yleistä toimintaa ja mielialaa. Mikäli virheiden kirjaukselta ehtii, havainnoija voi kirjata muistiin omia tulkintojaan käyttäjän mielialasta (käyttäjä saattaa esimerkiksi vaikuttaa turhautuneelta tai epävarmalta). Lisäksi havainnoinnin avulla saadaan selville, onnistuuko käyttäjä tehtävän suorittamisessa vai ei, eli voidaan laskea opittavuuden mittarina käytettävä onnistuneiden suoritusten määrä Ääneen ajattelu Tehtävien suorittamisen aikana testikäyttäjiä pyydetään kertomaan ääneen omista ajatuksistaan ja matkakorttiautomaatin käytöstään. Tavoitteena on yrittää hahmottaa testikäyttäjien ajatuksen kulkua ja sitä, kuinka helposti käyttäjä ymmärtää käyttämänsä laitteen toiminnot. Ääneen ajattelun pääasiallisena tarkoituksena on saada kvalitatiivista tietoa siitä, kuinka tärkein matkakorttiautomaatille asetettu käytettävyyskriteeri, opittavuus, täyttyy. 11

14 3.2.3 Kysely ja haastattelu Käytettävyystestin yhteydessä järjestetään lisäksi pieni kysely ja haastattelu. Kysely jakautuu niin, että osa kysymyksistä kysytään ennen tehtävien suoritusta ja osa suorituksen jälkeen. Haastattelu suoritetaan koko testitilanteen lopuksi. Kyselyn tarkoituksena on ennen kaikkea auttaa selvittämään, kuinka matkakorttiautomaatille asetettu käytettävyyskriteeri, miellyttävyys, toteutuu paperiprototyypissä. Kyselyllä saadaan miellyttävyydestä kvantitatiivista tietoa, jonka avulla kriteerin täyttymistä voidaan arvioida. Haastattelulle on useita syitä. Ensinnäkin halutaan saada myös kvalitatiivista tietoa paperiprototyypin miellyttävyydestä ja käyttäjän käyttökokemuksesta pelkät luvut eivät kerro kaikkea. Lisäksi halutaan saada selville, miten käyttäjävaatimukset toteutuvat suunnitellussa automaatissa ja mitkä testikäyttäjien mielestä ovat automaatin ongelmakohtia. 3.3 Testien toteutus Testin kulku Ennen käyttäjätestien aloittamista harjoitusryhmä esittelee itsensä ja suoritettavan kurssin harjoitustyön tarkoituksen testikäyttäjälle. Myös testattava tuote esitellään sillä tasolla, että kerrotaan, että matkakorttiautomaatilla voi ladata matkakorttia ja ostaa kertalippuja. Käyttäjältä kysytään taustatiedoiksi, käyttääkö hän matkakorttia ja jos käyttää, miten hän tavallisesti lataa sitä. Käyttäjälle korostetaan, että testattava paperiprototyyppi on vasta kehitysvaiheessa, ja kaikki kommentit sen käytettävyydestä tullaan ottamaan huomioon lopullisen tuotteen suunnittelussa. Käyttäjää rohkaistaan kommentoimaan automaatin käytettävyyttä kertomalla, että kommenteista ja kritiikistä on paljon hyötyä harjoitustyön seuraavissa vaiheissa. Seuraavaksi käyttäjälle esitellään paperiprototyyppi. Käyttäjälle kerrotaan, että leikisti ollaan vilkkaalla asemalla ja ihmisiä kiiruhtaa kulkuvälineisiin joka puolella. Matkakorttiautomaatin tarkempi sijainti ja ympäristö esitellään, ja näytetään paperiprototyyppi, joka edustaa oikeaa automaattia. Sellaiset suunnitellussa matkakorttiautomaatin ulkonäössä ilmenevät piirteet, jotka eivät selvästi käy ilmi prototyypistä, selitetään käyttäjälle sanallisesti. Käyttäjälle siis sanotaan: Tämä on näyttö, tämä on myös näyttö, nämä tässä ovat näppäimiä, nämä ovat aukkoja, ja tämä tässä on ulkoneva kouru. Ei sanota esimerkiksi tämä on matkakortin syöttöaukko tai tämä on vaihtorahan palautuskouru, jotta käyttäjälle ei annettaisi sellaista informaatiota, mitä hän ei todellisessa käyttötilanteessa saisi. Käyttäjälle kerrotaan vain ne fyysiset ominaisuudet, jotka erottavat prototyypin suunnitellusta todellisesta automaatista. Jos käyttäjällä on kysymyksiä 12

15 fyysisistä ominaisuuksista, niihin vastataan, mutta sellaisiin kysymyksiin kuten mitä tuolla napilla tehdään ei anneta vastauksia. Paperiprototyypin esittelyn jälkeen tehdään kyselyn ensimmäinen vaihe, jossa testikäyttäjä vastaa muutamaan kysymykseen automaatin ulkonäön perusteella. Käyttäjän mahdollisiin kysymyksiin vastataan, jos ne liittyvät kysymyslomakkeeseen, mutta edelleen kieltäydytään antamasta niitä vastauksia, joita prototyypin esittelyssäkään ei annettu. Tämän jälkeen siirrytään varsinaisten tehtävien ohjeistukseen. Käyttäjälle kerrotaan, että hänelle tullaan antamaan viisi erilaista tehtävää ja hänen tulee suorittaa tehtävät prototyyppiä käyttäen. Käyttäjälle annetaan sellaiset ohjeet, että kun hän haluaa painaa automaatista jotain nappia, hän painaa prototyypistä vastaavaa nappia ja samalla sanoo ääneen, mitä napissa lukee. Käyttäjälle kerrotaan, että testin järjestäjä tulee vaihtamaan muovitaskuun uuden paperin aina hänen painaessaan nappia ja se vastaa tekstin vaihtumista automaatin näytöllä. Käyttäjälle korostetaan, että hänen on tehtävien suorittamisen aikana tarkoitus kommunikoida nimenomaan automaatin eikä testin järjestäjien kanssa. Käyttäjää kehotetaan yrittämään suoriutua tehtävästä itsenäisesti, ajatellen koko ajan ääneen, mutta kyselemättä kuitenkaan testin järjestäjiltä apua. Ellei käyttäjällä ole tässä vaiheessa mitään kysyttävää, siirrytään varsinaiseen testiin. Viisi tehtävää suoritetaan peräjälkeen. Kukin tehtävä alkaa sillä, että testin järjestäjä lukee käyttäjälle ääneen tehtävään liittyvän skenaarion. Tämän jälkeen käyttäjälle annetaan lompakko, joka sisältää matkakortin ja pankkikortin tai rahaa, ja käyttäjän pitää suorittaa skenaariossa esille tullut tehtävä. Käyttäjä saa myös paperin, jolle skenaario on kirjoitettu, jotta hän voi tarkistaa paperista yksityiskohtia tehtävän suorituksen aikana. Jos käyttäjä haluaa lisätietoja skenaariosta, hän voi kysellä niitä testin järjestäjältä myös tehtävien suorituksen aikana. Tehtävien välillä käyttäjä ja testin järjestäjät voivat vapaammin keskustella ja käyttäjä voi esittää kysymyksiä. Testin järjestäjät pyrkivät paljastamaan mahdollisimman vähän sellaista, minkä pitäisi käydä itse automaatista ilmi. Jos käyttäjä tehtävien suorittamisen aikana turhautuu tai joutuu umpikujaan, testin järjestäjät voivat harkintansa mukaan puuttua asiaan hienovaraisesti. Tehtävien suorituksen jälkeen käyttäjää pyydetään täyttämään kyselylomake, jossa on jälkimmäiset kysymykset. Sen jälkeen käyttäjää haastatellaan, eli tämän kanssa keskustellaan tehtävien sujumisesta ja matkakorttiautomaatin prototyypin käyttökokemuksesta. 13

16 3.3.2 Aineiston tallennus ja testausryhmän työnjako Käytettävyystesteissä tehtävien suorittaminen tallennetaan mahdollisuuksien mukaan joko videoiden tai audioiden ja ottaen valokuvia testitilanteesta. Tällä hetkellä on vielä epäselvää, mistä tarvittava välineistö (videokamera tai nauhuri) saadaan, mutta vähintään nauhuri pyritään kuitenkin hankkimaan. Lisäksi tehtävien suorittamisen aikana tehdään muistiinpanoja, erityisesti sellaisista asioista, jotka eivät tallennu nauhalle tai kuviin. Yksi harjoitusryhmän jäsenistä keskittyy tehtävien suorittamisen aikana käyttämään videokameraa tai nauhuria ja kameraa. Toinen ryhmän jäsen keskittyy tekemään muistiinpanoja testitilanteesta. Muistiinpanojen tekijä kiinnittää erityistä huomiota käyttäjän tekemiin virheisiin ja kirjaa kaikki virheet ylös. Jos käytössä ei ole videokameraa, tehdään muistiinpanoja myös käyttäjän ilmeistä ja toiminnasta. Kolmas harjoitusryhmän jäsen toimii testitilanteessa käyttäjän ohjaajana. Hänen tehtävänään on antaa testikäyttäjälle tarvittavat ohjeet, lukea skenaariot ääneen, antaa testikäyttäjälle tämän tarvitsemat välineet ja huolehtia automaatin toiminnasta eli vaihtaa muovitaskuun oikea paperi käyttäjän painaessa automaatin nappeja. Ohjaaja seuraa samalla, että testitilanne etenee toivotulla tavalla. Tavoitteena on antaa testikäyttäjän yrittää mahdollisimman pitkään suorittaa testitehtäviä itsenäisesti ohjaajan mitenkään puuttumatta tapahtumien kulkuun. Testikäyttäjän annetaan selviytyä mahdollisista testinkäytön aikana tekemistään virheistään myös omin avuin. Ohjaaja voi kuitenkin puuttua tilanteeseen, jos testikäyttäjä jumiutuu suorittamaan testitehtävää huomattavan pitkäksi aikaa tai alkaa turhautua tehtävässä kohtaamiinsa ongelmiin. Ohjaaja voi esittää käyttäjälle tällöin pieniä johdattelevia kysymyksiä. Myös käyttäjän pyytäessä apua ohjaaja avustaa tätä käyttäen johdattelevia kysymyksiä. Tehtävien suorittamisen jälkeen tapahtuvia haastatteluja ei tallenneta nauhalle, koska niitä ei harjoitustyölle asetuissa puitteissa ehdittäisi litteroimaan. Haastattelutilanteen voidaan myös olettaa olevan avoimempi ja vapaampi ilman tallennuslaitteita. Haastatteluissa kaksi ryhmän jäsenistä kirjoittaa muistiinpanoja ja yksi toimii varsinaisena haastattelijana. Ennen tehtävien suorittamista ja sen jälkeen tehdyistä kyselyistä saatava aineisto muodostuu täytetyistä kyselylomakkeista Testiympäristö Käytettävyystesti suoritetaan Teknillisen korkeakoulun tiloissa. Testauspaikaksi valitaan jonkun TKK:n rakennuksen aula, jossa kulkee testihetkellä ihmisiä. Näin pystytään osin jäljittelemään todellista matkakorttiautomaatin käyttötilannetta, jossa käyttäjän ympärillä on jonkin verran hälinää eikä hän ole aivan rauhassa. Testi suoritetaan sisätiloissa, sillä käyttäjävaatimuksen

17 Matkakorttiautomaatteja tulee sijaita myös lämpimissä sisätiloissa mukaisesti oikeitakin automaatteja pyrittäisiin mahdollisuuksien mukaan sijoittamaan sisätiloihin. Suunnitelman mukaan oikea matkakorttiautomaatti sijoitettaisiin jonkinlaiseen syvennykseen, vähän samaan tapaan kuin laskunmaksuautomaatit on tapana sijoittaa. Näin pyritään täyttämään käyttäjävaatimus 13. Matkakorttiautomaatin sijoituksen tulee tarjota käyttäjälle yksityisyyttä. Testitilanteessa pyritään jäljittelemään todellista ympäristöä rajaamalla testauspaikka esimerkiksi pystyyn nostetulla pöydällä tai siirrettävällä seinällä. Testauspaikalle tarvitaan pöydän tai seinän lisäksi testattava prototyyppi ja mahdollisesti muuta rekvisiittaa. Testitilanteessa tarvitaan myös mainitut tallennus- ja muistiinpanovälineet. Lisäksi paikalla on hyvä olla istuimia, jotta testikäytön jälkeinen haastattelu voidaan toteuttaa viihtyisästi. 4 Käytettävyystestissä suoritettavat tehtävät Jokaisessa käytettävyystestissä käyttäjälle annetaan viisi testitehtävää, joiden tekemisen aikana käyttäjä ajattelee ääneen ja häntä havainnoidaan. Testitehtäviksi valitaan erilaisia matkakorttiautomaatilla suoritettavia toimenpiteitä, jotka sisältävät lipun oston tai matkakortin latauksen. Testitehtävien avulla pyritään selvittämään, kuinka hyvin testikäyttäjä niistä suoriutuu eli kuinka hyvä paperiprototyyppi on käytettävyydeltään. Testitehtäviä ei anneta yksinkertaisina käskyinä, kuten Lataa matkakortille 10 euroa arvoa. Sen sijaan testikäyttäjälle luetaan ääneen skenaario, joka kuvailee kuvitellun tilanteen. Skenaariossa käyttäjälle luodaan jokin tarve, jonka hän voi matkakorttiautomaatilla tyydyttää. Skenaarion lukemisen jälkeen käyttäjän tehtävänä on tyydyttää skenaariossa luotu tarve matkakorttiautomaattia käyttäen. Ennen kunkin testitehtävän suorittamista käyttäjälle annetaan lompakko, eli pahvinpala, johon on sinitarralla kiinnitetty leikkirahaa, pankkikortti ja matkakortti, tai joitakin näistä. Jos lompakko sisältää pankkikortin, sen mukana on muistilappu, jossa on pankkikortin tunnusluku. Testitehtäviä suorittaessaan testikäyttäjä syöttää automaattiin rahan tai kortin kiinnittämällä sinitarralla rahan tai kortin sitä vastaavan aukon päälle. 4.1 Heti alkavan kauden lataus käteisellä maksaen Ensimmäisenä tehtävänä on ladata matkakortille Helsingin sisäistä kautta tästä hetkestä kuukaudeksi eteenpäin käteisellä maksaen. Käyttäjälle luettava skenaario on seuraava: 15

18 Keskiviikko Asut Itä-Helsingissä lähellä Itäkeskusta ja olet töissä myyjänä Helsingin keskustassa sijaitsevassa kenkäkaupassa. Kuljet töihin metrolla viitenä päivänä viikossa. Et käytä joukkoliikennettä mihinkään muuhun kuin työmatkoihin. Sinulla on tapana ladata kautta matkakortille kuukaudeksi kerrallaan, aina palkkapäivän jälkeen. Nyt on palkkapäivän jälkeinen aamu, ja tiedät, että edellisellä kerralla lataamasi kausi ei ole enää tänään voimassa. Olet herännyt aamulla hieman tavallista aikaisemmin, juonut aamukahvit ja kävellyt kirpeässä pakkasilmassa Itäkeskukseen. Olet nostanut Otto-automaatista 60 euroa, ja seuraavaksi olet tullut metroasemalla sijaitsevalle matkakorttiautomaatille. Sinun täytyy ladata matkakortti, ennen kuin voit nousta metroon. Olet ajoissa liikkeellä, eikä sinulla ole vielä kiire töihin. Haluat ladata matkakortille kautta seuraavan kuukauden ajaksi. Käyttäjälle annettavassa lompakossa on kolme kahdenkymmenen euron seteliä ja matkakortti. Oikea tapa suorittaa tehtävä olisi seuraavanlainen. Automaatti: Valitse toiminto. Käyttäjä: Kauden lataus Automaatti: Aseta matkakortti lukijaan. Käyttäjä: (asettaa matkakortin oikeaan aukkoon) Automaatti: Valitse alue, jolla ladattava kausi on voimassa. Käyttäjä: Helsinki Automaatti: Valitse ladattavan kauden pituus. Käyttäjä: 1 kuukausi (Vaihtoehtoisesti voi myös syöttää ajan itse.) Automaatti: Syötä kauden aloituspäivämäärä ja paina OK. Käyttäjä: Tänään ja OK (Vaihtoehtoisesti voi myös syöttää tämän päivän päivämäärän.) Automaatti: Ladattava kausi: Hinta: euroa. Valitse maksutapa. Käyttäjä: Käteinen Automaatti: Syötettävä rahasumma: euroa. Syötä rahat. Käyttäjä: (syöttää kaksi 20 euron seteliä) Automaatti: Vaihtorahat: 0.30 euroa. Ota vaihtorahat. Käyttäjä: (ottaa vaihtorahat) 16

19 Automaatti: Matkakortin lataus onnistui. Ota matkakortti. Käyttäjä: (ottaa matkakortin) 4.2 Kauden lataus tulevalle ajalle pankkikortilla maksaen Toisena tehtävänä on ladata matkakortille seutukautta ajalle maksaen pankkikortilla. Käyttäjälle luettava skenaario on: Torstai Asut edelleen Itäkeskuksen lähellä, mutta et ole enää kenkäkaupassa töissä. Olet saanut kesän ajaksi töitä Nuuksion luontokeskuksesta Espoosta. Tämä tarkoittaa sitä, että kesäkuun alusta syyskuun loppuun kuljet viitenä päivänä viikossa bussilla Helsingistä Espooseen ja takaisin. Olet voittanut lotossa jonkin verran rahaa, ja olet tällä hetkellä parhaan ystäväsi kanssa Itäkeskuksessa shoppailemassa. Sattumalta kuljette matkakorttiautomaatin ohi, ja sinä keksit, että voisit ladata etukäteen matkakortillesi kautta koko kesäksi, ennen kuin olet ehtinyt tuhlata kaikki lotossa voittamasi rahat. Ystäväsi kehuu sinua viisaasta päätöksestä ja kehottaa sinua lataamaan matkakorttisi sillä aikaa kun hän käy viereisessä levykaupassa. Menet matkakorttiautomaatille lataamaan kautta kesäkuun alusta syyskuun loppuun. Olet vasta hankkinut pankkikortin ja päätät maksaa latauksen harjoituksen vuoksi pankkikortilla. Käyttäjälle annettavassa lompakossa on pankkikortti, matkakortti ja muutamia kolikoita. Oikea tapa suorittaa tehtävä olisi seuraavanlainen. Automaatti: Valitse toiminto. Käyttäjä: Kauden lataus Automaatti: Aseta matkakortti lukijaan. Käyttäjä: (asettaa matkakortin oikeaan aukkoon) Automaatti: Valitse alue, jolla ladattava kausi on voimassa. Käyttäjä: Seutu Automaatti: Valitse ladattavan kauden pituus. Käyttäjä: Aseta oma aika Automaatti: Syötä haluttu aika ja paina OK. 17

20 Käyttäjä: ja OK Automaatti: Ladattava kausi: Hinta: euroa. Valitse maksutapa. Käyttäjä: Pankkikortti Automaatti: Veloitettava rahasumma: euroa. Syötä pankkikortti. Käyttäjä: (syöttää pankkikortin) Automaatti: Näppäile tunnusluku ja paina OK. Käyttäjä: (näppäilee oikean tunnusluvun ja painaa OK-nappia) Automaatti: Tilitä veloitettu: euroa. Ota pankkikortti. Käyttäjä: (ottaa pankkikortin) Automaatti: Matkakortin lataus onnistui. Ota matkakortti. Käyttäjä: (ottaa matkakortin) 4.3 Arvon lataus valmiilla summalla pankkikortilla maksaen Kolmantena tehtävänä on ladata matkakortille arvoa kahdenkymmenen euron edestä pankkikortilla maksaen. Käyttäjälle luettava skenaario on: Maanantai Asut edelleen Itä-Helsingissä. Kesän ajan kestänyt työsi Nuuksion luontokeskuksessa loppuu pian. Et ole vielä löytänyt uutta työpaikkaa, joten et luultavasti tule tarvitsemaan uutta kausilippua edellisen mentyä umpeen. Aiot kuitenkin mennä mahdollisiin työhaastatteluihin metrolla tai bussilla, joten nämä matkat sinun pitää maksaa erikseen. Koska omistat jo matkakortin, sinun on taloudellisinta ladata matkakortillesi arvoa ja maksaa satunnaiset matkat sillä. Nyt olet matkalla Nuuksiosta kotiin ja päätät pysähtyä rautatieasemalla hetkeksi lataamaan matkakortille arvoa. Päätät ladata arvoa ensi alkuun kahdenkymmenen euron edestä. Koska sinulla ei ole nyt rahaa mukana, maksat pankkikortilla. Käyttäjälle annettavassa lompakossa on pankkikortti ja matkakortti. Oikea tapa suorittaa tehtävä olisi seuraavanlainen. Automaatti: Valitse toiminto. Käyttäjä: Arvon lataus Automaatti: Aseta matkakortti lukijaan. 18

21 Käyttäjä: (asettaa matkakortin oikeaan aukkoon) Automaatti: Valitse ladattava arvo. Käyttäjä: 20 euroa Automaatti: Ladattava arvo: 20 euroa. Valitse maksutapa. Käyttäjä: Pankkikortti Automaatti: Veloitettava rahasumma: 20 euroa. Syötä pankkikortti. Käyttäjä: (syöttää pankkikortin) Automaatti: Näppäile tunnusluku ja paina OK. Käyttäjä: (näppäilee oikean tunnusluvun ja painaa OK-nappia) Automaatti: Tilitä veloitettu: 20 euroa. Ota pankkikortti. Käyttäjä: (ottaa pankkikortin) Automaatti: Matkakortin lataus onnistui. Ota matkakortti. Käyttäjä: (ottaa matkakortin) 4.4 Arvon lataus omalla summalla käteisellä maksaen Neljännessä tehtävässä käyttäjä lataa matkakortille arvoa yhdeksällä eurolla maksaen käteisellä. Tehtävään liittyvä skenaario on: Perjantai Asut edelleen Itä-Helsingissä. Olet saanut työpaikan vaatekaupasta Helsingin keskustassa. Olet palannut vanhaan rutiiniin: lataat kerran kuussa matkakortillesi kuukaudeksi Helsingin sisäistä kautta. Nyt olet juuri lähdössä töistä kotiin, kun paras ystäväsi soittaa. Hän on vasta muuttanut Tikkurilaan, Vantaalle, ja hän pyytää sinua kylään uuteen asuntoonsa. Sanot, että olet juuri päässyt töistä ja voit tulla saman tien. Rautatieasemalla huomaat, että sopiva juna lähtee kymmenen minuutin päästä. Samalla muistat, että matkakortillasi on ladattuna Helsingin sisäistä kautta, mutta arvoa siellä ei ole enää lainkaan. Päästäksesi Vantaalle sinun on ladattava kortillesi arvoa. Sinulla ei ole pankkikorttia mukana, mutta taskun pohjalta löydät yhdeksän euroa. Päätän ladata matkakortillesi arvoa koko rahalla, koska uskot vierailevasi ystäväsi uudessa asunnossa Vantaalla vielä useammankin kerran. Automaatille ei ole jonoa, ja menet lataamaan korttiasi. Haluat ehtiä seuraavaan junaan, joten lataamisen pitäisi hoitua aika ripeästi. 19

22 Käyttäjälle annettavassa lompakossa on yksi viiden euron seteli, kaksi kahden euron kolikkoa ja matkakortti. Oikea tapa suorittaa tehtävä olisi seuraavanlainen. Automaatti: Valitse toiminto. Käyttäjä: Arvon lataus Automaatti: Aseta matkakortti lukijaan. Käyttäjä: (asettaa matkakortin oikeaan aukkoon) Automaatti: Valitse ladattava arvo. Käyttäjä: Aseta oma summa Automaatti: Syötä haluttu summa ja paina OK. _ euroa Käyttäjä: 9 ja OK Automaatti: Ladattava arvo: 9 euroa. Valitse maksutapa. Käyttäjä: Käteinen Automaatti: Syötettävä rahasumma: 9 euroa. Syötä rahat. Käyttäjä: (syöttää viiden euron setelin ja kaksi kahden euron kolikkoa) Automaatti: Matkakortin lataus onnistui. Ota matkakortti. Käyttäjä: (ottaa matkakortin) 4.5 Kertalipun osto käteisellä maksaen Viidennessä tehtävässä käyttäjän pitää ostaa käteisellä yksi aikuisen seutulippu. Käyttäjälle luettava skenaario on: Perjantai Olet juuri suorittanut edellisen tehtävän ja olet vielä rautatieasemalla Helsingin keskustassa. Latasit juuri kortillesi arvoa maksaaksesi sillä lipun Tikkurilaan, ja olet lähdössä pois automaatilta. Sattumalta tapaat automaatin edessä vieraspaikkakuntalaisen ystäväsi, jota et ole tavannut yli kymmeneen vuoteen. Hän on menossa Korsoon, Vantaalle. Sanot, että olet juuri menossa Tikkurilaan, ja ehdotat, että ystäväsi tulee samaan junaan. Ystäväsi suostuu, mutta huomauttaa, että hänellä ei ole matkalippua. Hän pyytää, että kokeneena automaatin käyttäjänä ostaisit hänelle automaatista lipun. Hän antaa sinulle viiden euron setelin. Juna lähtee viiden minuutin päästä, joten lippu pitää ostaa nopeasti. 20

23 Tässä tehtävässä käyttäjällä on vielä hallussaan edellisen tehtävän jäljiltä lompakko, joka sisältää pelkästään matkakortin. Lisäksi hänelle annetaan viiden euron seteli. Oikea tapa suorittaa tehtävä olisi seuraava: Automaatti: Valitse toiminto. Käyttäjä: Kertalipun osto Automaatti: Valitse lipputyyppi. Käyttäjä: Seutulippu / Aikuinen Automaatti: Ostettava lippu: Seutulippu / Aikuinen. Hinta: 3.40 euroa. Valitse maksutapa. Käyttäjä: Käteinen Automaatti: Syötettävä rahasumma: 3.40 euroa. Syötä rahat. Käyttäjä: (syöttää viiden euron setelin) Automaatti: Vaihtorahat: 1.60 euroa. Ota vaihtorahat. Käyttäjä: (ottaa vaihtorahat) Automaatti: Ota lippu. Käyttäjä: (ottaa lipun) 5 Kysely ja haastattelu 5.1 Kyselyt Käytettävyystesteissä järjestetään kysely ennen tehtävien suorittamista ja toinen kysely sen jälkeen. Kyselyissä käytettävät lomakkeet ovat liitteessä 1. Kyselylomakkeilla pyritään ensisijaisesti mittaamaan tuotteen miellyttävyyttä, ja niissä käytetäänkin luvussa Miellyttävyyden mittaus laadittuja kysymyksiä. Lisäksi tehtävien suorittamisen jälkeen täytettävässä kyselylomakkeessa kysytään muutama kysymys, joilla pyritään saamaan tietoa käyttäjävaatimusten täyttymisestä suunnitellussa automaatissa. Käyttäjävaatimukset, joiden täyttymistä kyselylomakkeessa tutkitaan, ovat: 1. Matkakorttiautomaatin tulee antaa käyttäjälle ohjeita. 2. Matkakorttiautomaatin tulee kertoa käyttäjälle omista tekemisistään. 4. Matkakorttiautomaatin antamien ohjeiden tulee olla selkeitä. 5. Tekstien tulee olla helposti havaittavissa. 10. Tekstien tulee olla kirjoitettu riittävän isolla. 21

24 5.2 Haastattelu Viimeisenä testitilanteessa järjestetään pienimuotoinen haastattelu. Haastattelun tarkoituksena on syventyä tarkemmin käyttäjän kokemuksiin tuotteen käytöstä. Haastattelu suoritetaan käyttötilanteen jälkeen ja sen on tarkoitus olla erittäin vapaamuotoinen, niin että haastateltava pystyy mahdollisimman vapaasti ilmaisemaan niitä ajatuksiaan, joita hänelle heräsi tuotteen käytöstä käytön aikana ja sen jälkeen. Haastattelussa ei käytetä varsinaista kysymysrunkoa, mutta vapaamuotoisessa keskustelussa voidaan käydä läpi mm. seuraavia asioita: Miltä automaatin käyttö tuntui? Miten käyttäjä perustelee kyselylomakkeeseen antamiaan vastauksia? Jos käyttäjä on käyttänyt nykyistä matkakorttiautomaattia, oliko tämä parempi vai huonompi? o Mikä on parempaa? o Mikä on huonompaa? Jos automaatti olisi tällainen, lataisiko käyttäjä korttinsa automaatilla vai R-kioskilla? Käyttäytyikö automaatti käyttäjän odotusten mukaisesti? o Mitä yllätyksiä tuli? Positiivisia vai negatiivisia? Mitä parannusehdotuksia käyttäjällä on? 6 Aineiston analysointi 6.1 Kvantitatiivisen aineiston analysointi Aineiston analysointi tehdään mahdollisimman pian testin jälkeen, jotta testitilanne on vielä testin järjestäjillä muistissa. Ensimmäinen vaihe aineiston analysoinnissa on, että video tai ääninauha käydään läpi ja verrataan käytettävyystestin aikana tehtyjen muistiinpanojen perusteella laskettuja lukuja onnistuneiden tehtävien ja virheiden määrästä tallennettuun nauhaan. Läpikäynnin aikana voidaan vielä miettiä, mitkä tehtävät lasketaan onnistuneesti suoritetuiksi ja mihin vakavuusluokkiin tehtävän aikana tapahtuneet virheet kuuluvat. Virheiden vakavuustasoina käytetään luvussa Virheettömyys kuvailtuja kolmea tasoa. Onnistuneeksi suoritukseksi voidaan laskea sellainen, jossa käyttäjä on onnistunut saavuttamaan 22

25 tavoitteensa ilman merkittäviä virheitä. Merkittäviä virheitä ovat kriittiset ja keskivakavat virheet, mutta merkittävyyteen vaikuttaa myös mahdollisen taloudellisen merkityksen suuruus. Esimerkiksi 30 sentin suuruisen vaihtorahan unohtuminen automaattiin ei ole merkittävä virhe, mutta 10 euron suuruisen vaihtorahan unohtuminen on. Kun kaikki virheet ja onnistuneet tehtävät on luokiteltu, lopulliset lukumäärät lasketaan ja laitetaan taulukkoon. Samaan taulukkoon laitetaan myös kyselylomakkeiden vastaukset. Näin on saatu kvantitatiivista dataa, jonka perusteella voidaan tarkastella käytettävyyskriteerien täyttymistä. Taulukoista voidaan piirtää myös havainnollistavia kaavioita. 6.2 Kvalitatiivisen aineiston analysointi Toinen tehtävä aineiston analysoinnissa on kvalitatiivisen aineiston läpikäynti. Videot tai ääninauhat, valokuvat ja muistiinpanot käydään vielä uudestaan läpi ryhmän kesken ja pohditaan testeissä esille nousseita asioita. Käytettävyyskriteerien täyttymistä pohditaan myös kvalitatiivisen aineiston kannalta ja tuloksia verrataan kvantitatiivisen aineiston pohjalta saatuihin tuloksiin. Myös käyttäjävaatimusten täyttymistä tarkastellaan. Samalla kun epäkohtia käyttöliittymässä löytyy, mietitään myös parannusideoita ja kirjataan niitä ylös. 7 Käytettävyystestin testaus 7.1 Pilottitestin tavoitteet Ennen varsinaisten käytettävyystestien järjestämistä testijärjestelyt testataan pilottitestillä. Pilottitestin pääasiallisena tavoitteena on testata testijärjestelyjen onnistuneisuutta ja sitä, kuinka hyvin valittujen testausmenetelmien avulla voidaan saada validia ja luotettavaa tietoa määritellyistä käytettävyyskriteereistä. Tässä vaiheessa ei ole vielä laadittu johdattelevia kysymyksiä siltä varalta, että käyttäjä joutuu automaatin käytössä umpikujaan. Tämä johtuu siitä, että automaatin suunnittelijat eivät keksineet mitään realistiselta tuntuvaa tilannetta, jossa käyttäjä ei osaisi edetä ilman johdattelua. Pilottitestin yhtenä tarkoituksena onkin selvittää, millaisissa tilanteissä käyttäjä saattaa tarvita apua, jotta testausryhmä voi suunnitella johdattelevia kysymyksiä valmiiksi ennen varsinaisia testejä. Pilottitestin toivotaan lisäksi tuovan kokemusta videokameran tai nauhurin ja kameran käytöstä sekä antavan ideoita siihen, mikä olisi paras mahdollinen tapa toteuttaa tallentaminen varsinaisten testien aikana. 23