Opiskelun tuki mobiilipalvelu Mopsi Testaussuunnitelma

TEKNILLINEN KORKEAKOULU Tietotekniikan osasto Ohjelmistoliiketoiminnan ja tuotannon laboratorio T-121.110 Käyttäjäkeskeisen tuotekehityksen harjoitustyö Pilvi Nummi Opiskelun tuki mobiilipalvelu Mopsi Testaussuunnitelma Espoossa, 23.3.2005 Palveluntarjoajat: Heidi Hänninen Jussi Nervola Jaakko Vilén

Sisällysluettelo 1 JOHDANTO...2 2 KÄYTETTÄVYYSKRITEERIT...4 2.1 Tärkeimmät käytettävyysominaisuudet ja niiden arviointi testeissä... 4 2.1.1 Muistettavuus... 5 2.1.2 Opittavuus... 5 2.1.3 Miellyttävyys... 6 2.1.4 Virheettömyys... 6 2.2 Muiden menetelmien käyttö käytettävyysominaisuuksien arvioinnissa... 8 3 TESTIJÄRJESTELYT...9 3.1 Testitehtävät... 10 3.1.1 Ensimmäinen tehtävä: Antille soittaminen... 11 3.1.2 Toinen tehtävä: Tentti-ilmoittautuminen... 12 3.1.3 Kolmas tehtävä: Luennolle ilmoittautuminen... 12 3.1.4 Neljäs tehtävä: Kalenterimerkinnän poistaminen... 13 3.2 Pilottitesti... 13 4 TESTIDATAN KÄSITTELY...14 5 LÄHDELUETTELO...16 6 LIITTEET...16 Heidi Hänninen, Jussi Nervola, Jaakko Vilén

1 Johdanto Kehitettävä tuotteemme on opiskelun tueksi tarkoitettu mobiilipalvelu. Tuotteen nimi Mopsi tulee lyhenteenä sanoista mobiili opiskelun suunnittelu. Palvelun on tarkoitus toimia apuvälineenä opiskelussa toteuttaen opiskelun suunnitteluun ja opiskeluun liittyvään viestintään kuuluvia toimintoja. Mopsia voi käyttää kurssien hakuun ja niille ilmoittautumiseen, tentteihin ilmoittautumiseen, lukukausi-ilmoittautumiseen, yhteystietojen hakuun, viestien lähettämiseen sekä soittamiseen ja näiden lisäksi Mopsissa on kalenteri sekä lukujärjestys. Tällä hetkellä on tarjolla samantyyppisiä palveluita WWW-verkossa, mutta mobiiliratkaisuna tuote on uusi. Koska kyseessä on uudenlainen yhdistelmä, joka tarjoaa uusia mahdollisuuksia esimerkiksi luentojen reaaliaikaiseen kommunikaatioon, olemme halunneet ottaa protossa raameiksi uusimman kännykän mallin. Pääkäyttäjäryhmämme on noin 20 25 -vuotiaat mies- ja naispuoliset yliopistojen perusopiskelijat, jotka eivät opiskele tekniikkaa tai luonnontietietä. Heille tietotekniikan ja kännyköiden peruskäyttö on tuttua, mutta he eivät ole teknisesti orientoituneita tai koe erityistä kiinnostusta tekniikkaan. He eivät ole kiinnostuneita uudesta teknologiasta itsessään, mutta sen tuomista eduista kyllä. Lisäksi he työskentelevät yleensä osaaikaisesti opintojen ohessa. Opiskelu on hyvin itsenäistä, mutta ryhmän jäsenillä on merkittävä määrä opiskelukavereita. Valitsimme tämän käyttäjäryhmän pääkäyttäjäryhmäksi, koska sillä olisi palvelulle merkittävintä käyttöä määrällisesti. Mikäli kyseinen palvelu otettaisiin käyttöön, se olisi paras aloittaa tällaisesta suuresta ryhmästä, jonka kanssa aitoja käyttökokemuksia saataisiin hyvin aikaan. Ylioppilaat ja erityisesti uudet opiskelijat ovat hyvä koeryhmä, koska he ovat aktiivisia uusien mallien kokeilijoita. Teknisesti suuntautuneet opiskelijat rajattiin pois, sillä he saattaisivat antaa liian positiivisen kuvan palvelusta ajatellen, että sen käyttö laajennettaisiin kaikenlaisiin korkeakouluihin ja mahdollisesti muihin toisen asteen oppilaitoksiin. Taulukossa 1 on vaatimusmäärittelyvaiheessa haastatteluiden pohjalta saadut käyttäjävaatimukset. Taulukossa on näkyvillä myös vaatimusten Heidi Hänninen, Jussi Nervola, Jaakko Vilén 2

prioriteetit A, B ja C (A= tärkein), sekä yksittäisille vaatimuksille että vaatimusryhmille 1, 2 ja 3. Taulukko 1. Tuotteen käyttäjävaatimukset. nro vaatimus prioriteetti 1 Ilmoittautumiset (A) 1.1 Luennolle tai kurssille ilmoittautuminen A 1.2 Tenttiin ilmoittautuminen A 1.3 Tieto kurssille pääsystä ilmoittautuessa A 1.4 Lukukausi-ilmoittautuminen B 2 Viestintä (B) 2.1 Tieto luentojen/tenttien paikkojen tai aikojen muutoksista A 2.2 Tieto tenttitulosten valmistumisesta A 2.3 Oman tenttituloksen tarkistaminen B 2.4 Kommunikaatio opettajilta opiskelijoille B 2.5 Yhteydenotto opettajiin / ilmoitus poissaolosta B 2.6 Palautteen antaminen opetuksesta C 2.7 Opiskelijoiden palautteen antaminen tenteistä ja tehtävistä C 3 Opiskelun ja ajankäytön suunnittelu (C) 3.1 Pääsy kurssien aikatauluihin, sisältöihin ja ilmoittautumiseen samanaikaisesti B 3.2 Mukana kulkeva kalenteri B 3.3 Viikkolukujäjestyksen tarkistaminen ja muokkaaminen C 3.4 Opiskelutovereiden yhteystietojen saaminen (puhelinnumerot, sähköpostiosoite) C 3.5 Muiden opiskelijoiden tavoittaminen (mm. ryhmätöissä) C Olemme määrittäneet tärkeimmät käytettävyyskriteerit, metriikat niiden mittauksille, huonoimmat hyväksyttävät tasot, tavoitetasot ja ideaalitasot kappaleessa 2, ja lyhennettynä taulukossa 2. Näiden metriikoiden avulla voimme arvioida proton käytettävyyttä numeerisesti (Faulkner 2000, s. 133). Paperiproton käyttäjätestauksessa aiomme selvittää, miten hyvin proton käytettävyys kohtaa tavoitteet, sekä testauksen jälkeen suoritettavilla haastatteluilla saada käyttäjien näkökulmia proton käytettävyyteen. Testien lisäksi suoritamme heuristisia arviointeja Nielsenin teoriaan ja oppikirjaan (Faulkner 2000) pohjautuen. Testeillä, haastatteluilla ja arvioinneilla aiomme saada selville tuotteen nykyisen tason kvantitatiivisesti metriikoilla, sekä löytää mahdollisia kvalitatiivisia kehitysideoita haastatteluilla (Faulkner 2000, s. 133, 172). Heidi Hänninen, Jussi Nervola, Jaakko Vilén 3

2 Käytettävyyskriteerit Tärkeimmiksi käytettävyysominaisuuksiksi (T-121.110 kalvot 4.1, 2005) määrittelimme (tärkeysjärjestyksessä) muistettavuuden, opittavuuden, miellyttävyyden ja virheettömyyden. Näitä neljää ominaisuutta arvioimme käyttävyystesteissä. Valinnat pohjautuvat pitkälti käyttäjäryhmän ominaisuuksiin ja kehittämämme tuotteen käyttötarkoitukseen. Kolmen ensimmäisen ominaisuuden tärkeys painottuu koska tuotetta käytetään satunnaisesti eikä sen käyttö ole ammattimaista. Tästä syystä esimerkiksi tehokkuus ei kuulu tärkeimpien käytettävyysominaisuuksien piiriin. Tilanne olisi toinen jos tuotteemme käyttäjäryhmään kuuluisivat opettajat ja ylläpitäjät. Tällöin tehokkuudella ja nopeudella olisi huomattavasti suurempi merkitys tuotteen ominaisuuksissa eivätkä satunnaiskäyttäjälle tärkeät ominaisuudet opittavuus ja muistettavuus olisi enää tärkeimpien käytettävyysominaisuuksien joukossa. 2.1 Tärkeimmät käytettävyysominaisuudet ja niiden arviointi testeissä Taulukko 2. Mitattavien ominaisuuksien käytettävyystavoitteet. Käytettävyystekijä Muistettavuus Opittavuus Miellyttävyys Virheettömyys (kaikki virheet) Virheettömyys (vakavat virheet) Mittaamiskohde Lopussa itsenäisesti suoritettu tehtävä tarvittavat toistot kunnes reitti lähellä optimia Ohjelman yleinen miellyttävyys Kaikkien virheiden määrä Vakavien virheiden määrä Mittayksikkö reitin pituus / optimipituus toistojen määrä vastaajien määrä virheet / kaikki painallukset tehtävässä virheiden määrä Huonoin hyväksyt. taso Suunniteltu taso Paras taso 1,20 1,10 1,00 5 3 2 50 % 75 % 100 % 10 % 5 % 3 % 3 % 0 0 Heidi Hänninen, Jussi Nervola, Jaakko Vilén 4

2.1.1 Muistettavuus Ominaisuuksista etenkin muistettavuus korostuu koska tuotetta käytetään satunnaisesti; joskus taukoa käyttökertojen välillä voi olla jopa 6 kk. Tällaisenkin ajan jälkeen on käyttäjän pystyttävä muistamaan järjestelmän käyttölogiikka ja perustoimintojen käytön on onnistuttava ilman suurempia ongelmia. Muistettavuuden testaus näin pienimuotoisessa testauksessa tulee olemaan vaikeaa. Muistettavuuden testausta varten olisi haastateltavat hyvä tavata useammin kuin vain yhden kerran jotta voitaisiin havaita kuinka hyvin laitteen käyttöön liittyvät asiat ovat pysyneet muistissa tauon jälkeen. Omissa testeissämme pyrimme lopussa tarkistamaan ja kyselemään miten hyvin ensimmäisenä suoritettu tehtävä on vielä muistissa. Tämän avulla pitäisi saada joitakin arvioita muistettavuudesta. Mittauksissa jokaiselle tehtävälle on laskettu optimaalisen retin pituus (esim. navikartasta). Käytännössä tämä tarkoittaa pienintä mahdollista painalluksien määrää (click count, käytössä mm. Nokian käyttäjätutkimuksissa, Anttila, 2005) alkutilasta lopputilaan. Mittayksikkönä käytetään käytetyn reitin suhteellista pituutta verrattuna optimaaliseen eli lyhimpään mahdolliseen reittiin ( = painallukset / optimireitin painallukset ). Tavoitetasot (T-121.110 kalvot 4.2, 2005) näkyvät taulukossa 2. 2.1.2 Opittavuus Myös käytön oppimisen on oltava helppoa koska käyttäjäryhmämme (yliopistoopiskelijat) eivät tule saamaan juurikaan koulutusta tuotteen käyttämiseen. Käyttö on siis opittava suhteellisen lyhyessä ajassa ja itsenäisesti. Toki järjestelmälle on olemassa jotain tukipalveluja kuten opastusta internet-sivuilla ja lyhyet ohjeet. Nämä tukipalvelut ovat kuitenkin varsin pienimuotoisia. Opittavuutta mitataan testissä tekemällä toistoja samantyyppisistä tehtävistä. Mitattavana asiana on tarvittavien toistojen lukumäärä siihen, että käytetty reitti (näppäinten painallusten määrä) on lähellä optimia. Näin saadaan tietoja tuotteen Heidi Hänninen, Jussi Nervola, Jaakko Vilén 5

perusominaisuuksien opittavuudesta. Tavoitteena toki on, että toistojen määrä pysyy kaikkien testattavien keskuudessa hyvin pienenä (2-3 kertaa). Tällöin tuotteen opittavuus täyttäisi asettamamme tavoitteen. Tarkemmat tavoitetasot ovat taulukossa 2. 2.1.3 Miellyttävyys Vaikka tuotteemme ei ole ns. huvipalvelu/tuote on sen käytön oltava miellyttävää jotta tuote saisi käyttäjiä. Moni tuotteemme avulla suoritettavista tehtävistä on myös suoritettavissa vaihtoehtoisilla (=nykyisillä) tavoilla. Tarkoitus on, että nämä tehtävät olisi helpompi ja miellyttävämpi suorittaa uudella järjestelmällä. Jos tuotetta on hankala ja epämiellyttävä käyttää eivät käyttäjät käytä sitä kuin vain pakon edessä. Tällöin suunnittelussa on epäonnistuttu ja järjestelmän tarjoamat hyödyt käyttäjille jäävät vähäisiksi. Myös miellyttävyyden testaus on hankalaa. Objektiivista arviota miellyttävyydestä ei oikeastaan voi saada. Näin ollen käyttäjää havainnoimalla ei ole mahdollista saada kovin hyviä tuloksia siitä onko tuote miellyttävä. Tästä syystä käyttäjältä on kysyttävä suoraan mielipidettä järjestelmästä ja sen käytöstä. Kysymyksinä voidaan kysyä esim. liitteessä 1 olevia kysymyksiä. Näiden avulla saadaan jonkinlainen kuva tuotteen miellyttävyydestä. Toki havainnoinnillakin voi joissakin tilanteissa saada viitteitä miellyttävyydestä: jos käyttäjä näyttää hyvin tuskastuneelta voidaan päätellä, että tuote ei ole kovin miellyttävä. Miellyttävyyden kohdalla mitattavana asiana käytetään kysymyksen nro. 5 ( Oliko järjestelmää miellyttävä käyttää? ) vastauksia: Tavoitetasona on, että 75 % testatuista pitää tuotetta miellyttävänä. 2.1.4 Virheettömyys Tuotteen käytettävyysominaisuuksista virheettömyys ei ole aivan tärkeimpien ominaisuuksien joukossa koska virheen sattuessa ei (yleensä) tapahdu mitään peruuttamatonta. Myöskään ympäristö ei aiheuta mitään paineita virheiden tapahtuessa vaan virheet voidaan korjata rauhassa. Virheet on siis käytön aikana pystyttävä Heidi Hänninen, Jussi Nervola, Jaakko Vilén 6

huomaamaan ja palaaminen virhepainallusta edeltäneeseen tilaan on oltava mahdollista. Vaikka tehokkuus ei olekaan tuotteemme tärkein ominaisuus vähentää liian suuri virheiden määrä järjestelmän miellyttävyyttä ja tehokkuutta. Tämän takia on virheiden määrä pidettävä suhteellisen alhaisena. Virheettömyyttä mitataan virhepainallusten suhteena kaikkiin painalluksiin (=virhepainallukset / kaikki painallukset). Virhe täytyy toki myös määritellä. Edellistä mittayksikköä käytetään kaikille virheille. Tavallinen virhe siis tarkoittaa painallusta, jonka johdosta joudutaan pois optimireitiltä, luokan 2 virheet. Tämän lisäksi mittaamme vakavien virheiden määrää, luokan 1 virheet. Vakavat virheet ovat virhepainalluksia, joiden takia koko tehtävän suorittaminen keskeytyy ja se joudutaan aloittamaan alusta. Vakava virhe on myös sellainen tapahtuma, jonka jälkeen ei enää voida päästä tapahtumaa edeltäneeseen tilaan. Tavoitetasomme vakavien virheiden osalta on 0. Virheiden kokonaismäärän tavoite on 5%. Virheiden luokat ovat näkyvissä taulukossa 3. Virheen luokka 1 2 Taulukko 3. Virheiden luokitus. Virheen tyypin kuvaus Seuraukset Vakava virhe, joka vaatii merkittävää korjaamista tai toiminnon Vaatii käyttäjältä ongelmanselvitystä keskeyttämistä Virhe, joka on pikaisesti korjattavissa, Hidastaa tehtävän suoritusta, mutta vaatii lisäpainalluksia yksittäisenä ei käytännön merkitystä Tehtävien suorittaminen voi keskeytyä myös teknisiin ongelmiin. Näitä ovat mm. akun loppuminen, tukiaseman kentän katoaminen ja mobiililaitteen käyttöjärjestelmän kaatuminen/jumiutuminen. Näitä tapahtumia ei voida prototestauksessa testata eivätkä ne ole tuotteen ominaisuuksia vaan pikemmin mobiililaitteen ja verkon ominaisuuksia. Näitä ongelmatilanteita ei siis lueta tuotteemme virheiksi. Heidi Hänninen, Jussi Nervola, Jaakko Vilén 7

2.2 Muiden menetelmien käyttö käytettävyysominaisuuksien arvioinnissa Käytettävyyskriteereitä arvioidaan myös muilla menetelmillä kuin pelkästään käytettävyystesteillä. Näitä ovat haastattelut ja heuristinen arviointi. Haastattelujen avulla saadaan sellaista tietoa (esim. miellyttävyydestä), jota ei suoraan käytettävyystestitapahtumaa havainnoimalla saada. Heuristinen arviointi suoritetaan Nielsenin heurististen sääntöjen pohjalta. Heuristisessa arvioinnissa pitäisi käyttää asiantuntijoita arvioijina, mutta sellaisten löytäminen saattaa olla vaikeaa. Tätä varten ajattelimme, että teemme heuristisen arvioinnin itse. Näin saisimme käytännön kokemusta myös heuristisen arvioinnin suorittamisesta. Suoritamme kukin arviot yksin ja tämän jälkeen kokoamme havaitut ongelmat yhteen. Heidi Hänninen, Jussi Nervola, Jaakko Vilén 8

3 Testijärjestelyt Pääkäyttäjäryhmämme on 20 25 vuotiaat yliopiston perusopiskelijat. Testihenkilöitä tarvitsemme kolme, yhden pilottitestiin ja kaksi varsinaisiin testeihin. Koska olemme itse samaa ikäluokkaa, ovat ystävämme hyviä koehenkilöitä ja toisaalta jos heillä ei ole aikaa, niin voimme mennä Helsingin yliopistolle etsimään vapaaehtoisia. Testausmenetelminä aiomme käyttää havainnointia, ääneen ajattelua ja haastattelua. Ääneen ajattelussa testihenkilö selostaa ajatuksensa suorittaessaan tehtävää. Näissä ajatuksissa voi tulla ilmi esimerkiksi käyttöliittymän epäselvyys. Jos käyttäjä joutuu pohtimaan kauan mitä hänen pitäisi tehdä ja mitä nappia painaa, on tuotteen käyttöliittymä huonosti suunniteltu. Haastattelu [ks. liite 1] suoritetaan testitilanteen jälkeen. Aiomme videoida testitilanteen sekä kirjoittaa samalla muistiinpanoja havainnoistamme. Koska käytössämme on kamerajalusta, emme tarvitse erillistä henkilöä kameran taakse kuvaamaan. Näin saamme enemmän materiaalia havainnoinnista, kun kaksi meistä, Heidi ja Jaakko, voivat kumpikin tehdä muistiinpanoja testitilanteesta. Heidi ja Jaakko myös laskevat tehtävien suoritukseen kuluvien painallusten määrän. Jussin tehtävänä on neuvoa ja ohjata käyttäjää. Ongelmatilanteissa pyrimme neuvomaan mahdollisimman vähän. Ensimmäiseksi pyydämme testihenkilöä määrittelemään mahdollisimman tarkkaan kysymyksensä, johon haluaa meiltä vastauksen. Kysymys voi tällöin koskea esimerkiksi sitä, mitä tapahtuu jostain tietystä nappulasta, tai miten käyttäjä pääsee jollekin tietylle sivulle. Sitten voimme vielä esimerkiksi muistuttaa sivuvalikon linkeistä, mikäli se auttaa ongelmaan. Tekstinsyöttökohdissa riittää, että käyttäjä kertoo, mitä hän kirjoittaisi ruudulle. Testaus suoritetaan sisätiloissa rauhallisessa paikassa. Koska kyseessä on paperiproto, ei testausta voi suorittaa ulkona, sillä tuulisena päivänä papereiden selaus on lähes mahdotonta. Paikan pitää olla rauhallinen, sillä aiomme videoida testitilanteen ja Heidi Hänninen, Jussi Nervola, Jaakko Vilén 9

testidatan analysointi on helpompaa, jos testihenkilön puheesta saa selvän eikä nauhalla kuulu taustalta hälyääniä. Testipaikalle tarvitaan paperiprototyyppi, kamera, jalusta, paperia, kyniä, tuoleja sekä pöytä jonka ääressä testaus on helpompi suorittaa ja papereita helpompi hallita. Testin aluksi selitetään puhelimen teknologia ja Mopsi-palvelun idea. Testihenkilölle kerrotaan, että kyseessä on palvelu opiskelun tueksi ja selostetaan mitä kaikkea palvelulla voi tehdä. Mopsia voi käyttää kurssien hakuun ja niille ilmoittautumiseen, tentteihin ilmoittautumiseen, lukukausi-ilmoittautumiseen, yhteystietojen hakuun, viestien lähettämiseen sekä soittamiseen ja näiden lisäksi Mopsissa on kalenteri sekä lukujärjestys. Palvelun toiminnot selostetaan yleisellä tasolla, jotta voimme paremmin mitata palvelun helppokäyttöisyyttä ja opittavuutta. Lisäksi testihenkilöt opetetaan käyttämään paperiprotoa, eli selitetään eri merkinnät ja miten liikkuminen eri tilojen välillä tapahtuu. Testin jälkeen koehenkilöt saavat tutustua protoon rauhassa. Lopullisen mobiililaitteen ulkonäkö tulee ilmi paperiprototyypistäkin. Kaikki koehenkilöt ovat myös pitäneet matkapuhelinta kädessään, joten he tietävät miltä sellainen tuntuu. Laitteessa on kosketusnäyttö ja tekstintunnistus. Viestit kirjoitetaan muovisella kynällä. Tätä ei voida testata paperiprotolla, mutta se ei ole tärkeää, sillä kirjoitus on mobiililaitteen ominaisuus, ei tarjoamamme palvelun. 3.1 Testitehtävät Testitehtäville pitää suunnitella taustaskenaariot, jotka kertovat millaisessa tilanteessa tehtäviä kuvitellaan suoritettavan. Koska kyseessä on mobiilipalvelu, on mahdotonta määritellä yhtä fyysistä tai sosiaalista ympäristöä jossa palvelua käytetään. Erilaisia ympäristöjä yhdistää se, että käytettävissä on matkapuhelin, käyttäjä on jonkun teleoperaattorin kuuluvuusalueella ja käyttäjätutkimuksen perusteella myös se, ettei tietokonetta tai internetyhteyttä ole siihen hätään saatavissa. Käyttäjätutkimuksessa nimittäin selvisi, että tietokone koettiin miellyttävämpänä kuin matkapuhelimen näppäily. Heidi Hänninen, Jussi Nervola, Jaakko Vilén 10

Sosiaalinen ympäristö voi myös vaihdella paljon. Käyttäjä saattaa olla yksin mökillä, tai sitten ystäviensä ympäröimänä luennolla. Toisissa tapauksissa voi siis saada tukea ja apua muilta käyttäjiltä, kun taas toisissa tilanteissa käyttäjä joutuu selviytymään tilanteista yksin. Koska emme aio tehdä paritestejä, on testitehtävien sosiaalinen ympäristö sellainen, että käyttäjän pitää selvitä yksin. Kiirettä emme ota skenaarioihin mukaan. Hätäilyn ja hermostumisen negatiivista vaikutusta pienennämme sillä, että selitämme käyttäjille palvelun käytön olevan kuukausihinnalla laskutettavaa, joten kännykkälasku ei kasva vaikka jonkin toiminnon tekemiseen kuluisikin enemmän aikaa. Kiireen vaikutuksen arvioiminen on myös hankalaa paperiproton ja kuvitteellisen tilanteen takia. Paperiprotoa on jo sinällään hieman outoa käyttää, joten sekin hidastaa toimintaa. Vaikka testitilanteessa sanoisi testattavalle että tällä on kiire, emme usko että sillä olisi vaikutusta suoritukseen, koska tilanne ja kiire eivät ole todellisia. 3.1.1 Ensimmäinen tehtävä: Antille soittaminen Olet bussissa matkalla koulusta kotiin. Yhtäkkiä tajuat ettet sopinut Antin kanssa seuraavaa ryhmätyötapaamista. Antti on poika samalta kurssilta, mutta et tunne häntä vielä niin hyvin, että sinulla olisi hänen puhelinnumeronsa. Selvitä Antin puhelinnumero ja soita hänelle. Antin koko nimi on Antti Ilmari Virtanen. Suunniteltu suoritustapa: 1. Kirjautuminen 2. Etusivu 3. Yhteystiedot 4. Henkilöhaku 5. Hakukriteerin täyttö 6. Haku 7. Henkilön valinta listasta (ei tarvitse katsoa erillistä henkilösivua) 8. Soitto Heidi Hänninen, Jussi Nervola, Jaakko Vilén 11

3.1.2 Toinen tehtävä: Tentti-ilmoittautuminen Käyt koulussa ruotsin kurssia (Ruotsi R1) suorittaaksesi virkamiesruotsin. Olet mökillä talvilomalla, kun muistat että ruotsin kurssin tentti-ilmoittautuminen sulkeutuu tänään. Ilmoittaudu tenttiin ja merkitse päivämäärä kalenteriin. Tenttiaika: 4.5.2005 12-15. Suunniteltu suoritustapa: 1. Kirjautuminen (automaattisesti ensimmäisen kerran jälkeen) 2. Etusivu 3. Omat kurssit 4. Kurssin valinta listasta 5. Tentti-ilmoittautuminen 6. Merkitse kalenteriin 3.1.3 Kolmas tehtävä: Luennolle ilmoittautuminen Juttelet koulun käytävällä kaverisi Pasin kanssa. Pasi käy matematiikan kurssia (Matematiikka S1), joka kuulostaa sinusta mielenkiintoiselta. Päätät osallistua myös kurssille. Koulun tietokoneluokassa on tunti meneillään, joten et mahdu sinne. Ilmoittaudu kurssin luennoille. Kurssia eri tarvitse merkitä lukujärjestykseen. Suunniteltu suoritustapa: 1. Kirjautuminen (automaattisesti) 2. Etusivu 3. Kurssihaku 4. Hakukriteerien täyttö 5. Haku 6. Luentoilmoittautuminen Heidi Hänninen, Jussi Nervola, Jaakko Vilén 12

3.1.4 Neljäs tehtävä: Kalenterimerkinnän poistaminen Olet sopinut ruotsin kurssin tenttipäivälle aamuksi ryhmätapaamisen ryhmäsi kanssa. Tenttiin lukeminen on kuitenkin jäänyt vähiin, joten sovitte ryhmän kanssa, että tapaamista ei pidetä jotta ehdit vielä valmistautua tenttiin. Poista peruttu tapaaminen kalenteristasi. (Ryhmätapaaminen 4.5. klo 12.15-13.00) Suunniteltu suoritustapa: 1. Kirjautuminen (automaattisesti) 2. Etusivu 3. Kalenteri 4. Päivän valinta 5. Tapahtuman valinta 6. Tapahtuman poisto 3.2 Pilottitesti Pilottitesti tehdään muutamaa päivää ennen varsinaisia testejä ja siinä testataan testiä ja testijärjestelyjä. Jos testijärjestelyihin ei tehdä suurempia muutoksia pilottitestin jälkeen, voidaan pilottitestinkin tulokset huomioida verrattavina kahteen muuhun testiin. [3] Pilottitestissä testaamme, että kamera toimii ja jalustalla kuvatusta materiaalista tulee tarpeeksi hyvää. Jos materiaali on huonolaatuista eikä siitä saa selvää, voimme vaihtaa roolijakoamme siten, että Jaakosta tulee kuvaaja. Tärkeintä pilottitestissä on selvittää, toimivatko testitehtävämme hyvin. Tehtävien vaikeustasoa on vaikea arvioida etukäteen ja lisäksi selvitetään onko testitehtäviä sopiva määrä. Pilottitestin jälkeen voidaan myös muokata lopussa esitettäviä haastattelukysymyksiä jos huomataan puutteita ja vastaavasti testin alussa annettavia ohjeita voi parantaa, jos ne ovat vaikeaselkoiset. Heidi Hänninen, Jussi Nervola, Jaakko Vilén 13

4 Testidatan käsittely Testien jälkeen haastattelemme testihenkilöitä, ja keskustelemme suoritukset yhdessä läpi myös testihenkilön kanssa. Datan purkamisen aloitamme käymällä omalla ryhmällämme läpi muistiinpanot ja mielestämme tärkeimmät merkinnät. Sitten katsomme testit videolta läpi, jolloin tarkkailemme testihenkilön toimintaa erityisesti merkityissä kohdissa, sekä analysoimme testihenkilön yleistä olemusta testin aikana. Todennäköisesti testihenkilöt suhtautuvat aika positiivisesti testin tekoon, joten meidän täytyy pystyä arvioimaan erityisesti tuotteen miellyttävyyttä hyvin kriittisesti. Mikäli testeissä ilmenee minkäänlaista turhautumista, joko testihenkilön osalta tai kokeen järjestäjien osalta, se on luultavasti tärkeä ja huomioonotettava merkki. Varsinaisia vakavia virheitä emme odota testihenkilöiden tekevän. He todennäköisesti joutuvat selaamaan jonkin verran löytääkseen haluamansa, ja saattavat eksyä johonkin tilaan, jota eivät ymmärrä. Tällaiset tilanteet olisivatkin testin kannalta toivottavia, jotta saisimme tietoa, miten käyttäjä toimii odottamattomassa tilassa. Samalla saisimme myös tietoa tapahtuneiden virheiden suuruudesta. Aiomme merkitä muistiin erityisesti kohdat, joissa joku meistä kokeen tekijöistä joutuu auttamaan testihenkilöä. Nämä tilanteet lienevät sellaisia, joissa testihenkilö ei joko uskalla suorittaa toimintoa, koska ei ole varma, mitä on tekemässä, tai sitten ei ymmärrä ollenkaan jotain toimintoa tuotteessa. Oletamme myös tekstinsyötön kynällä tuntuvan erikoiselta, jos testihenkilöt eivät ole käyttäneet sellaista aikaisemmin. Joka tapauksessa listaamme havaitut virheet tuotteen käytössä, laskemme virhepainallusten määrän suhteessa painallusten kokonaismäärään ja selvitämme, miten hyvin testitehtävien teko onnistui. Tehtävät ovat niin tarkkaan määriteltyjä, että pystymme hyvin määrittelemään, milloin tehtävän viimeinen painallus on suoritettu. Listaamme virheiksi kaikki kohdat, joissa käyttäjä teki jotain, joka ei edistänyt tehtävän suoritusta, sekä ongelmakohdat, joihin meni subjektiivisesti arvioiden paljon aikaa. Listaamme virheet niiden vakavuuden mukaan kahteen kategoriaan, jotka ovat näkyvillä Heidi Hänninen, Jussi Nervola, Jaakko Vilén 14

taulukossa 3. 1-luokassa ovat vakavat virheet, joissa testihenkilö teki jotain, joka piti peruuttaa tai korjata. Tällaisia virheitä ovat esimerkiksi ilmoittautuminen väärälle kurssille tai muulle suoritukselle, jolloin ilmoittautuminen täytyy peruuttaa. Toinen esimerkki on tilanne, jossa testihenkilö on päätynyt tilaan, josta ei löydä paluuta. 2- luokan virheitä ovat sellaiset, jotka häiritsevät tehtävien suoritusta joko ajallisesti tai lisäävät navigaatiota järjestelmässä halutun lopputuloksen saavuttamiseksi. Ilmoittautuminen väärälle tapahtumalle, mutta oikealle kurssille on 2-luokan virhe, mikäli käyttäjä huomaa ja korjaa sen heti. 2-luokan virheet ovat yksittäisiä virhepainalluksia tai ajatuskatkoja, jotka eivät vaikuta tehtävän suoritukseen kuin hetkellisesti. Nämä virheet voivat olla vain kosmeettisia tapahtumia, joissa käyttäjä ei toiminut ideaalisen tehokkuuden mukaan. Koska tehokkuus ei ole merkittävimpiä käytettävyyskriteerejä tässä tuotteessa, nämä pikkuvirheet voivat pahimmassa tapauksessa vaikuttaa käytännössä vain miellyttävyyteen, jos niitä tulee paljon kerralla. Heidi Hänninen, Jussi Nervola, Jaakko Vilén 15

5 Lähdeluettelo [1 ] Anttila, A. 2005. AS-84.147 Automaation käyttöliittymät kurssin vierailuluento 22.3.2005. Teknillinen korkeakoulu. Espoo. [2 ] T-121.110. 2005. Käyttäjäkeskeisen tuotekehityksen harjoitustyö. Kurssin laskuharjoituskalvot 4.1 Käytettävyystavoitteet. [Viitattu 23.3.05] Saatavissa: <URL:http://www.soberit.hut.fi/T-121/T-121.110/suomi/laskarit_05/4- kaytettavyystavoitteet.pdf> [3 ] T-121.110. 2005. Käyttäjäkeskeisen tuotekehityksen harjoitustyö. Kurssin laskuharjoituskalvot 4.2 Käytettävyystavoitteiden mittaaminen. [Viitattu 23.3.05] Saatavissa: <URL:http://www.soberit.hut.fi/T-121/T-121.110/suomi/laskarit_05/4- kaytettavyystavoitteet_mittaus.pdf> [4 ] T-121.110. 2005. Käyttäjäkeskeisen tuotekehityksen harjoitustyö. Kurssin internetsivut. [Viitattu 23.3.05] Saatavissa: URL:http://www.soberit.hut.fi/T-121/T-121.110/suomi/paperi.htm [5 ] Faulkner, X. 2000. Usability Engineering. London: Macmillan. 6 Liitteet 1. Haastatteluissa apuna käytetty kysymyskaavake. Heidi Hänninen, Jussi Nervola, Jaakko Vilén 16

LIITE 1. Haastattelukysymykset Millainen ensivaikutelma tuotteesta tuli? Oliko järjestelmän toiminnan perusidea helppo oppia? Oliko järjestelmän rakenne selkeä? Olivatko tehtävät liian helppoja / sopivia / vaikeita? Suosittelisitko järjestelmää ystävillesi? Oliko järjestelmää miellyttävä käyttää? Anna järjestelmälle arvosana asteikolla 0 5 (0 = huonoin, 5 = paras) Parannusehdotuksia? Heidi Hänninen, Jussi Nervola, Jaakko Vilén 17