H4: Käytettävyystesti (6 p.)



Samankaltaiset tiedostot
Kt 3a: Simulointitestaus

Käytettävyystestaus Selville saatavat ongelmat

EeNet kehittymisen seuranta ohjeet

Käyttöopas yksityisautolle Android, ios ABAX MOBIILI

Ical-kalenterisovellus

RAPORTTI SUORITETUISTA KÄYTETTÄVYYSTESTEISTÄ Luuppi-projekti

Doodle helppoa aikatauluttamista

HUOLTAJAN OHJE TIETOJEN PÄIVITTÄMINEN HUOLTAJAKSI ILMOITTAUTUMINEN REKISTERÖITYMINEN

Webinaariin liittyminen Skype for

Lohtu-projekti. Testiraportti. Versiohistoria: syklin toteutuksen testit. 1. ajo Virve

Ohjeita uuden Sikavan käyttöön lääkekirjanpidossa

Lefkoe Uskomus Prosessin askeleet

Ylläpito toimittaa sinulla sähköpostiisi käyttäjätunnuksen ja salasanan. Tässä esimerkissä

Herään aikaisin aamulla herätyskellon pirinään. En jaksanut millään lähteä kouluun, mutta oli aivan pakko. En syönyt edes aamupalaa koska en olisi

Moodle-oppimisympäristö

SOPIMUSPRO - VERKKOPALVELUNOHJE. Työpaikkakouluttajan ohje SopimusPro verkkopalveluun. Pikaohje arvioinnin kirjaamiseen SopimusPro -verkkopalveluun

Skenaario 1: Paavo kokouksessa

Helsingin seudun liikenteen reitit ja aikataulut Tässä.fi:ssä

VJS-96 Black Panthers joukkueen www-sivujen käyttöohjeet

Julkaistu. 1 Johdanto... 2

Nimeni on. Tänään on (pvm). Kellonaika. Haastateltavana on. Haastattelu tapahtuu VSSHP:n lasten ja nuorten oikeuspsykiatrian tutkimusyksikössä.

MUSTALINJA II KÄYTTÖOHJE MUSTALINJA.FI

FAQ, Rekrytointimoduuli

Tietokone työvälineenä

Tervetuloa tutustumaan Seure Keikkanetti -mobiilisovellukseen!

Voit itse päättää millaisista tavaroista on kysymys (ruoka, matkamuisto, CD-levy, vaatteet).

Oppimisympäristön ominaisuudet

Tero Mononen / Kumppanuuskampus

Tentissä ratkaistaan neljä ohjelmointitehtävää Javalla. Tentti kestää kolme tuntia. Tehdään sähköisesti mikroluokkien Windows-koneilla.

Ohjeistus pöytäkirjan käyttöön. Suomen Lentopalloliitto ry

TornaMarket-Metsät metsätilamarkkinointisovelluksen käyttöohje (ohje tehty PC käytölle)

Johdatus ohjelmointiin

SÄHKÖTEKNIIKAN KOULUTUSOHJELMAN KANDIDAATINTYÖOHJE

PELIAIKASEURANTAOHJELMAN KÄYTTÖOHJE

ENE-C2001 Käytännön energiatekniikkaa. Aloitustapaaminen Osa III: Tekninen raportointi

TAPAHTUMATIETOJEN YLLÄPIDON KÄYTTÖOHJE

Museokartta Katselukäyttäjän ohje , päivitetty Ohjeen sijainti: Intra/Ohjeet/Kulttuuriympäristö/Paikkatieto ohjeet

Wilman käyttöohje huoltajille

DIGITAALISEN TARINAN TUOTTAMINEN MICROSOFT PHOTO STORY 3- OHJELMAN AVULLA VAIHEINEEN

Linkkitekstit. Kaikkein vanhin WWW-suunnitteluohje:

Opintokohteiden muokkaus

Avaa sovellus (PERUSAURORA)

Matkatyö vie miestä. Miehet matkustavat, vaimot tukevat

2 Konekieli, aliohjelmat, keskeytykset

Asko Ikävalko, k TP02S-D. Ohjelmointi (C-kieli) Projektityö. Työn valvoja: Olli Hämäläinen

VINKKEJÄ CV-NETIN KÄYTTÖÖN.

Skype for Business pikaohje

,QWHUQHWVHODLPHQNl\WWlPLQHQ±,QWHUQHW([SORUHU

ZA4884 Flash Eurobarometer 248 (Towards a safer use of the Internet for children in the EU a parents' perspective)

Ohjeita kirjan tekemiseen

Minun arkeni. - tehtäväkirja

Kehitysvammaliitto ry. RATTI-hanke. Haluan lähteä kaverin luokse viikonlopun viettoon ja olla poissa ryhmäkodista koko viikonlopun.

Asumisen suunnitelmani. Kehitysvammaisten Palvelusäätiö Asumisen yksilölliset tukimallit projektin tuottamaa aineistoa

VJS-96 Black Panthers joukkueen www-sivujen käyttöohjeet

Lupapiste käyttöönottokoulutus. Palvelun esittely

Pedanet oppilaan ohje Aleksanteri Kenan koulu Eija Arvola

Tietokantojen hallinta

Tehtävä. Asetukset. Moodlen versiossa 2.3. käyttöön tuli uusi tehtävätyyppi, jonka on tarkoitus tulevaisuudessa korvata aiemmat tehtävätyypit.

1. Kalenterin omistajan käyttöohje

Samk Exam ohjeistus opiskelijalle

PELIAIKASEURANTAOHJELMAN KÄYTTÖOHJE

VINKKEJÄ CV-NETIN KÄYTTÖÖN.

Echo360 - luentovideot. Ohjeita opiskelijalle

VirtuaaliKYLÄ. Työtur vallisuusanaly ysi.»

LIITE 1. KÄYTETTÄVYYSONGELMAT JA KÄYTTÄJIEN TOIVEET, NIIDEN MÄÄRÄ, LUOKITTELU JA PARANNUSEHDOTUKSET

Keskeneräisten tarujen kirja

EeNet materiaalit ohje

OPI SKELI JAN TI I TUS - OPAS

Ohjeita informaation saavutettavuuteen

UTIFLEET-VARAUSJÄRJESTELMÄ KÄYTTÄJÄN OHJE. Gospel Flight ry

Moodlen lohkot. Lohkojen lisääminen: Lohkojen muokkaaminen: Tampereen yliopisto/tietohallinto 2017 Suvi Junes

Pauliina Munter / Suvi Junes Tampereen yliopisto/tietohallinto 2013

Opiskelijoiden HOPSit

Navigointi Verkkomultimedia ICT1tn004. Elina Ulpovaara

Opetussuunnitteluprosessi WebOodissa - OpasOodi

Miten kurssit tehdään Eirassa?

Käyttöohje HERE Maps painos FI

Kt 1a: Opittavuus ja tehokkuus

LUT Moodle -opiskelijan opas 2014

Somettaminen käyntiin Tiedottaja Johanna Hietikko Koljonen Johanna.hietikko

Ohjeistus yhdistysten internetpäivittäjille

MOT-PALVELU OHJE MOT-SANAKIRJAN KÄYTTÖÖN

SOSIAALISESTI MONIMUOTOINEN KAUPUNKI. Liisa Häikiö & Liina Sointu Yhteiskuntatieteiden tiedekunta Tampereen yliopisto Ketterä kaupunki

Selaimen kautta käytettävällä PaikkaOpin kartta-alustalla PaikkaOppi Mobiililla

MatkailuMapathon

Pikaohje Sopimus Pro verkkopalvelun käyttämiseen

WINDOWS 10 -kurssi.

EXAM Kypsyysnäytteen laatiminen ja arviointi

LOVe-verkkokoulutuksen käyttöohje Opiskelijan osio

Mukaan.fi on oma verkkopalvelu juuri sinulle, joka olet kiinnostunut erityistä tukea käyttävien lasten, nuorten ja aikuisten elämästä.

3 VIESTIT UUSI VIESTI VIESTIN LUKEMINEN SAAPUNEET JA LÄHETETYT KANSIOT ROSKAKORI...

Yrityksen sisäinen tunnus Henkilönumero tai muu yrityskohtainen tunniste, mikäli tieto on tallennettu verkkopalveluun.

Oma kartta Google Maps -palveluun

Opettajan ohje kypsyysnäytteen toteuttamiseen ja arvioimiseen sähköisenä tenttinä

Suvi Junes/Pauliina Munter Tietohallinto / Opetusteknologiapalvelut 2014

5. Klikkaa avautuvan ikkunan oikeasta yläkulmasta käyttäjätunnustasi ja valitse Luo pikakuvake

PDF-tiedostojen teon pikaohje

Kipan AC huone on pääsääntöisesti auki ja opiskelijoiden vapaasti käytettävissä.

Talotietojen päivittäminen

EXTRA 2.0 LABORATORIOTUTKIMUSTEN TILAUSJÄRJESTELMÄ TIETOVERKOSSA KÄYTTÄJÄOPAS

Transkriptio:

Käyttöliittymät (kevät 2004) Sari A. Laakso H4: Käytettävyystesti (6 p.) Testiraportin palautus perjantaina 26.3.2004 klo 10.00 mennessä huoneen B442 lötteröön Testattava sovellus Testattavana sovelluksena on joukkoliikenteen reittihakujärjestelmä http://www.ytv.fi/reittiopas/, jonka käytöstä laadittiin kuvasarja ensimmäisessä harjoitustyössä H1. Mahdollisuus tehdä parityönä Voit halutessasi tehdä käytettävyystestisi parityönä jonkun toisen kälikurssilaisen kanssa, jolloin pidätte yhdessä 2+2 testiä. Tällöin sinä teet muistiinpanoja, kun hän ohjaa kahta testiä, ja hän tekee muistiinpanot sinun ohjaamistasi testeistä. Tämä helpottaa muistiinpanojen tekemistä testin aikana. Molemmat raportoivat omista muistiinpanoistaan ne 2 testiä, jotka kurssikaveri ohjasi. Kaksi testikäyttäjää Reittihakujärjestelmää testataan kahdella testikäyttäjällä. Jos et saa kahden käyttäjän avulla esille yhtään ongelmaa tai löydät vain pari todella vähäpätöistä käytettävyysongelmaa (tämä on harvinaista), olet todennäköisesti valinnut vääränlaisia testikäyttäjiä tai vahingossa neuvonut heitä testin aikana tai mahdollisesti et ole huomannut testin aikana ilmenneitä käyttöliittymäongelmia, vaikka niitä on tullut eteen. Jos näin käy, valitse uusia testikäyttäjiä ja pidä uusia testejä niin monta, että rupeat saamaan ongelmakohtia esille, tai käy kysymässä kurssin opettajilta neuvoa. Ennen varsinaisia testejä voit halutessasi pitää yhden ylimääräisen pilottitestin, jonka avulla kokeilet testin pitämistä ja muistiinpanojen tekemistä testin aikana. Pilottitestin tuloksia ei raportoida. Hanki molempiin testeihin sellainen testikäyttäjä, joka ei ole aiemmin käyttänyt YTV:n reittihakujärjestelmää. Jos et millään löydä kahta tällaista ihmistä, voit korvata toisen testikäyttäjän sellaisella henkilöllä, jolla on vain vähän käyttökokemusta Reittioppaasta. Se, että käyttäjäsi matkustavat päivittäin paljon julkisilla liikennevälineillä, on vain hyvä asia. Toisaalta voit valita testikäyttäjiksi autoilijoitakin, joille vastaavia käyttötilanteita voisi tulla eteen esimerkiksi auton ollessa huollossa. Tärkeintä olisi se, etteivät testikäyttäjäsi olisi käyttäneet webissä olevaa Reittiopas-järjestelmää etukäteen ollenkaan tai ainakaan kovin paljon. Helpointa on hankkia testikäyttäjiksi tuttuja ja puolituttuja: siskot ja veljet, tyttö- ja poikaystävät, vanhemmat, muut sukulaiset, kaverit, kaverien tyttö- ja poikaystävät, työkaverit, naapurit jne. ovat yleensä kohtuullisen helposti suostuteltavissa. Vältä tkt-nörttejä, jotka edustavat melko marginaalista ja poikkeuksellista ryhmää kaikkien käyttäjien joukossa, ja kälikurssin käyneitä, jotka tietävät liikaa käyttöliittymäsuunnittelusta ja käytettävyystestauksesta ollakseen tyypillisiä käyttäjiä. Jos et mitenkään onnistu saamaan oikean kohderyhmän testikäyttäjiä, voit käyttää näitä viimeksi mainittujakin, mutta mainitse se testiraportissasi. (Sen sijaan pilottitestin käyttäjänä voi olla aivan kuka tahansa, vaikkapa tällä hetkellä kälikurssia käyvä opiskelukaverisikin.) Varaa testikäyttäjiltäsi aikaa testin tekemiseen noin yksi tunti. Älä järjestä molempia testejä aivan peräkkäin, vaan pidä välissä vähintään parin tunnin tauko, jotta ehdit tällä välin täydentää ensimmäisen testin muistiinpanojasi ja korjata ensimmäisessä testissä sattuneet kommellukset. Myös testien järjestäminen eri päivinä on hyvä vaihtoehto, koska silloin ehdit raportoida ensimmäisen testin kokonaan ennen jälkimmäisen pitämistä. Copyright 2004 / Sari A. Laakso 1

Perehtyminen käytettävyystestaukseen Perehdy hyvissä ajoin luentomonisteen testausohjeisiin (sivut 209-226), joihin liittyviä esimerkkejä ja demoja on käsitelty luennolla 10 tiistaina 2.3.2004. Varmista, että olet ymmärtänyt oikein, mitä käytettävystestillä (usability test) yritetään saada selville ja miten se on tarkoitus viedä läpi. Huomaa erityisesti, että testattavaa järjestelmää ei pidä millään tavalla demota tai esitellä käyttäjälle ennen testin alkamista. Älä myöskään neuvo käyttäjää testin aikana. Jos hän ei osaa suorittaa jotain tehtävää, siirry hienovaraisesti seuraavaan tehtävään sen jälkeen, kun olet antanut hänen yrittää riittävän kauan. Perehdy tässä tehtäväpaperissa annettuihin testitehtäviin, ja tee kaikki tehtävät itse etukäteen reittihakujärjestelmää käyttäen. Selvitä samalla myös vaihtoehtoisia suorituspolkuja, joita testikäyttäjäsi saattavat käyttää. Testin ohjaaminen ja muistiinpanot Testitilanteessa testin ohjaaja kuvailee käyttäjälle esimerkkitilanteet (testitehtävät) suullisesti ja kehottaa häntä ajattelemaan ääneen. Jos testaat työparin kanssa, toinen teistä toimii testin ohjaajana ja toinen tekee pelkästään muistiinpanoja. Yksin testatessasi sinun on hoidettava molemmat roolit itse. Koska testitilanne on hyvin kuormittava muistiinpanojen tekijälle, muistiinpanoihin kannattaa kirjata käyttäjän tekemät toimenpiteet lyhyesti mutta täsmällisesti sekä keskeisimmät käyttäjän suulliset kommentit. Pidemmälle viedyt johtopäätökset ja tulkinnat kannattaa tehdä vasta testitilanteen jälkeen. Lue testin raportointiin liittyvät ohjeet etukäteen ja valmistaudu tekemään sellaisia muistiinpanoja, joiden avulla saat tuotettua ohjeissa kuvatut raportit. Jos teet muistiinpanot "vääristä asioista", testituloksia on vaikea raportoida jälkeenpäin. Halutessasi voit hankkia videokamerankin ja purkaa käyttäjän toimenpiteet videonauhalta jälkeenpäin, mutta tämä ei ole välttämätöntä. Yritä aikatauluttaa testisi siten, että voisit laatia testiraportin välittömästi testin pitämisen jälkeen. Jos testin ja raportoinnin väliin jää päivä tai pari, hämmästyttävän suuri osa testitilanteen tapahtumista on jo unohtunut täysin. Valmistelut ennen testin aloittamista Muistilista valmisteltavista materiaaleista: Yleiset testausasiat käyttäjälle: muistiinpanot, joiden pohjalta osaat testitilanteen alussa kertoa käyttäjällesi yleiset testausasiat luentomonisteen sivun 217 pohjalta. (Ei anneta käyttäjälle, sisällytetään testiraporttiin.) Taustatilanteen kuvaus, joka annetaan käyttäjälle, ks. alla kohta Taustatilanne käyttäjälle. Poista siniset kursivoidut tekstit, jotka ovat ohjeita itsellesi. Paperikartta, johon on merkitty käyttäjän koti osoitteessa Adolf Lindforsin tie 7, kodin lähellä oleva bussipysäkki ja Pohjois-Haagan rautatieasema, ks. alla kohta Taustatilanne käyttäjälle. Älä käytä testattavasta järjestelmästä tulostettua karttaa vaan esim. puhelinluettelosta kopioituja karttoja. Kynä ja paperia annettavaksi käyttäjälle. Kaikki testitehtävät leikeltyinä erillisille paperilapuille. Poista siniset kursivoidut tekstit, jotka ovat ohjeita itsellesi. Muut etukäteisvalmistelut Lisää testikoneen selaimeen kirjanmerkki aloituslinkkisivulle, jossa on jokaisen tehtävän alkutilan mukainen linkki Reittioppaaseen. Todellisessa käyttötilanteessa käyttäjäsi olisi aina avannut Reittioppaan pääsivun uudelleen eri päivänä tai eri paikassa. Käynnistä Reittiopas jokaisen tehtävän alussa uudelleen sivulta www.cs.helsinki.fi/u/salaakso/kl-2004/testin-aloituslinkit.html, jossa on linkki jokaista tehtävää vastaavaan aloitusasetelmaan siten, että oletuspäivä ja kellonaika ovat valmiiksi oikein. Esim. tehtävässä 3 esimerkkipäivänä on lauantai 27.3. klo 10 Copyright 2004 / Sari A. Laakso 2

aamulla. Vastaava linkki: http://pathfinder3.meridian.fi/ytv/fi/?day=27&month=03&hour=10&min=00 Selvitä, mille printterille testikoneen selaimesta kannattaa tulostaa. Jos käyttäjäsi päättää tulostaa jotain testin kuluessa, rohkaise häntä tekemään se oikeasti ja nouda tulosteita hänelle sitä mukaa kuin hän tulostaa. Koska TKTL:n tulostimien tuntemus ei sisälly testattavaan aineistoon, voit neuvoa käyttäjää tulostimen valintakohdassa: Käyttäjä: Mikähän tulostin minun pitäisi tästä valita? Testin ohjaaja: Tuo ps4 on ihan lähellä. <Käyttäjä tulostaa > Testin ohjaaja: Odota hetki, käyn hakemassa tulosteesi. Taustatilanne käyttäjälle Kerro käyttäjälle testin alustukseen kuuluvat asiat omista muistiinpanoistasi (sovellettu luentomonisteen sivulta 217). Sen jälkeen kuvaile hänelle taustatilanne vapaamuotoisesti selittäen: Oletetaan tässä, että olet opiskelija Minna/Markku (käytä testikäyttäjän sukupuolta vastaavaa esimerkkinimeä) ja asut Pohjois-Haagassa osoitteessa Adolf Lindforsin tie 7. (Näytä käyttäjän oletettu kotipaikka valmistelemastasi paperikartasta älä testattavasta järjestelmästä! ja varmista, että käyttäjä ymmärtää suurin piirtein, missä hänen oletettu kotinsa on.) Sinulla ei ole omaa autoa, vaan käytät päivittäiseen matkustamiseen julkista liikennettä. Tiedät, että kotisi lähellä on yksi bussipysäkki (Ohjaajantien ja Näyttelijäntien risteyksen kohdalla) sekä Pohjois-Haagan rautatieasema. (Näytä pysäkit ja rautatieasema paperikartalta.) Sinulla on kotona tavallinen pöytätietokone, josta pääset Internetiin... (Kuvaile tässä käyttäjän tietokonelaitteet lyhyesti ja kansantajuisesti ilman tarpeettomia teknisiä termejä.) Laadi edellä kuvatusta taustatilanteesta kiteytetty versio paperille ja anna se käyttäjälle suullisen kuvauksesi lisäksi, ettei hänen tarvitse yrittää muistaa tietoja. Anna käyttäjälle myös kynä ja paperia ja kerro hänelle, että hän voi vapaasti tehdä testin aikana itselleen muistiinpanoja, jos hän kokee tarvitsevansa niitä. Näin saatat saada selville sellaisiakin käyttöliittymän ongelmakohtia, joissa käyttäjän on turvauduttava ulkoisten muistivälineiden käyttöön. Testitehtävät Valmistele seuraavien tilannekuvausten pohjalta käyttäjälle testin aikana annettavat paperilaput testitehtävistä. Kuvaile testitehtävien esimerkkitilanteet aina yksi kerrallaan suullisesti vapaamuotoisesti (älä lue tekstiä suoraan paperista) ja anna käyttäjälle jokainen tilannekuvaus myös erillisellä paperilapulla. Editoi alla olevista kuvauksista pois testin ohjaajalle tarkoitetut sinisellä kursiivilla merkityt huomautukset! Älä anna käyttäjällesi mitään neuvoja tai vihjeitä ennen testiä tai tehtävien suorittamisen aikana. Teetä molemmilla käyttäjillä kaikki kolme tehtävää, mutta lopeta testi joka tapauksessa silloin, kun testitehtävien tekemiseen on käytetty noin yksi tunti. Toimi tällaisessa tapauksessa hienovaraisesti ja varo antamasta käyttäjälle sitä mielikuvaa, että aika loppui, koska hän oli liian hidas tekemään tehtäviä. (Käyttäjä ei ollut liian hidas, vaan ohjelma oli liian huono.) Copyright 2004 / Sari A. Laakso 3

Editoi näistä tehtävistä käyttäjälle annettavat paperilaput: 1. Olet vuoden verran opiskellut Taideteollisessa korkeakoulussa (TAIK), joka sijaitsee Helsingin Arabiassa osoitteessa Hämeentie 135. Tänä aamuna kello on 7.30, ja olet juuri herännyt. (Tässä käytetään sitä todellista päivää, jolloin käytettävyystesti pidetään, mutta älä anna käyttäjälle päivämäärää, koska hän ei todellisessakaan tilanteessa saisi sitä paperilapulla.) Olet kurssikaveriesi kanssa sopinut, että pidätte Digitaalisen kuvankäsittelyn kurssin pienryhmäpalaverinne tänään klo 9.30 alkaen TAIKissa. Siellä olisi syytä olla ajoissa paikalla, jottei muiden tarvitsisi odottaa. Miten pääset palaveriin? (Tehtävä on suoritettu, kun käyttäjä on päättänyt, millä kulkuvälinevaihtoehdolla hän nyt lähtisi liikkeelle. Ylimalkainen hakutulosten esittely ei riitä tehtävän suorittamiseksi. Testin ohjaajana sinun pitäisi saada käyttäjäsi päätymään johonkin vaihtoehtoon.) 2. Ystäväsi Jenni on hankkimassa tennismailaa ja muita pelivarusteita itselleen, ja hän pyysi sinua mukaansa hankintareissulle Espoossa sijaitsevaan Iso Omena -kauppakeskukseen ensi lauantaina. (Älä anna ensi lauantain päivämäärää käyttäjälle valmiina, vaan anna hänen selvittää se itse.) Sovitte puhelimessa, että tapaatte Ison Omenan Coffee House - kahvilassa iltapäivällä klo 13. Et ole koskaan aiemmin käynyt Isossa Omenassa, etkä tunne Espoota Ison Omenan lähettyviltä juuri lainkaan. Selvitä, mihin aikaan sinun pitäisi ensi lauantaina lähteä, jotta ehtisit Ison Omenan kauppakeskukseen tapaamaan Jenniä klo 13:ksi. Selvitä myös, missä sinun pitäisi jäädä bussista pois ja miten löydät pysäkiltä perille kauppakeskukseen. (Arvioi raportissa, selviäisikö käyttäjäsi hankkimillaan tiedoilla Isoon Omenaan perille asti. Miksi/miksei? Testin aikana pitäisi myös selvitä, ottaako hän mukaansa esimerkiksi tulosteita - millaisia tulosteita? Älä kuitenkaan kysy häneltä tällaisista asioista suoraan, vaan yritä saada hänet eläytymään tilanteeseen mahdollisimman hyvin ja tarkkaile, mitä hän kokee missäkin vaiheessa tarvitsevansa. Seuraa käyttäjän ääneenajattelua, ja tee myös siitä johtopäätöksiä.) 3. Tänään on lauantai 27.3. klo 10 aamulla, ja olet kaikessa rauhassa kotonasi. Olet menossa kaverisi Aleksin tupaantuliaisiin illalla klo 18:ksi. Aleksi on juuri muuttanut Espoon Tapiolaan ja kertonut osoitteekseen Hakakuja 2 A. Olet käynyt Tapiolassa vain pari kertaa aikaisemmin, eikä sinulla ole aavistustakaan Aleksin uuden kämpän sijainnista. Ennen Aleksin tupareita sinun pitäisi vielä käydä hakemassa kännykkäsi Lauttasaaresta huollosta, jonka tiedät olevan auki klo 18 asti. Siskosi vei kännykkäsi viime viikolla työpaikkansa lähellä olevaan huoltoliikkeeseen, jonka hän kertoi sijaitsevan Lauttasaaressa Vattuniemenkadun ja Vattuniemenkujan risteyksessä. Arvioit, että kännykän noutamiseen menee parhaassa tapauksessa noin 5 minuuttia, mutta jos huollossa on pahasti jonoa, siellä voi tuhraantua puolikin tuntia. Miten pääsisit ensin Lauttasaareen hakemaan kännykkäsi huoltoliikkeestä ja sitten Aleksin tupareihin klo 18:ksi? (Yritä saada käyttäjäsi tekemään tämän tehtävän käyttötapausta vähintään siihen asti, että hän kävelee asuntonsa ovesta ulos. Testin aikana pitäisi selvitä, millaisia muistiinpanoja hän mahdollisesti kokee tarvitsevansa tai ottaako hän mukaansa esimerkiksi tulosteita - millaisia tulosteita? Käyttäjän tekemistä toimenpiteistä ja ääneenajattelusta pitäisi myös selvitä, mitkä kulkuvälineet hän lopulta valitsi ja mitkä asiat valintaan vaikuttivat.) Copyright 2004 / Sari A. Laakso 4

Testiraportti Seuraavassa on kuvattu testiraportin sisältö esimerkkikatkelmien avulla. Laadi omista testeistäsi vastaavasti jäsennelty raportti, jossa kuvaat täsmällisesti kaikki käyttäjän tekemät toimenpiteet (väliotsikolla Havaittu ongelma) ja käyttäjän keskeisimmät kommentit (väliotsikolla Käyttäjän kommentti). Kuvaa havaitsemasi käyttöliittymäongelmat ja ongelmien syyt kontekstissaan testitehtävien kohdalla. Lisää löytämiesi ongelmien kohdalle ongelmatilanteita kuvaavat näyttökuvat (screenshots), ja merkitse kuviin esimerkiksi ympyröinnillä, missä kohdassa ongelma oli. Esille tulevat käyttöliittymäongelmat voivat olla tietosisältö- tai toiminnallisuuspuutteita (puuttuu dataa tai toimintoja) taikka käytettävyysongelmia. <- Käytettävyystestissä suurin osa on tyypillisesti näitä. Kuvaa ongelmakohtien parannusehdotukset kootusti raportin luvussa 3. Huomaa, että moniin ongelmiin kannattaa laatia yhteinen parannusehdotus, ts. yksi käyttöliittymään tehty parannus voi kerralla korjata monta testissä havaittua ongelmaa. Piirrä kaikista parannusehdotuksista kuvat. Parannusehdotuskuvia saat tehtyä nopeasti leikkelemällä näyttökuvia (screenshots) PowerPointissa ja siirtämällä kuvat sieltä testiraporttiin copy-pastella tai Print Screen + pastella. Isoista, radikaaleista parannusehdotuksista kannattanee laatia kuvat piirtämällä ne ensin käsin kynällä paperille ja skannaamalla/kopioimalla kuvat sitten paperilta raporttiin. Kaikki kuvat tulee sijoittaa raportissa oikeisiin kohtiin (kontekstiinsa), ei erilliseksi liitteeksi raportin loppuun. Kansilehti Raportin päällimmäisenä sivuna tulee olla kansilehti, jossa on vähintään seuraavat tiedot: Käyttöliittymät (kevät 2004) Harjoitustyö H4: Käytettävyystesti <oma nimesi> Laskariryhmä 3 (ti 14-16) <- tähän oma ryhmäsi 1 Testivalmistelut 1.1 Yleiset testausasiat käyttäjälle <Luentomonisteen sivulta 217 sovelletut, käyttäjälle alussa antamasi yleiset ohjeet.> 1.2 Testin taustatilanne käyttäjälle <Muokkaamasi taustatilanteen kuvaus, jonka annoit testin alussa käyttäjälle myös kirjallisena.> Liitteessä 1 on käyttäjälle testin alussa näytetyt paperikartat. Copyright 2004 / Sari A. Laakso 5

1.3 Käyttäjät, testipaikat ja testien ohjaus 1.3.1 Testi 1 Käyttäjä: 45-vuotias nainen, markkinointipäällikkö, käyttää työssään jatkuvasti Windowssovelluksia ja webiä. Ei ole käyttänyt testattavaa reittihakujärjestelmää koskaan aiemmin. Käyttää matkustamiseen ensisijaisesti omaa autoa, joukkoliikennettä hyvin harvoin. Testipaikka ja -aika: Testin ohjaajan kotona maanantaina 15.3. klo 17.55-18.36. Kesto 41 min. Testin ohjaaja: Ohjasin testin ja tein muistiinpanot yksin. (Vaihtoehtoisesti esim. Testin ohjasi Teija Nevalainen, ja minä tein muistiinpanot. ) 1.3.2 Testi 2 Käyttäjä: 22-vuotias mies, liikuntatieteiden opiskelija, ei omaa tietokonetta, käyttänyt aiemmin tietokonetta lähinnä sähköpostin lukemiseen. Ei ole käyttänyt testattavaa reittihakujärjestelmää koskaan aiemmin. Käyttää joukkoliikennettä päivittäin. Testipaikka ja -aika: TKTL:n mikroluokassa B326 tiistaina 16.3. klo 16.05-17.10. Kesto 65 min. Testin ohjaaja: Ohjasin testin ja tein muistiinpanot yksin. 2 Testitehtävien suorittaminen ja löytyneet ongelmat Tehtävä 1 Olet vuoden verran opiskellut Taideteollisessa korkeakoulussa (TAIK), joka sijaitsee Helsingin Arabiassa osoitteessa Hämeentie 135. Tänä aamuna kello on 7.30, ja olet juuri herännyt. Olet kurssikaveriesi kanssa sopinut, että pidätte Digitaalisen kuvankäsittelyn kurssin pienryhmäpalaverinne tänään klo 9.30 alkaen TAIKissa. Siellä olisi syytä olla ajoissa paikalla, jottei muiden tarvitsisi odottaa. Miten pääset palaveriin? Käyttäjä 1 Käyttäjän toimenpiteet: Kirjoitti lähtöpaikaksi "Adolf Lindforsin tie 7" ja kohteeksi "Taideteollinen korkeakoulu". Valitsi Perilläradionapin ja kirjoitti kellonajaksi 9.30. Painoi HAE PAIKAT. Vertasi saapumisaikoja Perilläsarakkeesta ja sanoi: "parempi ehtiä ajoissa eikä ole vaihtoakaan". Päätyi valitsemaan tuloslistan viimeiseltä riviltä bussin 52, joka lähtee 8.52 Ohjaajantien pysäkiltä. Sanoi, että onhan tässä vielä aikaa. (Hän tarkoitti ilmeisesti Matkaan-sarakkeen lähtöaikaa 8.36, mutten saanut tätä selville varmasti.) Ei ongelmia. Käyttäjä 2 Käyttäjän toimenpiteet: Aloitti odottamattomalla toimintatavalla: Klikkasi ensimmäiseksi lähtöpaikan Kartalta-linkkiä ja yritti etsiä TAIKia zoomaamalla ja vierittämällä karttaa (yli 10 min). Etsi pääasiassa Vantaalta. (Olisi pitänyt kirjoittaa muistiin kaikki kartankäsittelytoimenpiteet, mutta olin niin ällistynyt tästä yllättävästä kartan valitsemisesta, etten huomannut alussa kirjoittaa kaikkia toimenpiteitä muistiin.) Copyright 2004 / Sari A. Laakso 6

Lopulta hän luovutti kartan suhteen ja sanoi, että onpa nämä hitaita. Sitten hän syötti jostain syystä Mistä-kenttään TAIK ja Mihin-kenttään "Adolf Lindforsintie". Painoi HAE PAIKAT. Hän luki pitkään sivulla olevia tekstejä ja valitsi sitten alaosasta Ohjeet-linkin ja sieltä ensimmäisen linkin Linjaopas. (Testiä ohjatessani en tiennyt koko Linjaoppaan olemassaolosta, mutta oletin, että se on eri palvelu kuin testattava Reittiopas ja päätin ohjata käyttäjän takaisin testattavalle sivustolle.) Sanoin käyttäjälle, että tämä olisi ihan hyvä valinta, mutta koska tässä testissä olemme testaamassa pelkästään Reittiopasta, vien sinut takaisin Reittioppaan puolelle, josta voit jatkaa ja painoin Reittioppaan etusivulle -linkkiä, joka vei takaisin lähtötilaan. (Minun olisi pitänyt palauttaa käyttäjä opastussivulle, jolta hän harhautui Linjaoppaaseen, mutta yllättävässä tilanteessa en keksinyt muutakaan kuin Reittioppaan etusivulle palaamisen.) Etusivulle palauttamisen jälkeen käyttäjä täytti Mistä-kenttään Adolf Lindforsintie ja Minnekenttään Taideteollinen korkeakoulu. Painoi HAE PAIKAT. Huomasi Adolf Lindforsin tien vieressä punaisen tekstin Anna osoitenumero ja sanoi ääneen, että se käskee vielä vaihtamaan. Painoi kentän vieressä olevaa Vaihda-linkkiä. Mistä-kenttä tyhjeni. Luki ääneen linkkejä näytön yläreunasta ja sanoi, että hakemistosta voisi löytyä. Painoi Hakemistosta-linkkiä. Valitsi kaikkien kadunnimien aakkosellisesta listasta A:n. Vieritti kadunnimilistaa alaspäin ja painoi linkkiä Adolf Lindforsin tie, Helsinki. Järjestelmä palasi etusivulle, jossa näkyi Adolf Lindforsin tien vieressä edelleen punainen teksti Anna osoitenumero. Käyttäjä oli selvästi jo tyytyväinen valintaansa eikä välittänyt osoitenumerosta, vaan painoi HAE REITTI. (Hakuehdoksi jäi virheellinen lähtöpaikka Adolf Lindforsin tie 1, vaikka katunumeron piti olla 7.) Hakutulokset ilmestyivät näkyviin: kahdella ensimmäisellä rivillä oli klo 16 jälkeen lähtevä bussi 52 ja viimeisellä rivillä reitti busseilla 43 ja 52. Käyttäjä sanoi, että tuo bussi 52 vaikuttaa hyvältä. Koska tehtävän tekemiseen oli mennyt jo 25 minuuttia ja käyttäjä oli mielestään saanut tehtävän päätökseen, päädyin jättämään ykköstehtävän tähän ja jatkamaan kakkostehtävällä. Oikeasti käyttäjän esille saaman tuloslistan aikataulut olivat vääriä, koska hän ei ollut huomannut vaihtaa hakuehtojen ajankohtaa ollenkaan, vaan hakutuloslista näytti klo 16 jälkeen meneviä busseja (testi pidettiin klo 16 jälkeen, joten tämä kellonaika oli Reittioppaan käyttöliittymässä oletusarvona). Ongelma 1: Havaittu ongelma: Käyttäjä aloitti valitsemalla Kartalta-linkin ja yritti etsiä TAIKia kartalta. Kuva ongelmasta: Ongelman syy: Ei tiedossa. Käyttäjää mahdollisesti kiinnosti TAIKin sijainti eikä hän ollut vielä kunnolla hahmottanut, mitä tällä järjestelmällä voi tehdä. Toimenpiteet: Ks. parannusehdotus 3.1. Copyright 2004 / Sari A. Laakso 7

Ongelma 2: Havaittu ongelma: Käyttäjä erehtyi kirjoittamaan Mistä-kenttään TAIK. Kuva ongelmasta: TAIK Ongelman syy: Käyttäjä oli juuri harhaillut pitkään karttasivuilla etsimässä TAIKia. Kohteeseen liittyviä tietoja oli luultavasti prosessoitavana hänen työmuistissaan (working memory) sekä vahvasti aktivoituneena hänen pitkäkestoisessa muistissaan (long-term memory). Koska hän oli suunnannut tarkkaavaisuutensa TAIKiin liittyviin asioihin, hän mahdollisesti kirjoitti tuon mielessään aktiivisena olevan kohteen ensimmäiseen kenttään kiinnittämättä erityisesti huomiota kenttien otsikkoteksteihin. Arvelisin tämän virheen olevan seurausta edellisestä virheestä eli siitä, kun käyttäjä aloitti hakuehdon syöttämisen sijaan klikkaamalla Kartalta-linkkiä. Toimenpiteet: Ei korjaustoimenpiteitä. Ongelma 3: Havaittu ongelma: Käyttäjä luuli, että punainen teksti Anna osoitenumero liittyy Vaihda-linkkiin. Kuva ongelmasta: Ongelman syy: Punainen teksti Anna osoitenumero ei ryhmittynyt tarpeeksi hyvin katuosoitteen numerovalikon kanssa yhteen, vaan käyttäjä liitti sen ensisijaisesti Vaihda-linkkiin. Toimenpiteet: Ks. parannusehdotus 3.2. Ongelma 4:... Copyright 2004 / Sari A. Laakso 8

Tehtävä 2 Ystäväsi Jenni on hankkimassa tennismailaa ja muita pelivarusteita itselleen, ja hän pyysi sinua mukaansa hankintareissulle Iso Omena -kauppakeskukseen ensi lauantaina. Sovitte puhelimessa, että tapaatte Ison Omenan Coffee House -kahvilassa iltapäivällä klo 13, mutta et ole koskaan aiemmin mennyt Isoon Omenaan julkisilla kulkuvälineillä. Selvitä, mihin aikaan sinun pitäisi ensi lauantaina herätä, jotta ehtisit Isoon Omenaan tapaamaan Jenniä klo 13:ksi. Käyttäjä 1 3 Parannusehdotukset ongelmakohtiin 3.1 Käyttäjä ei keksi syöttää hakuehtoa Ongelma esiintyi seuraavissa kohdissa: Tehtävä 1: Käyttäjällä 2 ongelma 1 Parannusehdotus: Siirretään Mistä- ja Mihin-kenttien oikeassa reunassa olevat esimerkkisyötteet Esim. Porkkalankatu 18 ja Esim. Pasila kontekstiinsa kenttien yhteyteen. Kun kentän ja esimerkkisyötteiden välissä ei ole muita linkkejä, käyttäjä huomaa paremmin, millaisia syötteitä hän voi antaa tekstimuodossa, eikä hän harhaudu penkomaan karttanäkymää niin helposti. 3.2 Käyttäjä ei huomaa valita katunumeroa Ongelma esiintyi seuraavissa kohdissa: Tehtävä 1: Käyttäjällä 2 ongelma 3 Tehtävä 3: Käyttäjällä 2 ongelma 1 Parannusehdotus: Ryhmitetään virheilmoitusteksti Anna osoitenumero paremmin yhteen numerovalikon kanssa lähekkäisyysperiaatteen (proximity) avulla. Poistetaan tarpeeton vihreä väri paikannimistä Adolf Lindforsin tie ja Taideteollinen korkeakoulu, jotta punainen virheilmoitusteksti erottuisi paremmin. Tasataan Vaihda-linkit allekkain, mikä vähentänee niiden virheellistä ryhmittymistä yhteen osoitenumeron kanssa. <kuva parannusehdotuksesta tähän> 3.3 Kartalla valtavasti turhaa navigointia Liitteet Liite 1. Käyttäjälle testitilanteen alussa annetut paperikartat Copyright 2004 / Sari A. Laakso 9