Kt 3a: Simulointitestaus

Transkriptio

1 Kt 3a: Simulointitestaus Tehtävän tavoite Tehtävässä opitaan tekemään simulointitestaus Finnairin ( ja VR:n sivustolle ( Tuloksena on kuvasarjojen lisäksi kaksi erillistä ongelmakohtien luetteloa ja käyttöliittymien parannusehdotukset käsillä olevan testitapauksen osalta. Finnairin sivusto VR:n sivusto Testitapaus Molempia sivustoja arvioidaan tämän saman käyttötilanteen avulla kuin kotitehtävissä 2a ja 2b: Testitehtävä: Kuopioon asiakaspalaveriin ensi keskiviikkona klo 12 Taustaa: Olet kotoisin Espoon Suvisaaristosta, mutta tällä hetkellä olet graduvaiheen opiskelija ja olet jo vuosia asunut opiskelija-asunnossa Dommalla (Hietaniemenkatu 14, Helsinki). Pääkaupunkiseudulla olet tottunut käyttämään joukkoliikennettä ja polkupyörää. Omaa autoa sinulla ei ole. Pääkaupunkiseudun ulkopuolelle suuntautuvat matkat olet opiskeluaikana yleensä kulkenut jonkun kaverisi kyydissä autolla. Junalla olet matkustanut viimeksi toissakesänä jonnekin festareille. Bussilla et muista matkustaneesi pääkaupunkiseudun ulkopuolelle koskaan aiemmin. Pari kuukautta sitten olet aloittanut graduprojektiin liittyvät työt tutkimusavustajana tietojenkäsittelytieteen laitoksen tutkimusprojektissa. Sen vuoksi olet menossa Kuopioon tapaamaan projektinne yhtä asiakasta, jonka asianajotoimisto sijaitsee siellä. Työnantaja maksaa matkakustannukset. Tilanne: Nyt on torstaiaamu Olet juuri saanut asiakkaaltasi sähköpostin, jossa hän vahvistaa, että kaikille sopii palaveri ensi viikon keskiviikkona klo 12 asiakkaan toimistolla. Hän on arvioinut, että palaveriin riittää varata aikaa neljä tuntia. Esimiehesi mukaan sinun on käytännöllisintä lähteä palaveriin aamulla ja palata vielä illalla takaisin kotiin, jottei tarvitse yöpyä Kuopiossa. Asiakas on kertonut sähköpostitse toimistonsa osoitteeksi Kauppakatu 39. Tehtävä: Selvitä, miten sinun kannattaisi matkustaa palaveriin ja takaisin, ja hanki tarvittavat matkaliput. 1 (7)

2 Simulointitestauksen tekeminen Lue luentomonisteen simulointitestausta käsittelevä materiaali s Simulointitestauksessa käyttäjältä vaadittava toimenpidepolku etsitään ongelman ratkaisua vasten. Toisin sanoen ensiksi on selvitettävä käyttötilanteen kuvaamaan ongelmaan mahdollisimman hyvä ratkaisu, joka on täysin riippumaton arvioitavasta käyttöliittymästä. Finnairin ja VR:n sivustojen kohdalla tämä tarkoittaa käsillä olevassa tilanteessa mahdollisimman optimaalisen meno- ja paluulennon (tai -junavuoron) etsimistä. Simulointitestauksessa tehdään seuraavat vaiheet: Vaihe 1. Testitapausten selvittäminen. Testitapaus on annettu valmiina käytettävyystestitehtävän muodossa. Vaihe 2. Vaihtoehtojen ja loppuratkaisun selvittäminen. Selvitä itsellesi, mitkä ovat tässä tilanteessa kaikki varteenotettavat vaihtoehdot (eri bussi/junavuorot, jotka voisivat tulla kyseeseen, kun käyttäjä harkitsee parasta ratkaisua). Joudut todennäköisesti haeskelemaan päätökseen vaikuttavia tietoja eri puolilta käyttöliittymää eri tavoin. Lisäksi voit joutua käyttämään muita järjestelmiä, esim. karttapalveluja, jos käyttöliittymästä puuttuu tarvittavaa tietosisältöä esimerkiksi siitä, missä asiakkaan toimisto sijaitsee suhteessa lentokenttään tai rautatieasemaan. Tavoitteena on ainoastaan saada selville kaikki varteenotettavat vaihtoehdot ja niihin liittyvät tiedot mahdollisimman optimaalisen päätöksenteon pohjaksi. Käyttöliittymää ei arvioida vielä. Etsi myös käyttötilanteen virittämään ongelmaan mahdollisimman hyvä ratkaisu: millä lennolla (tai junalla) käyttäjän kannattaisi palaveriin matkustaa, jos kaikki päätöksentekoon liittyvät relevantit seikat olisivat nähtävillä. Kun loppuratkaisu on itsellesi selvillä, oleta käyttötilanteen mukaisesti, ettei käyttäjä mitenkään voi tietää sitä etukäteen. Vaihe 3. Oikean toimenpidepolun selvittäminen. Vasta nyt on aika alkaa laatia tilanteen suorittamiseen tarvittavaa toimenpidepolkua. Selvitä käyttöliittymästä, mikä olisi mahdollisimman yksinkertainen polku kaikkien varteenotettavien vaihtoehtojen esille saamiseksi kun käyttäjä ei vielä tiedä vastausta. Simuloi varteenotettavien vaihtoehtojen hakeminen tästä järjestelmästä sekä mahdollisista muista ulkopuolisista järjestelmistä, jos sellaisia tarvitaan. Jos realistinen toiminta vaatii tulostamista tai tietojen kirjoittamista paperille muistiin, ota sekin mukaan kuvasarjaan. Testisekvenssissä ei siis ole tarkoitus suoraan päätyä yhteen vaihtoehtoon, vaan ensiksi käyttäjän on päästävä katsomaan kaikki harkinnan arvoiset vaihtoehdot, joista hän voi valita. Simulointisekvenssin lopussa käyttäjä on valinnut eri vaihtoehtojen joukosta tähän tilanteeseen parhaiten sopivat lennot/junavuorot ja ostanut matkaliput. Kotitehtävän 2a kognitiivista läpikäyntiä ja tehtävän 2b käytettävyysläpikäyntiä varten olet jo laatinut yhden suorituspolun. Nyt tee simulointitestauksen vaihe 1 (ratkaisun selvittäminen), ja korjaile aiempaa polkuasi tarvittaessa simulointitestauksen vaiheen 2 mukaiseksi. Tarkista erityisesti vertailumerkinnät: ympäröi punaisella katkoviivalla vain täsmälleen ne tiedon palaset, joita käyttäjä hyödyntää päätöksenteossaan. Simulointitestauksessa päätöksenteko on keskeisessä roolissa. Vaihe 4. Kuvasarjan laatiminen. Kokoa käyttäjältä vaadittavista toimenpiteistä kuvasarja luentomonisteen ohjeen mukaan. 2 (7)

3 Vaihe 5.1. Parannusehdotuksen laatiminen. Poimi päätöksenteossa tarvittavat tiedon palaset, ja sijoita ne yhdelle näytölle kerralla nähtäväksi. Tällöin kognitiiviset tehokkuusongelmat sekä puuttuvan tietosisällön ongelmat katoavat. Poista myös kaikki tarpeettomat toimenpiteet (mekaaninen tehokkuus). Ks. ohjeita luentomonisteesta kohdasta 5.1, s. 52. Voit laatia parannusehdotuksen piirtämällä näyttökuvia käsin paperille tai leikkaamalla ja liimaamalla paperitulosteista sopivia osia tai laatimalla tarvittavat näyttökuvat tietokoneella. Parannusehdotuksessa riittää huomioida vain annettu testitapaus, eikä muita mahdollisia käyttötilanteita tarkastella (tässä vaiheessa). Voit esittää parannusehdotuksen erillisenä käyttöliittymänä, jolla on mahdollista suorittaa pelkästään tämän tehtävän käyttötilanne, tai voit integroida parannusehdotuksesi Finnairin/VR:n nykyisen sivuston näyttökuviin. Laadi parannusehdotuksesta kuvasarja, jossa käyttäjä suorittaa annetun testitehtävän. Vaihe 5.2. Ongelmakohtien paikantaminen. Kirjaa muistiin luettelo alkuperäisten Finnairin ja VR:n sivustojen ongelmakohdista, ks. ohjeet luentomateriaalista kohdasta 5.2, s Luokittele ongelmat tehokkuusongelmiin (mekaaninen ja kognitiivinen) sekä puuttuvaan tietosisältöön ja toiminnallisuuteen. Opittavuusongelmia ei tarkastella lainkaan. Palautettava työ Palauta erikseen Finnairin ja erikseen VR:n sivustosta: 1. Näyttökuvasarja tehtävän suorittamisesta vertailumerkintöineen. 2. Käyttöliittymän parannusehdotus näyttökuvasarjana. 3. Käyttöliittymän ongelmakohdat. 3 (7)

4 Kt 3b: Käytettävyystestaus Tehtävän tavoite Tehtävässä opitaan järjestämään käytettävyystesti (usability test) kahden testikäyttäjän avulla, yksi käyttäjä kerrallaan. Testaus tehdään samoille Finnairin ja VR:n sivustoille kuin edellisissäkin kotitehtävissä. Myös testitehtävänä käytetään samaa käyttötilannetta, jotta menetelmien käytöstä saatavia kokemuksia ja tuloksia olisi helpompi vertailla. Käytettävyystestin tekeminen Lue käytettävyystestausta käsittelevä materiaali luentomonisteesta (s ). Alle on tiivistetty olennaisimpia kohtia ja sovellettu ohjeita juuri tämän harjoituksen testejä varten. Testikäyttäjät Testikäyttäjäksi käy lähes kuka tahansa, mutta ei tämän kurssin opiskelija eikä sellainen testikäyttäjä, joka on jo tehnyt kotitehtävän 2b käytettävyysläpikäynnin tällä kurssilla. Jos mahdollista, valitse ainakin toinen käyttäjä siten, ettei hän ole vähään aikaan käyttänyt arvioitavia sivustoja. Voit kysyä etukäteen testikäyttäjiltäsi tarpeellisiksi katsomiasi taustatietoja. Selvitä kuitenkin molemmilta käyttäjiltä, onko hän käyttänyt Finnairin tai VR:n sivustoja aiemmin. Varaa testikäyttäjiltäsi aikaa testiä varten noin minuuttia. Jos et saa testikäyttäjiesi avulla sivustoilta esille yhtään ongelmaa, olet ehkä vahingossa neuvonut käyttäjiä testin aikana tai mahdollisesti et ole huomannut testin aikana ilmenneitä käyttöliittymäongelmia, vaikka niitä olisikin tullut eteen. Jos näin käy, yritä selvittää, mistä ongelma johtui. Valitse sen jälkeen uusia testikäyttäjiä ja pidä uusia testejä niin kauan, kunnes alat saada ongelmakohtia esille. Valmistelut ennen testin aloittamista Tee etukäteen seuraavat valmistelut: Tulosta testitehtävä paperille. Varaa kynä ja paperia annettavaksi käyttäjälle, jotta hän voi tehdä muistiinpanoja. Selvitä, mille tulostimelle testikoneen selaimesta voi tulostaa. Jos käyttäjäsi päättää tulostaa jotain testin kuluessa, rohkaise häntä tekemään se oikeasti ja nouda tulosteita hänelle sitä mukaa kuin hän tulostaa. Näin toimit testin alussa 1. Avaa tehtävän suorittamisen lähtökohdaksi selaimeen valmiiksi testattavan sivuston etusivu, koska sivuston etsimistä tai URLin kirjoittamista kenttään ei ole nyt tarkoitus testata. Älä enää testin aikana koske koneeseen äläkä vie käyttäjää takaisin etusivulle, vaikka hän pyytäisi tekemään niin. (Ainoastaan tehtävän 2 alussa asetat VR:n etusivun taas valmiiksi.) 2. Kerro käyttäjälle tärkeimmät käytännöt: Sinua ei testata, vaan näitä Finnairin ja VR:n sivustoja. Tarkoituksena on löytää sivustoilta niin paljon ongelmia kuin mahdollista. Voit lopettaa testin koska tahansa, jos haluat. 4 (7)

5 Pyydän sinua ajattelemaan ääneen testin aikana, jotta saan tietoa siitä, mitä mietit sivustoa käyttäessäsi. 3. Anna testitehtävä käyttäjälle kuvailemalla esimerkkitilanne suullisesti vapaamuotoisesti. Yleensä testitehtävä kannattaa antaa käyttäjälle myös paperilapulla, jotta hänen ei tarvitsisi pitää mielessään siinä annettuja tietoja. Näin toimit tehtävien suorittamisen aikana Älä neuvo tai johdattele käyttäjää tehtävän tekemisessä, äläkä anna minkäänlaisia vihjeitä tehtävän suorittamisesta. Jos käyttäjä kysyy sinulta suoraan ohjelman toiminnasta, esim. Tulostaako tämä, jos painan nyt tästä?, esitä vastakysymys: Mitä arvelisit? Miltä se sinusta vaikuttaa? Voit kokeilla vapaasti kaikkea. Vältä kommentoimasta päättynyttä tehtävää (esim. Hienoa! tai Onnistuihan se lopulta ). Jos käyttäjä on juuttunut todella pitkäksi aikaa tehtävään, esimerkiksi yrittänyt yli 20 minuuttia täysin tuloksetta, siirrä hänet hienovaraisesti seuraavaan tehtävään kommentoimalla esim. Ohjelmassa näkyy olevan paljon parannettavaa tässä kohdassa... tai päättämällä tehtävä uudella strategialla Nyt työkaverisi Ossi tulee tähän ja ehdottaa, että mitä jos sittenkin menisit junalla... Varaudu ja mukaudu yllättäviin tilanteisiin. Jos käyttäjä tekee jotain täysin odottamatonta, esim. jatkuvasti sulkee ohjelman vahingossa, korosta, että käyttäjä toimii ihan järkevästi, mutta ohjelmassa on vielä paljon parantamisen varaa. Älä syyllistä käyttäjää, vaikket ymmärtäisi, miksi hän tekee niin kuin tekee. Hänellä on aina jokin syy, vaikkei se tulisi esille testissä. Käyttöliittymän ongelmakohtien jäsentäminen ja raportointi Numeroi ja nimeä keskeiset ongelmakohdat ja jäsennä jokainen ongelma alla olevan esimerkin mukaisesti: Testattava sivusto: Ongelma 1: Käyttäjä ei huomannut taulukon loppuosaa ja päätyi liian varhaiselle lennolle Mitä käyttäjä pyrki saamaan aikaan (tavoite/alitavoite)? Käyttäjä yritti selvittää, mikä menomatkan lento olisi sopivimpaan aikaan perillä Kuopiossa. Mitä käyttäjä teki (toimenpiteet) ja mitä hän sanoi (ääneenajattelu)? Hän lukee pitkään Valitse lennot -taulukkoa sivun yläosassa. Mikä on Light ja Value Tuossa on 1 laukku Ei kai mulla mitään laukkuja ole, jos menen palaveriin, vai lasketaanko läppäri laukuksi. Ilmainen istuinpaikka. Nyt en kyllä tajua. Mistä tässä näkee, milloin se laskeutuu Kuopioon. Vierittää alaspäin. Täällä se on, Kuopiossa Voin sitten mennä vaikka kahville siinä aamulla, kun se on noin aikasin. Kyllä tää kelpaa. Vierittää ihan alas. Tästä jatketaan. Painaa Jatka-painiketta. Mitä käyttäjän olisi pitänyt tehdä? Hänen olisi pitänyt vierittää sivua alaspäin, jolloin myös myöhemmät lennot olisivat tulleet näkyviin (mm. Kuopioon klo saapuva lento). Mikä ongelma tästä seurasi käyttäjälle? Yläreunan taulukon tulkitsemiseen meni paljon aikaa (yli 5 minuuttia) ja käyttäjä tuskaili taulukon sisällön kanssa, jota ei kokenut ymmärtävänsä. Suurin ongelma oli se, että käyttäjä valitsi tarpeettoman varhaisen lennon, koska ei saanut näkyviin muita vaihtoehtoja. Tämän seurauksena hänelle jäi melkein kolme tuntia odotteluaikaa Kuopiossa. 5 (7)

6 Ongelman syy käyttöliittymässä? Yläreunaan sijoitettu palveluvaihtoehtojen EDUTtaulukko vie sivulle tultaessa kaiken tilan, vaikka se on käyttötilanteen tässä vaiheessa tarpeeton. Tärkeintä tietoa eli lähtevien lentojen aikatauluja ei näy sivulle tultaessa kuin enintään yhden lentovuoron verran (varhaisin lento), mikä antaa vaikutelman siitä, että valittuna päivänä olisi tarjolla vain tämä yksi lento. <- HUOMAA: Kun arvioit ongelman syytä käyttöliittymässä, älä lähde siitä, että ohjeita puuttuu tai että käyttöliittymään pitäisi lisätä ohjetekstejä. Yritä löytää ongelman varsinainen syy (tai syitä). Ongelma 2: <Ongelmaa kuvaava otsikko> Mitä käyttäjä pyrki saamaan aikaan (tavoite/alitavoite)? Mitä käyttäjä teki (toimenpiteet) ja mitä hän sanoi (ääneenajattelu)? Mitä käyttäjän olisi pitänyt tehdä? Mikä ongelma tästä seurasi käyttäjälle? Ongelman syy käyttöliittymässä? Käyttöliittymän parannusehdotukset Laadi käyttöliittymän parannusehdotukset selville saamistasi ongelmakohdista. Esitä parannusehdotukset näyttökuvina. Älä tee käyttöliittymään mitään muita muutoksia kuin juuri tällä arviointimenetelmällä esille saamiesi ongelmakohtien korjaukset. Parannusehdotusten arvostelussa kiinnitetään huomiota siihen, kuinka parannusehdotukset vastaavat tällä menetelmällä esiin saamiasi ongelmakohtia ja korjaavatko ne juuri kyseisiä ongelmia. Palautettava työ: Käytettävyystestin tulosten dokumentointi Kokoa dokumenttiin molempien testikäyttäjien kohdalla esille tulleet ongelmakohdat. Jäsennä ne seuraavasti: 1. Testikäyttäjien kuvaukset Kuvaa testikäyttäjien taustatietoja lyhyesti, esim. Nainen, noin 60 vuotta, terveydenhoitaja, asuu Helsingissä, käyttää työssään jatkuvasti Windows-sovelluksia ja verkkosovelluksia. Ei ole käyttänyt Finnairin eikä VR:n sivustoja koskaan aiemmin. Käyttää työmatkoilla joukkoliikennettä, mutta muut matkat ajaa miehensä kanssa omalla autolla. Joskus matkustaa junalla sukulaisten luo Seinäjoelle, mutta tällöin aviomies on käynyt ostamassa junalipun rautatieaseman lipunmyyntipisteestä edellisenä päivänä. Kotimaan lennoilla ei ole matkustanut kymmeniin vuosiin. 2. Käyttöliittymän ongelmakohdat Jäsennä ongelmat vastaamalla edellä kuvattuihin kysymyksiin. Ryhmittele Finnairin ja VR:n sivustojen tulokset erilleen. 3. Käyttöliittymän parannusehdotukset näyttökuvina 6 (7)

7 Kt 3c: Oma oppimiskokemus Tehtävä ja palautettava työ Vastaa seuraaviin omaa oppimistasi arvioiviin kysymyksiin: 1. Mitkä olivat itsellesi tärkeimmät asiat tai taidot, jotka opit tehtyäsi tämän viikon tehtävät? Mainitse vähintään kaksi itsellesi keskeisintä seikkaa. 2. Mitä koet tärkeimmäksi oppia tai harjoitella seuraavaksi, jos sinun pitäisi käyttää tällä viikolla oppimiasi menetelmiä esimerkiksi muiden kurssien harjoitustöissä tai työpaikalla? 7 (7)