Table of Contents Käytettävyystestaus......................................................................... 1 1 Johdanto................................................................................. 1 2 SEPA käytännössä......................................................................... 1 2.1 Suunnittelu........................................................................... 1 2.2 Suoritettavat tehtävät................................................................... 1 2.3 Aikataulu............................................................................ 2 2.4 Testaustilanne........................................................................ 2 2.5 Tulosten analysointi.................................................................... 2 3 Kokemukset ja muutokset................................................................... 2 3.1 PP-iteraatio.......................................................................... 2 3.2 Ensimmäinen iteraatio.................................................................. 2 3.3 Toinen iteraatio....................................................................... 2 3.4 Yhteenveto tuloksista.................................................................. 4 4 Yhteenveto käytettävyystestauksen käytöstä..................................................... 4 5 Viitteet.................................................................................. 5
1 (6) Käytettävyystestaus Turo Honkaniemi, 54425L Pekka Silvekoski, 49595F Versiohistoria Versio Pvm Tekijä Kuvaus Hyväksyjä 0.1 13.11.2005 TH Ensimmäinen versio - 0.2 29.11.2005 TH Aikataulutietojen päivitys. - 0.3 13.02.2006 TH Käytettävyystestin tulokset. - 1 Johdanto Tämän SEPAn aiheeksi valittiin käytettävyystestaus. Käytettävyystestauksessa pyritään arvioimaan, miten hyvin käyttäjä pystyy käyttämään järjestelmää tehtäviensä hoidossa. Nielsen määrittelee käytettävyyden viiden mitattavan ominaisuuden perusteella: opittavuus, muistettavuus, tehokkuus, virhetilanteiden vähyys ja käyttäjien tyytyväisyys. Projektiryhmä päätti valita käytettävyystestauksen yhdeksi SEPA:n aiheeksi, koska asiakkaalle yksi tärkeimmistä vaatimuksista oli se, että "toteutettu järjestelmä on käytettävyydeltään hyvä, sekä visuaalisesti vakuuttava". Käytettävyystestin valmisteluvastuut jaettiin PS:lle ja TH:lle, koska PS opiskelee käytettävyystutkimusta ja TH:lla on ennestään kokemusta käytettävyystestien läpiviemisestä. Tätä SEPAa suunniteltaessa on käytetty tietolähteenä Sirpa Riihiahon Käytettävyystestauksen muunnelmat artikkelia [1], Mika P. Niemisen Käyttäjätestaus - kalvosarjaa[2] sekä Faulknerin Usability Engineering- kirjaa[3]. 2 SEPA käytännössä COTOOL-projektissa käytettävyystestausta sovelletaan siten, että projektiryhmä järjestää testitilanteen, jossa testihenkilöt suorittavat joukon tehtäviä, jotka ovat tyypillisiä loppukäyttäjälle. Koska projektiryhmällä ei ole mahdollisuutta järjestää testitilannettä JP Infran asiakkaiden kanssa, toimivat JP Infran ei-tekniset työntekijät koehenkilöinä. Yhdessä testikierroksessa tullaan testaamaan 2-3 henkilöä erikseen. 2.1 Suunnittelu Testitilanteen ja -tapausten suunnittelusta vastaa TH ja PS. Käytettävyystestit tullaa tekemään pääasiassa käyttötapausten ja järjestelmätestien pohjalta. 2.2 Suoritettavat tehtävät Suoritettavat tehtävät 1. Mikä on tämän hetkinen ulkolämpötila? 2. Zoomaa karttaa lähemmäs ja kauemmas sekä siirry siinä eri suuntiin. 3. Valitse jokin huone kartalta (esim. suurin). 4. Zoomaa lähemmäs jotain huonetta 5. Etsi huone numero 6 (huomaa, että kartassa merkityt numerot eivät pidä paikkaansa)
2 (6) 6. Mikä on huoneen 12 minimi lämpötila? 7. Valitse huoneen 12 grafiikkanäkymä 8. Vaihda huoneen 13 grafiikkanäkymään (vihjaa tarvittaessa hakupuusta) 9. Mikä on kiinteistön kylmin/kuumin huone Testihenkilöille esitettävät kysymykset: 1. Mainitse pari hyvää asiaa käyttöliittymässä. 2. Onko käyttöliittymässä jotain heikkoja puolia? 3. Puuttuuko käyttöliittymästä mielestäsi jotain? 4. Onko muuta kommentoitavaa 2.3 Aikataulu Tarkoitus on, että testit tullaan suorittamaan toisen iteraation alussa, kun käyttöliittymän ensimmäinen versio on saatu valmiiksi. Tarkemmasta testitilanteen aikataulusta sovitaan projektin johdon ja asiakkaan kanssa. 2.4 Testaustilanne Testaustilanteeseen osallistuu yksi testattavista henkilöistä, haastattelija (TH) ja tarkkailija (PS). Tällöin testihenkilöä pyydetään suorittamaan ennalta määrätty tehtävät siten, että hän ajattelee ääneen, mitä kulloinkin aikoo tehdä. Haastattelijan tehtävänä on tarvittaessa opastaa testihenkilöä. Testitilanteen aikana tarkkailijan on tarkoitus tehdä havaintoja ja kirjata ne. On tärkeää, että testaustapahtuma pyritään järjestämään häiriöttömässä tilassa, jossa testihenkilö voi keskittyneesti suorittaa tehtävät. 2.5 Tulosten analysointi Testaustapahtuman jälkeen TH ja PS tekevät yhteenvedon tuloksista. Niiden pohjalta projektiryhmä päättää mahdollisista muutoksista yhdessä asiakkaan kanssa, jonka jälkeen muutokset kirjataan vaatimusmäärittelyihin. 3 Kokemukset ja muutokset 3.1 PP-iteraatio PP-iteraation aikana emme vielä testanneet käytettävyyttä. Periaatteessa käytettävyyttä olisi voitu testata esimerkiksi paperiprototyyppien avulla, mutta emme kokeneet sitä välttämättömäksi ja tiukan aikataulun päätimme keskittyä enemmän proof of conceptin toteutukseen. 3.2 Ensimmäinen iteraatio Aluksi tarkoituksena oli, että olisimme testanneet käytettävyyttä ensimmäisen iteraation loppupuolella. Näimme kuitenkin parhaaksi, että järkevämpää on suorittaa testit, kun käyttöliittymää on enemmän hiottu ja COTOOLiin on saatu lisää toiminnallisuutta testejä varten. 3.3 Toinen iteraatio Käytettävyystestaus saatiin lopulta suoritettua toisen iteraation puolessa välissä Pöyryn tiloissa. Kaksi JP:n työntekijää
3 (6) suorittavat heille annetut testit.alla on esitetty niiden tulokset: Testihenkilö 1: Tehtävän 1 kommentit: - Löytää ulkolämpötilan selvästi oikeasta kohdasta Tehtävän 2 kommentit: - Valitsee navigointinapit intuitiivisesti - Valitseeko zoomauspainikkeet oikein - Napit toimivat loogisesti, kysymyksiä kerroksien valinnasta Tehtävän 3 kommentit: - Tajuaako, milloin huone on valittuna - Kyllä, käyttäjä huomasi myös välilehden nimen vaihdon Tehtävän 4 kommentit: - Ensin hakee zoomauspainikkeilla. Ohjaamisen jälkeen kaksoisklikeillä. Tehtävän 5 kommentit: - Ei ongelmia valitun huoneen havaitsemisessa - Ajattelee ensin hakea huoneen pelkästään karttaa käyttämällä - Hakupuun käyttö vasta ohjeiden jälkeen Tehtävän 6 kommentit: - Käyttää kaksoisklikkiä hakupuussa ilman ohjaamista. - Minimilämpötilan lukeminen yläkulmasta ilman ongelmia Tehtävän 7 kommentit: - Huomasi graafitabin jo aiemmin Tehtävän 8 kommentit: - Hakee suoraan hakupuun avulla. Ei mene välissä svg-kuvaan. Tehtävän 9 kommentit: - Siirtyy takaisin svg-kuvaan. - Katsoi kerroksen lämpimimmän ja kylmimmän huoneen alapalkista ja näki väreistä mitkä huoneet olivat kylmiä ja kuumia. Ehdotuksena huoneiden nimet näkyviin minimiin ja maksimiin. Testihenkilön omat kommentit käyttöliittymästä: Hyvää: - Selkeä, navigointinapit toimivia Huonoa: - Hakupuuhun olemassaolo ei ole suoraan selvä. Testihenkilö 2: Tehtävän 1 kommentit: - Oikea lukema löytyy lukemalla tekstit. - Miltä ajalta keskiarvo on, aika näkyviin? Tehtävän 2 kommentit: - Heti löytyy oikeat painikket - Zoomauspainikkeiden käyttö oikein päin. Tehtävän 3 kommentit: - Selvää milloin huone valittuna
4 (6) Tehtävän 4 kommentit: - Osaako käyttää tuplaklikkausta tai zoomauspainikketta - Tuplaklikki ohjeen jälkeen, käyttää svg:n omia zoomijuttuja. Tehtävän 5 kommentit: - Huomaa mikä huone on valittuna - Osaa käyttää hakupuuta, koska on ollut samanlaisten kanssa aiemminkin tekemisissä. Tehtävän 6 kommentit: - Hakee huoneen kaksoisklikillä hakupuusta - Osaako lukea huoneen minimilämpötilan yläkulmasta. Tehtävän 7 kommentit: - Grafiikkatabi löytyy helposti Tehtävän 8 kommentit: - Valitsee huoneen grafiikkatabissa hakupuusta Tehtävän 9 kommentit: - Siirtyy pohjakuvaan hetken mietiskelyn jälkeen - Ei heti huomaa huoneiden värien tarkoittavan niiden lämpötiloja. Testihenkilön omat kommentit käyttöliittymästä: Hyvää: - aksonometrinen näkymä häiritsevä, mieluummin tasokuva. - tietojen vaihtuminen mouseoverin kanssa - hakupuu hyvä - selkeä Huonoa: - Väripalkki olisi havainnollistava 3.4 Yhteenveto tuloksista Positiivista: - Käyttöliittymä oli selkeä - Kartalla osattiin hyvin siirtyä - Tiedot osattiin lukea hyvin (tosin epäselvää oli miltä ajanjaksolta tiedot on) - Grafiikkanäkymään osattiin siirtyä Mietittävää: - Värien merkitystä kartassa ei kunnolla tajuttu (lämpötilapalkki auttaisi) - Tarkasteltava ajanjakso tulee pystyä valitsemaan - Hakupuusta voisi koittaa tehdä jollain tavalla enemmän huomiota herättävän - (* Pohjakuva näkymä olisi kivempi suoraan ylhäältäpäin esitetynä) 4 Yhteenveto käytettävyystestauksen käytöstä Käytettävyystestaus sopi erittäin hyvin projektiimme ja siitä oli selvästi hyöytyä. Toivottavaa olisi ollut, että olisimme pystyneet testaamaan useampia henkilöitä sekä myös ei-teknistaustaistaisia henkilöitä. Positiiviset kokemukset:
5 (6) - Ulkopuolinen arvio järjestelmästä. - Mahdollistaa, että ei-tekniset henkilöt testaavat järjestelmän. - Tuo esille ongelmakohtia, joille itse on "sokea" Negatiiviset kokemukset: - Käytännön järjestelyt vievät aikaaa - Testauksessa ei päästä "pintaa syvemmälle" 5 Viitteet [1] Sirpa Riihiaho: Käytettävyystestauksen muunnelmat, saatavissa: http://www.soberit.hut.fi/t-121/t-121.600/muunnelmat.pdf [2] Mika P. Nieminen: Käyttäjätestaus, saatavissa: http://www.soberit.hut.fi/t-121/t-121.100/suomi/luentokalvot/20050331_nieminen.pdf [3] Faulkner: Usability Engineering
6 (6)