OtaShop: Käytettävyystestaus Anna Larmo, 5784C 1. Johdanto Käytettävyystestaus Henkilökohtainen ohjelmistotuotannon harjoitus Loppuraportti OtaShop-projektin www-käyttöliittymän suunnittelussa käytettiin apuna käytettävyystestausta. Käytettävyystestauksen menetelmistä käytettiin ryhmäläpikäynnin muokattua muotoa, joka on esitelty lähteessä [1]. Ryhmäläpikäynti sopi hyvin ryhmän aikatauluun, sillä ensimmäisten testien aikaan ohjelmisto ei ollut vielä täysin valmis, jolloin esimerkiksi vapaan läpikäynnin menetelmää ei voitu käyttää. Testitilanteessa suoritettavat toiminnot eivät myöskään olleet niin monimutkaisia, että paritestaus olisi järkevää []. Ryhmäläpikäyntiin tarvittiin myös vähemmän aikaa, kuin perinteisen käytettävyystestauksen vaatimien useiden erillisten testitilanteiden läpiviemiseen. Lisäksi oli mielenkiintoista kokeilla uutta juuri TKK:lla eteenpäin kehitettyä käytettävyystestauksen menetelmää. Ryhmäläpikäynnin lisäksi projektin aikana suoritettiin heuristinen arvio OtaShop:n kauppa-osuudesta vertaistestauksena. Heuristinen arvio on lyhyesti käsitelty myös tässä dokumentissa, sillä se kuuluu käytettävyystestauksen piiriin. Heuristinen arvio ei kuitenkaan varsinaisesti kuulu henkilökohtaiseen harjoitukseen.. Alkuperäinen suunnitelma Seuraavassa esitelty alkuperäinen suunnitelma henkilökohtaiseen harjoitukseen. Huomioitavaa on, että heuristinen arvio ei kuulunut alkuperäiseen suunnitelmaan, sillä se ei ollut osa henkilökohtaista harjoitusta..1 Milloin ja mitä testattiin? Ryhmäläpikäynti suoritettiin toisen iteraatiovaiheen aikana, mielellään iteraation alkuvaiheessa tai puolivälissä. Testattavana on koko järjestelmä.. Tärkeimmät testikohteet Tärkeimmät testikohteet käyttöliittymässä ovat haku ja selaus sekä laboratorioiden ylläpito-osio. Kysymykset, joihin käytettävyystestauksella etsitään vastauksia, ovat: onko haun avulla helppo löytää juuri se julkaisu jota etsitään, onko selauksen avulla helppo löytää juuri se julkaisu jota etsitään ja onko julkaisujen tilaustietojen ylläpito yksiselitteistä ja järkevää.. Osallistujat ja testiasetelma Testaajiksi pyritään löytämään - potentiaalista järjestelmän käyttäjää, vähintään yksi tilauksen tekoa testaava käyttäjä ja yksi laboratorioiden ylläpitonäkymää testaava käyttäjä. Tällä hetkellä tarkoitus on löytää testaajat TKK:n laboratorioiden henkilökunnasta. Myös ulkopuolisia testaajia voidaan käyttää jos kohderyhmään sopivia henkilöitä löytyy. 1
OtaShop: Käytettävyystestaus Anna Larmo, 5784C OtaShop-ryhmästä testeissä on paikalla kaksi testin ohjaajaa ja kaksi suunnittelijaa. Jos vain mahdollista, yritetään saada paikalle myös yksi ryhmän ulkopuolinen käytettävyyden asiantuntija, tosin tämän toteutuminen on hyvin epävarmaa. Yksi ohjaajista keskittyy antamaan käyttäjille tehtäviä. Kaikille läsnäolijoille jaetaan paperiset versiot kaikista tehtävien suorittamiseen tarvittavista näkymistä. Käyttäjät merkitsevät näkymään kulloinkin valitsemansa toiminnot. Jokaisen vaiheen jälkeen toinen ohjaaja johtaa keskustelun juuri loppuun suoritetusta tehtävästä. Keskustelun aikana jokainen käyttäjä kertoo mitä toimintoja teki ja miksi. Suunnittelijat saavat kommentoida jokaista vaihetta keskustelun jälkeen. He kertovat myös mitkä toiminnot ovat testaushetkellä järjestelmässä mahdollisia. Testitilanne videoidaan, jos vain mahdollista..4 Testin kulku - Paikalla 1- Otashop ryhmän jäsentä testin ohjaajina - Paikalla Otashop ryhmän jäsentä järjestelmän kehittäjän asemassa - Paikalla käyttäjää, 1 tilaaja ja 1 labra-ylläpitäjä (sihteeri) - Kaikilla paperiversiot testattavista osioista - Ohjaaja ohjaa ryhmän yhden käyttötapauksen läpi jolloin jokainen merkitsee tekemänsä toiminnot paperiversioonsa. On mahdollista että tätä varten kehitetään jonkinlainen valmis lomake. - Jokaisen käyttötapauksen lopuksi käydään läpi käyttäjien tekemät toiminnot, jonka jälkeen järjestelmän kehittäjät voivat kysellä käyttäjiltä lisätietoja ja perusteluja valituista toiminnoista.. Testien toteutus.1 Ryhmäläpikäynti Ryhmäläpikäynti suoritettiin kuten suunnitelmassa (luku ) kerrottiin. Testikäyttäjiksi paikalle saatiin yksi TKK:n erillislaitoksen informaatikko, joka hoitaa oman yksikkönsä tilausten toimittamisen, sekä yksi tutkimusapulaisena toimiva opintojensa loppuvaiheessa oleva opiskelija, jonka ajateltiin toimivan verkkokaupan asiakkaana. Testit suoritettiin informaatikon työpaikalla, sillä tila oli testikäyttäjälle tuttu ja testi ei aiheuttanut liikaa ylimääräistä vaivaa. Toiselle testikäyttäjälle tila oli tietenkin vieras, mutta toisaalta hän on vasta juuri valmistumassa, joten oletettiin, että opiskelijalle liikkuminen Otaniemen alueella ei tuota liikaa vaivaa. Testitilanne videoitiin TKK:n kielikeskuksesta lainatulla videokameralla. Kameraan ei ollut jalustaa, joten se asetettiin testin ajaksi pöydälle. Lähinnä videoimisella haluttiin saada käyty keskustelu talteen. Testitilanne oli onnistunut. Molempien käyttäjien kanssa käytiin läpi suunnitellut tehtävät ja ratkaisut. Testitilanne kesti noin tunnin.
OtaShop: Käytettävyystestaus Anna Larmo, 5784C. Heuristinen arvio Suunnitelmaan ei oltu sisällytetty muita käytettävyystestejä. Vertaistestauksessa päätettiin kuitenkin käyttää hyväksi tilaisuutta ja annettiin vertaisryhmälle tehtäväksi suorittaa heuristinen arvio OtaShop-verkkokaupan kaupan puolesta. Heuristisen arvion toteuttivat kaksi vertaisryhmän jäsentä. Testaajia oli vain kaksi, koska vertaistestauksen aikarajoitteisiin ei mahtunut enempää testejä. Vertaisryhmälle annettiin ohjeeksi verrata OtaShop:n kauppa-osiota Nielsenin heuristisiin sääntöihin (näihin on myös viitattu tulostaulukossa). Nielsenin säännöt löytyvät selitettyinä esimerkiksi lähteestä [5, sivut 188-189]. 4. Testien tulokset 4.1 Ryhmäläpikäynti Käytettävyystestistä jäi dokumentaatioksi käsin kirjoitetut muistiinpanot, sekä videonauha muistin tueksi. Muistiinpanojen perusteella saatiin jo paljon ongelmia esille ja syötetyksi Bugzillaan. Jälkikäteen testi vielä analysoitiin videolta. Analyysitilanteessa olivat paikalla kaikki testiin osallistuneet ryhmän jäsenet. Analyysitilanteessa saatiin vielä uudet muistiinpanot, joita vertailemalla testitilanteen muistiinpanoihin saatiin esille vielä muutama unohtunut ongelma. Ongelma 1 Kauppaa ei voida käyttää, jos käytössä on pelkästään e-maksu o o Perinteiset vaihtoehdot laskutus ja postiennakko Kun käytössä on myös laskutus, tulee laskutusosoite voida syöttää erikseen Ennen ostamista asiakas haluaa tarkastaa tiivistelmästä (abstract), onko julkaisu juuri se oikea, jota ollaan tilaamassa Ostoskorista tulisi olla mahdollisuus palata hakutulokseen, sekä selkeät ohjeet siihen, miten lisähakuja tehdään 4 Hakutuloksesta pitäisi voida hakea helposti esim. kaikki julkaisut samalta kirjoittajalta 5 Lomakkeen kentistä maakunta on varmaan turha? 6 Lomakkeeseen pitäisi lisätä kenttä omalle viitteelle 7 Lomakkeessa voisi olla myös kenttä lisätiedoille 8 Yhteenvetoon tilauksesta olisi hyvä saada näkyville kaikki käyttäjän syöttämät tiedot (jotta voi tarkistaa, että laittoi oikein ja tulostaa itselleen tositteen) 9 Hakusivuille ohjeet katkaisumerkistä 10 Kauppaan pitää ilmeisesti tehdä oma hakuohje, sillä kirjaston sivujen Tentun ohje on vain suomeksi ja saattaa joskus muuttua, jne. 11 Analyysin jälkeen: Laskutusosoite (on jo toteuttu, mutta siinä kysytään ainoastaan
OtaShop: Käytettävyystestaus Anna Larmo, 5784C osoitetiedot, ei kenelle/mihin lasku on menossa) 1 Jos Tentusta otetaan myös abstrakti, niin pitäisikö ottaa jotain muutakin? Eli pitäisi katsoa mitä tietoja käyttäjät tarvitsevat julkaisuista 4. Heuristinen arvio Vertaisryhmältä saadut tulokset heuristisesta arviosta (kopioitu vertaistestauksen käytettävyystestin testilokista): Ongelma Heuristiikka Vak. 1 Tehtyä hakua ei voi tarkentaa eikä muuttaa. Kun haku on tehty, ei saman haun tarkentaminen tai muuttaminen enää ole mahdollista. Ongelma korostuu silloin, jos hakutuloksia saadaan paljon tai ei ollenkaan. Jos tuloksia ei saada lainkaan, ei käyttäjä tiedä, onko hän tehnyt kirjoitusvirheen vai eikö tuloksia todella ole. Kaksi erillistä navigaatiota häiritsee. Päävalikko on ylhäällä ja apuvalikko vasemmalla. Ylävalikko saattaa jopa jäädä huomaamatta. Vasemmalla on kuitenkin selkeä navigaatiopalkki, jota voisi hyödyntää päävalikonkin kohdalla. Erityyppiset linkit palkissa tulisi sitten erottaa ryhmittelemällä. Sisältöalue on kehyksen sisällä. Kehyksen käyttäminen on hankalaa, kun sisältöä on paljon. Kehysten käyttö sotkee myös selaimen sivuhistoriaa ja käyttäjän huomio siirtyy koko sivusta kehyksen sisälle. muistikuorma, oikopolut, yhtenäisyys 4 Julkaisujen tilausprosessissa ei ole mahdollista siirtyä takaisin edelliseen vaiheeseen. 5 Maksamisen yhteydessä järjestelmä ei kerro yhdellä kerralla lomakkeelta puuttuvia pakollisia tietoja. Puuttuvat tiedot olisi hyvä vielä korostaa lomakkeella jotenkin. 6 Selaa julkaisuja -> lista sisältää linkkejä, joiden alta ei löydy yhtään julkaisua (haku voi tuottaa tuloksen ei yhtään julkaisua, selaaminen ei) 7 Englannin kielisessä hakulomakkeessa kentät keyword search ja keywords, näiden ero ei ole käyttäjälle selvä 8 Siirry tilaamaan julkaisut -linkki on erillään ostoskorin sisällöstä, eikä siksi suoraan liity valittuihin julkaisuihin. Lisäksi kaikista linkeistä siirrytään johonkin, joten linkki voisi olla nimeltään Tilaa julkaisut. 9 Kirjaudu sisään -linkki saattaa hämätä käyttäjää kirjautumisen tarpeellisuudesta. Käyttäjä voi kuitenkin käyttää palvelua ilman kirjautumista, joten linkki tulisi nimetä niin, että sen tietää koskevan vain ylläpitoa. muistikuorma, poistumistiet virheilmoitukset, virheiden välttäminen, käyttäjän kieli, muistikuorma yhtenäisyys 10 Vapaa tekstihaku -kenttä ei ole aina tarjolla. Kenttä mahtuisi oikopolut 4
OtaShop: Käytettävyystestaus Anna Larmo, 5784C joka sivulla johonkin kiinteään paikkaan, josta sitä olisi nopea käyttää. 11 Ostoskorin linkit Poista ja Tyhjennä aiheuttavat järjestelmän tilaa muuttavan toiminnon, joten niiden tulisi olla linkkien sijasta painikkeita. 1 Tarkennetussa haussa käytettävät loogiset operaattorit AND ja OR eivät ole kaikille käyttäjille tuttuja. Niiden sijasta olisi hyvä käyttää yleiskielisiä vastineita (esim. kaikkien hakuehtojen täytyttävä, ainakin yhden hakuehdon täytyttävä). 1 Hakua pidetään oletustapana julkaisuiden etsimiseen. Monille käyttäjille selaaminen saattaa olla luonnollisempaa. 14 Kun hakutuloksista mennään tietyn julkaisun tietoihin, tiedoista ei ole paluuta hakutuloksiin 15 Kun hakutuloksista lisätään julkaisu ostoskoriin, ostoskorista ei ole paluuta hakutuloksiin 16 Hakulomakkeella linkit Vastuualuekoodit ja Hakuohje vievät kaupan ulkopuolisille sivuille -> ovat aina suomenkielisiä kielivalinnasta riippumatta, virheiden välttäminen käyttäjän kieli, poistumistiet, poistumistiet käyttäjän kieli 17 Tarkennetun haun kenttiä ei ole ryhmitelty. 18 Tekstilinkkien muoto (esim. "Laajennettuun hakuun...") saattaa hämätä joitakin käyttäjiä. Tekstilinkkien tulisi olla perusmuodossa (Laajennettu haku), jolloin ne vastaavat seuraavan sivun sisältöä ja nimeä. 5. Arvio menetelmistä 5.1 Ryhmäläpikäynti, käyttäjän kieli Ryhmäläpikäynti menetelmä vaikutti oikein hyvältä tavalta testata järjestelmää. Tosin olisi hyvä, että paikalla olisivat ohjelmoijista juuri ne henkilöt, jotka voivat vaikuttaa järjestelmän suunnitteluun. Menetelmää voi käyttää jo vielä aikaisemmassa vaiheessa, jos halutaan halvalla ja nopeasti joitakin tuloksia. Ryhmäläpikäynti suoritetaan joka tapauksessa paperiprotoilla, joten sen voi suorittaa myös jo ennen kun järjestelmä on toteutettu. Perusvaatimus kuitenkin on, että järjestelmän käyttöliittymä on tässä vaiheessa jo suunniteltu hyvin. Meidän tapauksessamme kaupan osuuden testauksesta saatiin paljon ja käyttökelpoisia tuloksia. Sen sijaan ylläpito-osuuden testaaminen oli käytännössä turhaa, sillä sen toteuttajat eivät olleet paikalla ja prototyyppi ei vastannut lainkaan myöhemmin toteutettua järjestelmää. 1 1 5
OtaShop: Käytettävyystestaus Anna Larmo, 5784C 5. Heuristinen arvio Heuristinen arvio menetelmänä on halpa, nopea ja tehokas löydettyjen ongelmien määrän suhteen. Meidän tapauksessamme se suoritettiin kuitenkin liian myöhäisessä vaiheessa prosessia; aikaa kaikille parannuksille ei enää ollut. Vertaisryhmän saamat tulokset käytiin läpi muutaman ryhmäläisen kanssa, ja päätettiin, että suurempia muutoksia ei enää aleta tekemään. Muutamat pienemmistä ongelmista on korjattu ja muutettu. Heuristinen arvio kannattaisi tehdä heti kun ensimmäiset luonnokset käyttöliittymästä on tehty, ennen muita testejä. Heuristisessa arviossa saadaan esille yleensä vain pienempiä virheitä, mutta toisaalta, jos ne on siivottu ennen varsinaisia käytettävyystestejä, saadaan varsinaisista testeistä oleellisempia tuloksia. 6. Loppupäätelmät Tämän harjoituksen ansiosta allekirjoittanut on oppinut ymmärtämään paremmin käytettävyystestien sijoittelua oikeaan prosessiin, sekä käyttöliittymäsuunnittelun vaiheeseen. Käytettävyystestaus on hyödyllistä ja mielenkiintoista toteuttaa, ja varmasti auttaa tuotteen suunnittelussa, jos se tehdään sopivassa vaiheessa prosessia, jotta korjauksille jää tarpeeksi aikaa. Eri menetelmien käyttöä kannattaa arvioida prosessin vaiheen, projektin tilan ja käytössä olevan henkilökunnan kokemuksen mukaan. Varmaa on, että prosessin tulisi olla iteratiivinen ja että käyttäjätietoa olisi hyvä käyttää jo suunnitteluvaiheessa apuana, jotta suurimmat karikot onnistutaan kiertämään, eikä isoja muutoksia tarvitse alkaa implementoimaan enää loppuiteraatioissa. 7. Lähteet [1] http://www.soberit.hut.fi/~sri/pluralistic.pdf (viitattu 19.11.00) [] http://www.soberit.hut.fi/t-11/t-11.600/muunnelmat.pdf (viitattu 19.11.00) [] Yleisesti lähteenä: http://usability.gov/methods/usability_testing.html#what_are (viitattu 19.11.00) [4] Yleisesti lähteenä: http://hcibib.org/tcuid/chap-5.html (viitattu 19.11.00) [5] Xristine Faulkner: Usability Engineering, Macmillan Press LTD, 000. 6