KŠytettŠvyystestauksen muunnelmia

Transkriptio

1 KŠytettŠvyystestauksen muunnelmia Sirpa Riihiaho Teknillinen korkeakoulu PL 5400, TKK TIIVISTELM KŠytettŠvyyden arviointia tarvitaan mittaamaan tuotekehitysprosessin etenemistš ja asetettujen kšytettšvyysvaatimusten tšyttymistš. KŠytettŠvyyden arviointimenetelmšt jaetaan kokeellisiin kšyttšjštesteihin ja ilman kšyttšjiš tehtšviin asiantuntija-arvioihin. Yleisin kšyttšjštestausmenetelmš on kšytettšvyystesti. TŠmŠ artikkeli kšsittelee muutamia perinteisestš kšytettšvyystestauksesta muokattuja menetelmiš. AVAINSANAT: kšytettšvyys, kšytettšvyyden arviointi, kšytettšvyystesti JOHDANTO KŠytettŠvyydellŠ tarkoitetaan tuotteen sopivuutta aiottuihin tehtšviin aiotuilla kšyttšjillš: laitteen kšyttšjšryhmšn tulisi pystyš kšyttšmššn tuotetta tehokkaasti, tuottavasti ja miellyttšvšsti tietyssš kšyttšympšristšssš ja Ðtilanteessa (ISO 9241). Nielsen (1993) mššrittelee kšytettšvyyden viiden mitattavan ominaisuuden avulla: opittavuus, muistettavuus, tehokkuus, virhetilanteiden všhyys ja kšyttšjšn tyytyvšisyys. KŠytettŠvyyden arvioinneilla pyritššn lšytšmššn jonkinlainen arvio nšille ominaisuuksille. KŠyttŠjŠkeskeisen suunnittelun tavoitteena on kehittšš kšytettšvyydeltššn hyviš tuotteita. Se on luonteeltaan iteratiivista: tutkimusta, suunnittelua ja toteutusta jatketaan niin kauan, ettš arviointi osoittaa asetettujen tavoitteiden toteutuneen. Tuotekehityksen aikana tarvitaan erilaisia menetelmiš kšytettšvyyden arviointiin, koska kšytettšvyys on monitahoinen kšsite, jota tulee tarkastella usealla eri tavalla. Eri menetelmillš on omat kšyttštarkoituksensa ja niiden avulla lšytyy erilaisia ongelmia. NiinpŠ on suositeltavaa soveltaa useita eri menetelmiš tšydentšmššn toisiaan. KŠytettŠvyyden arviointimenetelmšt voidaan jakaa kokeellisiin kšyttšjštesteihin ja ilman kšyttšjiš tehtšviin asiantuntija-arvioihin. Yleisin kšyttšjštestausmenetelmš on

2 kšytettšvyystesti, jossa kšyttšjš suorittaa annettuja tehtšviš arvioitavalla jšrjestelmšllš. TŠmŠ artikkeli kšsittelee muutamia perinteisestš kšytettšvyystestauksesta muokattuja menetelmiš, joiden avulla voidaan testata kšyttšliittymšratkaisujen toimivuutta kšyttšjien kanssa. K YTETT VYYSTESTI TyypillisessŠ kšytettšvyystestissš kšyttšjš suorittaa ennalta valmisteltuja tehtšviš arvioitavalla jšrjestelmšllš. Testi-istunnossa on yleensš mukana yksi kšyttšjš kerrallaan. YhteensŠ testikšyttšjiš on 3-8 tuotteen kšyttšjšryhmšn hajanaisuudesta riippuen. TestikŠyttŠjŠn lisšksi testihuoneessa on mukana testin ohjaaja (Kuva 1). Ohjaaja antaa kšyttšjšlle yhden tehtšvšn kerrallaan ja pyytšš kšyttšjšš ajattelemaan ŠŠneen tehtšviš suorittaessaan. Šneenajattelu ei yleensš ole tuntunut kšyttšjistš oudolta, koska ohjaaja on paikalla kuuntelemassa. Šneenajattelu auttaa selvittšmššn, miksi kšyttšjš esimerkiksi tekee tiettyjš valintoja tai ei lšydš tarvittavaa toimintoa. Kuva 1: Testin ohjaaja antaa kšyttšjšlle tehtšviš ja tukee kšyttšjšš testin aikana. KŠytettŠvyystestiin tarvitaan valmis tuote tai edes osittain toimiva prototyyppi, jotta kšyttšjš voi mahdollisimman luonnollisesti suorittaa annettuja tehtšviš. Testitilanne on hyvin kontrolloitu ja hširištekijšt pyritššn minimoimaan. Testi-istunnot videoidaan analysointia varten. Analysoinnin tueksi pyritššn lisšksi tekemššn mahdollisimman paljon muistiinpanoja jo testin aikana. Ohjaajan on hyvš keskittyš testikšyttšjšn ohjaamiseen, joten muistiinpanojen teko jšš muille tarkkailijoille.

3 Šneenajattelu hidastaa kšyttšjšn toimintaa, joten kšytettšvyystesti ŠŠneenajattelun kanssa ei sovellu tehokkuuden mittaamiseen. Sen sijaan kšytettšvyystesti on hyvš tapa arvioida opittavuutta, muistettavuutta ja virhetilanteiden mššršš. Myšs kšyttšjšn tyytyvšisyydestš saa melko hyvšn arvion kšytettšvyystestin aikana. KŠytettŠvyystesti on siis hyvš ja luotettava menetelmš tutkia, miten hyvin jšrjestelmš tukee kšyttšjiš tyštehtšvissššn. YksinŠŠn toimiminen, ennalta mššritellyt tehtšvšt ja ŠŠneen ajattelu eivšt kuitenkaan sovi kaikkiin arviointitilanteisiin. NiinpŠ olemme Teknillisen korkeakoulun kšytettšvyysryhmšssš kokeilleet erilaisia muunnelmia perinteisestš kšytettšvyystestauksesta. TŠmŠ artikkeli esittelee lyhyesti paritestausta, ryhmšlšpikšyntiš, vapaata lšpikšyntiš ja tilannesidonnaista lšpikšyntiš. PARITESTAUS Paritestauksessa kaksi kšyttšjšš suorittaa tehtšviš yhdessš. NŠin ŠŠneenajattelu on melko luonnollista ja perusteellista, sillš omat ajatukset pitšš tehdš toiselle kšyttšjšlle ymmšrrettšviksi. Šneenajattelusta tulee enemmšnkin oman nškemyksen opettamista toiselle kuin ajatustensa ŠŠneen esittšmistš. Jotta kumpikaan kšyttšjš ei dominoisi paritestiš, kšyttšjien on hyvš olla kyseisen alan kokemukseltaan ja tietšmykseltššn tasavertaisia. Tilannetta helpottaa myšs se, jos kšyttšjšt ovat entuudestaan tutut ja tottuneet tyšskentelemššn yhdessš. O'Malleyn ryhmš (1984) huomasi omissa tutkimuksissaan, ettš parhaat tulokset saatiin kšyttšjšpareilla, joilla oli keskinkertainen kokemus ja toisiaan vastaava asiantuntemus alalta. RyhmŠ huomasi myšs, ettš kšyttšjšt pyrkivšt lšytšmššn keskenššn erilaisia ratkaisuja ongelmiin ja juuri nšmš erilaisuudet pakottivat kšyttšjšt perustelemaan ajatuksiaan. Paritestauksessa kannattaa jakaa kšyttšjille tietyt roolit, joita voidaan vaihtaa testin aikana tarpeen mukaan. Toinen kšyttšjistš voi esimerkiksi lukea ohjeita ja toinen voi kšyttšš tutkittavaa jšrjestelmšš. Koska kšyttšjšt ratkovat tehtšviš yhdessš, he eivšt juurikaan tarvitse ohjaajan apua, joten ohjaajan rooli on lšhinnš seurata sivusta ja varmistaa, ettš jšrjestelmš toimii. Testien analysointi on myšs helpompaa kuin perinteisessš testauksessa, koska ŠŠneenajattelu on paremmin jšsenneltyš kuin yksin toimiessa.

4 Paritestaus soveltuu hyvin opittavuuden mittaamiseen, sillš parin keskustelusta kšy hyvin ilmi, ovatko kšyttšjšt ymmšrtšneet tuotteen toimintatavan oikein vai saavatko he vain sattumalta suoritettua tehtšvšt oikein. Kuten perinteinen kšytettšvyystesti, paritestaus sopii myšs muistettavuuden ja virhetilanteiden mššršn arviointiin. RYHM L PIK YNTI RyhmŠlŠpikŠynti yhdistšš asiantuntija-arvioiden ja kšyttšjštestien ominaisuuksia. Bias (1994) mainitsee viisi ryhmšlšpikšynnin ominaispiirrettš: 1. Testi-istuntoon osallistuu yhtšaikaa kolmen eri ryhmšn edustajia: kšyttšjiš, suunnittelijoita ja kšytettšvyyden asiantuntijoita. 2. JŠrjestelmŠ esitellššn paperikuvien avulla. Kuvat esitellššn samassa jšrjestyksessš kuin ne nškyisivšt toimivassa jšrjestelmšssš. 3. Kaikki osallistujat samaistuvat kšyttšjšn rooliin. 4. Kaikki osallistujat kirjoittavat saamiinsa paperikuviin ne toiminnot, joita he tekisivšt suorittaakseen annetun tehtšvšn. 5. RyhmŠ keskustelee tekemistššn ratkaisuista. KŠyttŠjŠt puhuvat ensin ja vasta heidšn jšlkeensš suunnittelijat ja kšytettšvyyden asiantuntijat voivat esittšš omat mielipiteensš. RyhmŠlŠpikŠynnissŠ on siis mukana 2-4 kšyttšjšš ja 1-2 suunnittelijaa yhtš aikaa samassa istunnossa. Istunnon vetšjšksi sopii parhaiten tuotekehityshankkeen ulkopuolinen, kšytettšvyyden tunteva henkilš. Toimivaksi osoittautunut jšrjestely on pitšš kaksi ohjaajaa, joista toinen keskittyy ennalta laadittujen tehtšvien lšpivientiin ja toinen voi ohjata tehtšvien jšlkeistš melko vapaamuotoista keskustelua. Kukin osallistuja ottaa istunnossa kšyttšjšn roolin ja pyrkii ratkomaan annettuja tehtšviš. TehtŠviŠ ratkotaan ensin yksin ja sitten niistš keskustellaan yhdessš. MikŠli joukossa on mukana hiljaisia kšyttšjiš, ohjaajan on hyvš kannustaa hšntš kertomaan oman ratkaisunsa heti ensimmšiseksi. Keskustelun pšštteeksi suunnittelija tai ohjaaja kertoo, mikš olisi ollut "oikea" ratkaisu eli jšrjestelmšn tukema ratkaisu. Keskustelun pšštteeksi kaikilla pitšisi siis olla yhteinen kšsitys siitš, miten jšrjestelmš olisi toiminut kyseisessš tehtšvšssš. RyhmŠlŠpikŠynti soveltuu jo alkuvaiheen ideoiden arviointiin, sillš arvionnissa kšytetššn kšyttšliittymšn paperiversioita. MikŠli jšrjestelmšstš on olemassa jokin vanhempi versio,

5 osittain toimiva prototyyppi tai valmiita nšyttšjš, niitš voi esitellš istunnon alussa. NŠin osallistujat hahmottavat jšrjestelmšn kokonaisuuden ja saavat kšsityksen sen visuaalisesta ilmeestš. TehtŠviŠ ratkotaan kuitenkin paperiversioiden avulla. Siksi menetelmš sopiikin lšhinnš opittavuuden mittaamiseen. RyhmŠlŠpikŠynnin arvokkaimpia anteja on suunnittelijoiden ja kšyttšjien kšymš keskustelu, jonka aikana suunnittelija voi ehdottaa uusia muutoksia jšrjestelmššn ja saada niistš všlitšntš palautetta kšyttšjiltš. Suunnittelijoiden lšsnšolo on muutenkin hyšdyllistš, sillš tutkittavat jšrjestelmšt ovat yleensš niin alkuvaiheessa, ettš niihin ei vielš ole olemassa mitššn kšyttšohjeita. Suunnittelijat joutuvat siis toimimaan "elšvinš kšyttšohjeina". NŠin he saavat samalla arvokkaita vinkkejš kšyttšohjeiden suunnitteluun. RyhmŠlŠpikŠynnin analysointi on melko erilaista kuin kšytettšvyystestin, sillš keskustelua on ollut enemmšn ja suunnittelijat ovat olleet siinš itse mukana. Istunnosta keršttšvšt lomakkeet (Kuva 2) tukevat analysointia muistiinpanojen ja videonauhojen ohella. Koeta lšytšš kirja Jakob Nielsen: Usability Engineering tšmšn wwwlomakkeen avulla: Hakulomake Yleistä Ohjeita Boolen lomake Kirjaston tietokantojen FAQ Hakutapa Tekijähaku (a/) 1. JŠtŠn tšmšn kentšn koskematta Hakusana Nielsen 2. Kirjoitan tšhšn kirjoittajan nimen Aloita haku Tyhjennä lomake Hakutapa-kentŠn valintalista: 3. Painan hakunappia Tekijähaku (a/) Nimekehaku (t/) UDK-haku (z/) Indeksin selaus (l/) Sanahaku (w/) Asiasanahaku (s/) Kuva 2: Esimerkki ryhmšlšpikšynnin tuloksesta. Alakulmassa esitetššn hakutavan valintalista.

6 VAPAA L PIK YNTI Vapaassa lšpikšynnissš ei ole ennalta mššriteltyjš testitehtšviš. Testitilanne on kontrolloitu ja kšyttšjšš pyydetššn ajattelemaan ŠŠneen. Valmiiden tehtšvien sijaan kšyttšjšš kehotetaan kšyttšmššn jšrjestelmšš vapaasti samaan tapaan kuin hšn tekisi omissa oloissaan esimerkiksi kotona (Nieminen 1996). NŠin saadaan selvitettyš, kuinka hyvin jšrjestelmš viestii omista toiminnoistaan ja kšyttštavastaan, eli saadaan arvio sen intuitiivisuudesta ja opittavuudesta. Vapaaseen lšpikšyntiin tarvitaan toimiva prototyyppi. Testin ohjaajan tulee hallita jšrjestelmš lšpikotaisin, jotta hšn pystyy auttamaan kšyttšjšš tilnateessa kuin tilanteessa ja pystyy varmistamaan prototyypin toimivuuden. Vaikka vapaassa lšpikšynnissš ei ole ennalta mššriteltyjš tehtšviš, tuotteen toiminnot on hyvš listata etukšteen. Listaan voi merkitš "pakolliset" osuudet, joista halutaan kaikilta kšyttšjiltš kommentti (Kuva 3). Jos kšyttšjš ei oma-aloitteisesti lšydš tai kokeile kyseisiš toimintoja, ohjaaja voi pienin vihjein opastaa kšyttšjšn kyseisiin toimintoihin tai tarvittaessa antaa suoria tehtšviš. Toiminto tai painike KŠyttŠjŠ lšysi itse? kyllš () ei (-)/ sattumalta (S) KŠytti oikein Avustettiin Sanomalehden konsepti Navigointi sisšllysluettelossa Navigointi: seuraava ja edellinen uutinen Sivunumerot S Taustatiedon lšytšminen - Kuva 3: Ohjaajan tarkistuslista jšrjestelmšn toiminnoista. Pakolliset osuudet on ympyršity. TILANNESIDONNAINEN L PIK YNTI Tilannesidonnaista lšpikšyntiš sovelletaan todellisessa kšyttšympšristšssš ja -tilanteessa. TehtŠviŠ ei siis pystytš laatimaan etukšteen eikš testitilanne ole kontrolloitu. MenetelmŠ soveltuu esimerkiksi puhelinpalvelujšrjestelmien arviointiin, sillš puhelinpalvelussa tehtšvšnannot tulevat suoraan asiakkailta eikš tyštš voida keskeyttšš tai hširitš

7 ŠŠneenajattelulla. Tilannesidonnaista lšpikšyntiš voidaankin kšyttšš myšs tehokkuuden mittaamiseen. Tilannesidonnaisessa lšpikšynnissš yksi tai kaksi tarkkailijaa seuraa kšyttšjšn tyštš ja tekee muistiinpanoja. Tilanne myšs videoidaan. Kun kšyttšjšllš on sopiva tauko tyšssššn, hšn voi kertoa, mitš juuri pššttynyt tehtšvš piti sisšllššn. Tarkkailijat voivat myšs esittšš kysymyksiš muistiinpanojensa pohjalta. MikŠli taukoon ei ole mahdollisuutta heti tehtšvšn pšštteeksi tai tutkittava tehtšvš kesti kovin pitkššn, tilanne voidaan kšydš lšpi videotallenteen tuella. LOPUKSI TeknillisessŠ korkeakoulussa suoritetut arvioinnit ovat osoittaneet, ettš kšyttšjštestejš voidaan soveltaa hyvin joustavasti tilanteen mukaan. Erilaisia testejš voidaan tehdš pieninkin resurssein. Esimerkiksi pahvimallin avulla tehdyt kšytettšvyystestit ja paperimallien avulla tehdyt ryhmšlšpikšynnit ovat tuottaneet arvokkaita tuloksia, jotka ovat vaikuttaneet tuotekehitykseen. Tyypillisen kšytettšvyystestin piirteitš ovat muun muassa kontrolloitu testitilanne, ennalta laaditut testitehtšvšt, ŠŠneenajattelu tehtšviš suorittaessa, yksi testikšyttšjš kerrallaan ja jollain tavoin toimiva prototyyppi. TŠssŠ artikkelissa lyhyesti esitellyt paritestaus, ryhmšlšpikšynti, vapaa lšpikšynti sekš tilannesidonnainen lšpikšynti tšyttšvšt nšistš ominaispiirteistš vain osan (Taulukko 1). Ne soveltuvatkin hyvin erilaisiin tilanteisiin ja tšydentšvšt nšin mahdollisten menetelmien valikoimaa tuotekehityksen eri vaiheissa. Taulukko 1: Menetelmien ominaispiirteitš. Kontrolloitu testitilanne Ennalta laaditut tehtšvšt Šneenajattelu Yksi kšyttšjš kerrallaan Toimiva prototyyppi Paritestaus RyhmŠlŠpikŠynti Vapaa lšpikšynti Tilannesidonnainen lšpikšynti

8 L HTEET Bias, R. (1994) The pluralistic usability walkthrough: Coordinated empathies. Teoksessa: Nielsen, J. & Mack R.L. (Eds.) Usability inspection methods. John Wiley & Sons, Inc. s ISO/DIS :1996, Ergonomic requirements for office work with visual display terminals (VDTs) Ð Part 11: Guidance on usability. Nielsen, J. (1993) Usability Engineering. Academic Press. Nieminen, M. P. (1996) Designing user interface concepts for multimedia services. Diplomityš, Teknillinen Korkeakoulu, Espoo. O'Malley, C.E., Draper, S.W. & Riley, M.S. (1984) Constructive interaction: A method for studying human-computer-human interaction. Teoksessa: Shackel, B. (Ed.) Humancomputer interaction - INTERACT'84. Elsevier Science Publishers. s