Käytettävyyden testaus: XboxMediaCenter ohjelmisto

KOG181 Käytettävyyden perusteet Käytettävyyden testaus: XboxMediaCenter ohjelmisto 17.12.2006 Maila Herrala

SISÄLLYSLUETTELO 1 Johdanto...3 2 Xbox Media Center...4 2.1 Xbox...4 2.2 XboxMediaCenter...4 3 Käytettävyysarvioinnin tulokset...6 3.1 SUS-menetelmä...6 3.2 Nielsenin heuristiikat...7 4 Käytettävyyden testaus...10 4.1 Testausmenetelmät...10 4.1.1 Ääneen ajattelu...10 4.1.2 SUS-menetelmä...11 4.2 Koejärjestelyt...12 4.4 Testauksen suorituksen arviointi...13 5 Tulokset...14 5.1 Ääneen ajattelu...14 5.2 SUS-menetelmä...16 5.3 Pohdinta...17 Lähdeluettelo...19

1 JOHDANTO Asiantuntijoiden tekemien käytettävyysarvioiden lisäksi jokainen tuote tulisi testata myös loppukäyttäjien edustajilla. Käytettävyystestausmenetelmiä on useita ja niiden valinnassa tulee huomioida tuotteen valmiusaste, käyttäjäryhmä ja tuotteen tyyppi. Käytettävyystestaus antaa yleensä paremman kuvan tuotteen käytettävyydestä kuin asiantuntijan tekemä käytettävyysarvio, koska koehenkilöt ovat tuotteen mahdollisia loppukäyttäjiä. Heidän tekemistään mahdollisista virheistä ja ongelmista tuotteen suunnittelijat löytävät helposti parannus- ja kehityskohteita. Tässä harjoitustyössä testataan XboxMediaCenter-ohjelmiston käytettävyyttä. Tälle ohjelmistolle on tehty aikaisemmassa harjoitustyössä käytettävyysarvio ja tämän työn tarkoituksena on peilata käyttäjätestien kautta tuotteen käytettävyyttä siitä tehtyyn arvioon, jonka tulos esitetään ennen varsinaista käytettävyystestiä. Testissä on mukana neljä eri ikäistä koehenkilöä. Testausmenetelminä käytetään ääneen ajattelua sekä SUS-menetelmää, jotka on esitelty testausmenetelmillä. 3

2 XBOX MEDIA CENTER 2.1 Xbox Xbox on Microsoftin julkaisema pelikonsoli. Tämä viihde-elektroniikkalaite on tarkoitettu videopelien pelaamiseen ja sen kuvaa katsellaan yleensä television ruudulta ja ohjataan erillisen peliohjaimen avulla (Kuvio 1). Xboxiin voi kiinnittää neljä peliohjainta ja siinä on oma kiintolevy pelitallennuksia ja musiikkia varten. KUVIO 1. Xbox-pelikonsoli ja ohjain. 2.2 XboxMediaCenter XboxMediaCenter (XBMC) on ilmainen Xboxiin tarkoitettu multimedia-soitin. XBMC:tä voidaan käyttää videoiden, musiikin ja kuvien soittamiseen sekä katseluun. Ohjelmisto tukee kaikkia yleisimpiä tiedostoformaatteja, kuten mpeg-1/2/4, DivX, mp3, jpg, gif ja niitä voidaan soittaa suoraan CD/DVD levyltä tai Xboxin kovalevyltä. XBMC:tä voidaan ohjata ja käyttää sen omalla kaukosäätimellä ja Xboxin omalla peliohjaimella. Liittämällä konsoliin USB-portin kautta tavallisen hiiren ja/tai näppäimistön, voidaan ohjelmistoa käyttää samalla tavalla kuin mitä tahansa tietokoneohjelmaa. Kuviossa 2 näkyy ohjelmiston perusnäkymä. 4

KUVIO 2. XboxMediaCenterin perusnäkymä. 5

3 KÄYTETTÄVYYSARVIOINNIN TULOKSET Arvion edellisessä harjoitustyössä XboxMediaCenter-ohjelmistoa kahdella eri menetelmällä: SUS-menetelmällä sekä Nielsenin heuristiikoilla (tiivistelmät alla). Kokeillessani ohjelmiston ominaisuuksia, huomasin, että sen käyttö oli todella helppoa ja käytön oppi helposti. Ohjelmiston ulkoasu oli miellyttävä, valikot olivat selkeitä ja asiat oli järjestetty loogisesti. Ongelmakohdiksi muodostuivat palautteen ja selkeiden virheilmoitusten antaminen käyttäjälle. Ohjelmistoa käyttäessä ei aina tienny, mitä kone tekee, koska lataus- tai odota-ikkunaa ei aina ilmestynyt ruutuun, vaikka kone selvästi haki joitain tietoja muistista. Virheilmoitusten muoto ja sisältö olivat myös erittäin vajaavaiset, joka aiheutti sen, että käyttäjä ei tiennyt mistä virhe johtui ja miten virheen kanssa tulisi toimia. Kaikenkaikkiaan tuote oli erittäin helppokäyttöinen ja voisin suositella sitä kaikille Xbox-pelikonsolin omistajille. 3.1 SUS-menetelmä 1. Uskon, että voisin käyttää tätä tuotetta säännöllisesti. 1 2 3 4 5 2. Minusta tämä tuote oli liian monimutkainen. 1 2 3 4 5 3. Minusta tuotetta oli helppo käyttää. 1 2 3 4 5 4. Luulen, että tarvitsisin teknistä tukea, jotta voisin käyttää tätä 1 2 3 4 5 tuotetta. 5. Minusta tuotteen erilaiset ominaisuudet oli yhdistetty hyvin 1 2 3 4 5 yhdeksi kokonaisuudeksi. 6. Mielestäni tuotteessa oli liian paljon ristiriitoja. 1 2 3 4 5 7. Uskon, että suurin osa ihmisistä oppii käyttämään tätä tuotetta 1 2 3 4 5 vaivatta. 8. Minusta tätä tuotetta oli hankala käyttää. 1 2 3 4 5 9. Tunsin itseni varmaksi käyttäessäni tuotetta. 1 2 3 4 5 6

10. Minun täytyy oppia paljon uusia asioita ennen kuin voin jatkaa tämän tuotteen käyttöä. 1 2 3 4 5 SUS-menetelmän ohjeiden mukaan ohjelmiston käytettävyydelle voidaan laskea numeerinen arvo. Tässä tapauksessa arvoksi saatiin 85, mikä asteikolla 0-100 on hyvä. Tuotteen käytettävyys on tämän arvion perusteella hyvä, mutta käyttövarmuutta vähensi muun muassa se, että ohjelmisto ei aina antanut viestiä siitä, mitä se oli tekemässä ja toisaalta ohjelmiston ajoittainen kaksikielisyys häiritsi. 3.2 Nielsenin heuristiikat 1. Yksinkertainen ja helppo dialogi Tuotteen päävalikko on selkeä ja siitä näkee helposti tarjolla olevat toiminnot. Näkymissä ei ole ylimääräistä tietoa ja kaikki valikot toimivat loogisesti. Kuvan vasemman laidan valintanäppäimet antavat vihjeen sanamuodollaan tai pienellä nuolella siitä minkälaisia ominaisuuksia sillä voi säätää. 2. Puhu käyttäjän kieltä Ohjelmisto on pääasiassa suomenkielinen, mikä on hyvä ajatellen useinkin nuorta käyttäjäkuntaa. Muun muassa asetukset-valikossa on hyvin osattu käyttää tekstin lisäksi myös kuvakieltä, jolloin video-, musiikki-, kuva-, käyttöliittymä- ja muut asetukset on helppo löytää. Paikka paikoin ohjelmistoon oli kuitenkin jäänyt myös englanninkielistä termistöä, mikä saattaa vaikeuttaa joidenkin toimintojen ymmärtämistä ja käyttöä. 3. Minimoi käyttäjän muistikuorma Käyttäjän muistikuorma ei rasitu liikaa käytön aikana. Valikkohierarkiat ovat hyvin lyhyitä ja yläreunassa lukee aina missä valikossa kulloinkin ollaan. 7

4. Johdonmukaisuus Kaikki valikot toimivat samalla tavalla ja ovat johdonmukaisia. Erilaiset valintatoiminnot ovat aina kuvan vasemmanpuoleisessa kehyksessä ja tiedostot oikeassa. Valintatoiminnot toimivat kaikialla samalla tavalla ja klikkaamalla muuttavat suoraan oikeanpuoleisen ikkunan näkymää halutunlaiseksi. 5. Palaute Ohjelmisto ei aina kertonut käyttäjälle, mitä se oli tekemässä. Jos esimerkiksi etsi tiedostosta jotain tietoa, saattoi hakuun mennä todella kauan, eikä ohjelmisto antanut siitä mitään informaatiota. Joissakin tilanteissa latausikkuna kuitenkin aukesi, jolloin näki latauksen etenemisen väripalkissa ja latauksen pystyi myös keskeyttämään. 6. Selkeästi merkityt poistumisreitit Ohjelmistossa ei ole ollenkaan merkittyjä poistumisreittejä. Päävalikon oikeassa alalaidassa on näppäin Xboxin sammuttamista varten, mutta valikoissa poistumismahdollisuutta erillisellä näppäimellä ei ole. Poistuminen tapahtuu peliohjaimen back- tai B-näppäintä painamalla. Käytettäessä hiirtä tai näppäimistöä paluu edelliseen valikkoon ei ole niin selvä. Kokeilemalla selvisi, että näppäimistössä paluu onnistuu esc-näppäimen avulla ja hiiren oikeanpuoleinen nappi ajaa saman asian. 7. Oikopolkujen ja tehokkaiden työskentelytapojen tukeminen Ohjelmisto on rakenteeltaan niin yksinkertainen, että edes kokenut käyttäjä ei välttämättä tarvitse erillisiä pikanäppäimiä. Omia käyttöliittymä- ja muita asetuksia voi kuitenkin helposti säätää Asetukset-valikon alta. 8. Hyvät virheilmoitukset 8

Ohjelman antamat virheilmoitukset eivät ole käytettävyyden kannalta kovin hyviä. Saamani virheilmoitus oli kaksikielinen ja se ei kertonut oikeastaan yhtään mitään. Mihin tämä virheilmoitus liittyy ja miten tämän virheen yli voi päästä? 9. Estä virheet Virheitä ei ole pystytty täysin poistamaan, mutta koska ohjelmisto on vapaata lähdekoodia ja jatkuvan kehityksen alla, uskon, että näistä viimeisistäkin virheistä voidaan päästä eroon. 10. Avustustoiminnot ja dokumentaatio Ohjelmiston peruskäyttöön ei tarvitse teknistä tukea, opetusta eikä ohjekirjaa. Internetistä löytyy kuitenkin wikipedia tyyppinen online manual (Anonyymi 2), joka on loogisesti järjestetty johdantoon, asennukseen ja käyttöön. Sivustolta löytyy myös paljon muuta tietoa ohjelmistoon liittyen. 9

4 KÄYTETTÄVYYDEN TESTAUS Testattavana on XboxMediaCenter-ohjelmisto, jolle on jo aikaisemmin tehty käytettävyysarvio. Käytettävyystestillä haetaan tukea tehdylle käytettävyysarviolle. Tässä käytettävyystestissä käytetään kahta testausmenetelmää: ääneen ajattelua sekä SUS-kaavaketta. Ääneen ajattelu-menetelmä valittiin sen takia, että sen avulla käyttäjä pääsee tehtävien kautta testaamaan ohjelmistoa ja toisaalta testaaja tietää koko ajan miksi käyttäjä tekee jotain. SUS-kaavakkeen valinta perustui sen yksinkertaiseen ja nopeaan käytettävyyden arvioon. Jokaisen koekäyttäjän on helppo täyttää se. Käytettävyystestaukset suoritettiin 10.-16.12.2006 ja testauksessa oli mukana 4 koehenkilöä iältään 17-49 vuotta. 4.1 Testausmenetelmät 4.1.1 Ääneen ajattelu Ääneen ajattelu on yksi käytetyimmistä ja arvostetuimmista käytettävyyssuunnittelun menetelmistä. Ääneen ajattelu testillä tarkoitetaan sitä, että koehenkilö ajattelee jatkuvasti ääneen suorittaessaan hänelle annettuja tehtäviä. Kun käyttäjä pukee ajatuksensa sanoiksi, on testaajan helpompi ymmärtää käyttäjän toimintatapoja ja löytää mahdolliset ongelmapaikat. (Nielsen 1993, s. 195) Ääneen ajattelu testissä on suositeltavaa nauhoittaa tai kuvata koko testitapahtuma ja mielellään myös kirjoittaa ylös mahdollisimman paljon käyttötilanteessa esiintulevia asioita. Videoiden ja äänitteiden avulla voidaan palata testitilanteeseen ja tehdä uusia huomioita, mitä koetilanteessa ei välttämättä havaittu. Ääneen ajattelussa on kuitenkin muutama epäkohta, jotka täytyy koetilanteessa tai viimeistään tuloksia arvioitaessa ottaa huomioon. Käytettävyysongelmista voi saada virheellisen kuvan, jos koehenkilön subjektiivisille teorioille annetaan liikaa painoarvoa. Toisaalta koko ääneen ajatteleminen voi olla käyttäjälle hyvin luonnotonta ja vaikeaa ja koehenkilön voi olla vaikeaa jatkuvasti selittää mitä hän 10

tekee. Osa koehenkilöistä voi vaatia myös ohjaavia kysymyksiä, kuten Mitä sinä ajattelet nyt? tai Miten lähtisit jatkamaan tästä?. (Nielsen 1993, s. 195-196) 4.1.2 SUS-menetelmä System Usability Scale (SUS) on yksinkertainen ja subjektiivinen kymmenen kohdan käytettävyysarviointimenetelmä. Testin kysymykset kattavat monipuolisesti käytettävyyteen liittyviä asioita, kuten tuotteen monimutkaisuutta tai tarvetta tukee tuotteen käytössä. Käyttäjällä on mahdollisuus vastata jokaiseen väittämään asteikolla yhdestä viiteen, missä yksi tarkoittaa täysin eri mieltä ja viisi täysin samaa mieltä. Alla menetelmän väittämät vapaasti suomennettuna (Brooke 1996, s.191-193) 1. Uskon, että voisin käyttää tätä tuotetta säännöllisesti. 2. Minusta tämä tuote oli liian monimutkainen. 3. Minusta tuotetta oli helppo käyttää. 4. Luulen, että tarvitsisin teknistä tukea, jotta voisin käyttää tätä tuotetta. 5. Minusta tuotteen erilaiset ominaisuudet oli yhdistetty hyvin yhdeksi kokonaisuudeksi. 6. Mielestäni tuotteessa oli liian paljon ristiriitoja. 7. Uskon, että suurin osa ihmisistä oppii käyttämään tätä tuotetta vaivatta. 8. Minusta tätä tuotetta oli hankala käyttää. 9. Tunsin itseni varmaksi käyttäessäni tuotetta. 10. Minun täytyy oppia paljon uusia asioita ennen kuin voin jatkaa tämän tuotteen käyttöä. Käyttäjän antamat vastaukset pisteytetään, jotta yksittäisiä tuloksia voidaan vertailla. Jokaisen vastauksen vaikutus on 0-4 pistettä. Väittämien 1,3,5,7 ja 9 kohdalla vastauksesta viisi (täysin samaa mieltä) saa 4 pistettä ja vastauksesta yksi (täysin eri mieltä) 0 pistettä. Väittämissä 2,4,6,8 ja 10 pisteytys menee päinvastoin, eli vastauksesta viisi saa 0 pistettä ja vastauksesta yksi 4 pistettä. Lopuksi kaikki pisteet lasketaan yhteen ja kerrotaan luvulla 2,5, jolloin saadaan lopullinen SUS-arvo. SUSarvo voi vaihdella 0 ja 100 pisteen välillä. SUS-menetelmää tulisi käyttää sen jälkeen 11

kun käyttäjällä on ollut jonkin aikaa mahdollisuus kokeilla tuotetta, mutta ennen varsinaista kyselyä tai keskustelua. (Brooke 1996, s.194) 4.2 Koejärjestelyt Ohjelmiston käytettävyystestaus suoritetaan pelikonsolin normaaleissa käyttöolosuhteissa olohuoneessa sohvalla istuen. Pelikonsoli on käynnistetty valmiiksi ja ohjelmiston päänäkymä on valmiiksi televisio-ruudulla. Koehenkilölle kerrotaan ensin mistä testissä on kyse, jonka jälkeen hänelle tehdään alkuhaastattelu. Alkuhaastattelussa kysytään käyttäjän ikä, sukupuoli ja ohjelmiston aikaisempi käyttökokemus. Ennen varsinaisen testin aloittamista käyttäjältä kysytään osaako hän käyttää pelikonsolin ohjainta ja tarvittaessa hänelle kerrotaan miten ohjelmistossa liikutaan peliohjaimen avulla. Opastus annetaan, koska tässä ei yritetä testata peliohjaimen käytettävyyttä, vaan itse ohjelmiston. Puuteet ohjaimen käytössä voivat vaikuttaa negatiivisesti myös ohjemistosta saataviin testituloksiin. Tämän jälkeen käyttäjältä kysytään onko hän valmis aloittamaan testin. Varsinaisessa käytettävyystestissä käyttäjälle annetaan yksitellen pienillä lapuilla 4 tehtävää (Taulukko 1). Koehenkilön tulee suorittaa tehtävät järjestyksessä ja ajatella tehtäviä suorittaessaan ääneen. Testaaja kirjoittaa ajatteluketjut ja mahdolliset ongelmat kannettavalla tietokoneella muistiin, koska nauhuria ei ollut mahdollista saada koetilanteessa käyttöön. Kun koehenkilö on suoriutunut kaikista tehtävistä, häntä pyydetään arvioimaan ohjelmiston käytettävyyttä SUS-kaavakkeen avulla. Taulukko 1. Käytettävyystestin tehtävät 1. Käynnistä Stepmania-peli. 2. Käynnistä Shoutcast rock-kanava EHR Rock. 3. Tarkista ylihuomisen sää Oulussa ja Lontoossa. 4. Katso minkälainen näytönsäästäjä ohjelmistossa on käytössä. 12

Ennen varsinaisia testejä suoritetaan pilotti-testi, jonka avulla nähdään onko kysymykset ja varsinaiset koetehtävät oikeanlaisia ja hyvin muotoiltuja. Samalla voidaan myös tarkistaa onko tarvetta lisäkysymyksiin ja tehtäviin. Jos pilottitestissä ei tule esiin ongelmia tai korjattavaa, voidaan tulokset ottaa mukaan lopulliseen käytettävyystestaukseen. 4.4 Testauksen suorituksen arviointi Käytettävyystestaus sujuin ongelmitta, mutta testijärjestelyissä ja kysymyksissä olisi ollut kuitenkin parantamisen varaa. Testin aikana olisi ollut hyvä käyttää nauhuria tai videoida testitilanne, mutta valitettavasti testin aikana ei ollut mahdollista saada käsiin kumpaakaan näistä laitteista. Testitilanteen nauhoittaminen olisi antanut testaajalle mahdollisuuden palata testitilanteeseen ja huomata joitain asioita, jotka testitilanteessa meni ohi. Toisaalta testaaja olisi myös voinut keskittyä testitilanteen aikana enemmän käyttäjän ja hänen tekemisien seuraamiseen, sen sijaan, että olisi tietokoneella kirjoittanut käyttäjän ääneen ajattelua. Testikysymysten valinnassa olisi voinut keskittyä enemmän ohjelmiston perinteisiin ja päivittäisiin toimintoihin. Nyt testikysymykset testasivat enemmän ohjelmiston analogiaa, loogisuutta sekä käyttäjän tietokoneosaamista. Viimeinen näistä kävi esille näytönsäästäjään liittyvän kysymyksen kohdalla. Koehenkilö, joka oli käyttänyt paljon tietokoneita ja muita ohjelmistoja löysi tämän asetuksen vaivatta, mutta vähemmän koneita käyttäneiden ja niitä säätäneiden oli huomattavan vaikeaa löytää oikea ratkaisu. Toisaalta tämä kysymyksen asettelu antoi käyttäjälle tehtäväksi surffailla ohjelmistossa ja testata sen kokonaiskäytettävyyttä eikä esimerkiksi yhden toiminnon, musiikin- tai videonsoittamisen käytettävyyttä. Jos olisi halunnut testata aivan koko ohjelmiston käytettävyyttä, olisi tehtävien pitänyt olla paljon monipuolisempia ja kysymyksiä olisi pitänyt olla paljon enemmän. Näin oltaisiin päästy testaamaan huomattavasti paremmin ohjelmiston käytettävyyttä. 13

5 TULOKSET Koetilanne meni asetetulla kysymyksillä hyvin ja pilottitestaus otettiin varsinaisiin koetuloksiin mukaan, koska muutokset eivät pilottitestauksen jälkeen tuntuneet tarpeellisilta. Koehenkilö 1 oli mukana pilottitestauksessa. Koehenkilöiden lähtötiedot löytyvät alla olevassa taulukossa. Taulukko 2. Koehenkilöt Sukupuoli Ikä Aikaisempi käyttökokemus koehenkilö 1 nainen 22 Käyttänyt ohjelmistoa jonkin verran, noin kerran kuussa. koehenkilö 2 mies 17 Nähnyt, kun joku toinen on käyttänyt ohjelmistoa, mutta ei ole itse koskaan käyttänyt. koehenkilö 3 nainen 48 Ei ole koskaan nähnyt tai käyttänyt vastaavaa ohjelmistoa. koehenkilö 4 nainen 22 Ei ole käyttänyt tätä ohjelmistoa, mutta PlayStation2:n on tuttu laite. 5.1 Ääneen ajattelu Ääneen ajattelussa annetut tehtävät vaikenivat loppua kohden. Ensimmäisen tehtävän suorittamiseen meni kaikilta huomattavasti vähemmän aikaa kuin esimerkiksi kolmannen tai neljännen tehtävän tekemiseen. Ensimmäisen tehtävän kohdalla kaikki koehenkilöt suoriutuivat mallikkaasti eikä ongelmia ollut. Sinnehän pääsi helposti etenemällä seuraavasti: Ohjelmisto -> Games -> Stepmania. Muutama koehenkilö mainitsi englannin kielestä, mutta sanoivat, ettei se haittaa, koska he osaavat kuitenkin sen verran hyvin ja games on hyvin usein esille tuleva sana. 14

Toisena tehtävänä oli käynnistää shoutcast rock-radiokanava EHR-rock. Tässäkin kaikki kohenkilöt löysivät tiensä suoraan musiikki-kansioon, minkä jälkeen tulikin hieman ongelmia ja pohdintaa. Oliskohan se tuossa EMR-kansiossa... Ei tästä pääse mihinkään, pitäiskö tästä päästä johonkin?... Ai tuossahan tuo Shoutcast lukeekin!, koehenkilö 2. Tuosta Shoutcast... Pääseekö tästä eteenpäin?... Voi hyvänen aika... No oliskohan se sitten R:n kohdalla... Mutta senhän piti olla EHR Rock, että olisko sittenkin E:n kohdalla... Ei ole. No sitten R:n kohdalle... Rock... En minä täältä mitään löydä. Kamalan epäselvä. Liikaa tekstiä eikä jaksa lukea. Menee heti hermot., koehenkilö 4. Shoutcast-radiokanavan haku on suhteellisen helppo, mutta siinä pitää selata pitkiä listoja ensin tyylisuunnan valinnassa, minkä jälkeen käyttäjälle aukeaa vielä lista kaikista kuuluvista radiokanavasti. Tästä enemmän tai vähemmän selkeästä radiokanavien nimilistasta käyttäjän pitää sitten selata haluamansa. Käyttäjän onneksi nimilista on kuitenkin aakkosjärjestyksessä. Ylihuominen sää Oulussa löytyi helposti, mutta Lontoon sään valitseminen tuotti taas ongelmia. Yksi koehenkilöistä löysi sen vahingossa, koska ei katsonut näkymää kokonaan ja luuli, että nuolesta valitaan seuraava päivä, mutta sieltä tulikin heti Lontoon sää. Kaksi koehenkilöä meni etsimään kaupungin valintaa asetuksista. Sinne olikin listattu Sääasemat numerojäjestykseen ja vaihtoehtoina olivat Oulu, Lontoo ja New Orleans. Lontoon klikkaaminen ei tuottanutkaan haluttua tulosta, vaan käyttöliittymä pyysi antamaan uutta kaupunkia, minkä sää tarkistetaan. Mitä tämä tekee. Miksi tämä sääasema 2 ei aukaise Lontoon säätä? Miten tästä pääsee pois. Ihan pönttö, koehenkilö 3. Pienen pohdinnan jälkeen kaikki sään asetuksiin eksyneet koehenkilöt päätyivät siihen tulokseen, että sieltä ei kaupunkia saa valittua vaan sen pitää löytyä säänpäänäkymästä. Pienten nuolten havaitseminen kaupungin nimen vierestä vei aikaa, mutta lopulta kaikki koehenkilöt pääsivät tarkistamaan myös Lontoon sään. 15

Hei... Täältä nuolilla valitsemalla saa eri kaupungit. Nyt kun tarkemmin ajattelee niin asetuksista säädetään jotain muuta., koehenkilö 3. Viimeisenä tehtävänä oli tarkistaa minkälainen näytönsäästäjä ohjelmistossa on käytössä. Kerroin koehenkilöille, että näytönsäästäjän voi tarkistaa jostain valikosta, eikä tarkoituksena ollut jäädä odottamaan sen päälle menemistä. Tämä tehtävä tuotti monelle yllättäviä vaikeuksia. Vain yhdelle koehenkilölle oli heti selvää mistä tällainen voidaan säätää. Asetukset kuulostaa uskottavalta... tästä käyttöliittymä tai järjestelmä... hmm... käyttöliittymä liittyy suoremmin siihen... siellähän se näytönsäästäjä onkin, koehenkilö 2. Käyn ohjelmista katsomassa. ei ole täällä. back. Asetuksiin. ei tässä oo sitä, mä meen takas. Menin tiedostonhallintaan. o ou! mä meen takas. mäpä meen kuviin. pictures. tyhjää. ei täsäkään oo. Perusjutut osaa, mutta tätä ei tarvitse jatkuvasti. takas asetuksiin..., koehenkilö 1. Voisin mennä kuviin. Automaattisesti aattelis, että se olis kuvissa. Ei. Toisaalta se vois olla asetuksissakin. Voi ei täällä on englantia! Vois kaikki olla suomeksi. Mitä tuo Screenshot folder tarkoittaa? siinä on tuo screen ja sehän tarkoittaa näyttöä... ai sitä tarkottaa... sen [näytönsäästäjän] on pakko olla täällä asetuksissa jossain... koehenkilö 4. Lopulta kaikki kohenkilöt löysivät oikean paikan ja testi voitiin päätää. Kysyin vielä koehenkilöitä, olivatko he saaneet hyvän kuvan ohjelmistosta ja sen toiminnasta sekä annoin heille mahdollisuuden kokeilla vielä sen käyttöä ilman erityistä tehtävää tai ääneen ajattelua. Tämän jälkeen pyysin heitä täyttämään SUS-kaavakkeen. 5.2 SUS-menetelmä 16

Jokainen koehenkilö täytti kaavakkeen heti suoritettuaan ääneen ajattelussa annetut tehtävät. Kaavakkeen täyttämiseen meni kohenkilöitä muutama minuutti. SUSmenetelmästä saadut käytettävyyspisteet koehenkilöittäin vaihtelivat suuresti, mikä yllätti minut. SUS-pisteiden haitari oli 40-80 alla olevan taulukon mukaisesti: Taulukko 3. SUS-menetelmällä saadut käytettävyyspisteet koehenkilöittäin koehenkilö 1 80 koehenkilö 2 75,5 koehenkilö 3 47,5 koehenkilö 4 40 SUS-menetelmän tuloksissa heijastui selvästi epävarmuus ääneen ajattelu tehtävien suorittamisessa. Ne koehenkilöt, joilla oli eniten ongelmia ja epävarmuutta, antoivat myös huonoimmat arvostelut SUS-kaavakkeella. En halua tässä eritellä yksittäisten kysymysten vastauksia, koska koehenkilöitä oli niin vähän ja yksikin poikkeama vastauksessa vaikuttaa tulokseen merkittävästi. Koehenkilöittäin saadut käytettävyyspisteet kuitenkin antavat jonkinlaisen kuva ohjelmiston käytettävyydestä. 5.3 Pohdinta Ääneen ajattelun kysymykset olisi voinut näin jälkikäteen ajateltuna valita paremmin, kuten jo testauksen suorituksen arvioinnissa pohdin. Testitilanteessa saattoi helposti myös huomata koehenkilöiden tietokoneosaamisen taso ja asenteen uusia asioita kohtaan. Koehenkilöt 1 ja 2, joilla oli toisella aikaisempaa kokemusta ohjelmiston käytöstä ja toisella muuten paljon tietokoneosamista, asennoituivat koetilanteeseen avoimesti ja osasivat käyttää ohjelmistoa heti. Koehenkilöillä 3 ja 4 oli melko vähän tietokoneosaamista ja asenne uusia ohjelmistoja kohtaan oli hyvin epäileväinen ja he olivat valmiita luovuttamaan tehtävien suorittamisessa heti ongelmia kohdatessaan. Tämä alkuasenne sekä tietynlainen väärintekemisen ja osaamattomuuden pelko heijastui selvästi myös SUS-kyselyn tuloksiin. 17

Lähes kaikilla koehenkilöillä oli ongelmia ääneen ajattelussa ja heitä joutui kysymysten avulla kannustamaan kertomaan mitä tekivät. Kaikki olivat hyvin lyhytsanaisia, mutta yleensä kuitenkin pysyin selvillä siitä, miksi he tekivät mitäkin. Koehenkilöillä oli myös taipumusta jäädä miettimään johonkin valikkoon pitkäksi aikaa, eivätkä he uskaltaneet kokeilla eri vaihtoehtoja. Yritin tällaisessa tilanteessa kannustaa heitä vapaasti kokeilemaan ja etsimään, koska virheiden tekeminen ja eri paikkohin eksyminen ei haittaa. Minulla oli testaajana myös suuri kiusaus auttaa koehenkilöitä ongelmatilanteessa. Tämä johtui siitä, että kaikki koehenkilöt olivat minulle tuttuja ja epätoivoisen etsimisen ja valittamisen kuunteleminen oli tietyllä tavalla hankalaa, koska itse kuitenkin testitilanteessa osasin käyttää ohjelmistoa ja tiesin miten tehtävät tulisi suorittaa. Onnistuin kuitenkin melko hyvin opastamaan koehenkilöitä omaan ajatteluun ja ratkaisemaan tehtävät oman päättelyn kautta ilman minun apua. 18

LÄHDELUETTELO Anonyymi 1. XBMC Media Center. [WWW-dokumentti]. <http://www.xboxmediacenter.de/> Luettu 17.11.2006. Anonyymi 2. XboxMediaCenter Online Manual. [WWW-dokumentti]. <http://www.xboxmediacenter.com/wiki/index.php?title=xbox_media_center_onlin e_manual> Luettu 27.11.2006. Brooke, J. 1996. SUS: a quick and dirty usability scale. In: Jordan & Thomas & Weerdmeester & McClelland. Usability Evaluation in Industry. s. 189-194. Nielsen, J. 1993. Usability engineering. Boston. Academic Press Inc. 358 s. 19