SEPA-päiväkirja: Käytettävyystestaus & Heuristinen testaus

Transkriptio

1 1 SEPA-päiväkirja: Käytettävyystestaus & Heuristinen testaus Lehmus, Auvinen, Pihamaa Muutoshistoria: Lisätty kooste ensimmäisestä heuristisesta evaluoinnista / IL Käyttäjätestauksen skenaariot lisätty / AP Käyttäjätestauksen tuloksia kirjattu ylös / IL Käyttäjätestauksen tuloksia kirjattu ylös / AP Heuristisen evaluoinnin tuloksia kirjattu / AP Dokumentin rakennetta parannettu / IL Heuristisen evaluoinnin ja käyttäjätestauksen analyysiä kirjattu / AP

2 2 SISÄLLYSLUETTELO Johdanto page 1. Teoreettinen viitekehys Käytännön harjoittaminen Heuristinen testaus Järjestelmän esittely ja ohjeistus Itsenäinen arviointi Tulosten analysointi Käyttäjätestaus Skenaariot: Admin käyttöliittymä Skenaariot: Pelijärjestelmän käyttöliittymä 7 2. Käytännön testaus ja tulokset Käyttäjätestaus Tulokset: Admin käyttöliittymä Tulokset: Pelijärjestelmän käyttöliittymä Tulokset: Analyysi Heuristinen testaus Heuristiikkalistaus Heuristisen evaluoinnin tulokset, kierros Heuristisen evaluoinnin tulokset, kierros Yhteenveto 16 Lähteet 16

3 3 Johdanto Käyttäjätestauksella tarkoitetaan tuotteen tai sen prototyypin testauttamista todellisilla käyttäjillä. Kehittäjät tuntevat tuotteensa niin hyvin, että tulevat sokeiksi sen heikkouksille. Sen sijaan käyttäjät, jotka eivät ole kokeilleet tuotetta aikaisemmin, löytävät siitä helposti ongelmia, joita suunnittelijat eivät ole osanneet ennakoida. Heuristinen testaus tarkoittaa menetelmää, jossa asiantuntijat käyvät tuotteen läpi järjestelmällisesti ja vertaavat sitä suunnitteluohjeistoihin eli heuristiikkoihin. Käytettävyyden testaaminen on projektissamme oleellista, sillä olemme rakentamassa nimenomaan käyttöliittymää ja sen on tarkoitus toimia sekä myynnin tukena että malliesimerkkinä vastaavan toiminnallisuuden toteuttamiseksi. 1. Teoreettinen viitekehys 1.1 Käytännön harjoittaminen Käytettävyyttä on ryhdyttävä testaamaan riittävän aikaisessa vaiheessa, jotta tuloksia ehditään hyödyntää järjestelmän toteutuksessa. Käytännöt suoritetaan niin, että ensin käyttöliittymälle tehdään asiantuntijoiden toimesta heuristinen testaus, jotta pahimmat virheet ja epäjohdonmukaisuudet saadaan karsittua. Tämän jälkeen paranneltu käyttöliittymä annetaan kohderyhmälle testattavaksi, jolloin toivottavasti saadaan viimeisetkin käyttöä vaikeuttavat ominaisuudet selville. Koska ensimmäinen kehitysiteraatio (I1) kuluu pääasiassa käyttöliittymän sisäisten toiminnallisuuksien kehittämiseen ja toteuttamiseen, ei varsinaista käyttöliittymää saada vielä lopulliseen muotoonsa. Tämän vuoksi heuristinen testaus suoritetaan ennen toisen kehitysiteraation (I2) puoltaväliä, jolloin käyttöliittymän graafinen ulkoasu muistuttaa jo lopullista tuotetta. Kun heuristinen testaus on suoritettu, käytetään siitä saatua palautetta hyväksi kehittämällä käyttöliittymää paremmaksi. Kun käyttöliittymän parannukset on suoritettu, annetaan tuote testattavaksi kohderyhmälle hyvissä ajoin ennen kehitysiteraation loppumista. Tällöin kehitysryhmälle jää vielä aikaa tehdä lisäparannuksia käyttöliittymään kohderyhmältä saadun palautteen perusteella. Heuristinen testaus voidaan tehdä järjestelmän suunnitelmalle tai varhaiselle prototyypille, joten se tehdään ensin. Sen avulla sadaan karsittua yleisiä käytettävyysongelmia ennen käyttäjätestejä. Heuristisen testauksen tuloksia voidaan myös hyödyntää käyttäjätestien suunnittelussa, jolloin käyttäjätesteistä saadaan mahdollisimman paljon hyödyllistä tietoa.

4 4 1.2 Heuristinen testaus Heuristisessa testauksessa testaajien on otettava huomioon se, kenelle tuote on suunnattu, ja missä käyttötilanteessa sitä käytetään. Tuotteen kohderyhmä on kiinnostunut pelaamisesta ja tuntee kohtuullisen hyvin selainkäyttöliittymät. Laitealustana on pöytätietokone tai set-top box kytkettynä televisioon ja kaukosäädin. Nielsenin mukaan (Nielsen) asiantuntijoita olisi ihanteellisessa tapauksessa viisi. Useammasta ei ole enää oleellista lisähyötyä, mutta vähemmillä virheitä jää todennäköisemmin huomaamatta koska eri testaajat löytävät tyypillisesti myös eri virheitä. Tässä tapauksessa testaajina ei kuitenkaan ole saatavilla niin montaa, vaan testaajina toimivat kolme SEPA-ryhmän jäsentä. (Nielsen) esittelee seuraavat kymmenen heuristiikkaa: Järjestelmän statuksen näkyvyys Järjestelmän ja todellisen maailman yhtenevyys Käyttäjän kontrolli ja vapaus Konsistenssi ja standardit Virheiden estäminen Tunnistaminen ennemin kuin muistaminen Joustavuus ja käytön tehokkuus Esteettinen ja minimalistinen suunnittelu Auta käyttäjiä tunnistamaan, diagnosoimaan ja selviämään virhetilanteista Apu ja dokumentaatio (Instone) on julkaissut tähän listaan web-käyttöliittymiin liittyen tarkentavat kommentit. Testaajille selostetaan yleisellä tasolla tuotteen idea, ja he käyvät sen pikaisesti läpi muodostaakseen yleiskuvan. Seuraaavksi he käyvät järjestelmän läpi järjestelmällisesti ja vertaavat sitä heuristiikkoihin. Ongelmat kirjataan ylös ja priorisoidaan. Lopuksi testaajat kokoontuvat muun harjoitustyöryhmän kanssa keskustelemaan testauksen tuloksista ja parannusehdotuksista. Järjestelmän suunnittelu ei ollut vielä riittävän pitkällä paperiprototyyppien tekemiseen I1 vaiheen aikana. Testaus suoritetaan mahdollisimman aikaisessa vaiheessa I2 vaihetta Järjestelmän esittely ja ohjeistus Heuristisessa testauksessa testaajien kanssa käydään aluksi läpi järjestelmän toiminta yleisellä tasolla. Tämän jälkeen käydään läpi heuristisen testauksen periaatteet. Testaajilta kysytään millä tasolla heidän tietämyksensä aiheesta on ja periaateita voidaan käydä perusteellisemmin läpi mikäli aihe ei ole kaikille tuttu. Testaajille jaetaan muistilista valituista heuristiikoista (Taulukko 1). Käyttöliittymä käydään läpi sarjana paperiprototyyppejä. Ohjaimeksi testiin valittiin kaukosäädin koska tämä on syöttölaitteena haastava ja ihmisille yleisesti kohtuullisen tuttu. Alkuohjeistukseen ja esittelyyn varataan n. 30min.

5 Itsenäinen arviointi Seuraavaksi kukin testaaja arvioi käyttöliittymän ensin itsenäisesti (Riihiaho). Koko prototyyppien sarja käydään läpi jokaista heuristiikkaa kohden erikseen. Havaituista ongelmista merkitään ylös heuristiikan numero jota ongelma rikkoo, arvio ongelman vakavuudesta sekä sanallinen kuvaus ongelmasta (Lomake 1). Kunkin heuristiikan läpikäyntiin varataan n. 6min jolloin koko sarjan läpikäymiseen kuluu yhteensä tunti. Vakavuuden arviointiin käytetään skaalaa (Riihiaho): 5 katastrofaalinen 4 vakava 3 häiritsevä 2 vähäinen l kosmeettinen Tulosten analysointi Lopuksi arvioinnin tulokset käydään yhdessä läpi ja keskustellaan havainnoista sekä mahdollisista ratkaisuehdotuksista. Tähän varataan aikaa n. 30min.

6 6 1.3 Käyttäjätestaus Käyttäjätestauksessa on oleellista. että tuote testataan todellisessä käyttöympäristössä ja testaajina toimivat henkilöt muistuttavat mahdollisimman paljon todellisia loppukäyttäjiä niin sukupuoli- kuin ikäjakaumaltaan että koulutukseltaan. Koehenkilöt testausta varten saadaan peer review ryhmästä, eli vastaavaa projektia toteuttavasta vertaisryhmästä. Onnekkaasti vertaisryhmän jäsenet vastaavat tuotteen kohderyhmää ja näin ollen soveltuvat käyttäjätestauksen koehenkilöiksi. Ikä- ja sukupuolijakauma ryhmässä ei täysin vastaa loppukäyttäjiä, mutta tämä seikka katsottiin toisarvoiseksi. Testauksen aikana tuotetta käytetään joko tietokoneella tai television kautta. Tietokoneella tehtävät testit voidaan toteuttaa jonkun ryhmän jäsenen kotona, ja televisiolla suoritettava testaus asiakkaan tiloissa. Käytettävyystestaus etenee seuraavalla tavalla: Suunnitellaan skenaariot, eli käyttötapauskuvaukset. Niiden on katettava ainakin yleisimmät käyttötilanteet ja tyypilliset virhetilanteet. Esimerkiksi pelin X löytäminen järjestelmästä, sen kuvauksen lukeminen ja lopulta pelin käynnistäminen tai toisen käyttäjän (vaikkapa kaverin) löytäminen järjestelmästä, tämän lisääminen käyttäjän omalle kaverilistalle ja moninpelin aloittaminen kyseisen henkilön kanssa. Arvioidaan käyttötapauksiin kuluva aika ja jaetaan ne tasapuolisesti testihenkilöille. Tärkeimmät testit teetetään kaikilla koekäyttäjillä. Testauksen aikana käyttäjät kertovat ääneen mitä ovat parhaillaan tekemässä, sekä havainnoistaan, kuten mitkä asiat ovat epäselviä, ärsyttäviä tai suoranaisesti järjestelmän käyttöä haittaavia. Ryhmän jäsenet kirjaavat havainnot ylös. Lopuksi testaajille esitetään yleisiä kysymyksiä ja pyydetään arviointia järjestelmän toimivuudesta ja käytettävyydestä. Testauksen aluksi testattaville selitetään järjestelmän käyttötarkoitus, perustoiminnallisuus, käyttökonteksti (tyypillisesti set-top box kaukosäätimellä) sekä kuvataan tyypilliset käyttäjäryhmät. Käytettävyystestauksen jälkeen summataan yleisimmiksi nousseet havainnot ja kommentit käytettävyyden osalta. Lisäksi käydään läpi mahdollisesti ilmenneet virhetilanteet ja muut tärkeiksi koetut puutteet tai epäloogisuudet järjestelmässä. Mikäli testauksessa ilmenee vikoja, joita ei projektin puitteissa pystytä korjaamaan, niistä raportoidaan erikseen asiakkaalle. Käyttäjätestauksen toteutusta ei tässä vaiheessa vielä dokumentissa tarkemmin käsitellä, koska testattava järjestelmä ei ole tarpeeksi kehittyneessä vaiheessa testausta varten. Dokumenttia päivitetään tältä osin kun asia on ajankohtainen.

7 Skenaariot: Admin käyttöliittymä Käyttäjäryhmän kuvaus: Järjestelmän peli-puolen käyttäjät ovat iältään 4-99v ja voivat olla kumpaakin sukupuolta. Tyypillisellä käyttäjällä on perus osaaminen kaukosäädin-käyttöliittymien käytöstä. Ylläpitokäyttöliittymän käyttäjä omaa tyypillisesti hyvät perustiedot selainkäyttöliittymistä. Alkutilanne: Käyttäjä on kirjautunut game-on front-endin ylläpitokäyttöliittymään. Käyttäjä on ylläpitokäyttöliittymän pää-sivulla. Skenaario Kuvaus 1 Tee uusi käyttäjäprofiili (profile) käyttäjätilin (account) account1 alle. 2 Tee tekemästäsi uudesta profiilista käyttäjätilin oletusprofiili. 3 Muuta jonkun profiilin käyttäjätunnusta. 4 Poista käyttäjätililtä account2 profiili "Big brother". 5 Lisää mainos pelille "golf". Käytä kuvana tiedostoa "Desktop/kuva.jpg" ja alt-tekstiksi "golf-kuva". Kohdeikä 10-99v. 6 Muokkaa juuri lisäämääsi mainosta, muuta kohderyhmän iäksi 20-70v. 7 Poista lisäämäsi mainos. 8 Luo uusi tournament pelille "Dino Crisis". Tournamentin tulee alkaa klo päivällä ja loppua klo päivällä. 9 Määritä tournamentin voittaja pelille "Kidz Basketball (Syncstart multiplayer)" 10 Poista tournament peliltä "Chaos Legion". 11 Muuta tournament pelille "Match M" loppumaan klo Skenaariot: Pelijärjestelmän käyttöliittymä Alkutilanne: Käyttäjä on kirjautunut Game-on front-endin pelijärjestelmään. Käyttäjä on pelijärjestelmän etusivulla. Skenaario Kuvaus 1 Aloita mikä tahansa peli mahdollisimman nopeasti 2 Etsi jalkapallopeli ja avaa sen info-sivu 3 Etsi peli Super Munkey Boom 2 ja aloita peli 4 Aloita moninpeli jonkun kanssa 5 Aloita peli Tux Racer kaverin x kanssa 6 Etsi pelin Tux Racer high score tulokset 7 Lisää käyttäjä x kaverilistalle / Liity kaverilistalle 8 Luo moninpelihuone peliä Bomberman world varten 9 Kutsu pelaaja x pelaamaan peliä / Liity peliin 10 Lähetä kaverille tavallinen viesti

8 8 2. Käytännön testaus ja tulokset 2.1 Käyttäjätestaus Aika: Testihenkilöt: John Dannberg, Kalle Kontio, Kimmo Virtanen Tulokset: Admin käyttöliittymä Skenaario Ongelman kuvaus Ratkaisuehdotus 1 Testihenkilö oletti profiilin luomisen tapahtuvan "Edit" toiminnon alla. "List profiles" toimnnon alta ei välttämättä hahmota löytyväksi editointi toiminnallisuuksia. "List profiles" linkin nimi voisi olla "Manage profiles" jolloin sen alta ymmärtää löytyväksi hallinnointi toiminnot. Vaihtoehtoisesti erilliset "Edit" ja "View" linkit joiden alta vastaavasti muokattavissa tai katseltavissa sekä käyttäjätilitiedot että profiilit. 1 Sallii tyhjän sukupuolen Sukupuolen valinta monivalinnalla 1 Profiili ID:n voi kirjoittaa käsin ID:n tulee olla kiinteä 2 Käyttäjä klikkasi i:tä, oletti, että i on eri linkki kuin teksti Poistetaan i 4 Profiilin poisto ei kysy varmistusta Varmistuksien kysyminen ja tiettyjen asioiden tekeminen mahdottomaksi 5 Mainoksen liittäminen peliin epäintuitiivinen / vaikeasti huomattavissa. 8 Tournaments-pelit sekavassa järjestyksessä 8 Kaksi turnausta samalle pelille samaan aikaan mahdollista 9 Turnauksen tulokset omituisessa järjestyksessä 9 Käyttäjä ei ymmärrä pyyntöä, ei löydä mitään mistä ko. toiminto tapahtuu 11 Turnauksen muuttaminen rikki (phpvirheitä) 11 Turnauksen muuttaminen ei onnistu jos turnaus on jo käynnissä 11 Turnauksen lisääminen poistaa kaikki turnauksen tiedot jos jokin input on viallinen Yleistä Ohjeistukset syöttökenttien käyttöön puutteellisia, mm. kentän merkityksen ja syötettävän tiedon formaatin osalta. Lisäohjeistusta syöttöelementtiin linkki. Pelien listaus esim. aakkosjärjestyksessä Pitäisikö olla mahdollista ja onko järkevää? Tulokset järkevään järjestyksesn Paremmat ohjeistukset Korjaus Turnauksen muuttamisen tulee onnistua vaikka se olisi alkanut jo Muiden kohtien tulee säilyä ennallaan. Ohjeistukset kenttien merkityksen ja syötettävän formaatin osalta. Virheitä voidaan välttää ohjaamalla käyttäjän valintoja esim. pudotusvalikoin vapaan syöttötekstin sijaan missä mahdollista. Yleistä Virheilmoitukset puutteellisia. Informatiiviset virheilmoitukset. Yleistä Virheellisen tiedon tapauksessa menetetään kaikki syötetyt arvot. Syötettyjen tietojen säilyttävä myös virheellisestä tiedosta huomautettaessa.

9 Tulokset: Pelijärjestelmän käyttöliittymä Skenaario Ongelman kuvaus Ratkaisuehdotus 4 Testihenkilö löysi multiplayer toggle painikkeen. Peli-infosivulla valitsi kuitenkin Play now Join now :n sijaan. 5 Osasi mennä Lobby osioon ja luoda huoneen kahdelle. Huomautti fontin värin hukkumisesta taustaan. 7 Testihenkilö menee ensin Lobby osioon mistä kaverilista toimintoa ei löydy. Testihenkilön mukaan Lobby ikonista tulee chat/odotushuone tyyppinen vaikutelma. Menee seuraavaksi My profile osioon ja löytää heti My buddy list toiminnon. 9 Testihenkilö menee Profile sivulle ja klikkaa User 3 nimistä linkkiä. Tämä vaihtaakin käyttäjää eikä hakenut käyttäjää viestin lähettämistä varten. Tämän jälkeen yrittää Profile sivun 'Buddy list linkkiä jossa voikin vain lisätä kavereita. Poistetaan layoutista painikkeet jotka eivät ole relevantteja käytetyssä osiossa: yksinpeleistä Join now ja moninpeleistä Play now. Tummennettu tausta tekstin esiintuomiseksi. Lobby toiminnon nimi ja ikoni viittaa vahvasti yhteisölliseen toimintaan. Voitaisiin harkita yhteisöllisten toimintojen siirtämistä Profiles sivulta Lobby :yn. Viestien lähettäminen joko muista täysin erilliseksi osioksi tai yhteisöllisyyteen viittaavan lobby osion alle Tulokset: analyysi Yhteisöllisten toimintojen löytämisessä oli jonkunverran kankeutta. Käyttöliittymää pidettiin kuitenkin senverran pienikokoisena että toiminnon etsimistä muutamasta potentiaalisesta paikasta ensimmäisellä kerralla ei pidetty kohtuuttomana vaivana. Toimintojen kerran löydyttyä käyttöliittymän rakennetta pidettiin kohtuullisen intuitiivisena ja helppona muistaa. Lisäksi tuli ilmi paljon puutteita perustoiminnallisuudessa kuten virheiden käsittelyssä, tietojen syöttämisen ohjaamisessa esim. monivalinnalla ja ohjeistamalla. Nämä ongelmat heijastelevat sekä sitä että toiminnot ovat työ alla, että selkeän yhtenäisen linjan puuttumista käyttöliittymän perustoimintojen suhteen. Tämän ongelman ratkaisemiseksi tarvitaan kehittäjille pääarkkitehdin puolesta ohjeistus yhtenäisestä linjasta esim. virheidenkäsittelyn tyyppisistä toiminnoista. Pahimmat käyttöliittymän rakenteen loogisuuteen liittyvät ongelmat koskivat yhteisöllisiä toimintoja. Ilmeni että testikäyttäjät yhdistivät Lobby ikonin yhteisöllisiin toimintoihin kuten multipelitoimintoihin ja viestien lähettämiseen. Tällä hetkellä Lobby sivu sisältää listaukset multipeleihin liittymiseen käytettävistä huoneista. Sivua voitaisiin laajentaa käsittämään ainakin viestien lähettämisen tällä hetkellä Profile sivun alla olevista toiminnoista. Tässä vaiheessa Lobby sivun uudelleen organisointia ei kuitenkaan ehditä enää tämän kurssin puitteissa toteuttaa.

10 Heuristinen testaus Heuristiikkalistaus # Heuristiikka Kommentit 1 Järjestelmän statuksen näkyvyys Järjestelmän tulisi pitää käyttäjä perillä sen tilasta kohtuullisen nopealla palautteella. 2 Järjestelmän ja todellisen maailman yhtenevyys Järjestelmän kielen tulisi vastata käyttäjän kieltä. Vältä teknistä kieltä. 3 Käyttäjän kontrolli ja vapaus Anna käyttäjälle mahdollisuus perua helposti tehtyjä valintoja. 4 Konsistenssi ja standardit Käytä samoja termejä vastaavissa tilanteissa. 5 Virheiden estäminen Pyri estämään virhetilanteiden syntyminen. 6 Tunnistaminen ennemin kuin muistaminen Esitä käyttäjälle kaikki kussakin tilanteessa toimimiseen tarvitsema tieto. 7 Joustavuus ja käytön tehokkuus Tarjoa tehokäyttäjälle mahdollisuus oikopolkuihin. 8 Esteettinen ja minimalistinen suunnittelu 9 Auta käyttäjiä tunnistamaan, diagnosoimaan ja selviämään virhetilanteista Älä esitä tietoa joka on tarpeetonta tai harvoin tarpeen. Kaikki ylimääräinen tieto ja toiminnallisuus kamppailee käyttäjän huomiosta tarpeellisten asioiden kanssa. Virheilmoitusten tulisi olla selkeitä ja ymmärrettävissä. Käyttäjän tulisi tukea käyttäjää ratkaisemaan ongelma. 10 Apu ja dokumentaatio Dokumentaation ja avun tulisi olla helposti käyttäjän saatavilla, sen tulee keskittyä käyttäjän kulloinkin käsillä olevaan tehtävään eikä sen tule olla tarpeettoman laaja. Taulukko 1: heuristiikka listaus (Nielsen)

11 Heuristisen evaluoinnin tulokset, kierros 1 Ensimmäinen heuristinen evaluointi suoritettiin suoraan jo osittain valmiille järjestelmälle. Asiantuntijoina toimivat Ismo Lehmus, Antti Pihamaa ja Tapio Auvinen kehitystiimistä. Vaikka osalla asiantuntijoista on jo valmiiksi kokemusta järjestelmän käytöstä, saadaan hyviä tuloksia mikäli asiantuntijat osaavat pitää mielensä avoimina ja tarkkaavaisina. Evaluointi suoritettiin henkilökohtaisesti ohjeiden mukaisesti. Tämän jälkeen asiantuntijaryhmä piti tapaamisen, jossa käytiin läpi asiantuntijoiden tekemät havainnot ja keskusteltiin mahdollisista korjaavista toimenpiteistä. Alla on esitetty taulukko, jossa on kuvattu havaitut virheet, niiden vakavuus sekä korjausehdotukset. Aika: Rikotun heuristii kan numero Ongelman vakavuus Ongelman sanallinen kuvaus Ratkaisuehdotus 1 Vakava Navigoitaessa päävalikosta toisiin valikkoihin, ei ole tietoa siitä, missä valikossa parhaillaan ollaan Selvästi näkyviin mikä valikko on parhaillaan käytössä, esimerkiksi korostamalla aktiivisen valikon linkkiä 5 Vähäinen Nuolet pelilistan sivuilla näkyvät vaikka pelien lukumäärä olisi niin vähäinen, että ne mahtuvat yhdelle sivulle Nuolet piiloon jos pelit mahtuvat yhdelle sivulle 3, 4 Vähäinen / Vakava Back-linkki palauttaa etusivulle eikä edelliselle sivulle / Backlinkki toimii omituisesti jos edellinen valittu linkki ei viekään toiselle sivulle vaan sisältää jonkin toisen toiminnallisuuden Back-linkin toiminnallisuuden korjaus niin, että se ei ota huomioon kaikkia linkkien valintoja jos valinnan seurauksena ei mennäkään toiselle sivulle 1 Häiritsevä Pelilistauksessa alalaidan linkit eivät näy kunnolla jos pelien määrä on liian suuri. Lisäksi valikon ulkoasu muuttuu riippuen listattujen pelien lukumäärästä Tehdään pelilistauksesta pysyvästi tietyn näköinen / kokoinen vaikka pelejä olisikin vähemmän kuin listassa tilaa. 4 Kosmeettine n Pelin kuva etusivulla ei ole linkki vaikka PC:llä käyttäessä helposti olettaa, että on. Ei korjata, järjestelmä on optimoitu STB:tä silmällä pitäen 2 Vakava / Onko lobby ymmärrettävä termi? Virhe on vakava mutta sen korjaus on helppo kun parempi termi

12 12 Vähäinen keksitään 5 Häiritsevä Pelilistoissa voi aakkosista ja genreistä valita sellaisia linkkejä, joiden takana ei ole yhtään peliä tarjolla Poistetaan käytöstä linkit, joiden takana ei ole yhtään peliä 4 Vakava Peli-infon välilehden linkit ovat hyvin eri tyyppisiä kuin muut painikkeet käyttöliittymässä. Löytääkö uusi käyttäjä ne? Visuaalisesti enemmän muita painikkeita vastaavat välilehtipainikkeet. Lisäksi tulee huomioida, että kaikki painikkeet eivät saa olla täysin samanlaisia. 8 Vakava Etusivu on täyteen pakattu erilaista informaatiota, joten siitä saattaa olla vaikea löytää tärkeät asiat. Etusivun vaikutelman rauhoittaminen poistamalla osa painikkeista sekä hyvällä grafiikalla 4 Vähäinen / Kosmeettine n Related games kohta sisältää linkkejä pelien infosivuille, linkit näyttävät tavalliselta tekstiltä eivätkä linkeiltä Selkeästi näkyviin se, että kyseessä on linkkejä 10 Katastrofi Kaikkiin mahdollisiin ongelmiin pitäisi olla saatavilla helposti ohjeistusta. Tällä hetkellä missään ei ole mitään ohjeistusta mihinkään Ohjeistusta saataville, mielellään jokaiselle sivulle/valikolle oma ohjeistuksensa, jonne pääsee linkillä samasta kohtaa jokaista ruutua Katastrofi / vakava Exit ja logout puuttuvat Exit ja logout saataville selkeään paikkaan 7 Häiritsevä Kuinka löytää tietty peli nopeammin? Jos järjestelmässä on paljon pelejä, on vaikeaa navigoida juuri tietyn pelin luo. Esimerkiksi My profile sivulle Favorite games osio. Vähäinen / Kosmeettine n Pääseekö pelilistassa selaamaan listan ympäri eli viimeiseltä ruudulta suoraan ensimmäiselle Valikon toteuttaminen niin, että pystyy 9 Vakava / Katastrofi Ohjeistus kuinka toimia mikäli peli ei käynnistykään. You already have a game running Kaikkien virheilmoitusten läpikäynti ja parannus

13 13 1 Häiritsevä Mikäli pelilistassa on useita sivuja, ei käyttäjä tiedä paljonko pelejä on vielä selattavana Sivunumerot pelilistauksiin Tuloksista suurin osa koskee pelilistauksien navigointia mikä on tämän vaiheen ajankohtaisin ja tärkein käyttöliittymän kehityskohde. Lisäksi huomioita kirjattiin ulkoasun selkeyteen ja ohjeistuksiin liittyen. Lobby toiminnon kehittäminen käyttäjälle intuitiiviseksi on keskustelulle avoimeksi jäänyt aihe mille ei heti keksitty tyydyttävää ratkaisua. Ongelmien vakavuus vaihteli tasaisesti koko skaalalla kosmeettisesta katastrofaaliseen. Vakavien ongelmien suhteellisen runsas läsnäolo selittyy käyttöliittymän keskeneräisyydellä keskeisten toimintojen suhteen vielä tässä vaiheessa. Arvioinnissa tuli sellaisten keskeneräisyydestä johtuvien ongelmien lisäksi jotka luultavasti olisivat triviaaleja ratkaista muutenkin, myös hyviä hankalammin ilman systemaattista läpikäyntiä havaittavia ongelmia mm. konsistenssi ja standardit heuristiikkaan liittyen Heuristisen evaluoinnin tulokset, kierros 2 Aika: Rikotun heuristiikan numero Ongelman vakavuus Ongelman sanallinen kuvaus Ratkaisuehdotus 1, 4 Häiritsevä Navigaatiossa osalla painikkeista on highlight fokuksen kanssa ja osalla ei. Painikkeiden visuaalinen käyttäytyminen mielellään mahdollisimman yhdenmukaista. 1 Vakava Päänavigaatiossa (sivun yläosa), alanavigaatiossa (alin rivi), ja peli-info sivun tabeissa, ei ole indikaatiota siitä mikä osio on valittuna. Korostus kaikkiin painikkeisiin valitun vaihtoehdon osalta. Vähintään sivuille joilla sivun identiteetti ei ilmene esim. otsikkona. 1 Häiritsevä Peliä aloitettaessa tulee status sivu jonka teksti hukkuu taustaan. Tumma taustalaatikko jotta teksti saadaan erilleen taustasta. 1 Häiritsevä Kun vaihtaa profiilia sivulla Profile, järjestelmä avaa etusivun ilman mitään indikaatiota profiilin vaihtamisesta. Pysyttävä profiilisivulla ja annettava indikaatio profiilin vaihtumisesta. 4 Häiritsevä Kielen vaihtaminen tapahtuu klikkaamalla kielen arvoa ja Kieli arvon muuttaminen toteutettava saman mekanismin

14 14 valitsemalla listasta. Tämä myös tallentaa muutoksena kun taas muutoksen tekeminen kaikkiin muihin samassa yhteydessä oleviin arvoihin pitää tallentaa "Save" painikkeella. mukaisesti kuin muutkin. Valinta esim pudotusvalikkona ja tallennus Save painikkeella. 4 Vähäinen My messages toiminto löytyy sekä "Profile" että "Messages" osioiden alta. Kerrannaisuus on ei edistä käyttöliittymän rakenteen selkeyttä. Poistetaan kyseinen toiminto "Profiles" sivulta. 6 Vakava Tekstuaaliset linkit näyttävät tavalliselta tekstiltä eivätkä erotu. Indikaatio, esim. alleviivaus, linkeille. 6 Häiritsevä My buddy list: Jos painaa nappia search kohdasta "Add user to buddy list", päätyy "Send a message" sivulle Kyseisestä painikkeesta pitäsi päästä lisäämään kaveri kaverilistalle. 6 Vähäinen Send a message: Sivulla ei ole "Back" painiketta. Lisää "Back" linkki. 1 Kosmeettine n Send a message: Kun viesti on lähetetty, ilmoitus viestin lähtemisestä tulee sivun yläosaan normaalina tekstinä. Statusviesti tulisi tulla jonnekin muualle kuin sivun pääotsikon yläpuolelle. Mielellään konsistentisti muiden käyttöliittymän status viestien kanssa. 5 Häiritsevä Admin: Ad: Mainoksen pystyy syöttämään järjestelmään antamatta mitään tietoja. Tällainen mainos ei ole mielekäs eikä sen luominen pitäisi onnistua. Estetään mainoksen luominen puutteellisilla syötteillä. 7 Vähäinen Sivulla ei ole saatavilla tietoa tournamentseista. Tournaments tiedot esiin sivulle tai pikalinkki listaussivulle mikäli pelille on tournamentseja. Häiritsevä Back-nappi ei välttämättä toimi kuten voisi olettaa Back-napin toiminnallisuuden korjaaminen

15 15 Vakava Single/multiplayer nappi ei ole selkeä Napin ulkomuodon muuttaminen sellaiseksi, että sen vaikutus selviää käyttäjälle Häiritsevä Viestiä luettaessa ei ole reply-nappia käyttäjän tarvitsee muistaa viestin sisältö ja lähettäjän nimi vastatessaan Reply-napin lisääminen Häiritsevä Viestien lähetysajat eivät näytä oikein Viestien lähetysajan korjaaminen toimivaksi 7 Häiritsevä Ei pikakeinoa löytää ennalta tunnettu peli Favorite games tai vastaava user profileen Vakava Helpit puuttuvat, sivut ovat olemassa mutta tyhjiä Sisällön tuottaminen Kosmeettine n Last played peli ei vaihdu Toiminnallisuuden kuntoon saattaminen 7 Vähäinen Yläpalkin nappuloiden numerot, toimivatko ne? Pikavalintojen kuntoon saattaminen Arvioinnissa tuli pääasiassa ilmi kosmeettisia, kehityksen alla olevien toimintojen puolivalmista tilaa heijastelevia lapsentauteja. Huomattava osa raportoiduista ongelmista oli vakavuusluokkaa häiritsevä ja sen molemmin puolin mistä näkyy nopeasti toimintakuntoon kehitetyn mutta hiomattoman toiminnallisuuden tila. Järjestelmä toimii mutta ongelmat ovat silti kohtuullisen pahoja. Vaikka raportoidut ongelmat olivatkin enimmäkseen melko triviaaleja, oli arviointikierros hyvä kattava katsaus toimintojen käytettävyyteen. Varsinkin projektin loppuvaiheen kiireisessä toiminnallisuuden loppuunsaattamisessa ja stabiloinnissa jää kehittäjältä itseltään käytettävyyden systemaattinen arviointi helposti alemmalle prioriteetille.

16 Yhteenveto Käyttäjätestaus ja heuristiset arviot toimivat ongelmien esiintuomisen kannalta hyvin mutta viimeiset testit ja arviot tulivat osittain liian myöhään jotta kaikki havaitut ongelmat olisi ehditty ottaa huomioon toteutuksessa. Mikäli testattavaksi soveltuvan käyttöliittymän viivästyminen olisi voitu ennakoida, oltaisiin voitu harkita myös testaamista paperiprototyypeillä jolloin tulokset olisi saatu riittävän hyvissä ajoin että kaikkiin ongelmiin olisi ehditty reagoida. Valitettavasti käyttöliittymän toiminnallisuus oli riittävän laaja mielekkääseen käyttäjätestaukseen vasta viimemetreillä. Heuristiset arviot olivat sen verran kevyitä ja hyödyllisiä perus-käytettävyysongelmien paikallistamiseen että niitä olisi voinut tehdä useampiakin. Käyttäjätestaus osoittautui erittäin hyödylliseksi käyttöliittymän loogisuuden ja intuitiivisuuden kartoittamisen kannalta. Järjestelmän kehittämisessä mukana olleiden henkilöiden on erittäin vaikea eläytyä tilanteeseen jossa käyttäjä etsii eri toimintoja ensimmäistä kertaa mistä johtuen käyttäjätestaus ei ole korvattavissa heuristisilla arvioilla vaan molemmilla on paikkansa. Kokonaisuudessaan heuristiset arviot ja käyttäjätesti toimivat hyvin projektin tukena. SEPA:a tekemässä olleet pitivät suoritettuja aktiviteetteja myös arvokkaana käytännön tason kokemuksena käyttäjätestauksen ja heuristisen arvioinnin mahdollisuuksista käyttöliittymäkehityksessä. Lähteet (Turner) Benyon, Turner, Turner 2005: Designing Interactive Systems. People, Activities, Context, Technologies. Addison-Wesley. (Nielsen) Nielsen, J. 1993: Usability engineering. Academic Press, New York. (Riihiaho) Riihiaho, S. 1998: Käytettävyyden arviointi ilman käyttäjiä.systeemityö. Systeemityöyhdistys SYTYKE ry. Vol 5, No. 4, ss (Instone) Instone, K. 1997: Usability Heuristics for the Web. (online). Available: