MICROSOFT ENCARTA 95 TIETOSANA- KIRJAOHJELMAN KÄYTETTÄVYYSTESTAUS

Transkriptio

1 Syventävä harjoitustyö: MICROSOFT ENCARTA 95 TIETOSANA- KIRJAOHJELMAN KÄYTETTÄVYYSTESTAUS Henri Jounila Oulun yliopisto Tuotantotalouden osasto Työtieteen yksikkö

2 2 SISÄLLYSLUETTELO SISÄLLYSLUETTELO JOHDANTO ENCARTA 95:N KÄYTETTÄVYYSARVIOINTI Ohjelman kuvaus Käytettävyysarvioinnin tulokset TESTAUSMENETELMÄ SUS-kaavake Heuristinen arviointi KOEJÄRJESTELYT JA KÄYTETTÄVYYDEN TESTAAMINEN TESTAUKSEN SUORITUKSEN ARVIOINTI TESTIN TULOKSET JA JOHTOPÄÄTÖKSET Tulokset SUS-kaavakkeista Tulokset heuristisesta arvioinnista Johtopäätökset...18 LÄHTEET...20

3 3 1 JOHDANTO Tämä syventävä harjoitustyö liittyy yhtenä osana kurssiin käytettävyys jokapäiväisessä ympäristössämme. Harjoitustyössä tuli suorittaa ensimmäisessä harjoitustyössä käytettävyydeltään arvioidun Microsoft Encarta 95 tietosanakirjaohjelman käytettävyystestaus. Tämän avulla voitaisiin todeta tehdyn käytettävyysarvioinnin oletukset oikeiksi sekä mahdollisesti löytää arvioinnissa huomaamatta jääneet käytettävyysongelma-alueet. Käytettävyystestauksessa käytettiin samoja menetelmiä kuin käytettävyysarvioinnissa; SUS-kaavaketta sekä heuristista arviointia. Testauksessa hyödynnettiin neljän käytettävyysosaamista omaavan koehenkilön asiantuntemusta, jota ennen kaikkea heuristinen arviointi vaatii. Tälle menetelmälle on tyypillistä, että 3-5 koehenkilöä kykenee antamaan lähes kaiken tarvittavan tiedon ongelmien ratkaisemiseksi. Lisähenkilöt eivät juurikaan tuo lisäarvoa suoritettavaan tutkimukseen. SUS-kaavaketta hyödynnettiin ainoastaan osakokonaisuuksin, eikä normaaliin tapaan yhtenä kokonaisuutena, koska vertailukohdetta kokonaistulokselle ei ollut käytettävissä. 2 ENCARTA 95:N KÄYTETTÄVYYSARVIOINTI Microsoft Encarta 95 -tietosanakirjaohjelman käytettävyysarviointi tehtiin suunnitelmien mukaisesti ennen varsinaiseen käytettävyystestaukseen ryhtymistä. Seuraavassa lyhyt kuvaus ohjelmasta sekä käytettävyysarvioinnissa saatuja konkreettisia tuloksia.

4 4 2.1 Ohjelman kuvaus Microsoft Encarta 95 on interaktiivinen englanninkielinen tietosanakirjaohjelma. Se sisältää noin artikkelia, joihin voi tutustua tekstiä lukemalla sekä kuvia ja videoita katselemalla. Historiaan pääse helposti käsiksi aikajanojen avulla. Ohjelma tarjoaa myös monipuolisen karttakokoelman alkaen pienimittakaavaisesta maapallosta aina maanosa- ja valtiokohtaiseen karttakuvaan asti. Ohjelma sisältää myös muutaman interaktiivisen tietopelin, jotka monipuolistavat asioiden ymmärtämistä. Lisäksi Mindmaze-pelin avulla voi testata omaa asiantuntemustaan. Encarta 95:n käyttöliittymä on Windows-ympäristöihin tutustuneelle kohtuullisen yksinkertainen (kuva 1). Ikkunan oikeassa yläkulmassa ovat painikkeet ikkunan pudottamiselle pois näytöltä, ikkunan suurentamiseksi ja ohjelman sulkemiseksi. Yläpalkkiin on sijoitettu kaikki ohjelman päätoiminnot, jotka on selitetty taulukossa 1. Kuva 1. Ohjelman käyttöliittymä on Windows-käyttäjälle tuttu.

5 5 Yläpalkin alapuolella seuraavana on artikkelin otsikko suurella fonttikoolla. Sen alapuolella on toinen rivistö valikkoja. Views-valikosta voi muokata näytölle tulevien artikkelien esitysasua haluamakseen neljällä eri tavalla: 1. Kuvat, kartat yms. ja teksti vierekkäin, 2. Kuvat, kartat yms. ja teksti vierekkäin sekä lisäksi artikkelin sisällysluettelo, 3. Pelkkä teksti näkyvillä. Kuvat, kartat yms. linkkien takana, 4. Teksti ja sisällysluettelo näkyvillä. Kuvat, kartat yms. linkkien takana. Menu-painikkeesta löytyvät samat toiminnot kuin ikkunan oikeasta yläkulmasta. Tämän valikon alta löytyy yhdeksän eri pääaihepiiriä, jotka on jaettu vielä useisiin ala-aihepiireihin. Valittaessa joku aihepiiri, avautuu näytölle aakkosellinen hakemisto ko. aiheesta. nopeasti. Tästä löytyvät valitun pääaihepiirin sisältämät ala-aihepiirit Tästä valikosta avautuu aakkosellinen hakemisto, ns. Findboxi. Siihen voi kirjoittaa itse hakusanoja tai niitä voi hakea vierittämällä palkkia. Hakemiston sisältöön voi vaikuttaa valitsemalla jonkun yhdeksästä aihepiiristä. Lisäksi on mahdollisuus hakea esim. kaikki videokuvaa tai karttoja sisältävät aiheet jne. Paluu edelliselle sivulle. Tästä valikosta löytyy zoomattava kartasto, mediagalleria, aikajana sekä Mindmaze-tietopeli. Valikosta löytyy seuraavat välineet: Back List, joka listaa jo katsotut sivut; Notemark, jonka avulla voi liittää muistilapun artikkeliin; Browse Panel, joka antaa pikanäppäimet aakkosissa seuraavaan tai edelliseen artikkeliin; Dictionary, joka antaa tietoja halutusta sanasta; Word Processor, joka on tekstinkäsittelyä varten. Valikosta löytyy ohjelmaa koskevia ohjeita. Taulukko 1. Yläpalkissa sijaitsevien valikoiden sisältö.

6 6 Views-valikon jälkeen on kuvien ja artikkelitekstien päällä palkit, joiden alta löytyy mahdollisuus molempien kopioimiseen, printtaamiseen ja koon muutokseen. Mikäli artikkeli sisältää videoita, kuvia tai muita vastaavia, löytyy niille linkit tekstin sisältä. Kuvasta 1 voidaan vielä havaita vasemmassa alanurkassa olevat kaksi painiketta; Outline-painike on artikkelin sisällysluettelon pikanäppäin ja Related Articlespainikkeen avulla saadaan esillä olevaan artikkeliin liittyvät muut artikkelit. 2.2 Käytettävyysarvioinnin tulokset Käytettävyysarviointi suoritettiin siten, että tutustuttiin ohjelmaan reilun puolen tunnin ajan ja täytettiin SUS-kaavake sen jälkeen. Tämän jälkeen siirryttiin toteuttamaan heuristista arviointia Nielsenin & Mackin (1994) mukaan. Käytettävyysarvioinnin lähtökohtainen tutkimusongelma oli mahdollisten käytettävyysongelmien kartoittaminen ja niiden tutkiminen. Arvioinnissa päädyttiin johtopäätökseen, jossa todettiin, että muutamia selviä käytettävyysongelmakohtia ohjelmasta löytyi jo yhden asiantuntijan tekemässä arvioinnissa. Suurimmaksi ongelmaksi ohjelmassa muodostui Findboxin häviäminen, kun haku suoritettiin loppuun. Jokaiselle haulle Findboxi piti noutaa ylävalikosta erikseen, joka hermostuttaa ja turhauttaa käyttäjää. Findboxi tulisi ehdottomasti saada jatkuvasti näkyviin ja sille löytyy tilaakin käyttöliittymästä runsaasti. Pienempinä ongelmina todettiin muun muassa käyttöliittymän räätälöintimahdollisuuden puute käyttäjän toiveitten mukaiseksi, jolloin käyttäjä voisi koota vain hänelle tarpeelliset asiat näyttöön. Lisäksi huomattiin, ettei ensikäyttäjä ohjelmaan tutustuessaan aina tiedä, missä ollaan menossa. Tähän voisi yksi ratkaisu olla ohjattu toiminto, jossa ohjelma ja käyttäjä suorittavat toimintoja interaktiivisesti. Kuvat ja videoleikkeet näkyvät ohjelmassa häiritsevän pieninä, johon tulisi kiinnittää huomiota.

7 7 Ohjelma oli edellä mainittuja muutamaa ongelmaa lukuun ottamatta hyvin tehty. Yhden asiantuntijan voimin tehtävässä arvioinnissa osa ongelmista jää kuitenkin useimmiten selvittämättä. Sen vuoksi lisäarvioinnin ja testauksen tarve on ilmeinen. 3 TESTAUSMENETELMÄ Ohjelman käytettävyyden testaamiseksi valittiin suoritetun arvioinnin tavoin kaksi erillistä menetelmää, SUS-kaavake ja heuristinen arviointi. Näiden avulla saadaan tuloksia numerojen lisäksi kirjallisessa muodossa testattavien mielipiteinä. 3.1 SUS-kaavake SUS-kaavake valittiin yksinkertaisuuden vuoksi. Yksinkertaiset selkeät väittämät eivät sotke testihenkilön ajatuksia, vaan antavat luotettavan kuvan testihenkilön kokemuksista. Lisäksi lomake on lyhyt sekä helposti ja nopeasti täytettävissä. Kokemusten mukaan testattava miettii tarkemmin vastaustaan, kun havaitsee lomakkeen olevan lyhyt. Liian pitkät ja testihenkilöä turhauttavat lomakkeet saattavat antaa hyvinkin vääränlaisen kuvan kokemuksista. System Usability Scale (SUS) on yksinkertainen kymmenkohtainen kaavake (liite 1), jonka avulla saadaan laaja subjektiivinen arvio tuotteen käytettävyydestä. Kaavakkeessa käytetään useimmiten asteikkoa yhdestä viiteen. Vastaus yksi tarkoittaa voimakkaasti eri mieltä ja vastaus viisi voimakkaasti samaa mieltä. Muille numeroille ei anneta sanallista määritelmää, vaan ne ovat jotain edellä mainittujen vastausten välillä. (Brooke 1996, s. 191)

8 8 Menetelmästä on havaittu, että se kattaa hyvin käytettävyyteen liittyvät asiat, kuten esimerkiksi tuen tarpeen, oppimisen ja monimutkaisuuden. Sen vuoksi sen on katsottu olevan hyvinkin validi käytettävyysmittausmenetelmä. (Brooke 1996, s. 193) SUS-kaavaketta käytetään yleensä sen jälkeen, kun käyttäjällä on ollut tilaisuus käyttää arvioitavaa tuotetta, mutta kuitenkin ennen kuin käyttäjä keskustelee tuotteesta muitten kanssa. Vastaajien tulisi merkitä vastaukseksi se kohta, joka tulee välittömästi mieleen ilman pitkää harkinta-aikaa. Kaikkiin kohtiin tulee vastata, mutta jos vastaaja tuntee, ettei kykene johonkin kohtaan vastaamaan, niin hänen pitäisi ympyröidä keskimmäinen numero. (Brooke 1996, s. 194) SUS-pisteitä laskettaessa ensin lasketaan pisteet yksittäisille vastauksille, jotka vaihtelevat nollasta neljään. Kaavakkeen kohdat 1,3,5,7 ja 9 saavat arvon annettu vastaus miinus yksi ja kohdat 2,4,6,8 ja 10 arvon viisi miinus annettu vastaus. Kun nämä pisteet summataan ja kerrotaan 2,5:llä, saadaan lopulliset SUS-pisteet. Ne voivat vaihdella siis nollasta sataan. (Brooke 1996, s. 194) SUS-menetelmän on koettu olevan arvokas ja luotettava arviointiväline. Se korreloi hyvin muitten subjektiivisten käytettävyysmenetelmien kanssa. SUS on tehty kaikkien vapaaseen käyttöön ja sitä onkin käytetty useissa tutkimusprojekteissa ja teollisissa arvioinneissa. (Brooke 1996, s. 194) 3.2 Heuristinen arviointi Heuristinen arviointi on hyvä menetelmä etenkin ohjelmistojen arviointiin. Sen avulla voidaan ohjelman käytettävyyttä tutkia kattavasti ja luotettavasti. Suurin syy tämän menetelmän valintaan oli aikaisempien hyvien kokemusten lisäksi käytettävyysasiantuntijoiden hyvä saatavuus testihenkilöiksi. Heuristinen arviointi suoritetaan yksin. Tosin tutkija on mukana arvioinnissa kirjaamassa tuloksia ylös tai sen voi suorittaa myös arvioija itse. Tulokset voidaan esittää joko muodollisesti tai vapaasti keskustelemalla. Heuristinen arviointi eroaa

9 9 ainakin kahdella osa-alueella perinteisestä käytettävyystutkimuksesta; heuristisessa arvioinnissa tutkija voi vastata arvioijan kysymyksiin tutkimuksen aikana sekä arvioijalle voidaan antaa runsaastikin erilaisia vinkkejä tutkimuskohteesta. Perinteisestihän tutkija haluaa löytää käyttäjän tekemiä virheitä, jolloin tutkija ei voi olla neuvomassa käyttäjää. (Nielsen & Mack 1994, s ) Heuristinen arviointi kestää yhdeltä arvioijalta tyypillisesti yhdestä kahteen tuntia. Mikäli kysymyksessä on erittäin laaja ja monimutkainen käyttöliittymä, tulisi arvioinnin tekeminen jakaa useampaan lyhyempään osaan. Arvioija voi testauksen aikana tuoda esille mitä tahansa käytettävyyteen ja mieleen tulevia asioita. Muodollisemmassa osassa arvioija käy käyttöliittymän läpi useampaan kertaan verraten siinä olevia elementtejä kymmenkohtaiseen käytettävyysheuristiikkalistaan (liite 2). Nämä heuristiikat ovat yleisiä sääntöjä, jotka kuvaavat käyttöliittymien yleisiä ominaisuuksia. (Nielsen & Mack 1994, s ) 4 KOEJÄRJESTELYT JA KÄYTETTÄVYYDEN TESTAAMINEN Edellä mainituista menetelmän valinnoista johtuen koejärjestelyt olivat suhteellisen yksinkertaisia. Toimistotilaan perustettiin käytettävyyslaboratorio, johon tarvittiin kirjoituspöytä ja kaksi tuolia; toinen koehenkilölle ja toinen tutkijalle. Pöydälle asetettiin kannettava tietokone, johon kytkettiin erillinen rullahiiri käytön helpottamiseksi. Tietokoneessa oli asennettuna Microsoft Windows 98 käyttöjärjestelmä sekä testattu ohjelmisto Microsoft Encarta 95. Jälkimmäisen ohjelman CD-ROM levyke oli asemassa valmiina paikallaan, koska ohjelman käyttö vaatii sitä. Testaustilanne aloitettiin siten, että tietokone oli valmiiksi käynnistetty ja testattavan ohjelmiston ikoni näkyi keskellä tietokoneen näyttöä. Liitteellä 3 esitetty tehtävänantopaperi sekä liitteet 1 ja 2 oli sijoitettu tietokoneen viereen. Jokainen

10 10 testihenkilö sai tehdä tehtävä 1:n rauhassa omin avuin tutkijan ollessa reilusti taustalla hätätilanteen varalta. Tehtävään 2 siirryttäessä tutkija istuutui koehenkilön viereen mukanaan kirjoituslehtiö ja kynä. Nielsenin heuristiikat käytiin yhdessä läpi ja tutkija kirjoitti keskusteluissa ilmenneet tarpeelliset tiedot ylös. Ennen varsinaisen testauksen aloittamista päätettiin tehdä yksi pilot-testi kaiken varalta, jos testijärjestelyissä ilmenisi puutoksia. Jo ennakolta päätettiin, että mikäli puutoksia ei ilmenisi, mikä oli järjestelyjen yksinkertaisuuden vuoksi todennäköistä, tämänkin testihenkilön tulokset liitettäisiin varsinaiseen tutkimukseen. 5 TESTAUKSEN SUORITUKSEN ARVIOINTI Testauksen suorituksessa ei ilmennyt minkäänlaisia puutoksia eikä lisäjärjestelyjä tarvittu. Tehdyssä pilot-testissäkään ei ilmennyt mitään muutostarvetta järjestelyihin ja sen vuoksi pilot-testin tulokset voitiin ottaa mukaan varsinaisiin tuloksiin. Koehenkilöt suoriutuivat ensimmäisen tehtävän tekemisestä hyvin eikä neuvoja tarvittu. Tutkijan aikaisemman kokemuksen vuoksi tiedossa oli SUS-lomakkeen täyttöön liittyvät ongelmat; koehenkilöt ympyröivät usein vahingossa väärän vaihtoehdon joihinkin väittämiin. Tämä johtuu siitä, että väittämistä joka toinen on muotolitu positiivisesti ja joka toinen negatiivisesti. Tätä koehenkilöt eivät kiireessä usein huomaa ja valinnaksi muodostuu väärä vastaus. Mikäli koehenkilö vastaa äärimmäisen positiivisesti (tai negatiivisesti) kaikkiin väittämiin, vastaukset sijoittuvat vuorotellen molempiin ääripäihin, jolloin muodostuu eräänlainen siksak-kuvio. Usein vastaukset noudattavat jollain lailla tätä kuviota ja sen vuoksi vastaukset on helppo tarkistaa heti. Näin tehtiin myös nyt ja havaittiin, että parin henkilön kohdalla kuviota ei muodostunut. Tutkija kysyi välittömästi oliko vastaukset oikeita ja molemmissa tapauksissa kävi ilmi, että tulokset olivat parissa

11 11 kohdin väärässä laidassa. Väärät vastaukset korjattiin heti. Testauslomakkeiden tulokset katsottiin riittävän oikeiksi ja paikkansapitäviksi korjausten jälkeen. Heuristinen arviointi sujui hyvin ja tuloksia saatiin runsaasti. Keskustelemalla ja yhdessä tekemällä vuorovaikutus tutkijan ja koehenkilön välillä oli loistavaa. Tämän osion voitiin katsoa olevan erityisen arvokas tässä tutkimuksessa. Arvioinnin suorittamistapaan ei ollut mitään huomautettavaa. Tilanteen vapaamuotoinen luonne antoi tutkijalle riittävästi aikaa tulosten kirjaamiseen riittävällä tarkkuudella. 6 TESTIN TULOKSET JA JOHTOPÄÄTÖKSET SUS-kaavakkeista saaduista tuloksista päätettiin tehdä kohta kohdalta kaikki vastaukset näyttävä numerojono, koska vastausten määrä oli niin pieni, että tulkitseminen onnistuisi näinkin. Lisäksi tuloksista laskettiin keskiarvot. Heuristisen arvioinnin tulokset päätettiin esittää luettelomuodossa kirjoittaen koehenkilöiden antamaa palautetta sellaisenaan. 6.1 Tulokset SUS-kaavakkeista Kohta 1: Olen sitä mieltä, että voisin käyttää tätä tuotetta säännöllisesti. Vastaukset: 2,2,3,4 (1= vahvasti eri mieltä, 5 = vahvasti samaa mieltä) Keskiarvo: 2,75 Koehenkilöt olivat aika neutraaleja ohjelmiston säännöllisen käytön suhteen. Kovin mielellään he eivät selvästikään tuotetta käyttäisi.

12 12 Kohta 2: Tuote on mielestäni liian monimutkainen. Vastaukset: 2,2,3,4 (1= vahvasti eri mieltä, 5 = vahvasti samaa mieltä) Keskiarvo: 2,75 Myös monimutkaisuuden suhteen oltiin aika neutraaleja. Kuitenkin tulokset painottuivat enemmän siten, että ohjelmisto olisi aika yksinkertainen käyttää. Kohta 3: Tuotetta on mielestäni helppo käyttää. Vastaukset: 2,2,4,4 (1= vahvasti eri mieltä, 5 = vahvasti samaa mieltä) Keskiarvo: 3 Helppokäyttöisyydestä saatiin keskiarvoksi tasan kolme. Mielenkiintoista oli vastausten jakaantuminen tasan keskimmäisen arvon molemmin puolin eli kaksi koehenkilöä oli väittämään samaa mieltä ja kaksi eri mieltä. Kohta 4: Mielestäni tuotteen käytön oppiminen vaatii kokeneen käyttäjän opastusta. Vastaukset: 2,2,3,4 (1= vahvasti eri mieltä, 5 = vahvasti samaa mieltä) Keskiarvo: 2,75 Puolet koehenkilöistä koki opastuksen tarpeen kokeneemmalta käyttäjältä tarpeettomaksi. Yksi vastaajista koki opastuksen olevan paikallaan. Kohta 5: Mielestäni tuotteen eri toiminnot ovat liitetty toisiinsa onnistuneesti. Vastaukset: 1,1,4,4 (1= vahvasti eri mieltä, 5 = vahvasti samaa mieltä) Keskiarvo: 2,5 Puolet koehenkilöistä koki vahvasti, että eri toiminnot oli liitetty toisiinsa epäonnistuneesti. Tämä väittämä oli myös yksi harvoista kohdista, joka sai

13 13 ääriarvovastauksia. Lisäksi vastaukset jakaantuivat harvinaisen paljon asteikon eri päihin keskimmäisten arvojen jäädessä kokonaan pois. Kohta 6: Mielestäni tuotteessa on liikaa epäjohdonmukaisuuksia. Vastaukset: 2,2,4,4 (1= vahvasti eri mieltä, 5 = vahvasti samaa mieltä) Keskiarvo: 3 Keskiarvon perusteella epäjohdonmukaisuuksia ei koettu olevan kovinkaan häiritsevästi. Vastaukset jakaantuivat kuitenkin tasaisesti neutraaliarvon molemmin puolin. Kohta 7: Uskon, että useimmat oppivat käyttämään tuotetta hyvin nopeasti. Vastaukset: 2,2,2,4 (1= vahvasti eri mieltä, 5 = vahvasti samaa mieltä) Keskiarvo: 2,5 Vastaajat eivät uskoneet käyttäjien oppivan tuotteen käyttöä kovinkaan nopeasti. Jopa 75% uskoi nopean oppimisen olevan useimmille jokseenkin mahdotonta. Kohta 8: Mielestäni tuote on hyvin kömpelö käyttää. Vastaukset: 2,2,4,5 (1= vahvasti eri mieltä, 5 = vahvasti samaa mieltä) Keskiarvo: 3,25 Keskiarvon perusteella tuote koettiin hieman kömpelöhköksi. Huomattavaa kuitenkin on, että puolet koehenkilöistä ei pitänyt tuotetta kovinkaan kömpelönä. Kohta 9: Tunsin oloni hyvin luottavaiseksi tuotetta käyttäessäni. Vastaukset: 2,3,4,4 (1= vahvasti eri mieltä, 5 = vahvasti samaa mieltä) Keskiarvo: 3,25

14 14 Vastaajat tunsivat itsensä aika luottavaisiksi ohjelmaa käyttäessään. Tästä voidaan päätellä, että koehenkilöt pääsivät lyhyessä ajassa kohtuullisesti jyvälle ohjelman ominaisuuksista ja käytöstä. Kohta 10: Mielestäni ennen tuotteen käyttöä pitää opetella paljon uusia asioita. Vastaukset: 2,2,3,4 (1= vahvasti eri mieltä, 5 = vahvasti samaa mieltä) Keskiarvo: 2,75 Keskiarvon perusteella voidaan todeta, että ennen tuotteen käyttöä ei tarvitse opetella uusia asioita kovinkaan paljon. Tässä kohden on mainittava, että eräs koehenkilöistä kysyi, mitähän kaikkea uusien asioiden opettelu mahtaa pitää sisällään. Jos siihen luetaan esimerkiksi Windows-käyttöjärjestelmän opettelu, niin vastaus muuttuu ihan eri paikkaan. Koehenkilöä pyydettiin vastaamaan tasapuolisuuden vuoksi niin, miten hän itse ymmärtää väittämän, mutta tulosten analysoinnissa asia otettaisiin mainintana huomioon. Tämän vuoksi tämän kohdan vastauksiin tulee suhtautua kriittisesti. 6.2 Tulokset heuristisesta arvioinnista Seuraavassa tuloksia heuristisesta arvioinnista jaoteltuna käytettävyysheuristiikkalistan mukaan. Vastaukset ovat pääasiassa suoria lainauksia koehenkilöiden kanssa käydyistä keskusteluista, mutta joiltain osin asiohin on lisätty selventäviä sanoja tai lauseita. 1. Systeemin tila on näkyvissä: Käyttäjän tulee saada oikeaan aikaan riittävästi tietoa ja palautetta systeemiltä, jotta käyttäjä tietää kokoajan, mitä tapahtuu. - ei voi joutua hukkaan - sekavanoloinen - ei selkeää hierarkiaa, paljon paikkoja, eksyy

15 15 - categoryssa kun valitsee aihealueen, ei uuden aihealueen nimi muutu heti otsikkoon, vaan vanha otsikko säilyy, kunnes ensimmäinen artikkeli on valittu, sekoittaa käyttäjää - aihealueluettelossa voisi olla myös kohta all articles - valittaessa Findboxi, se tuli näyttöön kuvan päälle, missään ei ollut tietoa, että sitä pystyy siirtelemään näytöllä, boxi saisi olla kiinteästi omalla tietyllä paikallaan, tosi ärsyttävää, kun se aina katoaa - välillä olin hukassa, kun perustilanne häviää näytöltä, miten pääsee alkutilaan? 2. Systeemi vastaa todellisen maailman käytäntöjä: Systeemin tulee puhua käyttäjän kieltä. Ei käytetä systeemipohjaisia termejä, vaan käskyt ja lauseet tulee olla käyttäjälle tuttuja. Käytä todellisen maailman käytäntöjä siten, että tieto ilmestyy luonnollisessa ja oikeassa järjestyksessä. - selvät lauseet ja kuvakkeet - ainakin tottuneelle käyttäjälle hyvät, mummelit saattavat olla hukassa, tiedon järjestys (artikkeleissa) kummallinen, esim. Suomen esittely alkaa elukoista - käskyt, lauseet ja kuvakkeet OK, animaatiota esittävä kuvake ei selvinnyt ennen kuin katsoi sen sisällön - symbolit epäselviä, ei tiedä mitä ne tarkoittavat - linkit epäselviä, kun menee linkin päälle, osassa linkeistä ei tapahdu mitään, osassa tulee selkeä linkkiä osoittava käden kuva, kun siirtää osoittimen sen päälle 3. Käyttäjällä on valta ja vapaus: Käyttäjät valitsevat usein erehdyksessä väärän toiminnon ja tarvitsevat siksi selvästi merkityn hätäpoistumistien väärästä tilasta esimerkiksi Paluu-näppäimen avulla. Tue Kumoa- ja Toista-toimintoja. - paluu-näppäin selvästi näkyvillä, lisäksi pitäisi olla go forward näppäin - go back riittää tottuneelle käyttäjälle - jos karttakuvassa ottaa kohdan go to article ja painaa siellä go back, niin kuva ei palaakaan karttakuvaan, vaan sitä edeltävään artikkeliin, sekoittaa turhaan käyttäjää - pitäisi olla myös go forward

16 16 - media galleryssa ei ole ylävalikkoa lainkaan, eikä siten myöskään paluunäppäintä, ainoastaan ylänurkassa huomaamattomasti pienellä teksti close - Findboxi häviää, kun ottaa go back, palaa kyllä tuolloin edelliseen artikkeliin, mutta findboxia näytöllä ei ole, vaikka se oli, kun samaa artikkelia luki aikaisemmin 4. Yhdenmukaisuus ja standardit: Käyttäjien ei tulisi joutua tilanteeseen, jossa he ihmettelevät, tarkoittavatko erilaiset käskyt, tilanteet tai toiminnot samaa asiaa. Tue platform -käytäntöjä. - ei erilaisia käskyjä 5. Virhetoimintomahdollisuuksien ehkäisy: Hyviä virheilmoituksia parempi vaihtoehto on ehkäistä virheiden synty kokonaan. - ei virheentekomahdollisuuksia - jos kaksi ikkunaa on auki päällekkäin ja yrität sulkea takempaa, ei tapahdu mitään, kuuluu vain kling, muttei tule mitään virheilmoitusta, mitä pitäisi tehdä 6. Tunnistaminen mieluummin kuin muistaminen: Tee objektit, toiminnot ja vaihtoehdot näkyviksi. Käyttäjien ei pitäisi tarvita turvautua muistiin siirtyessään paikasta toiseen. Ohjeet systeemin käyttöön pitäisi olla näkyvillä tai helposti saatavilla tarvittaessa. - kaikki toiminnot ja vaihtoehdot selkeästi näkyvillä - tarpeellinen näkyvillä, kummallinen asia on, kun kuvat on normaalikoossa ja painaa siinä olevasta nuolesta, niin siellä ei ole kohtaa go to article, mutta kun suurentaa kuvan ja tekee saman niin se on siellä muitten joukossa - hakuhomma on kummallinen, kun se hakee vain otsikon mukaan, jos haluttu sana ei satu olemaan otsikossa, asiaa ei löydy - close liian pienellä - ei johdonmukainen, pitää räplätä vähän aikaa, että muistaa toiminnot - ohjepainike vaikea huomata

17 17 7. Joustavuus ja käytön tehokkuus: Pikatoiminnot etenkin kokeneille käyttäjille nopeuttavat käyttöä, mutta niitä on oltava sopiva määrä, ettei systeemistä tule liian monimutkainen. Salli räätälöinti käyttäjän tarpeiden mukaisiksi useissa toiminnoissa. - ei tarvita muita pikatoimintoja tai käyttäjäkohtaista räätälöintiä, ehkä yksi rivi ylös, jossa olisi copy, paste, print, sähköposti jne. - mieluusti räätälöisin, muttei pysty - räätälöintiä ei tarvita näin yksinkertaisessa hommassa - views -valikossa olevia valmiita käyttöliittymän räätälöintikuvakkeita ei ymmärrä, niissä voisi olla kohdasta riippuen esim. teksti only text, no pictures - vähän räätälöintimahdollisuuksia, voisi olla enemmän käyttöliittymän muokkaukseen 8. Esteettinen ja minimalistinen suunnittelu: Tarpeetonta ja harvoin tarvittavaa tietoa ei tule esittää. Kaikki ylimääräinen tieto heikentää tärkeämmän tiedon näkymistä. - mitään ylimääräistä ei ole laitettu näkyville - sopivan tiivis systeemi, ei mitään ylimääräistä - features -valikko turha, sillä samat toiminnot löytyy findboxista, sekoittaa turhaan - tarpeellinen näkyy, mutta turhan pienellä, esim. close ja rastimerkki, jolla suljetaan ikkuna, molemmat oikeassa ylänurkassa, havaitseminen heikkoa sekä virhetoimintamahdollisuus, jos sattuu osumaan nuolella viereen vähän ohi - ei tarpeetonta tietoa, itse voi karsia jotakin poissa valitsemalla tietyn käyttöliittymävaihtoehdon neljästä mahdollisesta 9. Apu virheiden tunnistamisessa, määrittelemisessä ja niistä selviämisessä: Virheilmoitukset tulee esittää ymmärrettävällä kielellä. Kyseessä oleva ongelma ja ratkaisut siihen tulee ilmaista selkeästi. - virheilmoituksia ei ole, eikä virheitä pysty tekemäänkään, ainoa mahdollisuus on väärän kohdan valinta tai vahinkopainallus, joita ohjelma ei tietenkään kykene tunnistamaan virheelliseksi toiminnaksi - kerran kuului kling, tiesin jotain olevan vialla; mitä, jos äänet ei ole päällä?

18 Ohjeet ja dokumentaatio: Systeemiä tulisi voida käyttää ilman dokumentteja, mutta saattaa olla välttämätöntä antaa apua niiden muodossa. Ohjeen tulee olla helposti haettavissa ja ymmärrettävissä. Käyttäjälle tulee antaa ohjeita askel askeleelta riittävästi, muttei yhtään liikaa. - suunnilleen pääsee alkuun ilman ohjeita, mutta ei oikein mieleinen systeemi, jaottelu vähän ihmeellinen - ohjeet ovat hyviä ja selkeitä - ohjeen sisältämissä kuvissa pallukoita, jotka sisältävät asiaa, niissä ei ole mitään merkintää, eikä niitä pysty havaitsemaan, jos osoitin ei satu vahingossa päälle - ohjeessa tulee hirveän pitkä lista asioita näkyviin, pikaohjeet puuttuvat - askel askeleelta ohjeistus puuttuu - pitää alussa naputella aika kauan, että ymmärtää ja pääsee alkuun, kuitenkin selviää ilman ohjeitakin, odotus oli aluksi, että sanakirjaan kirjoitetaan hakusana heti ensimmäiseksi - hyvin pääsee alkuun ilman ohjeitakin ainakin sellainen, joka on käyttänyt nettiä tai tietokonetta aikaisemmin; joka ei käytä nettiä, niin sitten on vaikeampaa, ohjeet kuitenkin hyvät 6.3 Johtopäätökset SUS-lomakkeen avulla saadut tulokset olivat sellaisia kuin odotettiinkin eli niistä saatiin suuntaa-antavia numerotietoja tietyistä aihealueista väittämien avulla. Näiden perusteella voitiin vetää joitain suuntaa-antavia johtopäätöksiä tarkempien, tulevaisuudessa tehtävien tutkimusten tekemiseksi. Ongelmana on yleisesti, niin kuin myös nytkin se, että käyttäjät välttelevät selvästikin ääriarvoja, jolloin tuloksista, mukaan lukien tietysti keskiarvot, tulee pääasiassa keskimmäisen luvun läheisyyteen osuvia lukuja, jotka ei oikein kerro mitään. Ehkä suurin anti olikin se, että selvästi poikkeaviin lukuihin reagoidaan riittävällä vakavuudella. Tiivistettynä voidaan sanoa, että ohjelman käytön oppimista tulisi parantaa sekä lisäksi käytön kömpelyyttä vähentää.

19 19 Heuristisen arvioinnin avulla saatiin huomattava määrä uusia ongelma-alueita selville, kun verrataan tutkijan tekemää omaa käytettävyysarviota. Siinä voimakkaasti esille noussut Findboxin häviäminen näytöltä ei noussut koekäyttäjien mielessä muita ongelmia korkeammalle tasolle. Ohjelmaa pidettiin pääasiassa yksinkertaisena ja käyttökelpoisena, mutta pieniä parannusehdotuksia löydettiin useita. Näistä ei mikään noussut erityisesti muitten yläpuolelle. Pienistä, mutta tärkeistä muutosehdotuksista voidaan valita tärkeimmät ja sopivimmat sekä joiltain osin voidaan tehdä tarkentavia testejä myöhemmässä vaiheessa muutostarpeen varmistamiseksi.

20 20 LÄHTEET Brooke, J SUS: a quick and dirty usability scale. In: Jordan, P. W., Thomas, B., Weerdmeester, B. A. & McClelland, I. L. (toim.). Usability Evaluation in Industry. Taylor & Francis, London. s Nielsen, J & Mack, R. L. (eds.) Usability Inspection Methods. John Wiley & Sons, Inc., New York, USA. 413 s.

21 21 LIITE 1 System Usability Scale Digital Equipment Corporation, Vahvasti eri mieltä Vahvasti samaa mieltä 1. Olen sitä mieltä, että voisin käyttää tätä tuotetta säännöllisesti. 2. Tuote on mielestäni liian monimutkainen Tuotetta on mielestäni helppo käyttää Mielestäni tuotteen käytön oppiminen vaatii kokeneen käyttäjän opastusta. 5. Mielestäni tuotteen eri toiminnot ovat liitetty toisiinsa onnistuneesti 6. Mielestäni tuotteessa on liikaa epäjohdonmukaisuuksia. 7. Uskon, että useimmat oppivat käyttämään tuotetta hyvin nopeasti. 8. Mielestäni tuote on hyvin kömpelö käyttää Tunsin oloni hyvin luottavaiseksi tuotetta käyttäessäni. 10. Mielestäni ennen tuotteen käyttöä pitää opetella paljon uusia asioita.

22 LIITE 2 22 Nielsenin käytettävyysheuristiikkalista: 1. Systeemin tila on näkyvissä: Käyttäjän tulee saada oikeaan aikaan riittävästi tietoa ja palautetta systeemiltä, jotta käyttäjä tietää kokoajan, mitä tapahtuu. 2. Systeemi vastaa todellisen maailman käytäntöjä: Systeemin tulee puhua käyttäjän kieltä. Ei käytetä systeemipohjaisia termejä, vaan käskyt ja lauseet tulee olla käyttäjälle tuttuja. Käytä todellisen maailman käytäntöjä siten, että tieto ilmestyy luonnollisessa ja oikeassa järjestyksessä. 3. Käyttäjällä on valta ja vapaus: Käyttäjät valitsevat usein erehdyksessä väärän toiminnon ja tarvitsevat siksi selvästi merkityn hätäpoistumistien väärästä tilasta esimerkiksi Paluu-näppäimen avulla. Tue Kumoa- ja Toista-toimintoja. 4. Yhdenmukaisuus ja standardit: Käyttäjien ei tulisi joutua tilanteeseen, jossa he ihmettelevät, tarkoittavatko erilaiset käskyt, tilanteet tai toiminnot samaa asiaa. Tue platform -käytäntöjä. 5. Virhetoimintomahdollisuuksien ehkäisy: Hyviä virheilmoituksia parempi vaihtoehto on ehkäistä virheiden synty kokonaan. 6. Tunnistaminen mieluummin kuin muistaminen: Tee objektit, toiminnot ja vaihtoehdot näkyviksi. Käyttäjien ei pitäisi tarvita turvautua muistiin siirtyessään paikasta toiseen. Ohjeet systeemin käyttöön pitäisi olla näkyvillä tai helposti saatavilla tarvittaessa. 7. Joustavuus ja käytön tehokkuus: Pikatoiminnot etenkin kokeneille käyttäjille nopeuttavat käyttöä, mutta niitä on oltava sopiva määrä, ettei systeemistä tule liian monimutkainen. Salli räätälöinti käyttäjän tarpeiden mukaisiksi useissa toiminnoissa. 8. Esteettinen ja minimalistinen suunnittelu: Tarpeetonta ja harvoin tarvittavaa tietoa ei tule esittää. Kaikki ylimääräinen tieto heikentää tärkeämmän tiedon näkymistä. 9. Apu virheiden tunnistamisessa, määrittelemisessä ja niistä selviämisessä: Virheilmoitukset tulee esittää ymmärrettävällä kielellä. Kyseessä oleva ongelma ja ratkaisut siihen tulee ilmaista selkeästi. 10. Ohjeet ja dokumentaatio: Systeemiä tulisi voida käyttää ilman dokumentteja, mutta saattaa olla välttämätöntä antaa apua niiden muodossa. Ohjeen tulee olla helposti haettavissa ja ymmärrettävissä. Käyttäjälle tulee antaa ohjeita askel askeleelta riittävästi, muttei yhtään liikaa.

23 23 LIITE 3 TIETOSANAKIRJAOHJELMAN KÄYTETTÄVYYSTESTAUS 1. Tutustu ohjelmaan noin minuutin ajan. Täytä sen jälkeen oheinen SUSlomake. 2. Jatka tutustumista tarpeen mukaan (myös tutkija voi tarvittaessa auttaa). Käy ohjelma läpi tutkijan avustuksella oheisen kymmenkohtaisen heuristiikkalistan mukaan. Kirjaa asioita ylös ko. numeroinnin mukaisesti.