Käytettävyyden arviointi Saila Ovaska Informaatiotieteiden yksikkö, Tampereen yliopisto Aiheina Johdatus käytettävyyden arviointiin Käytettävyystestaus Vrt. kahviautomaattiprotojen kokeilut harjoitusryhmissä: nekin ovat yksinkertaisia käytettävyystestejä! Asiantuntijoiden tekemä käyttöliittymän arviointi Arviointi ilman käyttäjäpalautetta, lähtökohtana hyvän suunnittelun säännöt Aihepiiriä voi syventää KAME-kurssilla TIEVA30 Käytettävyystyön menetelmät 15 op Syksyisin Graafisen käyttöliittymän suunnittelun työkurssi Keväisin Käytettävyyden arvioinnin menetelmät Myös esim.: http://www.interactiondesign.org/encyclopedia/usability_evaluation.html Saila.Ovaska@uta.fi 1
Käyttäjäkeskeisyys käytännössä Teknologiatuotteen tulee palvella käyttäjien tarpeita Käyttäjät (eikä teknologia) ovat tuotteen suunnittelun lähtökohtana Sen vuoksi suunnittelijan täytyy ottaa käyttäjien tarpeet huomioon suunnittelutyössään arvioida toistuvasti, miten suunnittelussa onnistutaan Miten? Ratkaisuna on iteratiivinen suunnitteluprosessi, jossa on mukana myös käytettävyyden arviointia Tarvitaan tässä ja nyt tietoa, joka auttaa kehittämään tuotetta eteenpäin Käytettävyyden arviointi Käytettävyyden arvioinnin tavoitteena (ohjelmisto-) projektissa on yleensä löytää mahdollisimman kattavasti kohdat, joissa ohjelmiston käyttöliittymän suunnittelussa on tehty virheitä Virheet ilmenevät käyttäjän ongelmina toiminnallisuuden käytössä eli käytettävyysongelmina Kun ne havaitaan, ne voidaan korjata seuraavassa iteraatiossa Arvioinnin kohteen täytyy olla rajattu kokonaista laajaa sovellusta ei pysty arvioimaan yhdellä kertaa vaan arvioinnin kohteeksi on valittava tiettyjä osioita esimerkiksi tietyt toiminnot jokin keskeinen ja tärkeä toiminto suunniteltavasta sovelluksesta versiota 2 kehitettäessä siihen suunniteltu uusi toiminnallisuus tai tietyt sivut www-sivustolla Saila.Ovaska@uta.fi 2
Vertaa: kokeellinen tutkimus Huomaa: käytettävyyttä ei yleensä tutkita kontrolloidussa koeasetelmassa (ja useimmat TAUCHI-tutkimukset ovat kokeellista tutkimusta eivätkä käytettävyystestejä)! Kokeellinen tutkimus eroaa käytettävyyden arvioinnista monella tavalla: Osallistujia tarvitaan enemmän (tilastollinen analyysi) Tutkimuskysymys esim: vaikuttaako tekstinsyötöstä annetun palautteen muoto osallistujien a) suoritusaikaan b) virhemääriin c) tyytyväisyyteen Tutkimusasetelmat voivat vaihdella Between subjects eli jokainen osallistuja tekee vain yhdellä tekstinsyöttö/palautetavalla Within subjects eli jokainen osallistuja tekee kaikilla eri tavoilla; mittauksia toistetaan Pyritään tilastollisesti merkitseviin eroihin ( julkaistavissa olevia tutkimustuloksia) KÄYTETTÄVYYDEN ARVIOINNIN MENETELMIEN PERUSJAOTTELU Saila.Ovaska@uta.fi 3
Käytettävyyden arviointimenetelmiä Käytettävyyden arviointimenetelmät voidaan jakaa kahteen pääryhmään: 1. Asiantuntija-arvioinnit Käyttäjät eivät ole arvioinnissa mukana Arvioinnin tekee asiantuntija Perustana asiantuntijan oma osaaminen, jota voidaan tukea käyttämällä erilaisia hyvän suunnittelun periaatteita, tarkistuslistoja tai vuorovaikutusmalleja apuna arvioinnissa 2. Menetelmät, joissa käyttäjä on mukana tiedonlähteenä (esim. haastattelu, kysely tai fokusryhmähaastattelu) tarkkailun kohteena laboratoriossa tai todellisessa ympäristössä ( kentällä ) aktiivisena arvioinnin suorittajana ( pilottikäyttäjänä tai työtehtävien asiantuntijana ) aktiivisena suunnittelijana Käyttäjä suunnittelijana yleistermi: Participatory design On kehitetty menetelmiä ja työtapoja, joissa käyttäjä osallistuu tuotteen suunnitteluun tai arviointiin Ei siis ole vain tarkkailun kohde tai haastateltava Käyttäjiä voidaan ottaa mukaan esimerkiksi tuotesuunnitteluun esimerkiksi tuoteideoita pohtivaan aivoriiheen oman työnsä asiantuntijoina ohjelmiston arviointiin ja järkevämmän työnkulun suunnitteluun esimerkiksi sairaalan tietojärjestelmän arviointiin voitaisiin käytettävyysasiantuntijoiden lisäksi ottaa mukaan sairaanhoitaja, vastaanottovirkailija ja lääkäri Saila.Ovaska@uta.fi 4
Käyttäjä tiedonlähteenä Käyttäjiltä kerätään tuotteen suunnittelun ja käytettävyyden arvioinnin kannalta merkityksellistä tietoa esimerkiksi haastattelemalla kyselylomakkeilla epäsuorasti lokianalyysin avulla (esim. verkkosivun ladanneiden käyttämät selainversiot) Käyttäjiltä voidaan kysyä esimerkiksi Taustatietoja (demografia, tuotteen tai vastaavien tuotteiden käyttökokemus, jne) Usein oleellisia tietää jo valittaessa osallistujia Tietoa heidän toimintansa yksityiskohdista (esim. mitä asioita tietyn työtehtävän tekemiseen liittyy) Mieltymyksiä ja toiveita Haastattelu tiedonkeruumenetelmänä haastattelu on yleinen menetelmä tiedonkeruuseen käyttäjiltä (tai tulevilta käyttäjiltä) haastattelukysymykset on suunniteltava etukäteen varo asettamasta sanoja käyttäjän suuhun: mitä pidit tästä piirteestä? vs. mitä mieltä olit tästä piirteestä? Haastattelu edellyttää kuuntelemista. haastattelukysymysten sijasta usein käytetään kyselylomakkeita erityisesti käyttäjän mielipiteitä selvitettäessä vähemmän kysyjästä aiheutuvaa vaihtelua Saila.Ovaska@uta.fi 5
Käyttäjä tarkkailun kohteena Jotta voisi tutkia tuoteprototyypin tai valmiin tuotteen käytettävyyttä, on tutkittava käyttäjiä, jotka ovat vuorovaikutuksessa sen kanssa kerätään havaintoja käyttäjän työskentelystä tuotteen kanssa Voi tapahtua missä vaan Kentällä Laboratorio-oloissa (tyypillinen käytettävyystesti ) Tarkkailutilanne vaatii aina suunnittelua etukäteen Mitä käyttäjän tehtäviä halutaan tarkkailla? Mihin kiinnitetään huomiota? Tarkkailijan tulee olla puolueeton! Käyttäjän tarkkailu ei tarkoita tuotteen tai proton ominaisuuksien esittelyä ja demoamista käyttäjälle! KÄYTETTÄVYYSTESTI Saila.Ovaska@uta.fi 6
Mikä käytettävyystesti? Käytettävyystestissä nähdään, kuinka todelliset käyttäjät käyttävät tuotetta Testiin osallistujia tarvitaan muutamia/kohderyhmä Testillä löydetään vuorovaikutuksen ongelmakohtia Ongelmat kuvataan sekä pohditaan niiden syitä ja raportoidaan Raporttiin liitetään usein myös parannusehdotuksia ongelmille Tyypillinen testijärjestely Testikäyttäjä tulee laboratorioon tekemään tuotteella joukon ennalta suunniteltuja testitehtäviä Käyttäjän kanssa laboratoriossa on testin vetäjä, joka huolehtii testin kulusta Tilanne videoidaan ja analysoidaan tarkasti jälkikäteen Osallistujaa yleensä myös haastatellaan Käytettävyyslaboratorio Käyttäjä tekee tehtäviä testitilassa. Välissä peililasi (valvomoon ei näy). Tarkkailija seuraa testiä valvomossa. Saila.Ovaska@uta.fi 7
Käytettävyystestin suunnittelu Keitä tuotteen käyttäjät ovat? Lopputuotteella voi olla monta erilaista kohderyhmää Yleensä vain tietyt sovelluksen osat mukana testissä Joskus perusteltuna osallistujien valintaehtona voi olla tietyn toiminnallisuuden käyttäminen halutaan kehittää juuri tälle kohderyhmälle tarkoitettuja osia Mitä testillä halutaan selvittää? etsiä suunnitteluvirheitä, jotka haittaavat käyttäjän työtä Käytettävyyden toteutumista arvioidaan valitun kohderyhmän kannalta Etsittävä osallistujatkin tästä kohderyhmästä Mitä käyttäjät sovelluksella tekevät? He käyttävät kohderyhmälle mielekästä ja/tai keskeistä toiminnallisuutta mahdollisimman luonnollisissa tehtävissä Testitehtävät Testitehtävien tarkoituksena on suunnata ja kohdistaa käyttäjän toimintaa juuri niihin toimintoihin, joista ollaan kiinnostuneita tärkeimmät toiminnot virhealtteimmat toiminnot toiminnot, jotka on on havaittu vaikeiksi (esim. asiakaspalautteen perusteella) Esimerkiksi Terveystietopalvelu: Etsi tietoa influenssan oireista. Sähköpostiohjelma: Lähetä työpöydällä oleva kuva osoitteeseen xxx. Saila.Ovaska@uta.fi 8
Mitä tarkkaillaan? Ongelmia voidaan etsiä tarkkailemalla käyttäjän toiminnassa näkyviä katkostilanteita Tavoitteena olevan tehtävän suoritus keskeytyy tai häiriintyy ja huomio kiinnittyy välineeseen Kiroilut tai mutinat Ilmeet, eleet, huokailut, asento Käytettävyysongelma on muutakin: myös epäoptimaalinen askel tehtävän suorituksessa voi aiheutua käyttöliittymästä vaikkei käyttäjä siihen reagoi näkyvästi Ääneenajattelu Käyttäjää pyydetään usein ajattemaan ääneen testitehtävien suorittamisen aikana Ääneenajattelulla pyritään saamaan tietoa käyttäjän ajatusprosesseista Millaisen käsitemallin käyttäjä on muodostanut käyttöliittymästä, miten hän olettaa sen toimivan? Ääneenajattelulla saatu tieto voi selittää miksi tietyt käytettävyysongelmat ilmenevät Esimerkki käytettävyystestistä Saila.Ovaska@uta.fi 9
Käytettävyystestauksen vaiheet Testin suunnittelu Määritetään mitä halutaan testata, keitä osallistujat ovat, laaditaan testitehtävät, suunnitellaan aikataulu, pidetään pilottitesti; tarvittaessa muutetaan testisuunnitelmaa Testien läpivienti laboratoriossa Aineiston analysointi Videotallenteiden läpikäyminen ja tapahtumien aukikirjoittaminen (videoloki), käytettävyysongelmien havaitseminen koko aineistosta (videot, haastattelut, kyselylomakkeet) Raportointi Havaittujen ongelmien pohdinta ja raportointi, käytettävyystavoitteiden saavuttamisen arviointi, ideointi mitä käytettävyysongelmien korjaamiseksi tulisi tehdä Yhteenveto: käytettävyystesti Käyttäjäryhmään kuuluvat käyttäjät suorittavat testattavalla sovelluksella testitehtäviä Laboratoriossa, työhuoneessa tai kenttätilanteessa Testitilanne tallennetaan ja analysoidaan riittävän tarkasti Vuorovaikutuksen yksityiskohdat Tulokset ja löydetyt ongelmat raportoidaan Raporttia usein täydennetään videoleikkeillä kehittäjä uskoo ongelman olemassaoloon vasta kun näkee käyttäjän vaikeudet Saila.Ovaska@uta.fi 10
Pohdittavaksi käytettävyystesti laboratoriossa voi tuottaa vääriä hälytyksiä, miksi? ASIANTUNTIJA-ARVIOINTI Saila.Ovaska@uta.fi 11
Asiantuntija-arvioinnit Asiantuntijoiden tekemä käyttöliittymän arviointi Käyttäjiä ei ole mukana; arviointi on nopea tehdä kun ei tarvita käyttäjien rekrytointia ja testien läpivientiä Käyttöliittymää arvioidaan yleisesti hyväksyttyjä suunnittelusääntöjä vastaan Eri arvioijat huomaavat erilaisia asioita, joten arvioinnin laatu paranee kun itsenäisiä arvioijia on useita Arviointi perustuu asiantuntemukseen käytettävyydestä, käyttöliittymäsuunnittelusta ja sovellusalueesta erilaisia tarkistuslistoja käytössä Asiantuntija-arvioinnit Monia erilaisia tarkistuslistoja on olemassa Kuuluisin asiantuntija-arvioinnin menetelmä: Heuristinen arviointi (heuristic evaluation) Jakob Nielsenin kehittämä 10 kohdan tarkistuslista http://www.nngroup.com/articles/ten-usability-heuristics/ Saila.Ovaska@uta.fi 12
Yksi sääntö joka sormelle http://www.interaction-design.org/encyclopedia/usability_evaluation.html Asiantuntija-arvioinnit Monia erilaisia tarkistuslistoja on olemassa Kuuluisin menetelmä Heuristinen arviointi Myös Normanin suunnittelusääntöjä voi käyttää apuna asiantuntija-arvioinnissa Tarkkoja ohjeita arvioinnin tekemiseen ei anneta Muitakin asiantuntija-arvioinnin työtapoja on kehitetty kuin tarkistuslistat esim. Normanin 7-vaiheinen malli on myös työväline asiantuntija-arviointiin se ei ole niinkään tarkistuslista vaan tarkastellaan tehtäväkokonaisuutta vaihe kerrallaan (sykli, jota toistetaan) auttaa miettimään välinettä tai sovellusta sitä ensi kertaa käyttävän näkökulmasta Saila.Ovaska@uta.fi 13
Asiantuntija-arvioinnit Tavoitteena löytää vähin kustannuksin pahimmat suunnitteluvirheet (jotta voidaan korjata ne!) Asiantuntija-arvioinnit ovat suhteellisen halpoja ja nopeita menetelmiä (vertaa esim. käytettävyystesti) Arvioinnissa havaitut poikkeamat hyvästä suunnittelukäytännöstä ovat ehkä sellaisia, että ne aiheuttavat käyttäjälle ongelmia erilaisia ongelmia löytyy asiantuntija-arvioinnissa paljon kaikki eivät tule esiin käyttäjän käyttäessä järjestelmää Tärkeää olisi löytää ne kohdat ohjelmasta, jotka aiheuttavat käyttäjälle ongelmia! asiantuntijan pitäisi tuntea käyttäjä jotta arviointi olisi osuva Asiantuntija-arvioinnin vaiheet Itsenäinen läpikäynti Jokainen arvioija käy sovelluksen läpi huolellisesti Havaittujen potentiaalisten ongelmakohtien ja käytettävyysongelmien kirjaus Arvioijat kokoontuvat keskustelemaan havaitsemistaan ongelmista Löydetyt ongelmat yhdistetään listaksi Keskustellaan johtopäätöksistä Ongelmalistan tarkistaminen Kuinka vakaviksi löydetyt ongelmat arvioidaan? Viimeinen silaus ja raportin kirjoittaminen Saila.Ovaska@uta.fi 14
Nielsenin tarkistuslista 1. Tee järjestelmän tila näkyväksi 2. Käytä käyttäjälle luonnollista ja tuttua esitystapaa 3. Anna käyttäjän edetä haluamassaan järjestyksessä 4. Pyri yhtenäisyyteen ja johdonmukaisuuteen ja noudata standardeja 5. Pyri estämään virhemahdollisuuksia 6. Esitä asiat näytöllä niin, että käyttäjän ei tarvitse painaa niitä muistiin 7. Tue oikoteitä, tehokasta työskentelyä ja räätälöintiä 8. Pyri esteettiseen ja minimalistiseen suunnitteluun 9. Auta käyttäjiä tunnistamaan virheet ja toipumaan niistä 10.Tarjoa hyvä opastus ja dokumentointi 1. Tee järjestelmän tila näkyväksi Anna palautetta järjestelmän toiminnasta Mitä tapahtui? Kohtuullisessa ajassa 0.1 sec: ei tarvita erityisiä indikaattoreita 1.0 sec: käyttäjä helposti kadottaa yhteyden 10 sec: maksimikesto jonka käyttäjä jaksaa odottaa Jos palautteen tulo kestää vielä kauemmin, tarjoa tilanneilmaisin (progress indicator) Saila.Ovaska@uta.fi 15
2. Käytä luonnollista ja tuttua esitystapaa Käyttöliittymän puhuttava käyttäjälle tuttua kieltä Käyttäjän kannalta luonnollinen toimenpidesarja? 3. Salli vapaa suoritusjärjestys Anna käyttäjän edetä haluamassaan järjestyksessä Tue peruutusta (kumoa, Undo), salli myös peruutuksen peruutus (tee uudelleen, Redo) Esim. lomakkeen täytössä kenttien täyttöjärjestyksellä ei saisi olla merkitystä Ohjatut toiminnot (ns. Wizard) Pakotettu suoritusjärjestys perusteltavissa? Saila.Ovaska@uta.fi 16
4. Pyri johdonmukaisuuteen Pyri yhtenäisyyteen ja johdonmukaisuuteen ja noudata standardeja Johdonmukaisuus sovelluksen sisällä Toteutusympäristön standardit 5. Estä käyttäjän virhemahdollisuudet Eliminoi virhemahdollisuudet kokonaan tai suunnittele turvaverkko niiden havaitsemiseksi ajoissa esim. verkkopankissa käyttäjälle näytetään koko lasku vielä kerran ja vaaditaan erillinen kuittaus ennen kuin rahat maksetaan tililtä Tue virheistä toipumista Hyvä suunnittelu avainasemassa ei riitä lisätä virheilmoituksia vaan suunnittele niin, että virheitä ei voi tulla Saila.Ovaska@uta.fi 17
6. Tue käyttäjän muistamista Esitä asiat näytöllä niin, että käyttäjän ei tarvitse painaa niitä muistiin Recognition rather than recall Toimintojen näkyvyys, ryhmittely, esitystapa, 7. Tarjoa kokeneille käyttäjille oikoteitä Tue oikoteitä, tehokasta työskentelyä ja räätälöintiä Esimerkiksi näppäimistöoikotiet oltava tarjolla (Ctrl-X, Ctrl-V, Ctrl-A,...) Saila.Ovaska@uta.fi 18
8. Pyri minimalistisuuteen Pyri esteettiseen ja minimalistiseen suunnitteluun Tärkeintä olisi karsia tarpeeton pois, jotta huomio voisi kiinnittyä olennaiseen Joskus esteettisyys on minimalistiselle kilpaileva tavoite 9. Auta toipumaan virheistä Auta käyttäjiä tunnistamaan virheet ja toipumaan niistä Suunnittele hyvät virheilmoitukset... Saila.Ovaska@uta.fi 19
10. Tarjoa apua Tarjoa hyvä opastus ja dokumentointi Ohjeet siellä missä niitä tarvitaan Ohjeet kertovat konkreettiset toimenpiteet Yhteenveto: Asiantuntija-arvioinnit Asiantuntija arvioi sovelluksen käytettävyyttä ottaen parhaansa mukaan huomioon käyttäjäryhmän ja heidän tyypilliset tehtävänsä sovelluksella arvioinnin pohjana erilaiset tarkistuslistat, suunnittelusäännöt ja mallit Löydetyt ongelmat raportoidaan prioriteettijärjestys korjaamiselle korjausehdotuksia mukana Saila.Ovaska@uta.fi 20
Pohdittavaksi Ekologinen validiteetti käytettävyystesti laboratoriossa voi tuottaa vääriä hälytyksiä, miksi? Asiantuntija-arviointi voi tuottaa vääriä hälytyksiä, miksi? Arvioijan vaikutus Yhteenveto Käytettävyyden arviointiin on monia menetelmiä tavoitteena useimmiten löytää parannuskohteita prototyypistä tai järjestelmästä Käytännössä hyödyllisiä taitoja! JoVuoT-kurssin jälkeen tulisi ymmärtää, miksi käytettävyyttä pitää arvioida, tietää arviointimenetelmien perusjako asiantuntija-arviointi vs. käyttäjän tavoittamista edellyttävät menetelmät, ja osata tehdä asiantuntija-arviointia kurssilla esiteltyjä suunnittelu- ja arviointiheuristiikkoja apuna käyttäen Saila.Ovaska@uta.fi 21