Käyttöliittymät ja käytettävyys Käytettävyyden arviointi
Sisältö 1. Käytettävyys mitäs siihen kuuluikaan? 2. Käytettävyyden arviointitapoja 3. Tyypillinen käytettävyystesti 4. Heuristinen arviointi 5. Kognitiivinen läpikäynti 2
Käytettävyys (ISO 9241-11) Mitta, miten hyvin määrätyt käyttäjät voivat käyttää järjestelmää, tuotetta tai palvelua tietyssä käyttötilanteessa saavuttaakseen määritetyt tavoitteet tuloksellisesti, tehokkaasti ja tyytyväisinä Käyttäjä Tehtävä Laitteisto, ohjelmisto & materiaalit Käyttötilanne Tuote Aiottu päämäärä Ympäristö: Fyysinen & sosiaalinen Käytön tulos Käytettävyys Tavoitteet Tehokkuus Tuloksellisuus Tyytyväisyys Käytettävyysmittarit 3
Käytettävyyden määreitä Tuloksellisuus: tarkkuus ja täydellisyys, jolla käyttäjät saavuttavat määritetyt tavoitteet Tehokkuus: voimavarojen käyttö suhteessa tarkkuuteen ja täydellisyyteen, millä käyttäjät saavuttavat tavoitteet Tyytyväisyys: epämukavuuden puuttuminen ja myönteinen suhtautuminen tuotteen käyttöön Käyttötilanne: käyttäjät, tehtävät, laitteet (laitteisto, ohjelmisto ja materiaalit) sekä fyysinen ja sosiaalinen käyttöympäristö, jossa tuotetta käytetään 4
Nielsenin viitekehys (1993) Käyttökelpoisuus Opittavuus Käytännöllinen hyväksyttävyys Hyödyllisyys Tehokkuus Järjestelmän hyväksyttävyys Hinta Käytettävyys Muistettavuus Sosiaalinen hyväksyttävyys Yhteensopivuus Virheiden vähyys Luotettavuus Miellyttävyys 5
Käyttäjäkeskeinen suunnittelu (ISO 9241-210) Tee suunnitelma ihmiskeskeisestä suunnitteluprosessista Suunnitteluratkaisu täyttää käyttäjävaatimukset Iteroi, kun on tarkoituksenmukaista Ymmärrä ja määrittele käyttötilanne Suunnitteluratkaisujen arviointii Käyttäjävaatimusten määrittely Suunnitteluratkaisujen tuottaminen käyttäjävaatimusten täyttämiseksi 6
Arvioinnin prosessi 1. Suunnittele arvioinnit 2. Toteuta arvioinnit 3. Analysoi 4. Kommunikoi tulokset Suunnittele Toteuta Analysoi Kommunikoi 7
Oma aineisto (1993-2015) 147 arviointia 142 väitöskirjassa (Riihiaho 2015) 26.6.2015 8
1. Suunnittele arvioinnit Suunnittele Toteuta Analysoi Kommunikoi A. Rajaa ja aseta tavoitteet arvioinnille (Mitä ja miksi?) B. Tutustu käyttäjiin ja käyttötilanteisiin (Havainnointihaastattelu) C. Valitse arviointimenetelmät D. Valitse käyttäjäryhmä(t) ja käyttäjämäärä(t) E. Valitse arvioitavat käyttötilanteet ja tehtävät F. Määrittele arviointimittaristo G. Valmistele materiaalit 9
1C. Arvioinnin menetelmät Käytettävyyden arviointi (Usability evaluation) Käyttäjätestaus (User testing) Asiantuntija-arvio (Usability inspection) 10
1C. Käyttäjätestaus (User testing) Käytettävyystesti (usability test) Paritesti (co-discovery / paired-user testing) Vapaa läpikäynti (informal walkthrough) Tilannesidonnainen läpikäynti (contextual walkthrough) Visuaalinen läpikäynti (visual walkthrough) Ryhmäläpikäynti (pluralistic usability walkthrough) Havainnointi, haastattelu, kysely (observation, interview, questionnaire) Automaattinen toimintojen kirjaus (activity logging) 11
1C. Käytettävyystestin muunnelmia 6 4 2 1 Usability test 11 Paired-user testing 11 Visual walkthrough 18 Informal walkthrough Pluralistic usability walkthrough 122 Contextual walkthrough Peer tutoring Group testing 12
1C. Asiantuntija-arvio (Usability inspection) Heuristinen arviointi (heuristic evaluation) Kognitiivinen läpikäynti (cognitive walkthrough) Heuristinen läpikäynti (heuristic walkthrough) Toiminta-analyysi (action analysis) Standardikatselmus (standard review) Kokemukseen perustuva asiantuntija-arvio (expert review) Automaattinen arvio (automated usability testing) 13
1C. Asiantuntija-arvioinnin menetelmiä 3 2 6 Heuristic evaluation Cognitive walkthrough 36 Design guidelines review Expert review 103 Action analysis Heuristic walkthrough 14
1D. Testikäyttäjät ja heidän määränsä Kuinka monta erilaista käyttäjäryhmää? 4-5 käyttäjää kattaa 80% ongelmista (Virzi 1992; Nielsen 1994) vs. 9 käyttäjää kattaa 80% ongelmista (Hwang & Salvendy 2010) Löydettyjen ongelmien osuus: 1-(1-p) n (Lewis 2001) o p = keskimääräinen todennäköisyys löytää ongelma o n = käyttäjien määrä 15
1D. Testikäyttäjien määrä (Lewis 2006) 1-(1-p) n Käyttäjä Havaittu ongelma Määrä p 2 p 3 p 4 O1 O2 O3 O4 K1 x x 2 0,67 0,50 0,50 K2 x x 2 0,67 0,50 0,50 K3 x 1 0,25 0,25 K4 x x x 3 0,75 Määrä 3 2 1 2 8 p 0,75 0,50 0,25 0,75 0,67 0,42 0,50 Kattavuus 89% 80% 94% 16
1E. Skenaario ja testitehtävät Testattavat käyttötilanteet Käyttöympäristö Tavoitteet Skenaario määrittelee käyttötilanteen yleiset puitteet Annetaan tehtävissä tavoite eikä tarvittavia toimintoja Käyttäjän kieltä (välttäen järjestelmän termejä) Yksi tehtävä kerrallaan Alkuun helppo tehtävä Tehtävien priorisointi 17
1F. Mittaristo 18
2. Tyypillinen käytettävyystesti Suunnittele Toteuta Analysoi Kommunikoi Hallittu testitilanne Toimiva prototyyppi Yksi käyttäjä kerrallaan Ohjaaja tukena Ennalta laaditut tehtävät Ääneenajattelu 19
2. Eettiset säännöt (Nielsen 1993) Käyttäjän arvostaminen (mestari-oppipoikaroolit) Kaikki valmiina käyttäjän tullessa Testataan järjestelmää eikä käyttäjää Pidetään istunto enintään 1,5 h mittaisena Käsitellään ja raportoidaan aineistoa sovitulla tavalla Kiitetään avusta http://www.youtube.com/watch?v=9qg-angqhtu (TTY) 20
3-4. Analysoi ja kommunikoi Suunnittele Toteuta Analysoi Kommunikoi Esitetään vakavimmat ongelmat selkeästi Vähintään yksi positiivinen löytö kolmea ongelmaa kohden (Redish et al. 2002) Olennaista motivoida kehitystiimi tekemään muutoksia Näytteitä testeistä ja käyttäjien kommentteja Alustavia parannusehdotuksia Yhteinen työpaja kehitysideoista 21
Asiantuntija-arviot
Asiantuntija-arviot Käytettävyyden arviointi ilman käyttäjiä Perustuvat järjestelmälliseen läpikäyntiin ja ohjeistoihin Ei vaadi toimivaa prototyyppiä Nopeita ja edullisia toteuttaa Arvioijan kokemus vaikuttaa tuloksiin Heuristinen arviointi yleisin Myös kognitiivinen läpikäynti tunnettu 23
Heuristinen arviointi (Nielsen 1993) Alunperin tehty suunnittelijoille Tupla-asiantuntija paras arvioija (käytettävyys ja sovellusalue) Mielellään 3-5 arvioijaa (60-75% ongelmista) 100 80 60 40 % of problems found Novice evaluators Regular specialists Double specialists 20 0 1 3 5 7 9 11 13 15 Number of evaluators 24
Heuristisen arvioinnin prosessi Läpikäynti tehtäväpohjaisesti tai yleisesti Arvioinnit itsenäisesti Useampi läpikäynti: ensin yleisesti, sitten yksityiskohdat Laaditaan ongelmista yhteinen lista Arvioidaan ongelmien vakavuus ryhmässä katastrofaalinen vakava vähäinen kosmeettinen ei ongelma 25
Heuristiset säännöt (Nielsen 1993) 1. Käytä yksinkertaista ja luonnollista vuoropuhelua 2. Puhu käyttäjien omaa kieltä 3. Älä rasita käyttäjän muistikuormaa 4. Ole yhdenmukainen 5. Anna käyttäjälle palautetta toiminnoista 6. Osoita selkeä poistumistapa 7. Anna mahdollisuus oikopolkuihin 8. Anna selkeät virheilmoitukset 9. Vältä virhetilanteita 10. Anna riittävä ja selkeä apu 26
1. Yksinkertainen ja luonnollinen dialogi Kaikki turha kilpailee käyttäjän huomiosta Ryhmittely Tiedon järjestys 27
2. Käyttäjän kieli Käyttäjien oma äidinkieli Käyttäjien ammattitermistö Käyttöjärjestelmän vakiintunut sanasto Metaforat käyttöympäristöstä ikonit 28
5. Palaute Käyttäjän saatava palautetta toiminnoistaan < 0,1 s tunne välittömästä vasteesta ei tarvitse erillistä palautetta; lopputulos riittää > 10 s käyttäjä haluaa tehdä muita töitä odottaessaan 29
6. Selkeä poistumistapa Käyttäjällä oltava kontrollin tunne Mahdollisuus oppia kokeilemalla Keino palata edelliseen tilaan ja alkutilaan Toimintojen peruminen 30
Muita ohjeistoja Tarkkoja suunnittelusääntöjä Smith, S. L., Mosier, J. N. (1986) Guidelines for Designing User Interface Software, 944 sääntöä, http://hcibib.org/sam/ Käyttöjärjestelmien omia sääntöjä Shneidermannin 8 kultaista sääntöä http://www.cs.umd.edu/~ben/goldenrules.html Nielsenillä eri versioita heuristiikoista http://www.nngroup.com/topic/heuristic-evaluation/ Verkko-oppimisympäristöille ym. http://www.stcsig.org/usability/resources/toolkit/toolkit.html#heuristics Peliheuristiikkoja Desurvire, H. & Wiberg, C. (2009) Game Usability Heuristics (PLAY) for Evaluating and Designing Better Games: The Next Iteration 31
Arvioinnin tulos Yhteenvetona kuvaus löydetyistä ongelmista Priorisointi 1. Too much stuff without clear groups and subtitles 4. Different groups are too close to each other 6. The text and the textfield are too long apart 11. Same title twice 3. Unfamiliar terminology 10. Long fields indicate that the user should give big values 8. is missing 9. There are no units for the values 7. Radiobuttons and checkboxes have been used in a nonstandard way 2. There is no help 5. It is not clear to which elements this button refers The problem Heuristics that the design violates 1 The dialogue contains too much stuff that is Simple dialogue, not in clear groups and does not have subtitles Memoryload 2 The dialogue does not provide help Prevent errors, Help Severity 3: major 2: disturbs 1: minor 3 3 The dialogue uses unfamiliar terminology Users' language 3 4 The groups in the dialogue are too near each Simple dialogue 3 other and therefore are hard to separate from each other 5 It is not clear to which group of elements the Simple dialogue, 2 button Select Application belongs to Prevent errors 6 The text Capture File Creator: and its textfield Simple dialogue, 2 are too long apart, so that they a re hard to associate to each other Prevent errors 7 Radiobuttons and checkboxes are used in a Simple dialogue 2 same group 8 is missing from the buttons ANSI Colors Simple dialogue 2 and Select Application although they open a new dialogue 9 There are no units for the values in the Memoryload, 2 textfields Prevent errors 10 The textfields are quite long and thereby Prevent errors 1 indicate that there should be big values 11 The same title appears twice in the dialogue Simple dialogue 1 3 26.6.2015 32
Käytettävyystesti vs. heuristinen arvio Käytettävyystesti + saadaan käyttäjän kokemus ja tietämys mukaan + löydetään suhteessa paljon vakavia ongelmia - tarvitaan toimiva järjestelmä tai prototyyppi - suunnittelu ja järjestely aikaa vievää Heuristinen arviointi + nopeaa ja edullista + voidaan tehdä jo paperiversioilla - löydetään suhteessa paljon pieniä ongelmia - löytyy myös vääriä hälytyksiä 33
Kognitiivinen läpikäynti (Wharton et al. 1994) Kohteena järjestelmän ensikäyttö ja käytön oppiminen Läpikäynti mieluiten ryhmässä Vaiheet: 1. Esiselvitys 2. Ryhmän kokoaminen 3. Läpikäynti istunnossa 4. Havaintojen tallentaminen 5. Virheiden ja puutteiden korjaaminen 34
Kognitiivisen läpikäynnin kysymykset Käydään tehtävät läpi askel askeleelta ja mietitään käyttäjän kannalta 1. Ymmärtääkö käyttäjä toiminnon olevan tarpeellinen osa tehtävää? 2. Onko tarvittava käyttöliittymäelementti helposti löydettävissä? 3. Yhdistääkö käyttöliittymäelementin helposti tarvittavaan toimintoon? 4. Saako käyttäjä riittävän palautteen tehtävän etenemisestä? Kirjataan ongelmat, mutta edetään oikean toimintosarjan mukaan 35
Yhteenveto Arviointia koko tuotekehitysprojektin ajan Mieluummin monta pientä arviointia kuin yksi iso Erilaisia menetelmiä tarjolla eri tilanteisiin Menetelmät muokattavissa, kun hallitsee perusteet 36
Lähteet Hwang, W. and Salvendy, G. (2010) Number of people required for usability evaluation: The 10±2 rule. Communications of the ACM, Vol. 53, No. 5, pp. 130-133. ISO 9241-11 (1998) SFS-EN ISO 9241-11: Näyttöpäätteillä tehtävän toimistotyön ergonomiset vaatimukset. Osa 11: Käytettävyyden määrittely ja arviointi. Ergonomic requirements for office work with visual display terminals (VDTs). Part 11: Guidance on usability. Suomen Standardoimisliitto SFS ry Helsinki, Finland, and European Committee for Standardization. 43 p. ISO 9241-210 (2010) SFS-EN ISO 9241-210: Ihmisen ja järjestelmän vuorovaikutuksen ergonomia. Osa 210: Vuorovaikutteisten järjestelmien käyttäjäkeskeinen suunnittelu. Ergonomics of human-system interaction. Part 210: Human-centred design for interactive systems. Suomen Standardoimisliitto SFS ry Helsinki, Finland, and European Committee for Standardization. 65 p. Lewis, J.R. (2001) Evaluation of procedures for adjusting problem-discovery rates estimated from small samples. International Journal of Human-Computer Studies, Vol. 13, No. 4, pp. 445-479. Lewis, J.R. (2006) Sample sizes for usability tests: mostly math, not magic. interactions, Vol. 13, No. 6, pp. 29-33. Nielsen, J. (1993) Usability Engineering. Academic Press, Boston, USA. 358 p. Nielsen, J. (1994) Estimating the number of subjects needed for a thinking aloud test. International Journal of Human-Computer Studies, Vol. 41, No. 3, pp. 385-397. Redish, J., Bias, R.G., Bailey, R., Molich, R., Dumas, J. and Spool, J.M. (2002) Usability in practice: Formative usability evaluations - Evolution and revolution. In CHI '02 Extended Abstracts on Human Factors in Computing Systems (CHI EA '02). ACM, New York, NY, USA, pp. 885-890. Riihiaho, S. (2015) Experiences with usability testing: Effects of thinking aloud and moderator presence. Doctoral thesis, Aalto University, Espoo. Virzi, R.A. (1992) Refining the test phase of usability evaluation: How many subjects is enough? Human Factors: The Journal of the Human Factors and Ergonomics Society, Vol. 34, no. 4, pp. 457-468. Wharton, C., Rieman, J., Lewis, C.H. and Polson, P. (1994) The cognitive walkthrough method: A practitioner's guide. In J. Nielsen & R.L. Mack (Eds.) Usability inspection methods. John Wiley & Sons, New York, USA, pp. 105-140. 37
Seuraavat luennot Huomenna: Saavutettavuus ja esteettömyys (Antti Raike ja Tapio Haanperä) Keskiviikkona: Laskennaliset menetelmät käyttöliittymissä (Antti Oulasvirta) Keskustelua tenttitehtävistä (Sirpa Riihiaho) 38