SoberIT Software Business and Engineering Institute

Transkriptio

1 SoberIT Software Business and Engineering Institute T Johdatus käyttäjäkeskeiseen tuotekehitykseen Käytettävyyden arviointi Ilman käyttäjiä ja käyttäjien kanssa Opettava tutkija Mika P. Nieminen TKK käytettävyysryhmä

2 Sisältö käytettävyyden määritelmiä käytettävyyden arvioinnin jaotteluja asiantuntija-arvioiden tarve Tauko ja harjoitus heuristinen arvio käyttäjien kanssa tapahtuva testaus ja sen muunnelmia yhteenveto

3 Miksi arvioida? Pystyvätkö käyttäjät suoriutumaan työtehtävistään järjestelmän avulla? Onko käytettävyystavoitteet saavutettu? Miten tuote sijoittuu kilpailijoihinsa nähden? Uusien ideoiden etsintä uusiin versioihin Käyttöön liittyvien ongelmien selvitys Käyttäjien koulutustarpeen kartoitus Käyttöliittymäsuunnittelijoiden koulutus (J. Karat 1997)

4 Käytettävyyden määritelmä Kansainvälinen standardi ISO : "Laajuus, jolla tietyt käyttäjät pystyvät käyttämään tuotetta tietyssä käyttötilanteessa saavuttaakseen tietyt tavoitteet tuloksellisesti, tehokkaasti ja tyytyväisyyttä tuottaen" "The extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use"

5 Arvioinnin rajausta Mitkä asiat pitää määritellä käytettävyyttä arvioidessa jo määritelmän mukaan? Esim. kännykkä Käyttäjä Tavoitteet Tehtävä Ympäristö Laitteisto Käyttökonteksti Tuloksellisuus Tehokkuus Tyytyväisyys Tuote Käytettävyysmittarit Kuva: Sirpa Riihiaho

6 Käytettävyysominaisuuksia Mitä ja miksi testataan: Jakob Nielsen: tavoitteet? opittavuus Tutkittavat ominaisuudet muistettavuus ja mittarit tehokkuus virheiden vähyys ISO : tyytyväisyys tuloksellisuus tehokkuus Muita tyytyväisyys navigoitavuus joustavuus...

7 Käytettävyystekijä Mittaustapa Mittari Nykyinen taso Alin hyväksyttävä taso Tavoitetaso Paras saavutettava taso Asennuksen helppous Asetusten opittavuus Asennustehtävä Herätysajan asetus Ilman käyttöohjetta onnistuneiden asennusten osuus Suoritusajan muutos: 3. vs. 1. kerta < 50% 50% 80% 95% Lyhenee 10% Lyhenee 20% Lyhenee 30% Lyhenee 50% Toimintojen näkyvyys ja löytyvyys Virheettömyys Nauhoituksen ohjelmointitehtävä Tiedon syöttö tietokantaan Kuinka moni löytää toiminnon ilman käyttöohjetta Virheellisten tai puutteellisten tietojen lähetysmäärä (% kaikista lähetyksistä) 10% 30% 80% 100% 30% 20% 10% 2%

8 Menetelmien valintaperusteet suositeltavaa valita useampi menetelmä arvioinnin tavoite hyväksyntä, vertailu, uuden idean arviointi eri käytettävyystekijöiden painotus opittavuus, muistettavuus, tehokkuus, virheettömyys, miellyttävyys käytössä olevat resurssit arvioijien kokemus, käyttäjät, aika, raha, järjestelmän toteutustaso

9 Sopivia menetelmiä (esim.) opittavuus: muistettavuus: tehokkuus: virheettömyys: miellyttävyys: testaus, kognitiivinen läpikäynti, käyttöloki, heuristinen arvio, GOMS testaus, kysely, heuristinen arvio testaus, käyttöloki, tarkkailu, GOMS testaus, käyttöloki, tarkkailu, heuristinen arvio testaus, kysely, haastattelu

10 Käytettävyyden arvioinnin jaottelu (usability evaluation) asiantuntija-arviot (expert evaluations/ usability inspections) heuristinen arvio suunittelusääntökatselmukset standardikatselmukset kognitiivinen läpikäynti analyyttinen arvio käyttäjätestaus (user testing) käytettävyystestaus muunnelmineen havainnointi käyttölogin keruu haastattelut ja kyselyt järjestelmään upotetut kyselylomakkeet empiirinen arvio

11 Asiantuntija-arviot sovellettavissa ilman käyttäjiä nopeita ja edullisia -> iteraatio tulosten tasoon vaikuttaa arvioijan tiedot, taidot ja kokemus heuristinen arvio tunnetuin

12 Heuristinen arvio: mitä? arvioidaan käyttöliittymää suunnittelusääntöjä vasten voidaan arvioida jo paperiversioita tai prototyyppejä voidaan arvioida käytettävyyttä "yleisesti", jolloin pintapuolista, tai tehtäväpohjaisesti

13 Heuristinen arviointi: kuka? alunperin tarkoitettu suunnittelijoille sekä yleisen käytettävyyden että kyseisen sovellusalueen käyttöliittymien asiantuntija paras arvioija mielellään 3-5 arvioijaa 1->35%, 2->50%, 5->73%, 8->85%, 10->87%, 15->90% (Nielsen 1993)

14 Heuristinen arviointi: miten? läpikäynti tehtäväpohjaisesti tai yleisesti arvioinnit itsenäisesti min. 2 krt: ensin yleiskatsaus, sitten yksityiskohdat laaditaan ongelmista yhteinen lista ryhmitellään ongelmat istuntojen jälkeen vakavuuden mukaan katastrofaalinen vakava vähäinen kosmeettinen ei ongelma

15 Nielsenin heuristiset säännöt 1. Käytä yksinkertaista ja luonnollista vuoropuhelua 2. Puhu käyttäjien omaa kieltä 3. Älä rasita käyttäjän muistikuormaa 4. Ole yhdenmukainen 5. Anna käyttäjälle palautetta toiminnoista 6. Osoita selkeä poistumistapa 7. Anna mahdollisuus oikopolkuihin 8. Anna selkeät virheilmoitukset 9. Vältä virhetilanteita 10. Anna riittävä ja selkeä apu Nielsen, J. (1993) Usability Engineering

16 Tauko ja harjoitus 15 minuutin tauko, jonka aikana käytte katsomassa lähistöllä sijaitsevia automaatteja Ei ole pakko ostaa epäterveellisiä syömisiä tai juomisia, mutta saa jos haluaa... Löytäkää kaksi automaatin käytettävyysongelmaa tai kuinka käytettävyysongelma on estetty Kirjoittakaa ne lapulle ettei unohdu

17 1. Yksinkertainen dialogi kaikki turha kilpailee käyttäjän huomiosta graafinen sommittelu ryhmittely ja tiedon järjestys

18 Yksinkertainen&luonnollinen liikaa tietoa, ryhmät hämärtyvät painikkeiden sijoittelu ei tue tehtävän etenemistä

19 2. Käyttäjien kieli käyttäjien oma äidinkieli käyttäjien ammattitermistö käyttöjärjestelmän vakiintunut sanasto metaforat käyttöympäristöstä ikonit

20 3. Muistikuorman minimointi kone on parempi muistamaan kuin ihminen ihminen tunnistaa paremmin kuin muistaa ulkoa valintalistat mallivastaus tai oletusarvo yhdenmukaisuus

21 4. Yhdenmukaisuus komentojen toimittava yhdenmukaisesti eri tasoja sisäinen yhdenmukaisuus osien järjestys eri versioiden yhdenmukaisuus tuoteperheen yhdenmukaisuus joskus yhdenmukaisuus tärkeämpi kuin käytettävyys

22 5. Palaute käyttäjän saatava palautetta toiminnoistaan < 0,1 s tunne välittömästä vasteesta ei tarvitse erillistä palautetta; lopputulos riittää > 10 s käyttäjä haluaa tehdä muita töitä odottaessaan nähtävä järjestelmän toimintatila

23 6. Selkeä poistumistapa käyttäjällä oltava kontrollin tunne mahdollisuus oppia kokeilemalla tarjottava keino palata edelliseen tilaan ja mielellään myös alkutilaan toimintojen peruminen

24 7. Oikopolut tehokäyttäjille erilaisia oikopolkuja näppäinkomennot kaksoisnäpäytykset ikonit oletusarvot näkyvien vaihtoehtojen lisäksi - ei niiden tilalle

25 8. Selkeät virheilmoitukset käyttäjän on pystyttävä huomaamaan, tunnistamaan ja korjaamaan virhe eri tasoiset virheilmoitukset

26 9. Virheiden välttäminen valintalistat auttavat kirjoitusvirheisiin varmistus peruuttamattomiin toimintoihin toimintatilojen välttäminen tai tilan esittäminen selkeästi

27 10. Riittävä ja selkeä apu käyttöohjeita luetaan useimmiten vain hyvin suuressa hädässä selkeä sisällysluettelo hyvä hakemisto eri hakusanoin ohjeet käyttäjien tehtävien mukaan edeten esimerkkejä

28 TaukoAutomaatti Minkäslaisia ongelmia tai ratkaisuja sieltä löytyi? Mitä heuristiikkaa ne rikkoivat? Kuinka ongelman voisi korjata?

29 Arvioinnin tulos yhteenvetona kuvaus löydetyistä rikkomuksista The problem vakavimmat ensin 1. Too much stuff without clear groups and subtitles 4. Different groups are too close to each other 6. The text and the textfield are too long apart 11. Same title twice 3. Unfamiliar terminology 10. Long fields indicate that the user should give big values 8. is missing 9. There are no units for the values 7. Radiobuttons and checkboxes have been used in a non-standard way 2. There is no help 5. It is not clear to which elements this button refers Heuristics that the design violates Simple dialogue, Memoryload Severity 3: major 2: disturbs 1: minor 3 1 The dialogue contains too much stuff that is not in clear groups and does not have subtitles 2 The dialogue does not provide help Prevent errors, 3 Help 3 The dialogue uses unfamiliar terminology Users' language 3 4 The groups in the dialogue are too near each Simple dialogue 3 other and therefore are hard to separate from each other 5 It is not cl ear to which group of elements the Simple dialogue, 2 button Select Application belongs to Prevent errors 6 The text Capture File Creator: and its textfield Simple dialogue, 2 are too long apart, so that they a re hard to associate to each other Prevent errors 7 Radiobuttons and checkboxes are used in a Simple dialogue 2 same group 8 É is missing from the buttons ANSI Colors Simple dialogue 2 and Select Application although they open a new dialogue 9 There are no units for the values in the Memoryload, 2 textfields Prevent errors 10 The textfields are quite long and thereby Prevent errors 1 indicate that there should be big values 11 The same title appears twice in the dialogue Simple dialogue 1 Voisi vielä lisätä parannusehdotuksia

30 Yhteenveto: heuristinen arvio edullinen ja nopea menetelmä sovellettavissa aikaisessa vaiheessa (mielellään) useita arvioijia yhdistetään tulokset priorisoidaan ongelmat löydetään useimmat vakavat ongelmat

31 Käytettävyyden arvioinnin jaottelu (usability evaluation) asiantuntija-arviot (expert evaluations/ usability inspections) heuristinen arvio suunittelusääntökatselmukset standardikatselmukset kognitiivinen läpikäynti analyyttinen arvio käyttäjätestaus (user testing) käytettävyystestaus muunnelmineen havainnointi käyttölogin keruu haastattelut ja kyselyt järjestelmään upotetut kyselylomakkeet empiirinen arvio

32 Tyypillinen käytettävyystesti Hallittu testitilanne Toimiva prototyyppi Yksi käyttäjä kerrallaan Ohjaaja tukena Ennalta laaditut tehtävät yksi kerrallaan Ääneenajattelu Kysely ja haastattelu

33 Skenaariot Määrittelee käyttötilanteen Antaa käyttäjälle roolin, johon eläytyä Mielellään yksi skenaario testin alussa sitomaan tehtäviä yhteen ja tarvittaessa tehtäväkohtaisia tarkennuksia Olet juuri voittanut HuuHaa! lehden yleisökilpailusta uuden kamerakännykän. Saavuttuasi kotiin laitat puhelimen käyttökuntoon ja hetimmiten kännykkä piippaa. Olisitkohan saanut ensimmäisen kuvaviestisi?

34 Testitehtävät Annetaan käyttäjälle tavoite eikä vaadittuja osatehtäviä Käyttäjän kieltä Yksi tehtävä kerrallaan Alkuun helppo tehtävä Lue saamasi viesti Aika-arviot: kauanko kestää ja koska autetaan? Mitkä tehtävät voi tarvittaessa jättää väliin?

35 Arvioinnin tulos Kuvaus havaituista ongelmista Ongelmien jäsentely Ryhmän sisällä vakavimmat ongelmat ensin Vakavuutta voidaan arvioida 3-5 tason asteikoilla Tasot määriteltävä

36 Vakavuuden arviointi Kattavuus: paikallinen vai yleinen? Vakavuus kuinka usein ongelma esiintyy? millainen vaikutus ongelmalla on? oppiiko ongelman kerralla? Esim. 4 tason asteikko vaikutuksen osalta: taso 4: estää tehtävän suorituksen taso 3: aiheuttaa selvää viivettä ja turhautumista taso 2: vaikuttaa hieman käytettävyyteen taso 1: kosmeettinen ongelma, ideoita jatkokehityshankkeisiin

37 Testauksen muunnelmia Ennalta laaditut tehtävät Hallittu testitilanne Ääneenajattelu Yksi käyttäjä kerrallaan Toimiva prototyyppi Käytettävyystesti X X X X X Paritestaus X X X X Ryhmäläpikäynti X X Vapaa läpikäynti X X X X Tilannesidonnainen läpikäynti X X

38 Ryhmäläpikäynti Käyttäjät ja suunnittelijat ryhmänä käytettävyysasiantuntija vetää Käyttöliittymän paperiversio Kukin suorittaa tehtäviä ensin omin voimin ei ääneenajattelua Arvokasta keskustelua ja välitöntä palautetta Koeta lyt kirja Jakob Nielsen: Usability Engineering tmn wwwlomakkeen avulla: Hakulomake Yleistä Ohjeita Boolen lomake Kirjaston tietokantojen FAQ Hakutapa Tekijähaku (a/) Hakusana Nielsen Aloita haku Tyhjennä lomake Hakutapa-kentn valintalista: 1. Jätän tämän kentän koskematta 2. Kirjoitan tähän kirjoittajan nimen 3. Painan hakunappia Tekijähaku (a/) Nimekehaku (t/) UDK-haku (z/) Indeksin selaus (l/) Sanahaku (w/) Asiasanahaku (s/)

39 Vapaa läpikäynti Ei ennalta laadittuja tehtäviä Tuote(konsepti) oltava tuttu Tarkistuslista tehtävistä, joista halutaan kommentteja Intuitiivisuus ja opittavuus

40 Tilannesidonnainen läpikäynti testi todellisessa käyttöympäristössä tehtävänannot asiakkailta tehokkuus olennaista työtä ei voida keskeyttää ääneenajattelu sopimatonta tarkkailu läpikäynti tauon aikana

41 Yhteenveto: testaus Useita pieniä arviointeja yhden massiivisen sijaan Menetelmät muokattavissa tilanteen mukaan Prosessi: Testisuunnitelma tavoitteet, tutkittavat käytettävyysominaisuudet ja mittarit menetelmät käyttäjät käyttötilanne tehtävät Testi-istunnot Analysointi ja raportointi Mahdollisesti parannusehdotukset

42 Heuristinen arvio vs. käyttäjätestaus heuristinen arvio + nopeaa ja edullista + voidaan tehdä jo paperiversioilla - löydetään suhteessa paljon pieniä ongelmia käytettävyystesti + saadaan käyttäjän kokemus ja tietämys mukaan + löydetään suhteessa paljon vakavia ongelmia - tarvitaan toimiva järjestelmä tai prototyyppi - järjestely aikaa vievää