Käyttäjätestaus Mika P. Nieminen Käytettävyysryhmä Teknillinen korkeakoulu Mika P. Nieminen, TKK 1
Miksi testataan? Sisältö Käytettävyyden arviointitapoja Käytettävyyden mittaus» käytettävyyden määritelmä» testaussuunnitelma» käytettävyyskriteerit Tyypillinen käytettävyystesti» muunnelmia» ryhmäläpikäynti Yhteenveto Mika P. Nieminen, TKK 2
Miksi arvioida? Pystyvätkö käyttäjät suoriutumaan työtehtävistään järjestelmän avulla? Onko käytettävyystavoitteet saavutettu? Miten tuote sijoittuu kilpailijoihinsa nähden? Uusien ideoiden etsintä uusiin versioihin Käyttöön liittyvien ongelmien selvitys Käyttäjien koulutustarpeen kartoitus Käyttöliittymäsuunnittelijoiden koulutus (J. Karat 1997) Mika P. Nieminen, TKK 3
Käytettävyyden arviointi (Usability evaluation) käyttäjätestaus (user testing)» käytettävyystesti (usability test)» ryhmäläpikäynti (pluralistic usability walkthrough)» havainnointi (observation)» haastattelu ja kysely (interview & questionnaire) asiantuntija-arviot (usability inspections)» heuristinen arviointi (heuristic evaluation)» standardikatselmukset (standard reviews)» kognitiivinen läpikäynti (cognitive walkthrough) Mika P. Nieminen, TKK 4
Käytettävyyden määritelmä Kansainvälinen standardi ISO 9241-11: "Laajuus, jolla tietyt käyttäjät pystyvät käyttämään tuotetta tietyssä käyttötilanteessa saavuttaakseen tietyt tavoitteet tuloksellisesti, tehokkaasti ja tyytyväisyyttä tuottaen" "The extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use" Mika P. Nieminen, TKK 5
Määritelmiä... Tuloksellisuus: tarkkuus ja täydellisyys, jolla käyttäjät saavuttavat tavoitteet Tehokkuus: tulokset suhteessa käytettyihin resursseihin Tyytyväisyys: epämukavuuden välttäminen ja positiivinen asenne tuotteen käyttöön Käyttötilanne: käyttäjät, tavoitteet, tehtävät, laitteet sekä fyysinen ja sosiaalinen käyttöympäristö Mika P. Nieminen, TKK 6
Arvioinnin rajausta Mitkä asiat pitää määritellä käytettävyyttä arvioidessa jo määritelmän mukaan? Esim. kännykkä Käyttäjä Tavoitteet Tehtävä Ympäristö Laitteisto Käyttökonteksti Tuloksellisuus Tehokkuus Tyytyväisyys Tuote Käytettävyysmittarit Mika P. Nieminen, TKK 7
Käytettävyysominaisuuksia Mitä ja miksi testataan: tavoitteet? Tutkittavat ominaisuudet ja mittarit ISO 9241-11:» tuloksellisuus» tehokkuus» tyytyväisyys Jakob Nielsen:» opittavuus» muistettavuus» tehokkuus» virheiden vähyys» tyytyväisyys Muita» navigoitavuus» joustavuus»... Mika P. Nieminen, TKK 8
Käytettävyystekijä Mittaustapa Mittari Nykyinen taso Alin hyväksyttävä taso Tavoitetaso Paras saavutettava taso Asennuksen helppous Asetusten opittavuus Asennustehtävä Herätysajan asetus Ilman käyttöohjetta onnistuneiden asennusten osuus Suoritusajan muutos: 3. vs. 1. kerta < 50% 50% 80% 95% Lyhenee 10% Lyhenee 20% Lyhenee 30% Lyhenee 50% Toimintojen näkyvyys ja löytyvyys Virheettömyys Nauhoituksen ohjelmointitehtävä Tiedon syöttö tietokantaan Kuinka moni löytää toiminnon ilman käyttöohjetta Virheellisten tai puutteellisten tietojen lähetysmäärä (% kaikista lähetyksistä) 10% 30% 80% 100% 30% 20% 10% 2% Mika P. Nieminen, TKK 9
Menetelmien valintaperusteet suositeltavaa valita useampi menetelmä arvioinnin tavoite» hyväksyntä, vertailu, uuden idean arviointi eri käytettävyystekijöiden painotus» opittavuus, muistettavuus, tehokkuus, virheettömyys, miellyttävyys käytössä olevat resurssit» arvioijien kokemus, käyttäjät, aika, raha, järjestelmän toteutustaso Mika P. Nieminen, TKK 10
Sopivia menetelmiä (esim.) opittavuus: testaus, kognitiivinen läpikäynti, käyttöloki, heuristinen arvio, GOMS muistettavuus: testaus, kysely, heuristinen arvio tehokkuus: testaus, käyttöloki, tarkkailu, GOMS virheettömyys: testaus, käyttöloki, tarkkailu, heuristinen arvio miellyttävyys: testaus, kysely, haastattelu Mika P. Nieminen, TKK 11
Tauko Tauon jälkeen» käytettävyyden arviointimenetelmiä» esimerkki» tulostenesittäminen» yhteenveto: arviointiprosessi Mika P. Nieminen, TKK 12
Tyypillinen käytettävyystesti Hallittu testitilanne Toimiva prototyyppi Yksi käyttäjä kerrallaan Ohjaaja tukena Ennalta laaditut tehtävät» yksi kerrallaan Ääneenajattelu Kysely ja haastattelu Mika P. Nieminen, TKK 13
Testauksen muunnelmia Ennalta laaditut tehtävät Hallittu testitilanne Ääneenajattelu Yksi käyttäjä kerrallaan Toimiva prototyyppi Paritestaus X X X X Ryhmäläpikäynti X X Vapaa läpikäynti X X X X Tilannesidonnainen läpikäynti X X Mika P. Nieminen, TKK 14
Vapaa läpikäynti Ei ennalta laadittuja tehtäviä Tuote(konsepti) oltava tuttu Tarkistuslista tehtävistä, joista halutaan kommentteja Intuitiivisuus ja opittavuus Mika P. Nieminen, TKK 15
Ryhmäläpikäynti Käyttäjät ja suunnittelijat ryhmänä» käytettävyysasiantuntija vetää Käyttöliittymän paperiversio Kukin suorittaa tehtäviä ensin omin voimin» ei ääneenajattelua Arvokasta keskustelua ja välitöntä palautetta Koeta lyt kirja Jakob Nielsen: Usability Engineering tmn wwwlomakkeen avulla: Hakulomake Yleistä Ohjeita Boolen lomake Kirjaston tietokantojen FAQ Hakutapa Tekijähaku (a/) Hakusana Nielsen Aloita haku Tyhjennä lomake Hakutapa-kentn valintalista: 1. Jätän tämän kentän koskematta 2. Kirjoitan tähän kirjoittajan nimen 3. Painan hakunappia Tekijähaku (a/) Nimekehaku (t/) UDK-haku (z/) Indeksin selaus (l/) Sanahaku (w/) Asiasanahaku (s/) Mika P. Nieminen, TKK 16
Käytettävyyden arvioinnin esimerkki: Uuden kamerakännykän käytettävyyden arviointi» päätavoite: vertailu kilpailijoihin» arvioinnin painotus: kuvan otto ja liittäminen viestiin» --------------------------» käyttäjäryhmä(t)» tutkittavat käytettävyysominaisuudet? hahmotelmia mittareista» arviointimenetelmät käytettävyystesti ja/tai jotain muuta?» --------------------------» käyttöympäristö» käyttötilanne ja skenaario» testitehtävät Mika P. Nieminen, TKK 17
Skenaariot Määrittelee käyttötilanteen Antaa käyttäjälle roolin, johon eläytyä Mielellään yksi skenaario testin alussa sitomaan tehtäviä yhteen ja tarvittaessa tehtäväkohtaisia tarkennuksia Olet juuri voittanut HuuHaa! lehden yleisökilpailusta uuden kamerakännykän. Saavuttuasi kotiin laitat puhelimen käyttökuntoon ja hetimmiten kännykkä piippaa. Olisitkohan saanut ensimmäisen kuvaviestisi? Mika P. Nieminen, TKK 18
Testitehtävät Annetaan käyttäjälle tavoite eikä vaadittuja osatehtäviä Käyttäjän kieltä Yksi tehtävä kerrallaan Alkuun helppo tehtävä Aika-arviot: kauanko kestää ja koska autetaan? Mitkä tehtävät voi tarvittaessa jättää väliin? Mika P. Nieminen, TKK 19
Käytettävyyden arvioinnin esimerkki: osa 2: Uuden kamerakännykän käytettävyyden arviointi» päätavoite: vertailu kilpailijoihin» arvioinnin painotus: kuvan otto ja liittäminen viestiin» käyttäjäryhmä(t)» tutkittavat käytettävyysominaisuudet ja -mittarit» arviointimenetelmät: asiantuntija-arvio ja käytettävyystesti» -------------------------------» käyttöympäristö?» käyttötilanne ja skenaario?» testitehtävät (1. ja 2.)? Mika P. Nieminen, TKK 20
Arvioinnin tulos Kuvaus havaituista ongelmista Ongelmien jäsentely Ryhmän sisällä vakavimmat ongelmat ensin Vakavuutta voidaan arvioida 3-5 tason asteikoilla Tasot määriteltävä Mika P. Nieminen, TKK 21
Vakavuuden arviointi Kattavuus: paikallinen vai yleinen? Vakavuus» kuinka usein ongelma esiintyy?» millainen vaikutus ongelmalla on?» oppiiko ongelman kerralla? Esim. 4 tason asteikko vaikutuksen osalta:» taso 4: estää tehtävän suorituksen» taso 3: aiheuttaa selvää viivettä ja turhautumista» taso 2: vaikuttaa hieman käytettävyyteen» taso 1: kosmeettinen ongelma, ideoita jatkokehityshankkeisiin Mika P. Nieminen, TKK 22
Yhteenveto: testaus Useita pieniä arviointeja yhden massiivisen sijaan Menetelmät muokattavissa tilanteen mukaan Prosessi:» Testisuunnitelma tavoitteet, tutkittavat käytettävyysominaisuudet ja mittarit menetelmät käyttäjät käyttötilanne tehtävät» Testi-istunnot» Analysointi ja raportointi» Mahdollisesti parannusehdotukset Mika P. Nieminen, TKK 23