Käyttäjätestaus. Mika P. Nieminen Käytettävyysryhmä Teknillinen korkeakoulu. Mika P. Nieminen, TKK 1

Koko: px

Aloita esitys sivulta:

Download "Käyttäjätestaus. Mika P. Nieminen Käytettävyysryhmä Teknillinen korkeakoulu. Mika P. Nieminen, TKK 1"

Vilho Nurmi
7 vuotta sitten
Katselukertoja:

1 Käyttäjätestaus Mika P. Nieminen Käytettävyysryhmä Teknillinen korkeakoulu Mika P. Nieminen, TKK 1

2 Miksi testataan? Sisältö Käytettävyyden arviointitapoja Käytettävyyden mittaus» käytettävyyden määritelmä» testaussuunnitelma» käytettävyyskriteerit Tyypillinen käytettävyystesti» muunnelmia» ryhmäläpikäynti Yhteenveto Mika P. Nieminen, TKK 2

3 Miksi arvioida? Pystyvätkö käyttäjät suoriutumaan työtehtävistään järjestelmän avulla? Onko käytettävyystavoitteet saavutettu? Miten tuote sijoittuu kilpailijoihinsa nähden? Uusien ideoiden etsintä uusiin versioihin Käyttöön liittyvien ongelmien selvitys Käyttäjien koulutustarpeen kartoitus Käyttöliittymäsuunnittelijoiden koulutus (J. Karat 1997) Mika P. Nieminen, TKK 3

4 Käytettävyyden arviointi (Usability evaluation) käyttäjätestaus (user testing)» käytettävyystesti (usability test)» ryhmäläpikäynti (pluralistic usability walkthrough)» havainnointi (observation)» haastattelu ja kysely (interview & questionnaire) asiantuntija-arviot (usability inspections)» heuristinen arviointi (heuristic evaluation)» standardikatselmukset (standard reviews)» kognitiivinen läpikäynti (cognitive walkthrough) Mika P. Nieminen, TKK 4

5 Käytettävyyden määritelmä Kansainvälinen standardi ISO : "Laajuus, jolla tietyt käyttäjät pystyvät käyttämään tuotetta tietyssä käyttötilanteessa saavuttaakseen tietyt tavoitteet tuloksellisesti, tehokkaasti ja tyytyväisyyttä tuottaen" "The extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use" Mika P. Nieminen, TKK 5

6 Määritelmiä... Tuloksellisuus: tarkkuus ja täydellisyys, jolla käyttäjät saavuttavat tavoitteet Tehokkuus: tulokset suhteessa käytettyihin resursseihin Tyytyväisyys: epämukavuuden välttäminen ja positiivinen asenne tuotteen käyttöön Käyttötilanne: käyttäjät, tavoitteet, tehtävät, laitteet sekä fyysinen ja sosiaalinen käyttöympäristö Mika P. Nieminen, TKK 6

7 Arvioinnin rajausta Mitkä asiat pitää määritellä käytettävyyttä arvioidessa jo määritelmän mukaan? Esim. kännykkä Käyttäjä Tavoitteet Tehtävä Ympäristö Laitteisto Käyttökonteksti Tuloksellisuus Tehokkuus Tyytyväisyys Tuote Käytettävyysmittarit Mika P. Nieminen, TKK 7

8 Käytettävyysominaisuuksia Mitä ja miksi testataan: tavoitteet? Tutkittavat ominaisuudet ja mittarit ISO :» tuloksellisuus» tehokkuus» tyytyväisyys Jakob Nielsen:» opittavuus» muistettavuus» tehokkuus» virheiden vähyys» tyytyväisyys Muita» navigoitavuus» joustavuus»... Mika P. Nieminen, TKK 8

9 Käytettävyystekijä Mittaustapa Mittari Nykyinen taso Alin hyväksyttävä taso Tavoitetaso Paras saavutettava taso Asennuksen helppous Asetusten opittavuus Asennustehtävä Herätysajan asetus Ilman käyttöohjetta onnistuneiden asennusten osuus Suoritusajan muutos: 3. vs. 1. kerta < 50% 50% 80% 95% Lyhenee 10% Lyhenee 20% Lyhenee 30% Lyhenee 50% Toimintojen näkyvyys ja löytyvyys Virheettömyys Nauhoituksen ohjelmointitehtävä Tiedon syöttö tietokantaan Kuinka moni löytää toiminnon ilman käyttöohjetta Virheellisten tai puutteellisten tietojen lähetysmäärä (% kaikista lähetyksistä) 10% 30% 80% 100% 30% 20% 10% 2% Mika P. Nieminen, TKK 9

10 Menetelmien valintaperusteet suositeltavaa valita useampi menetelmä arvioinnin tavoite» hyväksyntä, vertailu, uuden idean arviointi eri käytettävyystekijöiden painotus» opittavuus, muistettavuus, tehokkuus, virheettömyys, miellyttävyys käytössä olevat resurssit» arvioijien kokemus, käyttäjät, aika, raha, järjestelmän toteutustaso Mika P. Nieminen, TKK 10

11 Sopivia menetelmiä (esim.) opittavuus: testaus, kognitiivinen läpikäynti, käyttöloki, heuristinen arvio, GOMS muistettavuus: testaus, kysely, heuristinen arvio tehokkuus: testaus, käyttöloki, tarkkailu, GOMS virheettömyys: testaus, käyttöloki, tarkkailu, heuristinen arvio miellyttävyys: testaus, kysely, haastattelu Mika P. Nieminen, TKK 11

12 Tauko Tauon jälkeen» käytettävyyden arviointimenetelmiä» esimerkki» tulostenesittäminen» yhteenveto: arviointiprosessi Mika P. Nieminen, TKK 12

13 Tyypillinen käytettävyystesti Hallittu testitilanne Toimiva prototyyppi Yksi käyttäjä kerrallaan Ohjaaja tukena Ennalta laaditut tehtävät» yksi kerrallaan Ääneenajattelu Kysely ja haastattelu Mika P. Nieminen, TKK 13

14 Testauksen muunnelmia Ennalta laaditut tehtävät Hallittu testitilanne Ääneenajattelu Yksi käyttäjä kerrallaan Toimiva prototyyppi Paritestaus X X X X Ryhmäläpikäynti X X Vapaa läpikäynti X X X X Tilannesidonnainen läpikäynti X X Mika P. Nieminen, TKK 14

15 Vapaa läpikäynti Ei ennalta laadittuja tehtäviä Tuote(konsepti) oltava tuttu Tarkistuslista tehtävistä, joista halutaan kommentteja Intuitiivisuus ja opittavuus Mika P. Nieminen, TKK 15

16 Ryhmäläpikäynti Käyttäjät ja suunnittelijat ryhmänä» käytettävyysasiantuntija vetää Käyttöliittymän paperiversio Kukin suorittaa tehtäviä ensin omin voimin» ei ääneenajattelua Arvokasta keskustelua ja välitöntä palautetta Koeta lyt kirja Jakob Nielsen: Usability Engineering tmn wwwlomakkeen avulla: Hakulomake Yleistä Ohjeita Boolen lomake Kirjaston tietokantojen FAQ Hakutapa Tekijähaku (a/) Hakusana Nielsen Aloita haku Tyhjennä lomake Hakutapa-kentn valintalista: 1. Jätän tämän kentän koskematta 2. Kirjoitan tähän kirjoittajan nimen 3. Painan hakunappia Tekijähaku (a/) Nimekehaku (t/) UDK-haku (z/) Indeksin selaus (l/) Sanahaku (w/) Asiasanahaku (s/) Mika P. Nieminen, TKK 16

17 Käytettävyyden arvioinnin esimerkki: Uuden kamerakännykän käytettävyyden arviointi» päätavoite: vertailu kilpailijoihin» arvioinnin painotus: kuvan otto ja liittäminen viestiin» » käyttäjäryhmä(t)» tutkittavat käytettävyysominaisuudet? hahmotelmia mittareista» arviointimenetelmät käytettävyystesti ja/tai jotain muuta?» » käyttöympäristö» käyttötilanne ja skenaario» testitehtävät Mika P. Nieminen, TKK 17

18 Skenaariot Määrittelee käyttötilanteen Antaa käyttäjälle roolin, johon eläytyä Mielellään yksi skenaario testin alussa sitomaan tehtäviä yhteen ja tarvittaessa tehtäväkohtaisia tarkennuksia Olet juuri voittanut HuuHaa! lehden yleisökilpailusta uuden kamerakännykän. Saavuttuasi kotiin laitat puhelimen käyttökuntoon ja hetimmiten kännykkä piippaa. Olisitkohan saanut ensimmäisen kuvaviestisi? Mika P. Nieminen, TKK 18

19 Testitehtävät Annetaan käyttäjälle tavoite eikä vaadittuja osatehtäviä Käyttäjän kieltä Yksi tehtävä kerrallaan Alkuun helppo tehtävä Aika-arviot: kauanko kestää ja koska autetaan? Mitkä tehtävät voi tarvittaessa jättää väliin? Mika P. Nieminen, TKK 19

20 Käytettävyyden arvioinnin esimerkki: osa 2: Uuden kamerakännykän käytettävyyden arviointi» päätavoite: vertailu kilpailijoihin» arvioinnin painotus: kuvan otto ja liittäminen viestiin» käyttäjäryhmä(t)» tutkittavat käytettävyysominaisuudet ja -mittarit» arviointimenetelmät: asiantuntija-arvio ja käytettävyystesti» » käyttöympäristö?» käyttötilanne ja skenaario?» testitehtävät (1. ja 2.)? Mika P. Nieminen, TKK 20

21 Arvioinnin tulos Kuvaus havaituista ongelmista Ongelmien jäsentely Ryhmän sisällä vakavimmat ongelmat ensin Vakavuutta voidaan arvioida 3-5 tason asteikoilla Tasot määriteltävä Mika P. Nieminen, TKK 21

22 Vakavuuden arviointi Kattavuus: paikallinen vai yleinen? Vakavuus» kuinka usein ongelma esiintyy?» millainen vaikutus ongelmalla on?» oppiiko ongelman kerralla? Esim. 4 tason asteikko vaikutuksen osalta:» taso 4: estää tehtävän suorituksen» taso 3: aiheuttaa selvää viivettä ja turhautumista» taso 2: vaikuttaa hieman käytettävyyteen» taso 1: kosmeettinen ongelma, ideoita jatkokehityshankkeisiin Mika P. Nieminen, TKK 22

23 Yhteenveto: testaus Useita pieniä arviointeja yhden massiivisen sijaan Menetelmät muokattavissa tilanteen mukaan Prosessi:» Testisuunnitelma tavoitteet, tutkittavat käytettävyysominaisuudet ja mittarit menetelmät käyttäjät käyttötilanne tehtävät» Testi-istunnot» Analysointi ja raportointi» Mahdollisesti parannusehdotukset Mika P. Nieminen, TKK 23

Samankaltaiset tiedostot

Käytettävyyden testaus

Käytettävyyden testaus Hannu Kuoppala kuoppa@cs.hut.fi Sisältö Käytettävyyden arviointitapoja Käytettävyyden mittaus käytettävyyden määritelmä Testaussuunnitelma käytettävyyskriteerit Tyypillinen käytettävyystesti