Käytettävyyden testaus Hannu Kuoppala kuoppa@cs.hut.fi
Sisältö Käytettävyyden arviointitapoja Käytettävyyden mittaus käytettävyyden määritelmä Testaussuunnitelma käytettävyyskriteerit Tyypillinen käytettävyystesti Ryhmäläpikäynti Yhteenveto
Käytettävyyden arviointi (usability evaluation) Käyttäjätestit (user testing) käytettävyystesti ryhmäläpikäynti tarkkailu kentällä järjestelmään upotetut kyselylomakkeet Työtehtäviin liittyvät ongelmat Asiantuntija-arviot (usability inspections) heuristinen arvio standardikatselmus kognitiivinen läpikäynti Yleisiä käytettävyysongelmia
Käytettävyyden määritelmä Kansainvälinen standardi ISO 9241-11: "Laajuus, jolla tietyt käyttäjät pystyvät käyttämään tuotetta tietyssä käyttötilanteessa saavuttaakseen tietyt tavoitteet tehokkaasti, tuottavasti ja tyytyväisyyttä tuottaen" "The extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use"
Määritelmiä Tehokkuus: tarkkuus ja täydellisyys, jolla käyttäjät saavuttavat tietyt tavoitteet Tuottavuus: käytetyt resurssit suhteessa tehokkuuteen Tyytyväisyys: epämukavuuden välttäminen ja positiivinen suhtautuminen tuotteen käyttöön Käyttötilanne: käyttäjät, tavoitteet, tehtävät, laitteet sekä fyysinen ja sosiaalinen käyttöympäristö
Pohdintavaa pienryhmissä Mitkä asiat pitää määritellä käytettävyyttä arvioidessa? Esim. mikroaaltouuni User Goals Task Environment Equipment Effectiveness Context of use Efficiency Satisfaction Product Usability measures
Määriteltävä arviointia varten Tuote: mikä osa Mittarit Käyttäjät: mikä tai mitkä käyttäjäryhmät Käyttötilanne: skenaario käyttäjän tavoitteet ja näihin liittyvät tehtävät laitteisto (käyttöohjeet) käyttöympäristö
Rajaus, kriteerit ja mittarit Rajattava tavoitteet, jotta kunnollisia tuloksia Kriteerit ja mittarit ISO 9241-11: tehokkuus tuottavuus tyytyväisyys Jakob Nielsen: opittavuus muistettavuus tehokkuus virheiden vähyys tyytyväisyys Muita navigoitavuus intuitiivisuus...
Käytettävyystekijä Mittaustapa Mittari Nykyinen taso Alin hyväksyttävä taso Tavoitetaso Paras saavutettava taso Asennuksen helppous Asetusten opittavuus Asennustehtävä Herätysajan asetus Ilman käyttöohjetta onnistuneiden asennusten osuus Suoritusajan muutos: 3. vs. 1. kerta < 50% 50% 80% 95% Lyhenee 10% Lyhenee 20% Lyhenee 30% Lyhenee 50% Toimintojen näkyvyys ja löytyvyys Nauhoituksen ohjelmointitehtävä Virheettömyys Tiedon syöttö tietokantaan Kuinka moni löytää toiminnon ilman käyttöohjetta Virheellisten tai puutteellisten tietojen lähetysmäärä (% kaikista lähetyksistä) 10% 30% 80% 100% 30% 20% 10% 2%
Tehtävä pienryhmissä Valitkaa rajaus kännykän testaukseen tutkimuksen tavoitteet tutkittava osuus kännykästä tutkittavat kriteerit ajatuksia mittareista - - - - - - - - - - - - - - - - - arviointimenetelmät käyttäjäryhmä käyttötilanne, skenaario testitehtävät
Menetelmien valinta Yleensä tarvitaan yhdistelmä eri menetelmiä Opittavuus: testaus, kognitiivinen läpik., käyttölogi, heuristinen arvio Muistettavuus: testaus, kysely, heuristinen arvio Tehokkuus: testaus, käyttölogit, tarkkailu Virheettömyys: testaus, käyttölogi, tarkkailu, heuristinen arvio Miellyttävyys: testaus, kysely, haastattelu
Skenaariot Määrittelee käyttötilanteen Antaa käyttäjälle roolin, johon eläytyä Mielellään yksi skenaario testin alussa sitomaan tehtäviä yhteen ja tarvittaessa tehtäväkohtaisia tarkennuksia "Kodinkoneliikkeen pojat ovat juuri tuoneet kotiisi uuden videonauhurin. Pojat purkivat paketin ja laittoivat antennijohdon paikoilleen ennen lähtöä. Olet yksin kotona ja haluaisit saada myöhemmin illalla tulevan elokuvan nauhalle."
Testitehtävät Annetaan käyttäjälle tavoite eikä vaadittuja osatehtäviä Käyttäjän kieltä Yksi tehtävä kerrallaan Alkuun helppo tehtävä Aika-arviot: kauanko kestää ja koska autetaan? Mitkä tehtävät voi tarvittaessa jättää väliin?
Tyypillinen käytettävyystesti Kontrolloitu testitilanne Toimiva prototyyppi Yksi käyttäjä kerrallaan Ohjaaja tukena Ennalta laaditut tehtävät yksi kerrallaan Ääneenajattelu Kysely ja haastattelu
Ryhmäläpikäynti Käyttäjät ja suunnittelijat ryhmänä käytettävyysasiantuntija vetää Käyttöliittymän paperiversio Kukin suorittaa tehtäviä ensin omin voimin ei ääneenajattelua Arvokasta keskustelua ja välitöntä palautetta Koeta löytää kirja Jakob Nielsen: Usability Engineering tämän wwwlomakkeen avulla: Hakulomake Yleistä Ohjeita Boolen lomake Kirjaston tietokantojen FAQ Hakutapa Tekijähaku (a/) 1. Jätän tämän kentän koskematta Hakusana Nielsen 2. Kirjoitan tähän kirjoittajan nimen Aloita haku Tyhjennä lomake 3. Painan hakunappia Hakutapa-kentän valintalista: Tekijähaku (a/) Nimekehaku (t/) UDK-haku (z/) Indeksin selaus (l/) Sanahaku (w/) Asiasanahaku (s/)
Arvionnin tulos Kuvaus havaituista ongelmista Ongelmien jäsentely Ryhmän sisällä vakavimmat ongelmat ensin Vakavuutta voidaan arvioida 3-5 tason asteikoilla Tasot määriteltävä
Vakavuuden arviointi Kattavuus: paikallinen vai yleinen? Vakavuus kuinka usein ongelma esiintyy? millainen vaikutus ongelmalla on? oppiiko ongelman kerralla? Esim. 4 tason asteikko vaikutuksen osalta: taso 4: estää tehtävän suorituksen taso 3: aiheuttaa selvää viivettä ja turhautumista taso 2: vaikuttaa hieman käytettävyyteen taso 1: viitteitä jatkokehityshankkeisiin
Yhteenveto: testaus Testisuunnitelma tavoitteet käytettävyyskriteerit ja mittarit menetelmät käyttäjät tehtävät Testi-istunnot Analysointi ja raportointi Mahdollisesti parannusehdotukset