KŠyttŠjŠtestaus Sirpa Riihiaho KŠytettŠvyysryhmŠ Teknillinen korkeakoulu 1
l Miksi testataan? SisŠltš l KŠytettŠvyyden arviointitapoja l KŠytettŠvyyden mittaus kšytettšvyyden mššritelmš testaussuunnitelma kšytettšvyyskriteerit l Tyypillinen kšytettšvyystesti muunnelmia ryhmšlšpikšynti l Yhteenveto 2
Miksi arvioida? l PystyvŠtkš kšyttšjšt suoriutumaan tyštehtšvistššn jšrjestelmšn avulla? l Onko kšytettšvyystavoitteet saavutettu? l Miten tuote sijoittuu kilpailijoihinsa nšhden? l Uusien ideoiden etsintš uusiin versioihin l KŠyttššn liittyvien ongelmien selvitys l KŠyttŠjien koulutustarpeen kartoitus l KŠyttšliittymŠsuunnittelijoiden koulutus (J. Karat 1997) 3
KŠytettŠvyyden arviointi (Usability evaluation) l kšyttšjštestaus (user testing) kšytettšvyystesti (usability test) ryhmšlšpikšynti (pluralistic usability walkthrough) havainnointi (observation) haastattelu ja kysely (interview & questionnaire) l asiantuntija-arviot (usability inspections) heuristinen arviointi (heuristic evaluation) standardikatselmukset (standard reviews) kognitiivinen lšpikšynti (cognitive walkthrough) 4
KŠytettŠvyyden mššritelmš l KansainvŠlinen standardi ISO 9241-11: "Laajuus, jolla tietyt kšyttšjšt pystyvšt kšyttšmššn tuotetta tietyssš kšyttštilanteessa saavuttaakseen tietyt tavoitteet tuloksellisesti, tehokkaasti ja tyytyvšisyyttš tuottaen" l "The extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use" 5
MŠŠritelmiŠ... l Tuloksellisuus: tarkkuus ja tšydellisyys, jolla kšyttšjšt saavuttavat tavoitteet l Tehokkuus: tulokset suhteessa kšytettyihin resursseihin l TyytyvŠisyys: epšmukavuuden všlttšminen ja positiivinen asenne tuotteen kšyttššn l KŠyttštilanne: kšyttšjšt, tavoitteet, tehtšvšt, laitteet sekš fyysinen ja sosiaalinen kšyttšympšristš 6
Arvioinnin rajausta l MitkŠ asiat pitšš mššritellš kšytettšvyyttš arvioidessa jo mššritelmšn mukaan? Esim. kšnnykkš Käyttäjä Tehtävä Ympäristö Tavoitteet Laitteisto Tuloksellisuus Käyttökonteksti Tehokkuus Tyytyväisyys Tuote Käytettävyysmittarit 7
KŠytettŠvyysominaisuuksia l MitŠ ja miksi testataan: tavoitteet? l Tutkittavat ominaisuudet ja mittarit l ISO 9241-11: tuloksellisuus tehokkuus tyytyvšisyys l Jakob Nielsen: opittavuus muistettavuus tehokkuus virheiden všhyys tyytyvšisyys l Muita navigoitavuus joustavuus... 8
KŠytettŠvyystekijŠ Mittaustapa Mittari Nykyinen taso Alin hyvšksyttšvš taso Tavoitetaso Paras saavutettava taso Asennuksen helppous Asetusten opittavuus AsennustehtŠvŠ HerŠtysajan asetus Ilman kšyttšohjetta onnistuneiden asennusten osuus Suoritusajan muutos: 3. vs. 1. kerta < 50% 50% 80% 95% Lyhenee 10% Lyhenee 20% Lyhenee 30% Lyhenee 50% Toimintojen nškyvyys ja lšytyvyys Virheettšmyys Nauhoituksen ohjelmointitehtšvš Tiedon syšttš tietokantaan Kuinka moni lšytšš toiminnon ilman kšyttšohjetta Virheellisten tai puutteellisten tietojen lšhetysmššrš (% kaikista lšhetyksistš) 10% 30% 80% 100% 30% 20% 10% 2% 9
Menetelmien valintaperusteet l suositeltavaa valita useampi menetelmš l arvioinnin tavoite hyvšksyntš, vertailu, uuden idean arviointi l eri kšytettšvyystekijšiden painotus opittavuus, muistettavuus, tehokkuus, virheettšmyys, miellyttšvyys l kšytšssš olevat resurssit arvioijien kokemus, kšyttšjšt, aika, raha, jšrjestelmšn toteutustaso 10
Sopivia menetelmiš (esim.) l opittavuus: testaus, kognitiivinen lšpikšynti, kšyttšloki, heuristinen arvio, GOMS l muistettavuus: testaus, kysely, heuristinen arvio l tehokkuus: testaus, kšyttšloki, tarkkailu, GOMS l virheettšmyys: testaus, kšyttšloi, tarkkailu, heuristinen arvio l miellyttšvyys: testaus, kysely, haastattelu 11
Tyypillinen kšytettšvyystesti l Hallittu testitilanne l Toimiva prototyyppi l Yksi kšyttšjš kerrallaan l Ohjaaja tukena l Ennalta laaditut tehtšvšt yksi kerrallaan l Šneenajattelu l Kysely ja haastattelu 12
Testauksen muunnelmia Hallittu testitilanne Ennalta laaditut tehtšvšt Šneenajattelu Yksi kšyttšjš kerrallaan Toimiva prototyyppi Paritestaus RyhmŠlŠpikŠynti Vapaa lšpikšynti Tilannesidonnainen lšpikšynti 13
RyhmŠlŠpikŠynti l KŠyttŠjŠt ja suunnittelijat ryhmšnš kšytettšvyysasiantuntija vetšš l KŠyttšliittymŠn paperiversio l Kukin suorittaa tehtšviš ensin omin voimin ei ŠŠneenajattelua l Arvokasta keskustelua ja všlitšntš palautetta Koeta lšytšš kirja Jakob Nielsen: Usability Engineering tšmšn wwwlomakkeen avulla: Hakulomake Yleistä Ohjeita Boolen lomake Kirjaston tietokantojen FAQ Hakutapa Tekijähaku (a/) Hakusana Nielsen Aloita haku Tyhjennä lomake Hakutapa-kentŠn valintalista: 1. JŠtŠn tšmšn kentšn koskematta 2. Kirjoitan tšhšn kirjoittajan nimen 3. Painan hakunappia Tekijähaku (a/) Nimekehaku (t/) UDK-haku (z/) Indeksin selaus (l/) Sanahaku (w/) Asiasanahaku (s/) 14
Pohdintaa pienryhmissš: l Uuden kamerakšnnykšn kšytettšvyyden arviointi pšštavoite: vertailu kilpailijoihin arvioinnin painotus: kuvan otto ja liittšminen viestiin -------------------------- tutkittavat kšytettšvyysominaisuudet? Ð hahmotelmia mittareista arviointimenetelmšt Ð kšytettšvyystesti ja/tai jotain muuta? kšyttšjšryhmš(t) -------------------------- kšyttšympšristš kšyttštilanne ja skenaario testitehtšvšt 15
Skenaariot l MŠŠrittelee kšyttštilanteen l Antaa kšyttšjšlle roolin, johon elšytyš l MielellŠŠn yksi skenaario testin alussa sitomaan tehtšviš yhteen ja tarvittaessa tehtšvškohtaisia tarkennuksia l "Kodinkoneliikkeen pojat ovat juuri tuoneet kotiisi uuden videonauhurin. Pojat purkivat paketin ja laittoivat antennijohdon paikoilleen ennen lšhtšš. Olet yksin kotona ja haluaisit saada myšhššn yšllš tulevan elokuvan nauhalle." 16
TestitehtŠvŠt l Annetaan kšyttšjšlle tavoite eikš vaadittuja osatehtšviš l KŠyttŠjŠn kieltš l Yksi tehtšvš kerrallaan l Alkuun helppo tehtšvš l Aika-arviot: kauanko kestšš ja koska autetaan? l MitkŠ tehtšvšt voi tarvittaessa jšttšš všliin? 17
Pohdintaa pienryhmissš, osa 2: l Uuden kamerakšnnykšn kšytettšvyyden arviointi pšštavoite: vertailu kilpailijoihin arvioinnin painotus: kuvan otto ja liittšminen viestiin tutkittavat kšytettšvyysominaisuudet ja -mittarit arviointimenetelmšt: asiantuntija-arvio ja kšytettšvyystesti kšyttšjšryhmš(t) ------------------------------- kšyttšympšristš? kšyttštilanne ja skenaario? testitehtšvšt (1. ja 2.)? 18
Arvioinnin tulos l Kuvaus havaituista ongelmista l Ongelmien jšsentely l RyhmŠn sisšllš vakavimmat ongelmat ensin l Vakavuutta voidaan arvioida 3-5 tason asteikoilla l Tasot mššriteltšvš 19
Vakavuuden arviointi l Kattavuus: paikallinen vai yleinen? l Vakavuus kuinka usein ongelma esiintyy? millainen vaikutus ongelmalla on? oppiiko ongelman kerralla? l Esim. 4 tason asteikko vaikutuksen osalta: taso 4: estšš tehtšvšn suorituksen taso 3: aiheuttaa selvšš viivettš ja turhautumista taso 2: vaikuttaa hieman kšytettšvyyteen taso 1: viitteitš jatkokehityshankkeisiin 20
Yhteenveto: testaus l l l Useita pieniš arviointeja yhden massiivisen sijaan MenetelmŠt muokattavissa tilanteen mukaan Prosessi: Testisuunnitelma Ð tavoitteet, tutkittavat kšytettšvyysominaisuudet ja mittarit Ð menetelmšt Ð kšyttšjšt Ð kšyttštilanne Ð tehtšvšt Testi-istunnot Analysointi ja raportointi Mahdollisesti parannusehdotukset 21