Yhteenveto tutkimusmenetelmien kehittäminen ja evaluointi. Tuomo Kujala Agora Center WUD 2007 Jyväskylä

Koko: px

Aloita esitys sivulta:

Download "Yhteenveto tutkimusmenetelmien kehittäminen ja evaluointi. Tuomo Kujala Agora Center WUD 2007 Jyväskylä"

Jari Ketonen
7 vuotta sitten
Katselukertoja:

1 Yhteenveto tutkimusmenetelmien kehittäminen ja evaluointi Tuomo Kujala Agora Center WUD 2007 Jyväskylä

2 Tutkimusyhteistyökumppanit Yhteensä 16 yritystä ja organisaatiota Noin 90 workshop-tapaamista

3 Käytetyt tutkimusmenetelmät Kysely Lokianalyysi Käytettävyystesti Kenttähavainnointi Haastattelu Pitkäkestoinen yksilöllinen havainnointi Tehtäväanalyysi Heuristinen asiantuntija-arviointi Toimintaorientoitunut mallinnus Ääneenajattelu

4 Kysely Tuotteen/palvelun arviointi kvantitatiivisilla asteikoilla Käyttäjien taustatietojen ja mielipiteiden kerääminen Käytettiin melkein kaikissa caseissa, erityisesti käytettävyystestien yhteydessä + Taustojen selvittäminen + Muiden menetelmien tuki - Tulosten validiteetti (mielipidekyselyt) - Kyselyn suunnittelun haasteet - Väärät tulkinnat - Vastausten perusteluiden puute (valmiit kentät)

5 Lokianalyysi Käytettävyysongelmien paikallistaminen Usein käytettyjen toimintojen ja tyypillisten käyttäytymismallien löytäminen Oikopolut Toimintojen ryhmittelyt ja erottelu Käytettiin yhdessä casessa Rekrytointijärjestelmä + Helppous + Validius + Tehottomuuksien löytyminen - Vaatii aikaa ja käytössä olevan tuotteen - Tiedostojen laajuus, harvoin optimoitu rakenne - Mitä haetaan? - Ohjelmointi - Tärkeiden, mutta vähän käytettyjen toimintojen laiminlyönti

6 Käytettävyystesti Käytettävyysongelmien paikallistaminen tuotteessa/palvelussa Tehtiin yhteensä 13 käytettävyystestiä projektin aikana Kehitettiin testauksen optimointi- sekä analyysimenetelmiä + Nopeus (pienet otokset) + Tulokset korreloivat usein asiantuntija-arvioiden kanssa - Testauksen suunnittelun haasteet (vääristymät) - Testauskonteksti? - Tulosten validius (heikko suunnittelu) - Soveltuu heikosti asiantuntijajärjestelmien testaamiseen

7 Kenttähavainnointi Käyttäjien tarkkailu luonnollisessa käyttökontekstissa Jokapäiväisen käytön käytettävyysongelmien paikallistaminen Käytettiin kolmessa casessa Asiakaspalvelujärjestelmä Tuotannonhallintajärjestelmä Prosessinohjausjärjestelmä + Tulosten validius (jos hyvin suunniteltu) + Ymmärryksen syntyminen tutkijoille + Tehottomuuksien löytyminen - Työläys - Koetilanne (käyttäjien epäautenttisuus)

8 Haastattelu Käyttäjien mentaalisten mallien kartoittaminen Haastattelut: Käytettävyystestit Kenttähavainnoinnit Tehtäväanalyysit Pelkältään + Päästään syvemmälle käyttäjien mentaalisiin malleihin + Nopeus (haastateltavien lkm pieni) - Vaatii haastattelutaitoja ja syventymistä - Vaatii haastateltavilta asiantuntijuutta - Tilannekohtaisia mentaalisia malleja ei välttämättä tavoiteta (vääristymät)

9 Pitkäkestoinen yksilöllinen havainnointi Jokapäiväisen käytön käytettävyysongelmien paikallistaminen Käytettiin yhdessä casessa Mobiilin multimediatietokoneen prototyyppi (1kk päivittäinen käyttö, 3 tutkijaa) + Tulosten validius - Tulosten reliabiliteetti - Vaatii paljon käyttäjiä, aikaa ja käyttövalmiin tuotteen

10 Tehtäväanalyysi Käyttäjien tavoitteiden, tehtävien ja tarpeiden kartoittaminen Perustuu haastatteluihin ja havainnointeihin Applied Cognitive Task Analysis (ACTA) (Militello & Hutton, 1998) -tekniikan edelleen kehittäminen + Ymmärryksen syntyminen käyttäjien tavoitteista ja tarpeista - Tyypillisesti raskas menetelmä - Väärät tekniikat (tehtävien ja nykyisen järjestelmän vai tavoitteiden kuvaaminen?) - Nopeiden, mutta tehokkaiden ja järjestelmällisten tekniikoiden puute - Tiedon muuntaminen suunnittelua ohjaaviksi vaatimuksiksi

11 Heuristinen asiantuntija-arviointi Tyypillisten käytettävyysongelmien paikallistaminen tuotteessa/palvelussa Heuristisia arviointeja tehtiin 17 eri tuotteelle projektin aikana + Nopea + Tulosten validius (rajoittein) - Tulosten validius (asiantuntijajärjestelmät) - Silmän syntyminen vaatii harjoittelua

12 Toimintaorientoitunut mallinnus Käyttäjien mahdollisten aktiviteettien kartoittaminen ja mallintaminen Mobiili multimediatietokone Mahdollisten aktiviteettien yhdistelmien kartoittaminen + Tarjoaa tavan ottaa huomioon tietoteknisen kehityksen uusia haasteita - Työläys ja hitaus - Uutuus (ei hyviksi havaittuja tekniikoita) - Reliabiliteetti?

13 Ääneenajattelu Käyttäjien mentaalisten mallien kartoittaminen reaaliaikaisesti käyttötilanteessa Käytettävyystestien yhteydessä, kun vapaamuotoiset testitehtävät + Mentaalisten mallien tarkastelu reaaliajassa - Alitajuiset toimintamallit? - Käyttäjien erilaisuus - Saattaa häiritä tehtävien suorittamista (päättely- ym. tehtävät) - Yhteensopimattomuus kvantitatiivisten mittareiden kanssa - Validius ja reliabiliteetti?

14 Menetelmien vertailu Pisteytys tuotekehitysprojektin näkökulmasta Pisteet perustuvat Käytech-projektin kokemuksille Miten menetelmät toimivat ko. case-tutkimuksissa?

15 Tulosten arviointi Pisteytys Arvo tuotekehitykselle: Johtavatko tulokset muutoksiin tuotteessa / kehitysprosessissa? Validiteetti: Antoivatko tulokset tietoa todellisista vuorovaikutusongelmista, joihin todelliset käyttäjät törmäävät? Antoivatko tulokset tietoa siitä, miten vuorovaikutus tulisi rakentaa? Reliabiliteetti: Jos tutkimus toistettaisiin tai tehtäisiin suuremmalla otoksella / erilaisella asetelmalla, olisivatko tulokset samat?

16 Tulosten arviointi Menetelmä Tulokset Arvo tuotekehitykselle Validiteetti Reliabiliteetti Yhteensä Tehtäväanalyysi 9 Heuristinen asiantuntija-arviointi 8 Lokianalyysi 8 Käytettävyystesti 7 Haastattelu 7 Pitkäkestoinen yksilöllinen havainnointi 7 Toimintaorientoitunut mallinnus 7 Kenttähavainnointi Matala (1) 6 Kysely Matala (1) Matala (1) 5 Ääneenajattelu Matala (1) Matala (1) 4

17 Vaadittavien resurssien arviointi Pisteytys Aika: Vaadittu aika suunnittelusta tuloksiin Työ: Vaadittu työpanos Tutkimuskohteen laajuus Henkilöiden lukumäärä (kohdehenkilöiden tai tutkijoiden) Asiantuntemus (tutkijoiden)

18 Resurssit Menetelmä Resurssit Aika Työ Henkilöiden lkm Asiantuntemus Yhteensä Heuristinen asiantuntijaarviointi Matala (1) Matala (1) 7 Kysely Matala (1) 8 Käytettävyystesti 8 Kenttähavainnointi 8 Ääneenajattelu 8 Lokianalyysi Matala (1) 9 Haastattelu 9 Pitkäkestoinen yksilöllinen havainnointi Matala (1) 9 Tehtäväanalyysi 9 Toimintaorientoitunut mallinnus Matala (1) 10

19 Arviointi Menetelmä Heuristinen asiantuntija-arviointi Tehtäväanalyysi Lokianalyysi Käytettävyystesti Haastattelu Pitkäkestoinen yksilöllinen havainnointi Kenttähavainnointi Toimintaorientoitunut mallinnus Kysely Ääneenajattelu Tulokset / resurssit 8 / 7 = / 9 = / 9 = / 8 = / 9 = / 9 = / 8 = / 10= / 8 = / 8 = 0.50

20 Tuotekehitysprosessi (Ulrich & Eppinger, 2002; ISO/IEC 15288, 2002)

21 Menetelmien käyttötarkoitus Testaus ja arviointi Käytettävyystesti Heuristinen asiantuntija-arviointi Käyttäjien ja käyttökontekstien ymmärtäminen Tehtäväanalyysi Haastattelu Kenttähavainnointi Toimintaorientoitunut mallinnus Jotakin siltä väliltä Kysely Pitkäkestoinen yksilöllinen havainnointi Ääneenajattelu Lokianalyysi

22 Yhteenveto menetelmät Taulukkojen pisteet eivät ole absoluuttinen totuus! Kaikkien menetelmien avulla voidaan saada arvokasta tietoa Pitää vain tietää, mitä tietoa tarvitsee ja miten siihen pääsee käsiksi Aikainen lintu madon löytää mutta parempi myöhään kuin ei milloinkaan

23 Loppukysely Projekti lisäsi tietojani käytettävyydestä Täysin samaa mieltä Samaa mieltä Ei samaa eikä eri mieltä Eri mieltä Täysin eri mieltä EOS

24 Loppukysely tuloksia (n=6) Projekti lisäsi tietojani käytettävyydestä Käytettävyystieto oli yrityksen kannalta hyödyllistä Pystyn soveltamaan projektin tuomaa käytettävyystietoa työssäni Käytettävyystieto on oleellista yrityksen menestyksen kannalta 2 Täysin samaa mieltä 4 Samaa mieltä Projekti lisäsi mielenkiintoani käytettävyystietoa kohtaan 3 Täysin samaa mieltä 3 Samaa mieltä

25 Loppukysely tuloksia (n=6) (2) Käytettävyystutkimus kohdistui yrityksen kannalta ajankohtaisiin kysymyksiin 2 Täysin samaa mieltä 3 Samaa mieltä 1 Ei samaa eikä eri mieltä Käytettävyystutkimuksen tulokset olivat luotettavia 1 Täysin samaa mieltä 2 Samaa mieltä 3 Ei samaa eikä eri mieltä Käytettävyystutkimuksen tulokset olivat hyödyllisiä 1 Täysin samaa mieltä 4 Samaa mieltä 1 Ei samaa eikä eri mieltä Käytettävyystutkimuksen tulokset ovat yleistettävissä myös muihin yrityksen tuotteisiin tai palveluihin 3 Täysin samaa mieltä 2 Samaa mieltä 1 Ei samaa eikä eri mieltä Käytettävyystutkimuksen tuloksia voidaan hyödyntää myös tulevaisuudessa 4 Täysin samaa mieltä 2 Samaa mieltä

26 Loppukysely tuloksia (n=6) (3) Projekti onnistui saavuttamaan asetetut tavoitteet 2 Täysin samaa mieltä 3 Samaa mieltä 1 Ei samaa eikä eri mieltä Yhteistyö yliopiston kanssa sujui hyvin 3 Täysin samaa mieltä 3 Samaa mieltä Yrityksen sitoutuminen projektiin oli korkea 3 Samaa mieltä 1 Ei samaa eikä eri mieltä 1 Eri mieltä Yliopiston sitoutuminen projektiin oli korkea 3 Täysin samaa mieltä 2 Samaa mieltä 1 Ei samaa eikä eri mieltä Projekti ei vaatinut liian suurta työpanosta 2 Täysin samaa mieltä 2 Samaa mieltä 2 Ei samaa eikä eri mieltä

27 Kiitos tarkkaavaisuudesta! Kysymyksiä?

28 Seminaari jatkuu huomenna klo 13:00 Lea Pulkkisen salissa Tervetuloa!

Samankaltaiset tiedostot

Käytettävyyden testaus

Käytettävyyden testaus Hannu Kuoppala kuoppa@cs.hut.fi Sisältö Käytettävyyden arviointitapoja Käytettävyyden mittaus käytettävyyden määritelmä Testaussuunnitelma käytettävyyskriteerit Tyypillinen käytettävyystesti