Yhteenveto tutkimusmenetelmien kehittäminen ja evaluointi Tuomo Kujala Agora Center WUD 2007 Jyväskylä 23.10.2007
Tutkimusyhteistyökumppanit Yhteensä 16 yritystä ja organisaatiota Noin 90 workshop-tapaamista
Käytetyt tutkimusmenetelmät Kysely Lokianalyysi Käytettävyystesti Kenttähavainnointi Haastattelu Pitkäkestoinen yksilöllinen havainnointi Tehtäväanalyysi Heuristinen asiantuntija-arviointi Toimintaorientoitunut mallinnus Ääneenajattelu
Kysely Tuotteen/palvelun arviointi kvantitatiivisilla asteikoilla Käyttäjien taustatietojen ja mielipiteiden kerääminen Käytettiin melkein kaikissa caseissa, erityisesti käytettävyystestien yhteydessä + Taustojen selvittäminen + Muiden menetelmien tuki - Tulosten validiteetti (mielipidekyselyt) - Kyselyn suunnittelun haasteet - Väärät tulkinnat - Vastausten perusteluiden puute (valmiit kentät)
Lokianalyysi Käytettävyysongelmien paikallistaminen Usein käytettyjen toimintojen ja tyypillisten käyttäytymismallien löytäminen Oikopolut Toimintojen ryhmittelyt ja erottelu Käytettiin yhdessä casessa Rekrytointijärjestelmä + Helppous + Validius + Tehottomuuksien löytyminen - Vaatii aikaa ja käytössä olevan tuotteen - Tiedostojen laajuus, harvoin optimoitu rakenne - Mitä haetaan? - Ohjelmointi - Tärkeiden, mutta vähän käytettyjen toimintojen laiminlyönti
Käytettävyystesti Käytettävyysongelmien paikallistaminen tuotteessa/palvelussa Tehtiin yhteensä 13 käytettävyystestiä projektin aikana Kehitettiin testauksen optimointi- sekä analyysimenetelmiä + Nopeus (pienet otokset) + Tulokset korreloivat usein asiantuntija-arvioiden kanssa - Testauksen suunnittelun haasteet (vääristymät) - Testauskonteksti? - Tulosten validius (heikko suunnittelu) - Soveltuu heikosti asiantuntijajärjestelmien testaamiseen
Kenttähavainnointi Käyttäjien tarkkailu luonnollisessa käyttökontekstissa Jokapäiväisen käytön käytettävyysongelmien paikallistaminen Käytettiin kolmessa casessa Asiakaspalvelujärjestelmä Tuotannonhallintajärjestelmä Prosessinohjausjärjestelmä + Tulosten validius (jos hyvin suunniteltu) + Ymmärryksen syntyminen tutkijoille + Tehottomuuksien löytyminen - Työläys - Koetilanne (käyttäjien epäautenttisuus)
Haastattelu Käyttäjien mentaalisten mallien kartoittaminen Haastattelut: Käytettävyystestit Kenttähavainnoinnit Tehtäväanalyysit Pelkältään + Päästään syvemmälle käyttäjien mentaalisiin malleihin + Nopeus (haastateltavien lkm pieni) - Vaatii haastattelutaitoja ja syventymistä - Vaatii haastateltavilta asiantuntijuutta - Tilannekohtaisia mentaalisia malleja ei välttämättä tavoiteta (vääristymät)
Pitkäkestoinen yksilöllinen havainnointi Jokapäiväisen käytön käytettävyysongelmien paikallistaminen Käytettiin yhdessä casessa Mobiilin multimediatietokoneen prototyyppi (1kk päivittäinen käyttö, 3 tutkijaa) + Tulosten validius - Tulosten reliabiliteetti - Vaatii paljon käyttäjiä, aikaa ja käyttövalmiin tuotteen
Tehtäväanalyysi Käyttäjien tavoitteiden, tehtävien ja tarpeiden kartoittaminen Perustuu haastatteluihin ja havainnointeihin Applied Cognitive Task Analysis (ACTA) (Militello & Hutton, 1998) -tekniikan edelleen kehittäminen + Ymmärryksen syntyminen käyttäjien tavoitteista ja tarpeista - Tyypillisesti raskas menetelmä - Väärät tekniikat (tehtävien ja nykyisen järjestelmän vai tavoitteiden kuvaaminen?) - Nopeiden, mutta tehokkaiden ja järjestelmällisten tekniikoiden puute - Tiedon muuntaminen suunnittelua ohjaaviksi vaatimuksiksi
Heuristinen asiantuntija-arviointi Tyypillisten käytettävyysongelmien paikallistaminen tuotteessa/palvelussa Heuristisia arviointeja tehtiin 17 eri tuotteelle projektin aikana + Nopea + Tulosten validius (rajoittein) - Tulosten validius (asiantuntijajärjestelmät) - Silmän syntyminen vaatii harjoittelua
Toimintaorientoitunut mallinnus Käyttäjien mahdollisten aktiviteettien kartoittaminen ja mallintaminen Mobiili multimediatietokone Mahdollisten aktiviteettien yhdistelmien kartoittaminen + Tarjoaa tavan ottaa huomioon tietoteknisen kehityksen uusia haasteita - Työläys ja hitaus - Uutuus (ei hyviksi havaittuja tekniikoita) - Reliabiliteetti?
Ääneenajattelu Käyttäjien mentaalisten mallien kartoittaminen reaaliaikaisesti käyttötilanteessa Käytettävyystestien yhteydessä, kun vapaamuotoiset testitehtävät + Mentaalisten mallien tarkastelu reaaliajassa - Alitajuiset toimintamallit? - Käyttäjien erilaisuus - Saattaa häiritä tehtävien suorittamista (päättely- ym. tehtävät) - Yhteensopimattomuus kvantitatiivisten mittareiden kanssa - Validius ja reliabiliteetti?
Menetelmien vertailu Pisteytys tuotekehitysprojektin näkökulmasta Pisteet perustuvat Käytech-projektin kokemuksille Miten menetelmät toimivat ko. case-tutkimuksissa?
Tulosten arviointi Pisteytys Arvo tuotekehitykselle: Johtavatko tulokset muutoksiin tuotteessa / kehitysprosessissa? Validiteetti: Antoivatko tulokset tietoa todellisista vuorovaikutusongelmista, joihin todelliset käyttäjät törmäävät? Antoivatko tulokset tietoa siitä, miten vuorovaikutus tulisi rakentaa? Reliabiliteetti: Jos tutkimus toistettaisiin tai tehtäisiin suuremmalla otoksella / erilaisella asetelmalla, olisivatko tulokset samat?
Tulosten arviointi Menetelmä Tulokset Arvo tuotekehitykselle Validiteetti Reliabiliteetti Yhteensä Tehtäväanalyysi 9 Heuristinen asiantuntija-arviointi 8 Lokianalyysi 8 Käytettävyystesti 7 Haastattelu 7 Pitkäkestoinen yksilöllinen havainnointi 7 Toimintaorientoitunut mallinnus 7 Kenttähavainnointi Matala (1) 6 Kysely Matala (1) Matala (1) 5 Ääneenajattelu Matala (1) Matala (1) 4
Vaadittavien resurssien arviointi Pisteytys Aika: Vaadittu aika suunnittelusta tuloksiin Työ: Vaadittu työpanos Tutkimuskohteen laajuus Henkilöiden lukumäärä (kohdehenkilöiden tai tutkijoiden) Asiantuntemus (tutkijoiden)
Resurssit Menetelmä Resurssit Aika Työ Henkilöiden lkm Asiantuntemus Yhteensä Heuristinen asiantuntijaarviointi Matala (1) Matala (1) 7 Kysely Matala (1) 8 Käytettävyystesti 8 Kenttähavainnointi 8 Ääneenajattelu 8 Lokianalyysi Matala (1) 9 Haastattelu 9 Pitkäkestoinen yksilöllinen havainnointi Matala (1) 9 Tehtäväanalyysi 9 Toimintaorientoitunut mallinnus Matala (1) 10
Arviointi Menetelmä Heuristinen asiantuntija-arviointi Tehtäväanalyysi Lokianalyysi Käytettävyystesti Haastattelu Pitkäkestoinen yksilöllinen havainnointi Kenttähavainnointi Toimintaorientoitunut mallinnus Kysely Ääneenajattelu Tulokset / resurssit 8 / 7 = 1.14 9 / 9 = 1.00 8 / 9 = 0.89 7 / 8 = 0.88 7 / 9 = 0.78 7 / 9 = 0.78 6 / 8 = 0.75 7 / 10= 0.70 5 / 8 = 0.63 4 / 8 = 0.50
Tuotekehitysprosessi (Ulrich & Eppinger, 2002; ISO/IEC 15288, 2002)
Menetelmien käyttötarkoitus Testaus ja arviointi Käytettävyystesti Heuristinen asiantuntija-arviointi Käyttäjien ja käyttökontekstien ymmärtäminen Tehtäväanalyysi Haastattelu Kenttähavainnointi Toimintaorientoitunut mallinnus Jotakin siltä väliltä Kysely Pitkäkestoinen yksilöllinen havainnointi Ääneenajattelu Lokianalyysi
Yhteenveto menetelmät Taulukkojen pisteet eivät ole absoluuttinen totuus! Kaikkien menetelmien avulla voidaan saada arvokasta tietoa Pitää vain tietää, mitä tietoa tarvitsee ja miten siihen pääsee käsiksi Aikainen lintu madon löytää mutta parempi myöhään kuin ei milloinkaan
Loppukysely Projekti lisäsi tietojani käytettävyydestä Täysin samaa mieltä Samaa mieltä Ei samaa eikä eri mieltä Eri mieltä Täysin eri mieltä EOS
Loppukysely tuloksia (n=6) Projekti lisäsi tietojani käytettävyydestä Käytettävyystieto oli yrityksen kannalta hyödyllistä Pystyn soveltamaan projektin tuomaa käytettävyystietoa työssäni Käytettävyystieto on oleellista yrityksen menestyksen kannalta 2 Täysin samaa mieltä 4 Samaa mieltä Projekti lisäsi mielenkiintoani käytettävyystietoa kohtaan 3 Täysin samaa mieltä 3 Samaa mieltä
Loppukysely tuloksia (n=6) (2) Käytettävyystutkimus kohdistui yrityksen kannalta ajankohtaisiin kysymyksiin 2 Täysin samaa mieltä 3 Samaa mieltä 1 Ei samaa eikä eri mieltä Käytettävyystutkimuksen tulokset olivat luotettavia 1 Täysin samaa mieltä 2 Samaa mieltä 3 Ei samaa eikä eri mieltä Käytettävyystutkimuksen tulokset olivat hyödyllisiä 1 Täysin samaa mieltä 4 Samaa mieltä 1 Ei samaa eikä eri mieltä Käytettävyystutkimuksen tulokset ovat yleistettävissä myös muihin yrityksen tuotteisiin tai palveluihin 3 Täysin samaa mieltä 2 Samaa mieltä 1 Ei samaa eikä eri mieltä Käytettävyystutkimuksen tuloksia voidaan hyödyntää myös tulevaisuudessa 4 Täysin samaa mieltä 2 Samaa mieltä
Loppukysely tuloksia (n=6) (3) Projekti onnistui saavuttamaan asetetut tavoitteet 2 Täysin samaa mieltä 3 Samaa mieltä 1 Ei samaa eikä eri mieltä Yhteistyö yliopiston kanssa sujui hyvin 3 Täysin samaa mieltä 3 Samaa mieltä Yrityksen sitoutuminen projektiin oli korkea 3 Samaa mieltä 1 Ei samaa eikä eri mieltä 1 Eri mieltä Yliopiston sitoutuminen projektiin oli korkea 3 Täysin samaa mieltä 2 Samaa mieltä 1 Ei samaa eikä eri mieltä Projekti ei vaatinut liian suurta työpanosta 2 Täysin samaa mieltä 2 Samaa mieltä 2 Ei samaa eikä eri mieltä
Kiitos tarkkaavaisuudesta! Kysymyksiä?
Seminaari jatkuu huomenna klo 13:00 Lea Pulkkisen salissa Tervetuloa!