Verkkopalvelun käyttökelpoisuus ja arviointi 3. luento 13.9.2005 erikoistutkija Kirsi Silius & tutkija Anne-Maritta Tervakari Hypermedialaboratorio Digitaalisen median instituutti Tampereen teknillinen yliopisto 1 Teemat: Eri tyyppisiä arvioinnin menetelmiä Ohjelmalliset menetelmät Asiantuntijamenetelmiä heuristiikat kognitiivinen läpikäynti eläytymismenetelmät muita menetelmiä Tietoja käyttäjältä menetelmät prototypointi vaikuttavuusevaluointi affektiivinen arviointi empaattinen arviointi käyttötilanteen etnografia surveyt lokikyselyt 2 1
Arviointimenetelmiä Menetelmä (metodi) on menettelytapa, jonka avulla etsitään tietoa tai ratkaistaan käytännön ongelmia joka koostuu tiedon hankinnan ja aineiston analysoinnin tavoista jota ohjaavat säännöt ja normit jonka yhteydessä voidaan käyttää useitakin, erilaisia tiedonhankintatapoja. Menetelmän valintaan vaikuttavat tekijät: mistä ilmiöstä halutaan tietoa millaista tietoa etsitään keneltä ja mistä tietoa etsitään. Valintaan vaikuttaa myös haluttu tarkkuus, käytettävissä olevat resurssit (aika ja osaaminen) ja eettiset seikat. 3 Arviointimenetelmiä Menetelmiä voidaan jaotella usealla eri tavalla Formatiivinen ns. kehittävä arviointi tavoitteena löytää ongelmakohdat sekä poistaa ne. Summatiivinen arviointi, joka on systemaattista ja vertailevaa suhteessa asetettuiihin tavoitteisiin. Toinen jaottelu automaattisesti eli ohjelmallisesti suoritetut arvioinnit esim. erilaiset validointityökalut formaalit menetelmät - mallien ja kaavojen käyttö laadun arvioimiseksi [ei tällä kurssilla] menetelmät, joissa tietoa kootaan todellisilta käyttäjiltä esim. käytettävyyden testaus (usability testing) asiantuntijamenetelmät erilaisten heuristiikkojen, tarkistuslistojen, kriteeristöjen, läpikäyntien yms. asiantuntijoiden käyttämien menetelmien käyttö arvioinnissa esim. käytettävyyden tarkastus (usability inspection) 4 2
Ohjelmalliset menetelmät Vaatimukset toteutuksen tekniselle virheettömyydelle kasvaneet XML:ään perustuvat ratkaisut, CSS:n syntaksin oikellisuus saavutettavuuden (esteettömyyden) ja käytettävyyden asettamat lisävaatimukset Ohjelmallisesti voidaan arvioida myös sisällön rakenteistamista tiettyyn rajaan saakka (onko h1, h2 tai h3 tason otsikoita jne.) tekstin luettavuutta (by parsing text and CSS) multimediaelementtien käyttö (tekstivastineet ja latausajat) kielen oikeellisuus linkkien toimivuus jne. Haasteena semanttinen tulkinta (tarvitaan ihmistä) ei sovellu hankalasti määriteltävien asioiden arvioimiseen kuten esim. imagon, esteettisyyden, kulttuuristen tekijöiden huomioiminen (vrt. Signore 2005) 5 Asiantuntijamenetelmät 1 Hyvä käyttää eri alojen asiantuntijoita Käytetävyys, viestintä sosiaalipsykologia, psykologia, saavutettavuus, tekninen toteutus, visuaalinen suunnittelu ja estetiikka, informaatiotieteet, sisällön asiantuntijat Voidaan käyttää käytettävyyden arvioimisen menetelmiä Heuristinen arviointi, ominaisuuksien katsastus, standardivertailu, tarkastuslistat, läpikäynnit jne. Nojaavat arvioinneissaan yleispätevään malliin ihmisestä Ihmisen psykologiseen ja fysiologisiin ominaispiirteisiin sekä kulttuurissa vallitseviin arvoihin ja tapoihin Viimekädessä ei luotettavaa tietoa käytökontekstissa Asiantuntija voi pyrkiä tekemään valistuneita arvauksia käyttökontekstiin liittyvistä ominaisuuksista Luotettavin tieto todellisilta käyttäjiltä (asiakkaat, palvelun tuottajat jne. 6 3
Asiantuntijamenetelmät 2 Heuristiikat eli kokoelma periaatteita tai nyrkkisääntöjä olemassa useita tunnetuin lienee Ten usability heuristics edellyttää alan asiantuntemusta ei ota kantaa hyödyllisyyteen halpa ja yksinkertainen tapa (esim. Riihiaho 2002) Kognitiivinen läpikäynti tarkoituksena selvittää järjestelmän käytön opetteluun liittyviä asioita miten hyvin järjestelmä tukee käyttäjän päätöksentekoa eli miten se vastaa käyttäjänsä kognitiivisiin tarpeisiin edellyttää perehtymistä kognitiiviseen psykologiaan (ainakin jossakin määrin) raskas ja aikaavievä menetelmä edelleen kehitetty verkkototeutusten arviointiin CWW (Cognitive Walkthrough for the Web) miten tukee käyttäjän navigointia ja tiedonhakua (Blackmon ym. 2002) 7 Asiantuntijamenetelmät 3 Eläytymismenetelmiä - skenaariot skenaarioiden eli tarinoiden käyttö arvioinnissa tarinan avulla luodaan käyttötilanne (toimija, konteksti, tavoitteet jne.) skenaario on aina laajempi kuin pelkkä tehtävä arvioija eläytyy käyttäjän rooliin ja käyttää verkkopalvelua skenaarion mukaisesti tavoitteena kokonaisvaltaisempi kuva käyttäjän kokemuksesta käsitys toimintaprosessin järkevyydestä sekä kognitiivisista ja fyysisistä vaatimuksista tuloksena informaatiota narratiivisessa muodossa tarvitaan usein jatkojalostusta ei välttämättä tuo esiin esteitä tai muodosta kattavaa kuvaa palvelusta (Bohman & Andersson 2004; Lim & Sato 2003) 8 4
Asiantuntijamenetelmät 4 Tarkistuslistat, kriteeristöt, standardivertailut luonteeltaan yksinkertaisia kysymyksiä esim. Tognazzinin First principles ARVO-arviointityökalun arviointilistat W3C:n saavutettavuuden arvioimiseen laaditut listat Mekaanisia, usein helpohkoja käyttää Kertovat ainoastaan missä määrin toteutus vastaa listassa esitettyjä ominaisuuksia. 9 Tietoa käyttäjiltä -menetelmät Havainnointi Laboratoriolosuhteissa Todellisen toiminnan tilanteissa; työpaikoilla, liiketiloissa jne. Videointi, seuranta Tiedon keruu Haastattelu Kyselylomakkeet Päiväkirjat Tiedon keruu jätetyistä jäljistä lokianalyysi Eri toimijoiden näkökulmat huomioitava 10 5
Prototypointi Voidaan käyttää suunnittelun ohella myös prosessin arvioinnissa Arvioidaan toimintaprosesseja, suunniteltuja ratkaisujen toimivuutta Paperiprotot, PowerPoint protot Wizard of Oz Tyypilliset ongelmat: kiinnitetään pinnallisiin yksityiskohtiin huomio, rajoittaa tilaajan ajattelua liikaa, ratkaisuja ei kyseenalaisteta, työnimet jäävät elämään 11 Vaikuttavuusevaluointi Verkkopalvelun vaikutuksen arviointi; Miten palvelu vaikuttaa ympäristöönsä ja mahdollisesti myös käyttäjiin? Mitä varkkopalvelusta seuraa? Arvioidaan verkkopalvelua osana ympäröivää yhteisöä (mitkä ovat vaikutukset yhteisöön, yhteisön vaikutus resursointiin sekä toimintaprosesseihin) Vaikutukset voivat olla odotettuja ilmaantuvia odottamattomia Hyödynnetän usein tuotos-panos mallia Haasteena mittauskohteen valinta 12 6
Moniarvoinen läpikäynti Muistuttaa kognitiivista läpikäyntiä, jonka tekevät käyttäjät Yleensä arvioinnissa on mukana suunnittelijat, asiantuntijat ja käyttäjät (asiakkaat, palvelun tuottajat, ylläpitäjät ym.) Tavoitteena on eri näkökulmia hyödyntäen löytää laadukkuutteen liittyvät tekijöitä 13 Affektiivinen arviointi Asenteiden, tunteiden ja mielialaan liittyvien elementtien vaikutus käyttökokemukseen Tunnetiloilla on todettu olevan merkitystä rationaaliseen toimintaan Negatiiviset tunnetilat vaikuttavat haitallisesti kognitiivisiin prosesseihin: ajattelu ja luovuus kapetuvat Tavoitteena on arvioida mitä verkkopalvelun käyttö merkitsee käyttäjälle hänen omassa kontekstissaan 14 7
Empaattinen arviointi Lähtökohtana on saada esiin hiljaista tietoa Empaattinen ymmärrys on välinen tiedon kokoamiseen käyttäjän kontekstissa Tieto kerätään paikoissa ja tilanteissa, joissa ihmiset luontaisesti käyttävät verkkopalvelua Aineistoa voi kerätä havainnoimalla ja tekemällä tarkentavia kysymyksiä Usein käytetään myös erilaisia apuvälineitä (kertakäyttökamerat, päiväkirjat, inspirointikortit yms.) Etuna nähdään mahdollisuus löytää erilaiset profilointi- tai räätälöintitarpeet 15 Surveykyselyt Tietoa kerätään standardisoidussa muodossa joukolta ihmisiä Lomakekyselyt, strukturoidut haastattelut Haasteena: kysymysten laatiminen, saatujen tietojen yleistettävyys Elektroniset surveyt, hypridisurveyt 16 8
Lokianalyysit Tehdään päätelmiä käyttäjien liikkumisesta mahdollisista mieltymyksistä ladatuista tiedostoista hakutottumuksista sijainnista käytetyistä selaimista sivujen käyttäjämääristä hakuosumista katsotujen sivujen määristä ajasta, joka kuluu kullakin sivulla virheilmoituksista semanttisesta kytköksestä 17 Lähteet Bohman, P. & Andersson, S. Toward User-Centered, Scenario-Based Planning and Evaluation Tools [online]. Logan : WebAIM, 2004 [viitattu 12.9.2005]. Saatavissa www-muodossa: <URL: http://www.webaim.org/techniques/articles/scenarios/> Blackmon, M.H., Polson, P.G., Kitajima, M. & Lewis, C. Cognitive Walkthrough for the Web [online]. Danvers (MA): Association for Computing Machinery, Inc., 2002 [viitattu 9.9.2005]. Proceedings of ACM Conference on Human Factors in Computing Systems (CHI'2002), 463-470. Saatavissa pdf-muodossa: <URL: http://staff.aist.go.jp/kitajima.muneo/english/papers(e)/chi2002.pdf > Lim, Y. & Sato, K. Scenarios for usability evaluation: using design information framework and a task analysis approach [online]. Institute of Design. Illinois Institute of Technology, 2003 [viitattu 12.9.2005]. Proceedings of the International Congress of Ergonomic Associations 2003. Saa-tavissa pdf-muodossa: <URL: http://www.id.iit.edu/papers/lim_sato_iea.pdf > 18 9
Lähteet Riihiaho, S. Käytettävyyden arviointi ilman käyttäjiä [online]. helsinki: Teknillinen korkeakoulu, 1996, päivitetty 30.11.2004, [viitattu 12.9.2005]. Teoksessa: Nieminen, M. ym. 1996. Käytettävyysopas. Työraportti 8, USABILITY 2 -hanke. Teknillinen korkeakoulu ja KONE Elevators. Saatavissa pdf-muodossa: <URL: http://www.soberit.hut.fi/t- 121/T-121.600/asiantuntija-arviot.pdf> Signore, O. Towards a Quality Model for Web Sites [online]. Varsova: CMG Poland, 2005 [viitattu 4.9.2005]. "First CMG Poland Conference" on 9-10 May 2005, in Warsaw, Poland. Saatavissa pdf-muodossa: <URL: http://www.w3c.it/papers/cmg2005poland-quality.pdf >. 19 10