Verkkopalvelun käyttökelpoisuus ja arviointi 3. luento 10.9.2007 erikoistutkija Kirsi Silius & tutkija Anne-Maritta Tervakari Hypermedialaboratorio Digitaalisen median instituutti Tampereen teknillinen yliopisto Hypermedialaboratorio 1
Arviointimalleja viikkoharjoituksissa mainittua 2QCV3Q-malli Sisältää osa-alueita, joihin ei välttämättä huomaa muuten kiinnittää arvioinnissa huomiota Huomioi eri toimijaryhmät: käyttäjät, palvelun tuottajat, suunnittelijat ja kehittäjät Tukee systemaattista ja nopeaa lähestymistapaa Kattava, vaikea keksiä puuttuvia alueita Esim. Services-osio sisältää alueita, joita ei muissa malleissa mainittu Jotkin osa-alueet laajoja esim. identity edellyttää arvioijalta osaamista Osa-alueet eritasoisia (konkreettiset ja yksiselitteiset vs. abstraktit ja moniulotteiset) Arvioijien mielipide-erot voivat heikentää arviointitulosta (esim. graafisen ulkoasun esteettisyys) Käyttö informaationvälityspalveluiden (esim. Google Maps) arvioinnissa haasteellista Feasbility hankala arvioida, tarvitaan tietoa palvelun tuottajalta Usability vaikea arvioida miten huomioidaan erityisryhmät Mallin nimi vaikeaselkoinen ja vaikea muistaa Toisaalta kompakti muistisääntöä muistuttava Hypermedialaboratorio 2
Arviointimalleja viikkoharjoituksissa mainittua Quality Models for Web Sites Kohtuullisen kattava, looginen malli Esim. osa-alueet: esitystapa, ensivaikutelma, vuorovaikutus Mainittuja puutteita Painottaa ehkä liikaakin teknistä ulottuvuutta Saavutettavuus ja käyttäjien välisen vuorovaikutuksen tuen arvioiminen vähäisemmässä roolissa Ei huomioi verkkopalvelun käyttötarkoitukseen soveltuvuuden (asiointiprosessien), lisäarvojen tai tietoturvakysymyksien arvioimista Ei huomioi muita toimijoita kuin käyttäjät Keskittyy verkkopalvelun ns. virtuaaliseen tasoon Joidenkin kriteerien merkitys epäselvä esim. lauseiden pituus (vs. sisällön laadukkuus sinänsä) Osa-alue additional considerations sisältää ominaisuuksia, joiden arvioimista ei voida automatisoida edellyttää syvällisempää analyysia Hypermedialaboratorio 3
Arviointimalleja viikkoharjoituksissa mainittua Laatua verkkoon kriteeristö Malli varsin yksityiskohtainen Arviointi edellyttää osaamista Tarvitaan tietoa palvelun tuottajalta Ei huomioi palvelun ns. fyysistä tasoa ARVO-työkalu Arvioinnin tekeminen helppoa Osa-alueet tulee arvioitua tarkasti Vaatii aikaa (laaja) Puuttuu joitakin osa-alueita kuten esim. vuorovaikutus Nielsenin heuristiikka Kattaa vain käytettävyyden, arviointiin tarvitaan myös muita välineitä Sisältää asioita, jotka helposti jäävät arvioijalta huomiotta Ohjelmalliset menetelmät Kattaa vain suppean alueen, arviointiin tarvitaan myös muita välineitä Helppo, nopea toteuttaa Tärkeä osa-alue varsin hyödyllinen verkkopalvelun toteutusvaiheessa Hypermedialaboratorio 4
Teemat: Eri tyyppisiä arvioinnin menetelmiä Ohjelmalliset menetelmät Asiantuntijamenetelmiä heuristiikat kognitiivinen läpikäynti eläytymismenetelmät muita menetelmiä Tietoja käyttäjältä menetelmät prototyyppien käyttö vaikuttavuusevaluointi affektiivinen arviointi empaattinen arviointi käyttötilanteen etnografia surveyt lokianalyysi Hypermedialaboratorio 5
Arviointimenetelmiä Menetelmä (metodi) on menettelytapa, jonka avulla etsitään tietoa tai ratkaistaan käytännön ongelmia joka koostuu tiedon hankinnan ja aineiston analysoinnin tavoista jota ohjaavat säännöt ja normit jonka yhteydessä voidaan käyttää useitakin, erilaisia tiedonhankintatapoja. Menetelmän valintaan vaikuttavat tekijät: mistä ilmiöstä halutaan tietoa millaista tietoa etsitään keneltä ja mistä tietoa etsitään. Valintaan vaikuttaa myös haluttu tarkkuus, käytettävissä olevat resurssit (aika ja osaaminen) ja eettiset seikat. Hypermedialaboratorio 6
Arviointimenetelmiä Menetelmiä voidaan jaotella usealla eri tavalla Formatiivinen ns. kehittävä arviointi tavoitteena löytää ongelmakohdat sekä poistaa ne. Summatiivinen arviointi, joka on systemaattista ja vertailevaa suhteessa asetettuihin tavoitteisiin. Toinen jaottelu automaattisesti eli ohjelmallisesti suoritetut arvioinnit esim. erilaiset validointityökalut formaalit menetelmät - mallien ja kaavojen käyttö laadun arvioimiseksi [ei tällä kurssilla] menetelmät, joissa tietoa kootaan todellisilta käyttäjiltä esim. käytettävyyden testaus (usability testing) asiantuntijamenetelmät erilaisten heuristiikkojen, tarkistuslistojen, kriteeristöjen, läpikäyntien yms. asiantuntijoiden käyttämien menetelmien käyttö arvioinnissa esim. käytettävyyden tarkastus (usability inspection) (Nielsen 1995; Signore 2005) Hypermedialaboratorio 7
Ohjelmalliset menetelmät Vaatimukset toteutuksen tekniselle virheettömyydelle kasvaneet XML:ään perustuvat ratkaisut, CSS:n syntaksin oikeellisuus saavutettavuuden (esteettömyyden) ja käytettävyyden asettamat lisävaatimukset Ohjelmallisesti voidaan arvioida myös sisällön rakenteistamista tiettyyn rajaan saakka (onko h1, h2 tai h3 tason otsikoita jne.) tekstin luettavuutta (by parsing text and CSS) multimediaelementtien käyttö (tekstivastineet ja latausajat) kielen oikeellisuus linkkien toimivuus jne. Haasteena semanttinen tulkinta (tarvitaan ihmistä) ei sovellu hankalasti määriteltävien asioiden arvioimiseen kuten esim. imagon, esteettisyyden, kulttuuristen tekijöiden huomioiminen (Signore 2005) Hypermedialaboratorio 8
Asiantuntijamenetelmät 1 Hyvä käyttää eri alojen asiantuntijoita Käytettävyys, viestintä sosiaalipsykologia, psykologia, saavutettavuus, tekninen toteutus, visuaalinen suunnittelu ja estetiikka, informaatiotieteet, sisällön asiantuntijat Voidaan käyttää käytettävyyden arvioimisen menetelmiä Heuristinen arviointi, ominaisuuksien katsastus, standardivertailu, tarkastuslistat, läpikäynnit jne. Nojaavat arvioinneissaan yleispätevään malliin ihmisestä Ihmisen psykologiseen ja fysiologisiin ominaispiirteisiin sekä kulttuurissa vallitseviin arvoihin ja tapoihin Viimekädessä ei luotettavaa tietoa käyttökontekstissa Asiantuntija voi pyrkiä tekemään valistuneita arvauksia käyttökontekstiin liittyvistä ominaisuuksista. Luotettavin tieto tulee todellisilta käyttäjiltä (asiakkaat, palvelun tuottajat jne. Hypermedialaboratorio 9
Asiantuntijamenetelmät 2 Heuristiikat eli kokoelma periaatteita tai nyrkkisääntöjä olemassa useita tunnetuin lienee Ten usability heuristics edellyttää alan asiantuntemusta ei ota kantaa hyödyllisyyteen halpa ja yksinkertainen tapa Kognitiivinen läpikäynti tarkoituksena selvittää järjestelmän käytön opetteluun liittyviä asioita Miten hyvin järjestelmä tukee käyttäjän päätöksentekoa eli miten se vastaa käyttäjänsä kognitiivisiin tarpeisiin? edellyttää perehtymistä kognitiiviseen psykologiaan (ainakin jossakin määrin) raskas ja aikaa vievä menetelmä edelleen kehitetty verkkototeutusten arviointiin CWW (Cognitive Walkthrough for the Web) miten tukee käyttäjän navigointia ja tiedonhakua (Blackmon ym. 2002; Riihiaho 2002) Hypermedialaboratorio 10
Asiantuntijamenetelmät 3 Eläytymismenetelmiä - skenaariot Skenaarioiden eli tarinoiden käyttö arvioinnissa Tarinan avulla luodaan käyttötilanne (toimija, konteksti, tavoitteet jne.). Skenaario on aina laajempi kuin pelkkä tehtävä. Arvioija eläytyy käyttäjän rooliin ja käyttää verkkopalvelua skenaarion mukaisesti. tavoitteena kokonaisvaltaisempi kuva käyttäjän kokemuksesta käsitys toimintaprosessin järkevyydestä sekä kognitiivisista ja fyysisistä vaatimuksista Tuloksena informaatiota narratiivisessa muodossa tarvitaan usein jatkojalostusta. ei välttämättä tuo esiin esteitä tai muodosta kattavaa kuvaa palvelusta (Bohman & Andersson 2004; Lim & Sato 2003) Hypermedialaboratorio 11
Asiantuntijamenetelmät 4 Tarkistuslistat, kriteeristöt, tyyliohjeet, standardivertailut luonteeltaan yksinkertaisia kysymyksiä esim. Tognazzinin First principles ARVO-arviointityökalun arviointilistat W3C:n saavutettavuuden arvioimiseen laaditut listat Mekaanisia, usein helpohkoja käyttää Kertovat ainoastaan missä määrin toteutus vastaa listassa esitettyjä ominaisuuksia. Hypermedialaboratorio 12
Tiedon kokoaminen käyttäjiltä Havainnointi Laboratorio-olosuhteissa Todellisen toiminnan tilanteissa; työpaikoilla, liiketiloissa jne. Videointi, seuranta Tiedon keruu Haastattelu Kyselylomakkeet Päiväkirjat ym. Tiedon keruu jätetyistä jäljistä lokianalyysi Eri toimijoiden näkökulmat huomioitava Hypermedialaboratorio 13
Prototyyppien hyödyntäminen Voidaan käyttää suunnittelun ohella myös prosessin arvioinnissa Arvioidaan vaihtoehtoisten toimintaprosessien ja kehitysratkaisujen toimivuutta Paperiprotot, PowerPoint protot Wizard of Oz Vrt.. Agile Software Development Vahvuuksia: soveltuu erityisesti projekteihin, joissa vaatimukset epäselviä tai muuttuvia Hyödynnetään skenaariota ja haastatteluja sekä havainnointia (= ihmisten välistä välitöntä kommunikaatiota) Tyypilliset ongelmat: kiinnitetään pinnallisiin yksityiskohtiin huomio, rajoittaa tilaajan ajattelua liikaa, ratkaisuja ei kyseenalaisteta, työnimet jäävät elämään Hypermedialaboratorio 14
Vaikuttavuusevaluointi Verkkopalvelun vaikutuksen arviointi; Miten palvelu vaikuttaa ympäristöönsä ja mahdollisesti myös käyttäjiin? Mitä verkkopalvelusta seuraa? Arvioidaan verkkopalvelua osana ympäröivää yhteisöä (mitkä ovat vaikutukset yhteisöön, yhteisön vaikutus resursointiin sekä toimintaprosesseihin) Vaikutukset voivat olla Odotettuja Ilmaantuvia odottamattomia Hyödynnetään usein tuotos-panos mallia Haasteena mittauskohteen valinta Hypermedialaboratorio 15
Moniarvoinen läpikäynti Muistuttaa kognitiivista läpikäyntiä, jonka tekevät käyttäjät Yleensä arvioinnissa on mukana suunnittelijat, asiantuntijat ja käyttäjät (asiakkaat, palvelun tuottajat, ylläpitäjät ym.) Arvioinnissa käydään läpi palvelu läpi tehden ennalta sovittuja tehtäviä. Tavoitteena on eri näkökulmia hyödyntäen löytää laadukkuuteen liittyvät tekijöitä Hypermedialaboratorio 16
Affektiivinen arviointi Asenteiden, tunteiden ja mielialaan liittyvien elementtien vaikutus käyttökokemukseen Tunnetiloilla on todettu olevan merkitystä rationaaliseen toimintaan Negatiiviset tunnetilat vaikuttavat haitallisesti kognitiivisiin prosesseihin: ajattelu ja luovuus kapeutuvat Tavoitteena on arvioida mitä verkkopalvelun käyttö merkitsee käyttäjälle hänen omassa kontekstissaan. Hyödynnetään erilaisia kyselyitä ja haastatteluja, mutta myös päiväkirjoja (kirjoitettuja tai videoita). Hypermedialaboratorio 17
Empaattinen arviointi Lähtökohtana on saada esiin hiljaista tietoa Empaattinen ymmärrys on välinen tiedon kokoamiseen käyttäjän kontekstissa Tieto kerätään paikoissa ja tilanteissa, joissa ihmiset luontaisesti käyttävät verkkopalvelua Aineistoa voi kerätä havainnoimalla ja tekemällä tarkentavia kysymyksiä Usein käytetään myös erilaisia apuvälineitä (kertakäyttökamerat, päiväkirjat, inspirointikortit yms.) Etuna nähdään mahdollisuus löytää erilaiset profilointi- tai räätälöintitarpeet Hypermedialaboratorio 18
Surveykyselyt Tietoa kerätään standardisoidussa muodossa joukolta ihmisiä Lomakekyselyt, strukturoidut haastattelut Haasteena: kysymysten laatiminen, saatujen tietojen yleistettävyys Elektroniset surveyt, hypridisurveyt Hypermedialaboratorio 19
Lokianalyysit Tehdään päätelmiä käyttäjien liikkumisesta mahdollisista mieltymyksistä ladatuista tiedostoista hakutottumuksista sijainnista käytetyistä selaimista sivujen käyttäjämääristä Hakuosumista katsottujen sivujen määristä ajasta, joka kuluu kullakin sivulla Virheilmoituksista semanttisesta kytköksestä Hypermedialaboratorio 20
Lähteet Bohman, P. & Andersson, S. Toward User-Centered, Scenario- Based Planning and Evaluation Tools [online]. Logan : WebAIM, 2004 [viitattu 7.9.2007]. Saatavissa www-muodossa: <URL: http://www.webaim.org/techniques/articles/scenarios/> Blackmon, M.H., Polson, P.G., Kitajima, M. & Lewis, C. Cognitive Walkthrough for the Web [online]. Danvers (MA): Association for Computing Machinery, Inc., 2002 [viitattu 7.9.2007]. Proceedings of ACM Conference on Human Factors in Computing Systems (CHI'2002), 463-470. Saatavissa pdf-muodossa: <URL: http://www3.nibh.jp/~kitajima/english/papers(e)/chi2002.pdf > Lim, Y. & Sato, K. Scenarios for usability evaluation: using design information framework and a task analysis approach [online]. Institute of Design. Illinois Institute of Technology, 2003 [viitattu 7.9.2007]. Proceedings of the International Congress of Ergonomic Associations 2003. Saatavissa pdf-muodossa: <URL: http://www.id.iit.edu/141/documents/lim_sato_iea.pdf > Hypermedialaboratorio 21
Lähteet Nielsen, J. 1995. Inspection Methods [online]. Danvers (MA): Association for Computing Machinery, Inc., 1995 [viitattu 7.9.2007]. Proceeding of Conference on Human Factors in Computing Systems 7 11 May 1995 Denver, Colorado, USA. (May 7-11, 1995). Saatavissa www-muodossa: <URL: http://www.acm.org/sigchi/chi95/proceedings/tutors/jn_bdy.htm >. Riihiaho, S. Käytettävyyden arviointi ilman käyttäjiä [online]. helsinki: Teknillinen korkeakoulu, 1996, päivitetty 30.11.2004, [viitattu 7.9.2007]. Teoksessa: Nieminen, M. ym. 1996. Käytettävyysopas. Työraportti 8, USABILITY 2 -hanke. Teknillinen korkeakoulu ja KONE Elevators. Saatavissa pdf-muodossa: <URL: http://www.soberit.hut.fi/t-121/t- 121.600/asiantuntija-arviot.pdf> Signore, O. Towards a Quality Model for Web Sites [online]. Varsova: CMG Poland, 2005 [viitattu 7.9.2007]. "First CMG Poland Conference" on 9-10 May 2005, in Warsaw, Poland. Saatavissa pdf-muodossa: <URL: http://www.w3c.it/papers/cmg2005poland-quality.pdf >. Hypermedialaboratorio 22