Protokolla-analyysi (protocol analysis) (Huom. Tämä materiaali ei sisällä esityksessä käytettyjä esimerkkikuvia. Kysy Suvilta jos haluat ne) Protokolla-analyysi Network Protocol Analysis Action Protocol Analysis Verbal Protocol Analysis ääneen puhuminen ja ajatuksien kuvaileminen, ääneen ajattelu havainnoinnin aikana
Verbal protocol analysis Tausta kognitiivisessa psykologiassa Ericsson & Simon 1980-luvulla Laboratoriossa tai todellisessa tilanteessa Protokolla on tallenne jostakin asteittain etenevästä proseduurista. Protokolla-analyysi: Yksilön tai ryhmän toimintatavat (proseduurit) on tallennettu ja tallenne analysoidaan Verbal protocol analysis Kelpaavatko ihmisen sanalliset ilmaisut tieteellisen tutkimuksen dataksi? (vrt. mittaukset kehosta) Millä menetelmillä käyttäytyminen voidaan koodata dataksi? Miten tehdä koodaus objektiivisesti ja yksiselitteisesti? Mitä teoreettisia oletuksia koodausmenetelmään liittyy? Miten määritellään prosessit joiden avulla voidaan tulkita datasta ihmisen ajatuksia?
Concurrent verbal protocols thinking aloud constructive interaction, co-discovery learning, paired-user testing question asking teaching cooperative evaluation Retrospektive verbal protocols Kuvailu tapahtuu jälkeenpäin unaided recall aided recall, stimulated recall, cued recall cross-examination
Prospective Verbal Protocol Roolipeli: käyttäjille annetaan skenaario joka kuvaa järjestelmän käsitteellisellä tasolla käyttäjät kuvaavat ääneen puhuen käyttötilanteen Menetelmän heikkouksia Luonnoton käyttötilanne käyttäjille saattaa vaikuttaa tuloksiin, esim. se että käyttäjä pukee sanoiksi toimintansa saattaa muuttaa toimintaa toiminta saattaa hidastua toiminta saattaa nopeutua Kokeneiden käyttäjien vaikea pukea sanoiksi toimintaansa Estää joidenkin tutkimusten samanaikaisen käytön: Ei voida mitata samalla esimerkiksi käyttöliittymän tehokkuutta kvantitatiivisilla mittareilla koska suoritus hidastuu
Menetelmän heikkouksia Yksittäisen käyttäjän teorioihin tai kommentteihin ja parannusehdotuksiin ei saa liiaksi luottaa Ei voida käyttää esim. puhekäyttöliittymiä tutkittaessa meluisassa ympäristössä kiireisessä ympäristössä (esim. lennonjohto) Onnistuminen riippuu yksilöistä ja on osaksi kulttuurisidonnaista Kannustamiskeinoja Annetaan käyttäjälle roolimalli toisen testin tai sen videoinnin seuraaminen tutkija esittää testihenkilöä jossain tehtävässä Tutkija voi kysyä käyttäjältä kysymyksiä
Simplified thinking aloud Yksi Discount Usability metodeista ei tähdätä tieteelliseen tutkimukseen Suorittajana ohjelmistokehittäjät Ei nauhoitusta, vain tarkkailijan muistiinpanot analysointi nopeampaa ja edullisempaa voidaan ottaa useampia testikäyttäjiä voidaan tehdä useita iterointikierroksia Case 1: novice programmer Tarkastelun kohteena aloittelevan ohjelmoijan ongelmanratkaisuprosessi Huomioita: päähuomio ohjelmointikielen syntaksissa vähän ennakkosuunnittelua tiedon organisointi kurssilla opetetussa järjestyksessä opetuksesta sekä positiivista että negatiivista siirtovaikutusta
Case 1: novice programmer Erotettiin ajattelun eri vaiheita: ongelman ymmärtäminen ratkaisun suunnittelu ratkaisun toteuttaminen Tuloksena saatiin ohjeita opetushenkilökunnalle semantiikan merkitystä korostettava suunnittelun merkitystä korostettava opastettava erilaisten suunnittelumenetelmien ja työkalujen käyttöön esimerkkikoodien oltava vaihtelevia ja sisällettävä monipuolisesti erilaisia ratkaisuja Case 2: Web Usability Protokolla-analyysimenetelmä WWWsivujen käytettävyyden arviointiin Tavoitteena ymmärtää, kuinka käyttäjän tavoitteet kehittyvät käyttäjät vastaanottavat ja käsittelevät WWW-sivujen sisältöä käyttäjät tekevät navigointipäätöksiä (ja miksi?) jne.
Case 2: Web Usability Tallennusvälineitä useita: lokitietojen kerääminen näppäinpainallukset, hiiren liikkeet, linkkien ja painikkeiden käyttö silmänliikkeiden seuranta kaksi edellistä yhdistävä ohjelmisto käyttötilanteen videointi, kameran focus näytöllä Case 2: Web Usability Tiedon hakija on kuin metsästäjä joka etsii saalista Information scent linkkien kuvaukset kuvat kontekstuaaliset vihjeet: otsikot, sivujen rakenne Käyttäjien puhetta tulkitsemalla saatiin vahvistus sille, että käyttäjä tekee päätöksensä hajun perusteella
Case 3: Technical Review Meetings Teknisillä tarkastustilaisuuksilla keskeinen rooli ohjelmistokehityksessä Case 3 Tavoite: parantaa ymmärrystä yhteistyössä tehtävistä ohjelmistokehitykseen liittyvistä aktiviteeteista parantaa ohjelmistokehitysprosessia johtamalla toimintatapoja ja hyviä käytäntöjä määritellyille tehtäville
Tulokset TRM ei vain kokoa yksilöitä yhteen vaan mahdollistaa yhteistyön Vaikka tapaamisten päätavoite on tarkastaa dokumentteja, on sillä merkittävänä sivutuotteena osallistujien kognitiivinen synkronointi tarkastelun kohteena olevan järjestelmä toimintaprosessi Case 4: Potilasjärjestelmä Tavoite: kehittää tehokas ja miellyttävä järjestelmä potilastietojen käsittelyyn Menetelmä: videotallenne papereihin ja kortistoon perustuvan tietojärjestelmän käyttötilanteesta (think aloud) analyysin perusteella kehitettiin kognitiivinen tehtävämalli jota käytettiin prototyypin suunnittelussa
Case 4 Potilastietojärjestelmä vastasi tietotarpeita tuki normaaleja toimintatapoja vähensi työn kognitiivista kuormittavuutta tuki käyttäjää erityisesti potilaskäyntiin valmistautumisessa Lähteet - kirjat Ericsson K. Anders, Simon Herbert A. Protocol Analysis Verbal Reports as Data. Bradford Books, 1993. Nielsen, Jakob. Usability Engineering. Academic Press, 1993. Preece, Jenny. Human-Computer Interaction. Addison-Wesley, 1994.
Lähteet - artikkelit Bishop-Clark, Catherine. Protocol Analysis of a Novice Programmer. ACM SIGCSE Bulletin, Vol. 24 1992. ACM Press 1992. Byrne, John, Wehrle, Crow. The tangled Web we wove: a taskonomy of WWW use. Proceedings of the SIGCHI conference on Human factors in computing systems: the CHI is the limit, 2001. ACM Press 2001. Card, Pirolli, VanDer Wege, Morrison, Reeder, Schraedley, Boshart. Information scent as a driver of Web behavior graphs: results of a protocol analysis method for Web usability. Proceedings of CHI 2001. ACM Press 2001. Lähteet artikkelit Ebling, John. On the Contributions of Different Empirical Data in Usability Testing. Proceedings of the conference on Designing interactive systems: processes, practices, methods, and techniques 2002. ACM Press 2002. Jaspers, Steen, van der Bos, Geenen. The think aloud method: a guide to user interface design. International Journal of Medical Informatics, October 2004. Elsevier, 2004. Robillard, d'astous, Détienne, Visser. An empirical method based on protocol analysis to analyze technical review meetings. Proceedings of the 1998 conference of the Centre for Advanced Studies on Collaborative research. IBM Press 1998.
Lähteet - verkkolähteet W. Wheeler, J. Lee, M. Raby, R. Kinghorn, A. Bittner, M. McCallum. Development of Human Factors Guidelines for Advanced Traveler Information systems and Commercial Vehicle Operations: Task Analysis of ATIS/CVO Functions. Raport FHWA-RD-95-176. Department of Transportation, USA. 1996. Verkkolähde, katsottu 25.02.2005. http://www.fhwa.dot.gov/tfhrc/safety/pubs/95176/sec1/se c1_06.html Verbal Protocols. Human-Computer Interaction Resource Network (HCIRN). Verkkolähde, katsottu 25.02.2005. http://www.hcirn.com/atoz/atozv/verbal.php?phpsessid= cd905657daa9302870a6e29f5fa1cb4f