Protokolla-analyysi (protocol analysis)

HTML
DOWNLOAD

Koko: px

Aloita esitys sivulta:

Download "Protokolla-analyysi (protocol analysis)"

Maija-Leena Keskinen
8 vuotta sitten
Katselukertoja:

1 Protokolla-analyysi (protocol analysis) (Huom. Tämä materiaali ei sisällä esityksessä käytettyjä esimerkkikuvia. Kysy Suvilta jos haluat ne) Protokolla-analyysi Network Protocol Analysis Action Protocol Analysis Verbal Protocol Analysis ääneen puhuminen ja ajatuksien kuvaileminen, ääneen ajattelu havainnoinnin aikana

2 Verbal protocol analysis Tausta kognitiivisessa psykologiassa Ericsson & Simon 1980-luvulla Laboratoriossa tai todellisessa tilanteessa Protokolla on tallenne jostakin asteittain etenevästä proseduurista. Protokolla-analyysi: Yksilön tai ryhmän toimintatavat (proseduurit) on tallennettu ja tallenne analysoidaan Verbal protocol analysis Kelpaavatko ihmisen sanalliset ilmaisut tieteellisen tutkimuksen dataksi? (vrt. mittaukset kehosta) Millä menetelmillä käyttäytyminen voidaan koodata dataksi? Miten tehdä koodaus objektiivisesti ja yksiselitteisesti? Mitä teoreettisia oletuksia koodausmenetelmään liittyy? Miten määritellään prosessit joiden avulla voidaan tulkita datasta ihmisen ajatuksia?

3 Concurrent verbal protocols thinking aloud constructive interaction, co-discovery learning, paired-user testing question asking teaching cooperative evaluation Retrospektive verbal protocols Kuvailu tapahtuu jälkeenpäin unaided recall aided recall, stimulated recall, cued recall cross-examination

4 Prospective Verbal Protocol Roolipeli: käyttäjille annetaan skenaario joka kuvaa järjestelmän käsitteellisellä tasolla käyttäjät kuvaavat ääneen puhuen käyttötilanteen Menetelmän heikkouksia Luonnoton käyttötilanne käyttäjille saattaa vaikuttaa tuloksiin, esim. se että käyttäjä pukee sanoiksi toimintansa saattaa muuttaa toimintaa toiminta saattaa hidastua toiminta saattaa nopeutua Kokeneiden käyttäjien vaikea pukea sanoiksi toimintaansa Estää joidenkin tutkimusten samanaikaisen käytön: Ei voida mitata samalla esimerkiksi käyttöliittymän tehokkuutta kvantitatiivisilla mittareilla koska suoritus hidastuu

5 Menetelmän heikkouksia Yksittäisen käyttäjän teorioihin tai kommentteihin ja parannusehdotuksiin ei saa liiaksi luottaa Ei voida käyttää esim. puhekäyttöliittymiä tutkittaessa meluisassa ympäristössä kiireisessä ympäristössä (esim. lennonjohto) Onnistuminen riippuu yksilöistä ja on osaksi kulttuurisidonnaista Kannustamiskeinoja Annetaan käyttäjälle roolimalli toisen testin tai sen videoinnin seuraaminen tutkija esittää testihenkilöä jossain tehtävässä Tutkija voi kysyä käyttäjältä kysymyksiä

6 Simplified thinking aloud Yksi Discount Usability metodeista ei tähdätä tieteelliseen tutkimukseen Suorittajana ohjelmistokehittäjät Ei nauhoitusta, vain tarkkailijan muistiinpanot analysointi nopeampaa ja edullisempaa voidaan ottaa useampia testikäyttäjiä voidaan tehdä useita iterointikierroksia Case 1: novice programmer Tarkastelun kohteena aloittelevan ohjelmoijan ongelmanratkaisuprosessi Huomioita: päähuomio ohjelmointikielen syntaksissa vähän ennakkosuunnittelua tiedon organisointi kurssilla opetetussa järjestyksessä opetuksesta sekä positiivista että negatiivista siirtovaikutusta

7 Case 1: novice programmer Erotettiin ajattelun eri vaiheita: ongelman ymmärtäminen ratkaisun suunnittelu ratkaisun toteuttaminen Tuloksena saatiin ohjeita opetushenkilökunnalle semantiikan merkitystä korostettava suunnittelun merkitystä korostettava opastettava erilaisten suunnittelumenetelmien ja työkalujen käyttöön esimerkkikoodien oltava vaihtelevia ja sisällettävä monipuolisesti erilaisia ratkaisuja Case 2: Web Usability Protokolla-analyysimenetelmä WWWsivujen käytettävyyden arviointiin Tavoitteena ymmärtää, kuinka käyttäjän tavoitteet kehittyvät käyttäjät vastaanottavat ja käsittelevät WWW-sivujen sisältöä käyttäjät tekevät navigointipäätöksiä (ja miksi?) jne.

8 Case 2: Web Usability Tallennusvälineitä useita: lokitietojen kerääminen näppäinpainallukset, hiiren liikkeet, linkkien ja painikkeiden käyttö silmänliikkeiden seuranta kaksi edellistä yhdistävä ohjelmisto käyttötilanteen videointi, kameran focus näytöllä Case 2: Web Usability Tiedon hakija on kuin metsästäjä joka etsii saalista Information scent linkkien kuvaukset kuvat kontekstuaaliset vihjeet: otsikot, sivujen rakenne Käyttäjien puhetta tulkitsemalla saatiin vahvistus sille, että käyttäjä tekee päätöksensä hajun perusteella

9 Case 3: Technical Review Meetings Teknisillä tarkastustilaisuuksilla keskeinen rooli ohjelmistokehityksessä Case 3 Tavoite: parantaa ymmärrystä yhteistyössä tehtävistä ohjelmistokehitykseen liittyvistä aktiviteeteista parantaa ohjelmistokehitysprosessia johtamalla toimintatapoja ja hyviä käytäntöjä määritellyille tehtäville

10 Tulokset TRM ei vain kokoa yksilöitä yhteen vaan mahdollistaa yhteistyön Vaikka tapaamisten päätavoite on tarkastaa dokumentteja, on sillä merkittävänä sivutuotteena osallistujien kognitiivinen synkronointi tarkastelun kohteena olevan järjestelmä toimintaprosessi Case 4: Potilasjärjestelmä Tavoite: kehittää tehokas ja miellyttävä järjestelmä potilastietojen käsittelyyn Menetelmä: videotallenne papereihin ja kortistoon perustuvan tietojärjestelmän käyttötilanteesta (think aloud) analyysin perusteella kehitettiin kognitiivinen tehtävämalli jota käytettiin prototyypin suunnittelussa

11 Case 4 Potilastietojärjestelmä vastasi tietotarpeita tuki normaaleja toimintatapoja vähensi työn kognitiivista kuormittavuutta tuki käyttäjää erityisesti potilaskäyntiin valmistautumisessa Lähteet - kirjat Ericsson K. Anders, Simon Herbert A. Protocol Analysis Verbal Reports as Data. Bradford Books, Nielsen, Jakob. Usability Engineering. Academic Press, Preece, Jenny. Human-Computer Interaction. Addison-Wesley, 1994.

12 Lähteet - artikkelit Bishop-Clark, Catherine. Protocol Analysis of a Novice Programmer. ACM SIGCSE Bulletin, Vol ACM Press Byrne, John, Wehrle, Crow. The tangled Web we wove: a taskonomy of WWW use. Proceedings of the SIGCHI conference on Human factors in computing systems: the CHI is the limit, ACM Press Card, Pirolli, VanDer Wege, Morrison, Reeder, Schraedley, Boshart. Information scent as a driver of Web behavior graphs: results of a protocol analysis method for Web usability. Proceedings of CHI ACM Press Lähteet artikkelit Ebling, John. On the Contributions of Different Empirical Data in Usability Testing. Proceedings of the conference on Designing interactive systems: processes, practices, methods, and techniques ACM Press Jaspers, Steen, van der Bos, Geenen. The think aloud method: a guide to user interface design. International Journal of Medical Informatics, October Elsevier, Robillard, d'astous, Détienne, Visser. An empirical method based on protocol analysis to analyze technical review meetings. Proceedings of the 1998 conference of the Centre for Advanced Studies on Collaborative research. IBM Press 1998.

13 Lähteet - verkkolähteet W. Wheeler, J. Lee, M. Raby, R. Kinghorn, A. Bittner, M. McCallum. Development of Human Factors Guidelines for Advanced Traveler Information systems and Commercial Vehicle Operations: Task Analysis of ATIS/CVO Functions. Raport FHWA-RD Department of Transportation, USA Verkkolähde, katsottu c1_06.html Verbal Protocols. Human-Computer Interaction Resource Network (HCIRN). Verkkolähde, katsottu cd905657daa a6e29f5fa1cb4f

Samankaltaiset tiedostot

Käytettävyyslaatumallin rakentaminen web-sivustolle. Oulun yliopisto tietojenkäsittelytieteiden laitos pro gradu -suunnitelma Timo Laapotti 28.9.

Käytettävyyslaatumallin rakentaminen web-sivustolle Tapaus kirjoittajan ABC-kortti Oulun yliopisto tietojenkäsittelytieteiden laitos pro gradu -suunnitelma Timo Laapotti 28.9.2005 Kirjoittajan ABC-kortti