5.luento MATHM-57550 Kvalitatiiviset tutkimusmenetelmät 5 op. Kirsi Silius & Anne-Maritta Tervakari 3.3.2008
Teemat Protokolla-analyysi Sisällönanalyysi (luokittelu ja analysointi) (content analysis, myös: text and discourse analysis)
Protokolla analyysi - ääneen ajattelu
Protokolla Tässä: tarkoitetaan tapahtumien (käyttäjän toiminnot, sanallinen ilmaisut) ketjua, joka rekisteröity (esim. nauhoitettu, videoitu) käyttäjän suorittaessa tiettyä tehtävää Käytetään paljon tutkimuksissa, joiden tavoitteena on selvittää käyttäjän tehtävän suorittamiseen liittyviä kognitiivisia prosesseja Tarkoituksena on tavoittaa faktoja - mitä käyttäjä esim. ajatteli tietyllä hetkellä, ei niinkään mielipiteitä tai kuvitelmia (Esim. Nielsen, Clemmensen & Yssing 2002)
Protokolla analyysi Verbal protocol analysis ääneen puhuminen (thinking aloud, verbal reports, verbal protocols, concurrent verbal protocols, retsospective verbal protocols ) käyttäjän puhutun ilmaisun tallentaminen ja analysointi Action protocol analysis käyttäjän toimintojen rekisteröiminen näppäimistön, hiiren yms. käyttö tehtävää tehdessä Eye-movement protocol analysis käyttäjän silmän liikkeiden rekisteröinti (Vrt.. Nielsen, Clemmensen & Yssing 2002; Salvucci 1998)
Verbal protocol Yleisin protokolla analyysin muoto Tarkoitetaan tallennettua puhuttua ilmaisua (esim. äänitetty, litteroitu haastattelu, tutkijan tekemät muistiinpanot puhutusta ilmaisusta) Pitkät perinteet kliinisessä psykologiassa esim. päätöksentekoon, tekstinymmärtämiseen liittyvien kognitiivisten prosessien tutkimisessa Ericsson ja Simon kehittivät varsinaiseksi analyysimenetelmäksi 1980-luvulla klassikko: Ericsson, K.A. & Simon, H.A. 1984. Protocol Analysis, Verbal reports as data. Cambridge (MA.): Bradford Books/MIT Press. (Vrt.. Nielsen, Clemmensen & Yssing 2002)
Verbal protocol Yksi yleisimmin käytetyistä menetelmistä HCI-alalla. Menetelmää käytetään vain harvoin puhtaana, useimmiten sovellettuna, muokattuna ja yhdistettynä muihin tekniikoihin. esim. hiiren ja näppäimistön käytön rekisteröinti tai silmän liikkeiden rekisteröinti haastattelu, havainnointi jne. Käytetään HCI -alalla kun tavoitteena on käyttäjien toiminnan ja (työ)tehtävien ymmärtäminen käytettävyysongelmien tunnistamien käytettävyystesteissä laboratorioissa, ryhmätyöskentelyssä, kentällä (Vrt.. Nielsen, Clemmensen & Yssing 2002)
Verbal protocol Samanaikaisesti tapahtuva (concurrent verbal protocols ) ääneen ajattelu (thinking aloud) yleisin tapa: käyttäjä ajattelee ääneen tehdessään tehtäviä ja kuvailee ajatuksiaan konstruktiivinen vuorovaikutus (constructive interaction) kaksi käyttäjää tekee yhdessä tehtävää ja heidän käymänsä keskustelu nauhoitetaan kysymysten esittäminen (question asking) käyttäjä esittää kysymyksiä ohjaajalle tehtävää tehdessään tarkoituksenaan selvittää miten tehtävän saa tehdyksi opettaminen (teaching) noviisi - mestari asetelma arviointi yhteistyössä (cooperative evaluation) käyttäjä toimii arvioijan roolissa, testin ohjaajan tehtävänä on lähinnä aktivoida ajattelua (Vrt. Verbal protocols 1998.)
Verbal protocol Jälkeenpäin tapahtuva (retrospective verbal protocols ) mieleen palauttaminen ilman vihjeitä (unaided recall) käyttäjiä pyydetään palauttamana mieleen mitä ajattelivat tehtäviä tehdessään käyttäjät joutuvat luottamaan muistiinsa käytetään vai harvoin vihjeistetty mieleenpalauttaminen (aided recall) käyttäjiä pyydetään palauttamana mieleen mitä ajattelivat tehtäviä tehdessään ja samalla heille näytetään videotallennetta tehtävän suorittamisesta soveltuu erityisesti silloin, kun käyttäjä ei jostakin syystä pysty ilmaisemaan ajatuksiaan tehtävän aikana cross-examination testin ohjaaja esittää kysymyksiä testihenkilölle tarkentaakseen testin kuluessa tekemiään havaintoja käytetään varsin usein käytettävyystestin jälkihaastatteluna joskaan vain harvoin analysoidaan huolellisesti (Vrt. Verbal protocols 1998.)
Klassinen protokolla analyysi Ericssonin ja Simonin mukaan sanallinen ilmaisu on validi tiedonlähde silloin, kun tavoitteena on ihmisen kognitiivisien prosessien selvittäminen mielenkiinnon kohteena työmuistissa olevat välittömät, mahdollisimman puhtaat ajatukset kolmen tyyppistä sanallista ilmaisua sanallisessa muodossa olevien ajatusten sanominen ääneen (vocalisations talk aloud) ei-sanallisessa muodossa olevien ajatusten ilmaiseminen sanojen avulla (verbalisation think aloud) muut sanalliset ilmaisut (jälkeenpäin mieleen palautettujen ajatusten ilmaiseminen) ei kuvaa luotettavasti faktoja, voivat olla mielipiteitä, kuvitelmia, selityksiä, tunteisiin liittyviä tekijöitä yms. (Nielsen, Clemmensen & Yssing 2002)
Protokolla analyysin vaiheet 1. Teoriaan pohjaava otanta aineiston hankinta mistä ilmiöstä, tapahtumasta aineisto kootaan 2. Aineiston kokoaminen äänitys tai videointi sekä litterointi 3. Aineiston pilkkominen ja järjestäminen aineistolähtöinen lähestymistapa 4. Aineiston koodaaminen ja luokittelu kategorioihin aineistolähtöisyys (Nielsen, Clemmensen & Yssing 2002)
Etuja Kustannustehokas tarvitaan vain muutama testihenkilö Saadaan tuloksia nopeasti. Menetelmän käyttö ei edellytä käytettävyyden asiantuntemusta Menetelmän avulla saadaan (ainakin oletetaan) tietoa niistä käyttäjän kognitiivisista prosesseista, jotka liittyvän tietyn tehtävän tekemiseen. (Nielsen, Clemmensen & Yssing 2002)
Haasteita ja ongelmia Menetelmän tehokkuus riippuu tallentamis- ja analysointimenetelmän tarkkuudesta ja tehokkuudesta Käyttäjällä kognitiivinen taakka - on vaikea puhua ja tehdä tehtävää samanaikaisesti etenkin vaativan tehtävän ollessa kysymyksessä Käyttäjä kokee usein testinohjaajan toiminnan häiritsevänä (esim. muistuttamisen ääneen ajattelusta) Tilanne on luonnoton käyttäjälle (tarkkailun kohteena) Käyttäjillä on taipumus alkaa selittelemään tekemisiään etenkin epäonnistumisiaan (Nielsen, Clemmensen & Yssing 2002)
Haasteita ja ongelmia Miten käyttäjät kokevat ääneen ajattelu -menetelmän käytön? Käyttäjien kokemuksia ajattelevat nopeammin kuin mitä kykenevät puheen avulla ilmaisemaan. ajatteluprosessit ovat usein niin monimutkaisia, että niitä on vaikea ilmaista sanallisesti. ääneen ajattelu häiritsee tehtävien tekemistä. ääneen ajattelu on vaikeaa, luonnotonta. testitilanne saa heidät tuntemaan, että he itse ovat arvioitavana vaikuttaa tehtävien tekemiseen. (Nielsen, Clemmensen & Yssing 2002)
Kritiikkiä Klassisessa protokolla analyysissa mielenkiinnon kohteena on matalan tason kognitiiviset prosessit kuten muisti ja havaitseminen ihminen ei kuitenkaan ole pelkkä informaation prosessointikone ajattelu on paljon enemmän kuin sanallisesti voidaan ilmaista ihminen irrotetaan sosiaalis-kulttuurisesta kontekstistaan Ajattelun eli ylemmän tason kognitiivisten prosessien ymmärtäminen edellyttää kehittyneempiä menetelmien kuten esim. itsearvioinnin hyödyntämistä (käyttäjän syvähaastettelu testin tallenteen näyttämisen yhteydessä tiedostamattomien tekijöiden esiin nostaminen) tunteiden merkityksen huomioimista ihmisen sosiaalis-kulttuurisen toimintaympäristön huomioimista (Nielsen, Clemmensen & Yssing 2002)
Muistettavaa Protokolla analyysia ei tulisi käyttää ainoana menetelmänä, vaan täydennettynä esim. haastatteluin Menetelmän tieteellinen käyttö edellyttää testiasetelman, aineiston keruun ja analysoinnin viitekehyksen tarkkaa kuvaamista tutkimusraportissa tutkimuksen luotettavuuden kasvaminen varsin usein jää tekemättä (Nielsen, Clemmensen & Yssing 2002)
Case 1:Evaluate the usability of a commercial web site Analysointimenetelmänä protokolla analyysi Tarkoituksena tarkastella tuotteiden tilaamista verkkokaupasta käytettävyyden näkökulmasta Aiempaa tutkimusta nimenomaan verkkokaupan asiointiprosessin kriittisistä tekijöistä varsin vähän mitkä tekijät vaikuttavat käyttäjän halukkuuteen tilata tuote verkkokaupan välityksellä Valitsivat arvioinnin kohteeksi ilmaisten sähköisten postikorttien lähetyspalvelun ei maksuja, tuote jaetaan s-postiin helppo tutkimuskohteena Hallmark -yhtiön verkkopalvelu tunnettu perinteisten paperikorttien markkinoija (markkinajohtaja) verkkopalvelu ei kuitenkaan kovin suosittu miksi? (Benbunan-Fich 2001.)
Case 1:Evaluate the usability of a commercial web site Tutkijat perehtyivät etukäteen palveluun ja muodostivat ennakkokäsityksen siitä mitä saattaisi vaikuttaa käyttäjien näkemyksiin verkkopalvelusta kortin lähettäminen - prosessissa kuusi erillistä näyttöä käyttö edellytti rekisteröitymistä Hallmark s Clubin jäseneksi: tunnus, salasana, s-postiosoitteen antamista näytön lay-out toteutettu kehyksien avulla sähköiset kortit osion löytäminen hankalaa verkkosivustosta Järjestivät esitestin, jossa käyttäjät tutustuivat neljään eri sähköisten postikorttien lähettämispalveluun ja arvioivat niiden toimivuutta eniten negatiivisia kommentteja juuri Hallmark in verkko palvelusta (Benbunan-Fich 2001.)
Case 1:Evaluate the usability of a commercial web site Varsinainen testi Kahdeksan vapaaehtoista testaajaa tehtävänä lähettää sähköinen postikortti Aineiston keruu jokaisen käyttäjän testi tallennettiin puhe ääninauhalla ohjaaja kirjasi ylös näppäimistön ja hiiren käytön sekä kasvojen ilmeet yms. sellaisen informaation, jota ei voida tallentaa ääninauhalle ohjaaja myös muistutti testaaja ääneen ajattelusta tarvittaessa (Benbunan-Fich 2001.)
Case 1:Evaluate the usability of a commercial web site 1. Analysointia varten ääninauhat litteroitiin, niihin yhdistettiin ohjaajan muistiinpanot sekä tieto siitä, mikä näyttö asiointiprosessista kulloinkin oli kyseessä yhteensä 40 sivua aineistoa 2. Aineisto järjestettiin mm. näyttöjen ja postikortin lähettämisprosessin vaiheiden mukaan esim. näyttö A vaihe 3 3. Jokaista vaihetta tarkasteltiin erikseen tavoitteena löytää ne kohdat prosessista, joissa käyttäjällä oli ongelmia 4. Poimittiin ne kohdat, joissa ongelmia esiintyi 5. Kunkin ongelmakohdan frekvenssi laskettiin ja aineisto taulukoitiin tavoitteena löytää prosessin kriittisiä episodeja (Benbunan-Fich 2001.)
Postikortin lähettäminen -prosessi (Benbunan-Fich 2001,156.)
Kriittiset episodit (Benbunan-Fich 2001,157.)
Case 1:Evaluate the usability of a commercial web site Screen/step code A1 B1 C2 Ongelman kuvaus Difficulty to find the link for electronic greetings in the main homepage Difficulty to find free greetings in the selected category Lost trying ti preview an electronic greeting card Frekvenssi (%) 63 (5/8) 38 (3/8) 13 (1/8) C3 ja D4 E1 D-E Could not identify button to proceed to the next screen Problems entering membership information Process long Dislike membership 25 (2/8) 13 (1/8) 50 (5/8) 100 (8/8) (Benbunan-Fich 2001.)
Sisällönanalyysi
Sisältö Sisällönanalyysin kohde Aineistolähtöinen sisällönanalyysi Teoriaohjaava ja teorialähtöinen sisällönanalyysi Sisällönanalyysi kirjallisuuskatsauksessa
Sisällönanalyysin kohde Sisällönanalyysi on tieteellinen metodi, joka pyrkii päätelmiin erityisesti verbaalisesta, symbolisesta tai kommunikatiivisesta datasta Tavoitteena on analysoida dokumentteja systemaattisesti ja objektiivisesti Dokumentteja ovat esim. kirjat, artikkelit, päiväkirjat, kirjeet, haastattelut, puhe, keskustelu, dialogi, raportit ym. kirjalliseen muotoon saatettu materiaali Grönfors 1982, Kirppendorff 1985, Kyngäs & Vanhanen 1999, Tuomi & Sarajärvi 2004
Sisällönanalyysin kohde Sopii hyvin myös täysin strukturoimattoman aineiston analysointiin Etuina on analyysin herkkyys kontekstille ja aineiston symbolisille muodoille Voidaan käyttää analysoitaessa valmiita aineistoja jopa sellaisia, joita alunperin ei ole tarkoitettu tutkimusta varten Sisällön analyysissa etsitään tekstin merkityksiä (vrt. diskurssianalyysi merkitysten tuottamisen tavat) Grönfors 1982, Kirppendorff 1985, Kyngäs & Vanhanen 1999, Tuomi & Sarajärvi 2004
Sisällönanalyysi ja sisällön erittely Voidaan erottaa kaksi sisällönanalyysitapaa: sisällön analyysi ja sisällön erittely Sisällönanalyysilla tarkoitetaan pyrkimystä kuvata dokumenttien sisältöä sanallisesti Sisällön erittelyllä tarkoitetaan dokumenttien analyysia, jossa kuvataan kvantitatiivisesti tekstin sisältöä Kyngäs & Vanhanen 1999
Lähtökohtia Analyysissa tuotettu aineisto voidaan myös kvantifioida Analyysia jatketaan siten, että sanallisesti kuvatusta aineistosta tuotetaan määrällisiä tuloksia Analyysin tarkoitus on luoda sanallinen ja selkeä kuvaus tutkittavasta ilmiöstä Sisällönanalyysilla pyritään järjestämään aineisto tiiviiseen ja selkeään muotoon Analyysin tarkoituksena on informaatioarvon lisääminen Hajanaisestakin aineistosta pyritään luomaan mielekäs, selkeä ja yhtenäinen informaatiokokonaisuus Tavoitteena luoda selkeyttä aineistoon, jotta voidaan tehdä selkeitä ja luotettava johtopäätöksiä Tuomi & Sarajärvi 2004
Lähtökohtia Aineiston käsittely perustuu loogiseen päättelyyn ja tulkintaan aineisto aluksi hajotetaan osiin, käsitteellistetään ja kootaan uudestaan uudella tavalla loogiseksi kokonaisuudeksi Ennen analyysia tulee päättää analysoidaanko ilmisisältö (manifest content) vai myös piilossa olevat viestit (latent content) Analyysiyksikkö voi olla sana, sanayhdistelmä, lause, lausuma, tai ajatuskokonaisuus, kirjain, sivujen määrä, pääotsikoiden koko ym. riippuen tutkimustehtävästä Sisällönanalyysi voidaan tehdä aineistolähtöisesti, teoriaohjaavasti tai teorialähtöisesti Tuomi & Sarajärvi 2004
Aineistolähtöinen sisällönanalyysi Aineistolähtöiseen sisällönanalyysiin kuuluvat: 1) aineiston redusointi eli pelkistäminen (esim. tiivistämällä tai pilkkomalla osiin), 2) klusterointi ja 3) abstrahointi Tuomi & Sarajärvi 2004
Aineistolähtöinen sisällönanalyysi Aineiston klusteroinnissa eli ryhmittelyssä koodattu alkuperäisaineisto käydään tarkasti läpi ja etsitään samankaltaisuuksia ja/tai eroavaisuuksia kuvaavia käsitteitä Samaa asiaa tarkoittavat käsitteet ryhmitellään ja yhdistetään luokaksi sekä nimetään luokan sisältöä kuvaavalla nimikkeellä Tuomi & Sarajärvi 2004
Aineistolähtöinen sisällönanalyysi Aineiston abstrahoinnissa erotetaan tutkimuksen kannalta oleellinen tieto, jonka perusteella muodostetaan teoreettinen käsitteistö Abstrahointia jatketaan yhdistelemällä luokituksia niin kauan kuin se aineiston näkökulmasta on mahdollista Tutkija muodostaa yleiskäsitteiden avulla kuvauksen tutkimuskohteesta ja vertaa teoriaa ja johtopäätöksiä kokoajan alkuperäisaineistoon uutta teoriaa muodostaessaan Tuomi & Sarajärvi 2004
Aineistolähtöinen sisällönanalyysi Tuloksissa esitetään empiirisestä aineistosta muodostettu malli, käsitejärjestelmä, käsitteet tai aineistoa kuvaavat teemat Tuloksissa kuvataan myös luokittelujen pohjalta muodostetut käsitteet tai kategoriat ja niiden sisällöt Johtopäätöksissä tutkija pyrkii ymmärtämään tutkittavia heidän omasta näkökulmastaan Tuomi & Sarajärvi 2004
Teoriaohjaava ja teorialähtöinen sisällönanalyysi Teoriaohjaavassa sisällönanalyysissa käsitteistö tulee valmiina, ilmiöstä jo tiedettynä Teorialähtöisessä sisällönanalyysissa analyysin luokittelu perustuu aikaisempaan viitekehykseen, joka voi olla teoria tai käsitejärjestelmä Teorialähtöisessä sisällönanalyysin ensimmäinen vaihe on analyysirungon muodostaminen Tuomi & Sarajärvi 2004
Teoriaohjaava ja teorialähtöinen sisällönanalyysi Analyysi runko voi olla hyvin väljä tai vaikkapa strukturoitu Strukturoidulla analyysirungolla testataan yleensä aikaisempaa teoriaa tai käsitejärjestelmää uudessa kontekstissa Analyysirungon sisälle muodostetaan erilaisia luokituksia tai kategorioita Aineistosta voidaan poimia ne asiat, jotka kuuluvat analyysirungon sisälle sekä sellaiset asiat, jotka jäävät analyysirungon ulkopuolelle Analyysirungon ulkopuolelle jäävistä asioista muodostetaan uusia luokkia Tuomi & Sarajärvi 2004
Aineiston kvantifiointi Luokittelun ja kategorisoinnin jälkeen aineisto voidaan kvantifioida ts. lasketaan kuinka monta kertaa sama asia esiintyy esimerkiksi haastattelijoiden kuvauksissa tai kuinka moni tutkittava ilmaisee saman asian Kvantifioinnin nähdään tuovan laadullisen aineiston tulkintaan erilaista näkökulmaa Ongelmana usein kuitenkin se, että laadulliset aineistot ovat niin pieniä, ettei niiden kvantifiointi tuo välttämättä lisätietoa tai erilaista näkökulmaa tutkimustuloksiin Tuomi & Sarajärvi 2004
Sisällönanalyysi kirjallisuuskatsauksessa Systemaattinen kirjallisuuskatsaus on tehokas tapa syventää tietoja asioista, joista on jo valmiina tutkittua tietoa ja tuloksia Evidence based ajattelu tukee systemaattisten kirjallisuuskatsauksien merkitystä Systemaattisen kirjallisuuskatsauksen tulokset hahmottuvat vasta kun saatujen luokkien sisällä tarkastellaan lähteisiin nojaten, millaisia kuvauksia kyseisistä aiheista tutkimuksissa esitetään Pekkala 2000
Kritiikkiä Useissa sisällönanalyysillä tehdyissä tutkimuksissa tutkija on kuvannut analyysin hyvin, mutta mielekkäät johtopäätökset on jääneet tekemättä Analyysiprosessi on mekaaninen: onko vaarana, että systematiikan myötä katoaa jotakin oleellista? Tuomi & Sarajärvi 2004
Esimerkki sisällönanalyysistä Newman, Webb & Cochrane 1999.
Lähteet Benbunan-Fich, R. 2001. Using protocol analysis to evaluate the usability of commercial web site [online]. Elsevier, 2001 [viitattu 29.2.2008]. Saatavissa pdf-muodossa: <DOI: http://dx.doi.org/10.1016/s0378-7206(01)00085-4 >. Julkaistu myös: Information & Management, 39 (2 ), December 2001, 151-163 Grönfors M.1982.Kvalitatiiviset kenttätyömenetelmät. Helsinki: WSOY Krippendorff K. 1985. Content analysis. An Introduction to Its Methodology. Sage Publications. Kyngäs & Vanhanen 1999. Sisällönanalyysi. Hoitotiede 1999: 11(1), s.3-12. Newman, R., Webb, B. & Cochrane, C. A content analysis method to measure critical thinking in face-to-face and computer supported group learning [online]. Belfast: Queen s University, 1999 [viitattu 29.2.2008]. Saatavissa www-muodossa: http://www.qub.ac.uk/mgt/papers/methods/contpap.html
Lähteet Nielsen, J. & Clemmensen, T. & Yssing, C. 2002. Getting access to what goes on in people's heads?: reflections on the think-aloud technique [online]. In Nordichi 2002 - Tradition and Transcendence, Aarhus, Denmark, October 19-23, 2002. new York: ACM Press, 2002 [viitattu 29.2.2008]. Saatavissa pdf-muodossa: <DOI: http://doi.acm.org/10.1145/572020.572033 >. Pekkala E. 2000. Systemaattiset kirjallisuuskatsaukset. Kirjassa Voutilainen P., Leino-Kilpi, H., Mikkola, T. & Peipponen, A. (toim.)hoitotyön vuosikirja 2001. Näyttöön perustuva hoitotyö. Helsinki: Tammi, s. 58-68. Salvucci, D.D. 1998. Interpreting eye movements with process models [online]. New York: ACM Press, 1998 [viitattu 29.2.2008]. Saatavissa pdfmuodossa <URL: http://viscog.cs.drexel.edu/publications/chi98.pdf >. Julkaistu myös: Human factors in Computing Systems: CHI 98 Summary. New York: ACM Press, 66-67. Tuomi, J. & Sarajärvi, A. 2004. Laadullinen tutkimus ja sisällönanalyysi. Jyväskylä: Gummerus Kirjapaino Oy. Verbal protocol [online]. Toronto: Human-Computer Interaction Resource Network, 1998, päivitetty 26.4.1998 [viitattu 29.2.2008]. Saatavissa wwwmuodossa: <URL: http://www.hcirn.com/atoz/atozv/verbal.php >.