7.luento MATHM Kvalitatiiviset tutkimusmenetelmät 5 op.

Transkriptio

1 7.luento MATHM Kvalitatiiviset tutkimusmenetelmät 5 op. Kirsi Silius & Anne-Maritta Tervakari Teemat Laadullisten aineistojen analyysitapoja Haastatteluaineiston analysointi Teemoittelu ja tyyppianalyysi (ideal type, pure type and classification) Kvalitatiivinen vai kvantitatiivinen analyysi Protokolla-analyysi (protocol analysis) 1

2 Laadullisten aineistojen analyysitapoja Laadullisten aineistojen analyysitapoja teemoittelu tyypittely sisällönerittely* diskurssiiviset analyysitavat* keskusteluanalyysi kvantitatiiviset analyysitekniikat * käsiteltiin luennolla 5 Haastatteluaineisto Haastattelu vuorovaikutusta, jossa molemmat osapuolet vaikuttavat toisiinsa Haastattelu on Ennalta suunniteltu Haastattelijan alulle panema ja ohjaama Haastattelija joutuu usein motivoimaan haastateltavaa ja pitämään haastattelua yllä Haastattelija tuntee roolinsa ja haastateltava oppii sen Haastateltavan on luotettava siihen, että hänen kertomansa käsitellään luottamuksellisena Tarkoituksena ymmärtää, miten ihmiset konstruoivat erilaisten tilanteiden, asioiden merkityksiä ja miten merkityksellisiä ne ovat. (Hirsjärvi & Hurme, 1980) 2

3 Haastatteluaineisto Miles ja Huberman (1994, 50) suosittelevat aineiston varhaista analyysiä, koska tällöin on mahdollista palata keräämään lisäaineistoa sekä työskennellä jo olemassa olevan aineiston pohjalta Mäkelä (1990) varoittaa liian laajoista aineistoista kvalitatiivisessa tutkimuksessa, koska laajan aineiston hallinta ja siihen perehtyminen on helposti huteraa Toisaalta aineiston kyllääntyminen tarkoittaa sitä, että uudet tapaukset eivät tuo esiin tutkimuksen kannalta uusia piirteitä (Mäkelä 1990). Haastatteluaineiston analyysi Haastatteluaineiston analyysiin ei ole olemassa valmista mallia Ensimmäinen askel on haastatteluaineiston purkaminen analysoitavaan muotoon (esim. haastattelupuheen tekstiksi purkaminen tai muistiinpanojen puhtaaksikirjoittaminen) Varsinaisessa analyysissä käytetään useimmiten laadullisia menetelmiä Analyysi tehdään aina tietyn viitekehyksen läpi ts. analyysi on aineiston tarkastelua tietystä näkökulmasta 3

4 Haastatteluaineiston analyysi Analyysin tarkoituksena on tiivistää aineisto kadottamatta kuitenkaan sen sisältämää informaatiota Ennen varsinaisten analyysimenetelmien käyttämistä kerätty aineisto vaatii jonkin asteisia esitöitä Analyysin ja tulkintavaiheen suhde - kaksi erilaista näkökulmaa ei erotettavissa toisistaan: analyysivaiheessa tehdään tulkintoja, jotka ohjaavat analyysiä kaksi erillistä tapahtumaa Analyysin ja tulkinnan tekemiselle kaksi periaatteellista lähestymistapaa grounded-mallin mukaisesti tulkinnat rakennetaan aineistosta käsin aineisto tutkijan teoreettisen ajattelun lähtökohta tai apuväline (Eskola & Suoranta, 2000) Esityöt ennen varsinaista analyysia Aineiston purkaminen esim. litterointi, yhteenvedot Aineiston järjestäminen haastateltaville tunniste (numero, koodi) kenttämuistiinpanojen järjestäminen esim. päivämäärän tai sisällön mukaan varmuuskopiot Aineistoon tutustuminen nauhojen kuuntelu, videomateriaalin katsominen, aineiston läpilukeminen jne. siten, että aineisto avautuu alustavasti tärkeää, jos ei ole kerännyt aineistoa aivan kokonaan itse (Eskola & Suoranta, 2000) 4

5 Huomioitavaa analysoinnin yhteydessä Tutkijan valinnat ja tutkimusongelma ohjaavat analyysia Aineiston käsittely ja analysointi aloitetaan mahdollisimman pian keruu- tai kenttävaiheen jälkeen. Tietojen tarkistus Tietojen täydentäminen Aineiston järjestäminen syklinen kehä, vaiheet seuraavat toisiaan Analyysiä voidaan tehdä jo tutkimuksen kuluessa. Valitaan analyysitapa, joka tuo parhaiten vastauksen ongelmaan esim. luokittelu, teemoittelu, tyypittely, tilastollinen analyysi Laadullisten aineistojen analyysitapoja Huomioitava, että käytännössä eri analyysitavat kietoutuvat toisiinsa analyysimenetelmien rajat eivät ole selkeitä usein joutuu soveltamaan useita menetelmiä jos yksi tapa ei tunnu toimivan, voi soveltaa jotakin muuta alkuvaiheessa joutuu aina sietämään epävarmuutta mitä aineiston kanssa pitäisi tehdä aina kannattaa järjestää aineisto ja merkitä ne esim. juoksevalla numeroinnilla merkitä myös aika ja paikka missä esim. haastattelu tehtiin on hyvä käyttää erilaisia omia merkintöjään ilmaisemaan tutkimusongelman kannalta mielenkiintoisia asioita, jotka auttavat aineiston käsittelyssä myöhemmin 5

6 Teemoittelu ja tyypittely Teemoittelu Useimmiten ensimmäinen lähestyminen aineistoon Käytännössä tarkoitetaan aineiston pilkkomista ja järjestämistä erilaisten aihepiirien mukaan Tarkoituksena on nostaa esiin tutkimusongelmaa valaisevia teemoja toisin sanoen tekstimassasta pyritään löytämään ja erottelemaan tutkimusongelman kannalta olennaiset aiheet Irrotetut sitaatit järjestetään teemoittain eräänlaiseksi sitaattikokoelmaksi ei useinkaan tarjoa eväitä kovin pitkälle menevään analyysiin tai johtopäätöksiin Kyse on eräänlaisesta pelkistämisestä Tekstikatkelmia (sitaatteja) voidaan käyttää perustelemaan tutkijan tulkintaa esimerkkinä aineistosta elävöittämään tutkimusraportin tekstiä pelkistettyinä, tiivistettyinä kertomuksina aineistosta (lähellä tyypittelyä) (Esim. Eskola & Suoranta ) 6

7 Teemoittelu Sopiva aineiston analysointitapa, kun tavoitteena on käytännön ongelman ratkaiseminen saadaan olennaista tietoa Teemoittelua voidaan jatkaa pidemmällekin saadaan vastauksia esitettyihin kysymyksiin Olennaista on aineiston ja teorian yhteys Raporttia kirjoittaessa esim. kuvataan tutkittavaa ilmiötä aineistositaatin avulla jonka jälkeen kuvataan mitä teoria (aiempi tutkimus) sanoo asiasta seuraavaksi tutkija vertailee teoriassa esitettyjä ja aineistossa ilmeneviä asioita pyrkii tulkitsemaan mistä tässä oikein on kysymys ja ehkä pohtimaan syitä vaikea sanoa sääntöä sitaattien määrästä tutkimusraportissa, mutta tutkijan tekstiä on syytä olla enemmän kuin sitaatteja Tyypittely Tyypittely edellyttää aina teemoittelua eli tarinajoukon jäsentämistä Tyypittelyllä tarkoitetaan aineiston ryhmittelyä tyypeiksi eli aineistosta muodostetaan ryhmiä, jotka sisältävät samankaltaisia tarinoita Tyypit siis tiivistävät ja tyypillistävät yhteen tyyppiin voidaan esimerkiksi tunkea kaikkea sellaista, mitä välttämättä ei ole yksittäisessä vastauksessa tyypit kuvaavat laajasti, mutta taloudellisesti aineistoa (Esim. Eskola & Suoranta ) 7

8 Tyypittely Kolmenlaisia tyyppejä: autenttinen: yhden vastauksen sisältävä tyyppi esimerkki laajemmasta aineiston osasta yhdistetty: mahdollisimman yleinen tyyppi mukana sellaisia asioita, jotka esiintyvät suuressa osassa tai kaikissa vastauksissa keskimääräinen tyyppi mahdollisimman laaja tyyppi: tyyppiin mukana otettavat asiat ovat esiintyneet ehkä vain yhdessä vastauksessa olennaista sisäinen loogisuus > tyyppi on mahdollinen, joskaan ei todennäköinen esittää poikkeavia tyyppejä (Esim. Järvinen & Järvinen 2000, 83; Routio 2005; Tellis 1997) Laadullisen aineiston kvantitatiivinen analyysi Sisällönerittely ks. luennon 5 kalvot Taulukointi Yksinkertaisimmillaan esim. jäsentelyn yhteydessä tarkoittaa mekaanista laskentaa esimerkiksi teemojen tai tyyppien määrän laskemista Voidaan käyttää esim. ryhmien välisten erojen kuvailemiseen 8

9 Kvalitatiivinen vai kvantitatiivinen analyysi Kvalitatiivinen vai kvantitatiivinen analyysi Ihmistieteellisen tutkimuksen menetelmällistä kenttää ei voida jakaa kvalitatiivisiin ja kvantitatiivisiin menetelmiin. Mutta voidaan erottaa kaksi tutkimuksen tekemistä tulkitsevaa ideaalimallia: yhtäältä luonnontieteellinen koeasetelma, toisaalta arvoituksen ratkaiseminen kvalitatiivinen ja kvantitatiivinen analyysi Selittämiseen käytetään usein tilastollista analyysia ja tilastollisten päätelmien tekoa Ymmärtämiseen pyrkivässä lähestymistavassa käytetään tavallisesti kvalitatiivista analyysia ja päätelmien tekoa Usein samassa tutkimuksessa ja saman tutkimusaineiston analysoinnissa sovelletaan sekä kvalitatiivista ja kvantitatiivista analyysimenetelmää (Alasuutari 1999) 9

10 Kvalitatiivinen vai kvantitatiivinen analyysi Keskustelua kvalitatiivisen ja kvantitatiivisen tutkimuksen eroista on käyty pitkään mm. Brymanin (1988) mukaan erot näkyvät seuraavasti: Näkökulma Tutkijan ja tukittavan suhde Tutkimusstrategia Aineiston luonne Teorian ja tutkimuksen luonne Kvantitatiivinen etäinen strukturoitu kova, luotettava teoriaa varmistava Kvalitatiivinen läheinen strukturoimaton rikas, syvä teoriaa luova Hirsjärvi et al Kvalitatiivinen vai kvantitatiivinen analyysi Ei pidä tarkastella toistensa vastakohtina, vaan toisiaan täydentävinä Kvalitatíivista käytetään kvantitatiivisen tutkimuksen esikokeena Kvalitatiivista ja kvantitatiivista menetelmää käytetään rinnakkain Kvantitatiivinen vaihe edeltää kvalitatiivista Ovat lähestymistapoja, joita on käytännössä vaikea tarkkarajaisesti erottaa toisistaan Numerot ja merkitykset ovat vastavuoroisesti toisistaan riippuvaisia Mittaaminen sisältää kaikilla tasoilla sekä kvalitatiivisen että kvantitatiivisen puolen Hirsjärvi et al

11 Kvalitatiivinen vai kvantitatiivinen analyysi Kvalitatiivinen Pieni N Miksi ja miten?- ymmärrys Joustavuus Työläs kerätä Analysointi hankalaa Epävarma tie Kvantitatiivinen Suuret aineistot Kehittyneet analyysimenetelmät Helppo hallita (?) Vertailtavuus Kvalitatiivinen vai kvantitatiivinen tutkimusote? - Halutaanko paljon numeraalista tietoa vai syvemmälle menevää aineistoa? - Tutkimusongelma ohjaa - Toinen ei ole parempi kuin toinen Kvantitatiivinen tutkimus Tilastollinen-, positivistinen-, eksperimentaalinen tutkimus vallitseva tutkimusstrategia yhteiskuntatieteissä taustalla luonnontieteet ajatus yleispätevistä syyn ja seurauksen laeista realistinen ontologia (todellisuus rakentuu objektiivisesti todettavista tosiasioista) looginen positivismi (tieto peräisin suorasta aistihavainnosta ja näihin perustuvasta loogisesta päättelystä) Keskeistä hypoteesien esittäminen ja käsitteiden määrittely johtopäätökset aiemmista tutkimuksista (aiemmat teoriat) aineiston keruun suunnittelu määrällinen, numeerinen mittaaminen tarkat otantasuunnitelmat tilastollinen analyysi, taulukot, tilastollinen testaus Kvantitatiivisen tutkimuksen peruskysymys: Missä määrin tutkittavan ilmiön peruspiirteet ovat systemaattisesti mitattavissa? Missä määrin tutkittavasta ilmiöstä voidaan eristää mitattavia osia? 11

12 Kvalitatiivinen tutkimus Kvalitatiivinen eli laadullinen tutkimus kysymyksessä joukko monenlaisia tutkimuksia lähtökohtana todellisen elämän kuvaaminen tavoitteena ilmiön ymmärtäminen kohdetta tutkitaan kokonaisvaltaisesti objektiivisuuden saavuttaminen ei perinteisessä mielessä mahdollista Protokolla analyysi - ääneen ajattelu 12

13 Protokolla Tässä: tarkoitetaan tapahtumien (käyttäjän toiminnot, sanallinen ilmaisut) ketjua, joka rekisteröity (esim. nauhoitettu, videoitu) käyttäjän suorittaessa tiettyä tehtävää Käytetään paljon tutkimuksissa, joiden tavoitteena on selvittää käyttäjän tehtävän suorittamiseen liittyviä kognitiivisia prosesseja Tarkoituksena on tavoittaa faktoja - mitä käyttäjä esim. ajatteli tietyllä hetkellä, ei niinkään mielipiteitä tai kuvitelmia (Esim. Nielsen, Clemmensen & Yssing 2002) Protokolla analyysi Verbal protocol analysis ääneen puhuminen (thinking aloud, verbal reports, verbal protocols, concurrent verbal protocols, retsospective verbal protocols ) käyttäjän puhutun ilmaisun tallentaminen ja analysointi Action protocol analysis käyttäjän toimintojen rekisteröiminen näppäimistön, hiiren yms. käyttö tehtävää tehdessä Eye-movement protocol analysis käyttäjän silmän liikkeiden rekisteröinti (Vrt.. Nielsen, Clemmensen & Yssing 2002; Salvucci 1998) 13

14 Verbal protocol Yleisin protokolla analyysin muoto Tarkoitetaan tallennettua puhuttua ilmaisua (esim. äänitetty, litteroitu haastattelu, tutkijan tekemät muistiinpanot puhutusta ilmaisusta) Pitkät perinteet kliinisessä psykologiassa esim. päätöksentekoon, tekstinymmärtämiseen liittyvien kognitiivisten prosessien tutkimisessa Ericsson ja Simon kehittivät varsinaiseksi analyysimenetelmäksi 1980-luvulla klassikko: Ericsson, K.A. & Simon, H.A Protocol Analysis, Verbal reports as data. Cambridge (MA.): Bradford Books/MIT Press. (Vrt.. Nielsen, Clemmensen & Yssing 2002) Verbal protocol Yksi yleisimmin käytetyistä menetelmistä HCIalalla. Menetelmää käytetään vain harvoin puhtaana, useimmiten sovellettuna, muokattuna ja yhdistettynä muihin tekniikoihin. esim. hiiren ja näppäimistön käytön rekisteröinti tai silmän liikkeiden rekisteröinti haastattelu, havainnointi jne. Käytetään HCI -alalla kun tavoitteena on käyttäjien toiminnan ja (työ)tehtävien ymmärtäminen käytettävyysongelmien tunnistamien käytettävyystesteissä laboratorioissa, ryhmätyöskentelyssä, kentällä (Vrt.. Nielsen, Clemmensen & Yssing 2002) 14

15 Verbal protocol Samanaikaisesti tapahtuva (concurrent verbal protocols ) ääneen ajattelu (thinking aloud) yleisin tapa: käyttäjä ajattelee ääneen tehdessään tehtäviä ja kuvailee ajatuksiaan konstruktiivinen vuorovaikutus (constructive interaction) kaksi käyttäjää tekee yhdessä tehtävää ja heidän käymänsä keskustelu nauhoitetaan kysymysten esittäminen (question asking) käyttäjä esittää kysymyksiä ohjaajalle tehtävää tehdessään tarkoituksenaan selvittää miten tehtävän saa tehdyksi opettaminen (teaching) noviisi - mestari asetelma arviointi yhteistyössä (cooperative evaluation) käyttäjä toimii arvioijan roolissa, testin ohjaajan tehtävänä on lähinnä aktivoida ajattelua (Vrt. Verbal protocols 1998.) Verbal protocol Jälkeenpäin tapahtuva (retrospective verbal protocols ) mieleen palauttaminen ilman vihjeitä (unaided recall) käyttäjiä pyydetään palauttamana mieleen mitä ajattelivat tehtäviä tehdessään käyttäjät joutuvat luottamaan muistiinsa --> käytetään vai harvoin vihjeistetty mieleenpalauttaminen (aided recall) käyttäjiä pyydetään palauttamana mieleen mitä ajattelivat tehtäviä tehdessään ja samalla heille näytetään videotallennetta tehtävän suorittamisesta soveltuu erityisesti silloin, kun käyttäjä ei jostakin syystä pysty ilmaisemaan ajatuksiaan tehtävän aikana cross-examination testin ohjaaja esittää kysymyksiä testihenkilölle tarkentaakseen testin kuluessa tekemiään havaintoja käytetään varsin usein käytettävyystestin jälkihaastatteluna joskaan vain harvoin analysoidaan huolellisesti (Vrt. Verbal protocols 1998.) 15

16 Klassinen protokolla analyysi Ericssonin ja Simonin mukaan sanallinen ilmaisu on validi tiedonlähde silloin, kun tavoitteena on ihmisen kognitiivisien prosessien selvittäminen mielenkiinnon kohteena työmuistissa olevat välittömät, mahdollisimman puhtaat ajatukset kolmen tyyppistä sanallista ilmaisua sanallisessa muodossa olevien ajatusten sanominen ääneen (vocalisations talk aloud) ei-sanallisessa muodossa olevien ajatusten ilmaiseminen sanojen avulla (verbalisation think aloud) muut sanalliset ilmaisut (jälkeenpäin mieleen palautettujen ajatusten ilmaiseminen) ei kuvaa luotettavasti faktoja, voivat olla mielipiteitä, kuvitelmia, selityksiä, tunteisiin liittyviä tekijöitä yms. (Nielsen, Clemmensen & Yssing 2002) Protokolla analyysin vaiheet 1. Teoriaan pohjaava otanta aineiston hankinta mistä ilmiöstä, tapahtumasta aineisto kootaan 2. Aineiston kokoaminen äänitys tai videointi sekä litterointi 3. Aineiston pilkkominen ja järjestäminen aineistolähtöinen lähestymistapa 4. Aineiston koodaaminen ja luokittelu kategorioihin aineistolähtöisyys (Nielsen, Clemmensen & Yssing 2002) 16

17 Etuja Kustannustehokas tarvitaan vain muutama testihenkilö Saadaan tuloksia nopeasti. Menetelmän käyttö ei edellytä käytettävyyden asiantuntemusta Menetelmän avulla saadaan (ainakin oletetaan) tietoa niistä käyttäjän kognitiivisista prosesseista, jotka liittyvän tietyn tehtävän tekemiseen. (Nielsen, Clemmensen & Yssing 2002) Haasteita ja ongelmia Menetelmän tehokkuus riippuu tallentamis- ja analysointimenetelmän tarkkuudesta ja tehokkuudesta Käyttäjällä kognitiivinen taakka - on vaikea puhua ja tehdä tehtävää samanaikaisesti etenkin vaativan tehtävän ollessa kysymyksessä Käyttäjä kokee usein testinohjaajan toiminnan häiritsevänä (esim. muistuttamisen ääneen ajattelusta) Tilanne on luonnoton käyttäjälle (tarkkailun kohteena) Käyttäjillä on taipumus alkaa selittelemään tekemisiään etenkin epäonnistumisiaan (Nielsen, Clemmensen & Yssing 2002) 17

18 Haasteita ja ongelmia Miten käyttäjät kokevat ääneen ajattelu - menetelmän käytön? Käyttäjien kokemuksia ajattelevat nopeammin kuin mitä kykenevät puheen avulla ilmaisemaan. ajatteluprosessit ovat usein niin monimutkaisia, että niitä on vaikea ilmaista sanallisesti. ääneen ajattelu häiritsee tehtävien tekemistä. ääneen ajattelu on vaikeaa, luonnotonta. testitilanne saa heidät tuntemaan, että he itse ovat arvioitavana vaikuttaa tehtävien tekemiseen. (Nielsen, Clemmensen & Yssing 2002) Kritiikkiä Klassisessa protokolla analyysissa mielenkiinnon kohteena on matalan tason kognitiiviset prosessit kuten muisti ja havaitseminen ihminen ei kuitenkaan ole pelkkä informaation prosessointikone ajattelu on paljon enemmän kuin sanallisesti voidaan ilmaista ihminen irrotetaan sosiaalis-kulttuurisesta kontekstistaan Ajattelun eli ylemmän tason kognitiivisten prosessien ymmärtäminen edellyttää kehittyneempiä menetelmien kuten esim. itsearvioinnin hyödyntämistä (käyttäjän syvähaastettelu testin tallenteen näyttämisen yhteydessä --> tiedostamattomien tekijöiden esiin nostaminen) tunteiden merkityksen huomioimista ihmisen sosiaalis-kulttuurisen toimintaympäristön huomioimista (Nielsen, Clemmensen & Yssing 2002) 18

19 Muistettavaa Protokolla analyysia ei tulisi käyttää ainoana menetelmänä, vaan täydennettynä esim. haastatteluin Menetelmän tieteellinen käyttö edellyttää testiasetelman, aineiston keruun ja analysoinnin viitekehyksen tarkkaa kuvaamista tutkimusraportissa tutkimuksen luotettavuuden kasvaminen varsin usein jää tekemättä (Nielsen, Clemmensen & Yssing 2002) Case 1:Evaluate the usability of a commercial web site Analysointimenetelmänä protokolla analyysi Tarkoituksena tarkastella tuotteiden tilaamista verkkokaupasta käytettävyyden näkökulmasta Aiempaa tutkimusta nimenomaan verkkokaupan asiointiprosessin kriittisistä tekijöistä varsin vähän mitkä tekijät vaikuttavat käyttäjän halukkuuteen tilata tuote verkkokaupan välityksellä (Benbunan-Fich 2001.) 19

20 Case 1:Evaluate the usability of a commercial web site Valitsivat arvioinnin kohteeksi ilmaisten sähköisten postikorttien lähetyspalvelun ei maksuja, tuote jaetaan s-postiin helppo tutkimuskohteena Hallmark -yhtiön verkkopalvelu tunnettu perinteisten paperikorttien markkinoija (markkinajohtaja) verkkopalvelu ei kuitenkaan kovin suosittu miksi? (Benbunan-Fich 2001.) Case 1:Evaluate the usability of a commercial web site Perehtyivät etukäteen palveluun ja muodostivat ennakkokäsityksen siitä mitä saattaisi vaikuttaa käyttäjien näkemyksiin verkkopalvelusta kortin lähettäminen - prosessissa kuusi erillistä näyttöä käyttö edellytti rekisteröitymistä Hallmark s Clubin jäseneksi: tunnus, salasana, s-postiosoitteen antamista näytön lay-out toteutettu kehyksien avulla sähköiset kortit osion löytäminen hankalaa verkkosivustosta Järjestivät esitestin, jossa käyttäjät tutustuivat neljään eri sähköisten postikorttien lähettämispalveluun ja arvioivat niiden toimivuutta eniten negatiivisia kommentteja juuri Hallmark in verkko palvelusta (Benbunan-Fich 2001.) 20

21 Case 1:Evaluate the usability of a commercial web site Varsinainen testi Kahdeksan vapaaehtoista testaajaa tehtävänä lähettää sähköinen postikortti Aineiston keruu jokaisen käyttäjän testi tallennettiin puhe ääninauhalla ohjaaja kirjasi ylös näppäimistön ja hiiren käytön sekä kasvojen ilmeet yms. sellaisen informaation, jota ei voida tallentaa ääninauhalle ohjaaja myös muistutti testaaja ääneen ajattelusta tarvittaessa (Benbunan-Fich 2001.) Case 1:Evaluate the usability of a commercial web site 1. Analysointia varten ääninauhat litteroitiin, niihin yhdistettiin ohjaajan muistiinpanot sekä tieto siitä, mikä näyttö asiointiprosessista kulloinkin oli kyseessä yhteensä 40 sivua aineistoa 2. Aineisto järjestettiin mm. näyttöjen ja postikortin lähettämisprosessin vaiheiden mukaan esim. näyttö A vaihe 3 (ks. artikkelin taulukko 2) 3. Jokaista vaihetta tarkasteltiin erikseen tavoitteena löytää ne kohdat prosessista, joissa käyttäjällä oli ongelmia 4. Poimittiin ne kohdat, joissa ongelmia esiintyi 5. Kunkin ongelmakohdan frekvenssi laskettiin ja aineisto taulukoitiin tavoitteena löytää prosessin kriittisiä episodeja (Benbunan-Fich 2001.) 21

22 Case 1:Evaluate the usability of a commercial web site Screen/step code A1 B1 C2 C3 ja D4 E1 D-E Ongelman kuvaus Difficulty to find the link for electronic greetings in the main homepage Difficulty to find free greetings in the selected category Lost trying ti preview an electronic greeting card Could not identify button to proceed to the next screen Problems entering membership information Process long Dislike membership Frekvenssi (%) 63 (5/8) 38 (3/8) 13 (1/8) 25 (2/8) 13 (1/8) 50 (5/8) 100 (8/8) (Benbunan-Fich 2001.) Viikkoharjoitus 7. Löydät A&O:sta kurssin päiväkirjaosiosta luennon 7 yhteydestä laadullisen aineiston, joka on koottu v EVA tutkimushankkeessa*. Kysymyksessä on vastaajien kirjoittamia vastaukset avoimeen kysymykseen Perustele miksi valitsit verkkokurssin kyseisellä opintojaksolla. Tehtävänäsi on jäsentää aineistoa ja pyrkiä löytämään siitä teemoja tyypittelemään aineistoa ja etsiä siitä mielestäsi autenttinen tyyppi poikkeava tyyppi yhdistetty tyyppi Esitä vastauksessasi millaisia teemoja löysit aineistosta esimerkit tyypeistä Palauta myös aineisto, johon olet merkinnyt teemat esimerkin mukaisesti. Vapaaehtoinen lisätehtävä: Voit myös kokeilla taulukointia tai sisällön erittelyä. Käytä tehtävän tekemiseen apuna luentokalvoja. * EVA-evaluaatiotutkimushanke on TTY:n virtuaaliyliopiston ja Hypermedialaboratorion yhteinen tutkimushanke. Hanke on luonteeltaan monitieteinen toimintatutkimus. 22

23 Lähteet: Alasuutari, P Laadullinen tutkimus. Tampere: Vastapaino. Benbunan-Fich, R Using protocol analysis to evaluate the usability of commercial web site [online]. Elsevier, 2001 [viitattu ]. Saatavissa pdf-muodossa: <DOI: Julkaistu myös: Information & Management, 39 (2 ), December 2001, Eskola, J. & Suoranta, J Johdatus laadulliseen tutkimukseen. Tampere: Vastapaino. Hirsjärvi, S., Remes, P. & Sajavaara, P Tutki ja kirjoita. Helsinki: Kustannusosakeyhtiö Lähteet: Mäkelä, K Kvalitatiivisen analyysin arviointiperusteet. Teoksessa: Mäkelä, K. (toim.)kvalitatiivisen aineisto analyysi ja tulkinta. Helsinki: Gaudeamus. Nielsen, J. & Clemmensen, T. & Yssing, C Getting access to what goes on in people's heads?: reflections on the think-aloud technique [online]. In Nordichi Tradition and Transcendence, Aarhus, Denmark, October 19-23, new York: ACM Press, 2002 [viitattu ]. Saatavissa pdf-muodossa: <DOI: >. Salvucci, D.D Interpreting eye movements with process models [online]. New York: ACM Press, 1998 [viitattu ]. Saatavissa pdf-muodossa <URL: cog. cs. drexel.edu/publications/chi98.pdf>. Julkaistu myös: Human factors in Computing Systems: CHI 98 Summary. New York: ACM Press, Verbal protocol [online]. Toronto: Human-Computer Interaction Resource Network, 1998, päivitetty [viitattu ]. Saatavissa www-muodossa: <URL: 23