12.luento MATHM-57550 Kvalitatiiviset tutkimusmenetelmät 5 op. Kirsi Silius & Anne-Maritta Tervakari 5.5.2008
Luennon teemat Laadullisen tutkimuksen luotettavuus tutkimuksen validiteetti ja reliabiliteetti eli tutkimuksen pätevyys ja toistettavuus Yleistäminen laadullisessa tutkimuksessa Laadullisen tutkimuksen raportointi
Käsitteitä : reliabiliteetti ja validiteetti Reliabiliteetti: tutkimustulosten toistettavuus toistettaessa tutkimus tai mittaus saadaan samat tulokset kaksi tutkijaa päätyy samanlaiseen tulokseen kysymyksessä tutkimuksen kyky antaa ei-sattumanvaraisia tuloksia Validiteetti: tutkimuksen pätevyys tutkimuksessa on tutkittu sitä, mitä on ollut tarkoitus tutkia mittari tai tutkimusmenetelmä mittaa juuri sitä mitä on tarkoituksin esim. vastaaja ymmärtää kysymyksen samalla tavoin kuin tutkija
Laadullisen tutkimuksen arviointi Laadullisen tutkimuksen arviointiin on sovellettu mm. seuraavia tapoja: tilastollisen tutkimuksen perinteisten käsitteiden, reliabiliteetin ja validiteetin, soveltaminen laadullisessa tutkimuksessa sellaisenaan vanhoille termeille on kehitetty uusia sisältöjä vanhat termit on hylätty kokonaan ja tutkimuksen luotettavuutta arvioidaan muusta näkökulmasta) Laadullisen tutkimuksen arvioinnissa on kysymys tutkimusprosessin luotettavuudesta (ei pelkästään mittauksen luotettavuudesta) Toisaalta on kysymys myös totuuskäsityksestä Ajatellaanko, että on olemassa vain yksi totuus vai voiko samasta asiasta olla useampia totuuksia erään käsityksen mukaan ihmistä ja kulttuuria koskevat kuvaukset ovat ainutkertaisia, joten totuuksia on lukuisia (Eskola & Suoranta, 2000; Hirsjärvi 2001, 213-215. )
Tutkimusprosessin luotettavuus
Laadullisen tutkimuksen luotettavuuden kriteereitä Uskottavuus vastaavatko tutkijan käsitteellistykset ja tulkinnat tutkittavien käsityksiä tutkittavilta voidaan varmistaa tulkintojen oikeellisuus Tutkimustulosten siirrettävyys tilanteesta toiseen vastaavaan tilanteeseen mahdollista tietyin ehdoin Varmuus tutkijan ennakko-oletukset otetaan huomioon Vahvistuvuus tehdyt tulkinnat saavat tukea aiemmista tutkimuksista Laadullista tutkimusta on usein kritisoitu luotettavuuskriteereiden hämäryydestä (Eskola & Suoranta, 2000 )
Laadullisen tutkimuksen arviointi Ulkopuolinen lukija arvioi tutkimusta tutkimusraportin pohjalta Arviointinäkemyksiä: realistinen näkökulma: tutkimusraportissa esitettyjen väitteiden perusteltavuus ja totuudenmukaisuus metodinen näkemys: tutkimusmenetelmien oikeaoppinen käyttö arviointi aineistonkeräämisen ja analysoinnin kuvauksen perusteella tutkimuksen toistettavuus konstruktivistinen näkemys: kritiikki tieteellisen viitekehyksen sisällä instrumentalismi: tutkimuksen käytännöllinen arvo Tutkimuksen arviointia auttaa, jos lukijalle annetaan aineiston tulkintojen lisäksi autenttisia katkelmia aineistosta, joista tulkinnat on tehty Saadaanko retoriikalla luotettavampia tutkimuksia? esim. kuvailut kenttätyön kestosta ja vaikeudesta siteeraukset alan ehdottomilta guruilta (Eskola & Suoranta, 2000)
Realistinen luotettavuusnäkemys Arvioinnin perustana tutkimusteksti tutkimusteksti on ikkuna todellisuuteen tutkimustekstissä konstruoidaan tutkimusprosessissa käytetty logiikka arvioidaan kuinka pätevästi tutkittu kohde ja tutkimusprosessi kuvataan Ulkoinen validiteetti tulkintojen, johtopäätösten ja aineiston välisten suhteiden pätevyys eli kuvauksen ja siihen liitettyjen selitysten ja tulkintojen yhteensopivuus Sisäinen validiteetti tutkimuksen teoreettisten ja käsitteellisten määrittelyjen sopusointu Muita kriteereitä: aineiston merkittävyys ja riittävyys sekä analyysin kattavuus, arvioitavuus ja toistettavuus (Eskola & Suoranta, 2000)
Validiteetti eli pätevyys laadullisessa tutkimuksessa Kuvauksen, päätelmän, selityksen tai tulkinnan oikeellisuus tai luotettavuus (Maxwell 1996) sopiiko selitys kuvaukseen onko selitys luotettava Kuvauksen validiteetti aineiston tarkkuus ja kattavuus esim. aineistojen tuottamisen olosuhteiden selvä ja totuudenmukainen kuvaus henkilöiden, paikkojen ja tapahtumien tarkka kuvaus Tulkinnan validiteetti: Ymmärretään tutkittavien ihmisten näkökulmat ja merkitykset esim. miten tutkija on ymmärtänyt tutkittavia haastattelutilanteessa Ei käytetä omia käsityksiä tai omaa viitekehystä (esim. Hirsjärvi 2001, 214. )
Validiteetti eli pätevyys laadullisessa tutkimuksessa Teoreettinen validiteetti kiinnitettävä huomiota poikkeavaan aineistoon tarvittaessa esitettävä vaihtoehtoisia tulkintoja Tutkijan omat käsitykset (researcher bias) omat ennakkokäsitykset ja niiden taustan selvittäminen esim. tutkija ei määrää mikä on tärkeää aineistossa Reaktiivisuus ymmärrettävä tutkijan vaikutus tutkimukseen esim. miten tutkijan läsnäolo tai tutkijan oma kielenkäyttö aineiston keruun yhteydessä on vaikuttanut tutkimukseen (esim. Hirsjärvi 2001, 212. )
Triangulaatio keinona parantaa luotettavuutta Erilaisten aineistojen, teorioiden ja/tai menetelmien käyttöä samassa tutkimuksessa aineistotriangulaatio: yhdessä tutkimuksessa yhdistetään useammanlaisia aineistoja kuten haastattelut, havainnointi, organisaation kokouspöytäkirjat tutkijatriangulaatio: samaa ilmiötä tutkii useampi tutkija teoriatriangulaatio: aineistoa tulkitaan eri teorioiden näkökulmasta menetelmätriangulaatio: useita aineistonhankinta- ja tutkimusmenetelmiä yksi menetelmä kuvaa kohdetta yhdestä näkökulmasta, jolloin useampaa menetelmää käyttämällä saadaan totuudenmukaisempi kuva Voidaan korjata luotettavuusvirhettä Kallista ja vie paljon aikaa (Eskola & Suoranta,2000; Hancock 1998)
Mittauksen luotettavuus
Mittaamisen* luotettavuus laadullisessa tutkimuksessa Havaintojen keräystapaan eli mittaamiseen voidaan käyttää hyvin monenlaisia apuvälineitä ja mittauksen kohteet ovat hyvin erilaisia eri tieteenaloilla Tieteellisesti pätevällä mittarilla on tieteelliset vaatimukset Mittarin muodostaminen lähtee siitä, että ensin määritellään asia tai ilmiö, josta halutaan tietoa ja josta halutaan kerätä havaintoja (mitata) Tämä edellyttää ilmiön täsmällistä käsitteellistämistä * mittaaminen tarkoittaa tässä sekä tilastollista että laadullista mittaamista ts. havaintojen keräämistä konkreettisesti mittaamalla, havainnoimalla, haastattelemalla, kyselemällä jne.
Mittaaminen On kyettävä määrittämään myös konkreettinen mittari eli tutkittava ilmiö on operationalisoitava toisin sanoen teoreettinen käsite on muunnettava mittauksen kohteeksi myös laadullisessa tutkimuksessa on pohdittava miten teoreettinen käsite ilmaistaan (arki)kielellä ts. millainen kysymys vastaajalle esitetään, jotta saadaan haluttua tietoa Usein mittari kehitetään itse, mutta yhtä hyvin voidaan käyttää myös valmiita mittareita Valmista mittaria käytettäessä on erityisen tärkeää selvittää, mitä se tarkkaan ottaen mittaa ts. mikä on ollut alkuperäinen kohderyhmä, sen kulttuuri, kieli, ajankohta, vastaajien ikä yms. Mittarin rakentamisessa on tärkeää huomioida tutkimuksen kohderyhmä Esimerkiksi lapsille ei voida käyttää samanlaista mittaria kuin aikuisille (Metsämuuronen 2006, 56 60.)
Esimerkki operationalisoinnista Käytettävyyden osatekijä: opittavuus ensin määriteltävä teoreettisesti mitä opittavuudella tässä yhteydessä tarkoitetaan Tilastollinen tutkimus esim. Uskon, että useimmat ihmiset oppivat käyttämään tätä verkkopalvelua nopeasti. täysin eri mieltä 1 2 3 4 5 täysin samaa mieltä Laadullinen tutkimus esim. haastattelu Kerro verkkopalvelun käytön oppimiseen liittyvistä kokemuksistasi?
Mittarin validiteetti eli pätevyys Mittarin on siis mitattava sitä asiaa, mitä sillä halutaan mitata ts. mitä asiaa halutaan tutkia mittari on väline havaintojen (tiedon) keräämiseksi Mittarin validiteetilla tarkoitetaan mittarin pätevyyttä mitata juuri sitä, mitä sen on tarkoitus mitata tarpeeksi kattavasti laadullisessa tutkimuksessa esim. voidaanko haastattelukysymyksen avulla saada tietoa juuri siitä mistä on tarkoituskin Mittaria on osattava käyttää oikeaan kohteeseen, oikealla tavalla ja oikeaan aikaan, jotta se tavoittaa kohteen esimerkiksi epäonnistunut otanta, mittauksen ajankohta tai jopa haastateltavan ja haastattelijan välinen henkilökemia voivat aiheuttaa "epäpätevyyttä" mittarin käytössä (Metsämuuronen 2006, 56 60.)
Mittarin validiteetti eli pätevyys Validi mittari on tulos onnistuneesta operationalisoinnista toisin sanoen kysymyksillä saadaan tietoa juuri siitä asiasta mistä ollaan kiinnostuneitakin Tutkittavat ilmiöt voidaan käytännössä operationalisoida hyvinkin erilaisiksi mittareiksi Operationalisoinnissa on epäonnistunut mikäli vastaaja ei esimerkiksi iästään tai sosiaalisesta asemastaan johtuen ymmärrä lainkaan kysymyksiä tai ei ymmärrä niitä samalla tavalla kuin tutkija seurauksena mittausvirheitä (Metsämuuronen 2006, 56 60.)
Mittarin reliabiliteetti laadullisessa tutkimuksessa Reliabiliteetti (mittauksen toistettavuus) voidaan pyrkiä parantamaan usealla eri tavalla indikaattoreiden vaihto: ilmiön yhdenmukaisuuden osoittamista eri tavoin useampi havaintokerta: esim. samaa asiaa kysytään eri tavoin useampi havainnoitsija tai haastattelija (vrt Metsämuuronen 2006, 56 60; Virtanen 2006, 198-208.)
Aineistonkeruun eettisyydestä Tutkimukseen osallistujan oikeudet on turvattava Tietoinen suostumus informaatio, ymmärtäminen ja vapaaehtoisuus kun kyseessä on ei-arkaluonteinen aineistonkeruu, suullinenkin tutkittavan informointi riittää Luottamuksellisuus ja anonymiteetti kerätään vain sellaista tietoa, joka on tutkimuksen kannalta tarpeellista aineistoa käytetään vain siihen tarkoitukseen mihin suostumus on pyydetty henkilöllisyyden tai henkilökohtaisia tietoja sisältävä aineisto on säilytettävä huolellisesti ja aineisto on anonymisoitava Turvallisuus Tutkittavalle ei saa aiheutua tutkimuksesta fyysistä tai psyykkistä haittaa (Tutkimusetiikkaa ja lakipykäliä 2007; Tutkittavien informointi 2007)
Aineistonkeruun eettisyydestä Aina ei ole mahdollista pyytää tutkittavalta suostumusta aineisto koottu alun perin jotakin muuta tarkoitusta varten käyttöä säätelee julkisuus- ja henkilötietolaki Kun aineisto sisältää henkilötietoja tai yksittäinen henkilö on tunnistettavissa aineistosta (aineisto esim. sisältää henkilökohtaisia tietoja, joiden perusteella yksittäinen henkilö on tunnistettavissa), voidaan aineistoa käyttää tieteellisessä tutkimuksessa ilman henkilöiden suostumusta tietyin ehdoin Suostumusta ei ole mahdollista hankkia aineiston suuren määrän, iän tai muun syyn vuoksi Aineiston käyttö perustuu tutkimussuunnitelmaan ja tutkimuksella on vastuullinen johtaja Toimitaan siten, että tiettyä henkilöä koskevat tiedot eivät paljastu tutkimusryhmän ulkopuolisille Tutkimuksen jälkeen aineisto hävitetään tai henkilötiedot muutetaan sellaiseen muotoon, ettei yksittäinen henkilö ole tunnistettavissa (Tutkimusetiikkaa ja lakipykäliä 2007; Tutkittavien informointi 2007; HetiL 523/1999; Laki viranomaisten 621/1999.)
Yleistäminen laadullisessa tutkimuksessa
Yleistäminen laadullisessa tutkimuksessa Aineistosta ei tehdä päätelmiä yleistettävyyttä ajatellen yksityisessä toistuu yleinen yksityisen tapauksen tarkka tutkimus tuo esiin merkittävät tekijät, jotka toistuvat usein tarkasteltaessa ilmiötä yleisellä tasolla Sisäinen yleistettävyys yleistettävissä siihen yhteyteen, josta aineisto koottu päätelmän yleistettävyys tutkittavassa ryhmässä tai tilanteessa Ulkoinen yleistettävyys yleistäminen tutkitun ryhmän tai tilanteen ulkopuolelle Teoreettinen yleistettävyys tuottaa teoreettisia lauseita, periaatteita, väittämiä (Eskola & Suoranta, 2000; Hirsjärvi 2001, 169)
Yleistäminen laadullisessa tutkimuksessa Yleistäminen ei ole mahdollista suoraan aineistosta ainoastaan tehdyistä tulkinnoista (niiden kestävyys ja syvyys) Tällöin kriittiseksi tekijäksi nousee aineiston kerääminen Yleistettävyyttä parantaa mahdolliset vertailuasetelmat (Eskola & Suoranta, 2000)
Yleistäminen laadullisessa tutkimuksessa Kvalitatiivisen tutkimuksen tulosten siirrettävyys eri kontekstien välillä riippuu tutkitun tapauksen ympäristön ja uuden ympäristön samanlaisuudesta Tutkimuksen siirrettävyyttä pyritään parantamaan siten, että tutkija selostaa tarkasti, miten hän on tutkimuksen suorittanut empiiriset ja teoreettiset määritelmät pitää liittää toisiinsa tutkijan tulee kuvata tutkimuksen konteksti, tapauksen kulku ja tutkimusprosessi yksityiskohtaisesti (Lincoln & Cuba 1985)
Laadullisen tutkimuksen raportointi
Laadullisen tutkimuksen raportointi Laadullisen tutkimuksen raportointiin ei ole olemassa yhtä ainoaa oikeaa mallia Tutkimusraportti on usein kertomuspainotteinen kuvaus tutkimusprosessin kulusta aineiston analyysi ja esittämistapa korostuvat Kirjoittaminen (ja uudelleenkirjoittaminen) on merkittävä osa laadullista tutkimusta vrt. tilastollinen tutkimus, missä kirjoittaminen on eräänlainen tutkimuksen jälkiselostus Kirjoittaminen on luovaa, ei mekaanista Kertomus etsimisestä tiheä kuvaus aineistosta yhdistyy tieteelliseen kerrontaan (Eskola & Suoranta, 2000; Hirsjärvi ym. 2001, 246)
Tutkimustekstin kirjoittaminen Tutkimustulokset julkaistaan yleensä tutkimusraporttina - toisinaan myös esim. suullisina esitelminä tai artikkeleina. Perinteinen rakenne noudattaa kaavaa: nimi, tiivistelmä, alkusanat, sisällysluettelo, johdanto, teoreettinen tausta, ongelmat ja hypoteesit, tutkimusmenetelmät, tulokset, pohdinta, lähteet ja liitteet Hyvä nimi on ytimekäs ja informatiivinen Sisällysluettelosta paljastuu tutkimuksen rakenne, työn eteneminen ja eri osien väliset suhteet Johdannossa lukija johdatetaan tutkimukseen (tutkimuksen perusidea ja tarkoitus sekä rajaus) Teoriaosuudessa esitetään teoreettiset lähtökohdat tutkimukselle sekä tehdään ongelman asettelu (ellei ole tehty jo aiemmin) Menetelmäosuudessa esitellään aineistonkeruumenetelmät, käytetyt tutkimusmenetelmät sekä kuvaillaan kohderyhmää Tuloksissa esitetään vastaukset tutkimusongelmiin. Johtopäätöksissä kerrotaan miten ongelmat onnistuttiin ratkaisemaan, miten tutkimus lisäsi tietoa ilmiöstä, miten tuloksia voidaan hyödyntää, mitä rajoituksia tutkimukseen sisältyy, (Eskola & Suoranta, 2000; Hirsjärvi ym. 2001, 232-244)
Laadullisen tutkimuksen raportointi Yleisiä periaatteita tutkimusraportin laatimiseksi Johdannossa tutkija johdatetaan aiheeseen esitellään käytetyt tutkimusote ja tutkimusongelma kerrotaan mihin empiirisillä havainnoilla pyritään usein liitetään katkelma empiirisestä havainnosta, jonka avulla lukija viedään aiheeseen Menetelmäosiossa kuvataan tutkimusprosessin eteneminen esitellään prosessin vaiheet: tutkimusongelman hahmottuminen, tutkimuksen etenemissuunnitelma, tutkimuskohteiden valinta, aineiston hankinta ja analyysimenetelmät (pohditaan samalla niiden luotettavuutta) aineiston tuottamisen olosuhteiden kuvaaminen esim. haastattelu- ja havaintoaineiston keräämisen yhteydessä mainitaan paikka, kulunut aika, mahdolliset häiriötekijät ja virhetulkinnat haastattelussa sekä tutkijan oma tulkinta tilanteesta (Eskola & Suoranta, 2000; Hirsjärvi ym. 2001, 214 ja 247)
Laadullisen tutkimuksen raportointi Analyysi, tulokset ja pohdinta tutkimusraportin tärkein osa Sisältää analyysin ja tulkinnan avulla esiin nousseiden kategorioiden tärkeyden ja kiinnostavuuden perustelun luokittelujen syntymisen alkujuuret ja luokittelujen perusteet merkityksellisten teemojen havainnollistaminen tarkoin valituin autenttisin tekstikatkelmin (suorat lainaukset) monivaiheisten analysoitujen havaintojen perusteella tehdään päätelmiä (ja yleistyksiä) myös millä perusteella tulkinta esitetään, mihin päätelmät perustuvat Pohdintaosiossa tulokset suhteutetaan kirjallisuuteen toisin sanoen teorian ja aineiston yhdistävä pohdinta Loppuluvussa keskeisimmät tulokset tai päätelmät kootaan yhteen ja kytketään päätelmät laajempaan yhteyteen sekä tarkastellaan tutkimusprojektia kokonaisuutena (Eskola & Suoranta, 2000; Hirsjärvi ym. 2001, 214 ja 248)
Laadullisen tutkimuksen raportointi Hyvä laadullinen tutkimusraportti kuvastaa tutkimusprosessin todellista kulkua yhdistää aineiston tiheän kuvauksen tieteelliseen kerrontaan kuvaa tutkijan kirjallisuudesta tekemien synteesien yhdistelemistä tutkijan omaan tekstiin ilmentää selvästi mikä on tutkittavien omaa sanankäyttöä, mikä taas tutkijan tekstiä (aineistoa tulkitsevaa ja erittelevää) Tutkimusraportin pääasiallinen aikamuoto on preesens ja persoona yksikön 1. etenkin niissä kohdin, missä tutkija kertoo miten hän teki tutkimuksen (esim. Hirsjärvi ym. 2001, 248)
Vinkkejä Tutkimusta tehdessä kannattaa kirjoittaa ylös kaikki mitä mieleen tulee kyseisestä aiheesta ja karsia turhat sivujuonet myöhemmin pois tutkimuspäiväkirja Kirjoitusvaiheessa sisällysluettelo toimii ajatusten jäsentäjänä Oma persoonallisuus saa näkyä laadullisessa tutkimuksessa Aineistonkeräämisen jälkeen voi liikkua hulluuden rajoilla kun ei oikein tiedä, mitä aineiston kanssa pitäisi tehdä. Eskolan ja Suorannan mukaan tämä on kuitenkin ohimenevää.
Lähteet Eskola, J. & Suoranta, J. 2000. Johdatus laadulliseen tutkimukseen. Tampere. Vastapaino. Hirsjärvi, S., Remes, P. & Sajavaara, P. 2001. Tutki ja kirjoita. 6. 7. painos. Helsinki. Kustannusosakeyhtiö Tammi. Lincoln, Y.S. & Guba, E.G. 1985. Naturalistic inquiry. Beverly Hills, Ca: Sage. Hancock, B. 1998. Trent Focus for Research and Development in Primary Health Care: An Introduction to Qualitative Analysis [online]. Trend Focus, päivitetty 2002 [viitattu 2.5.08].Saatavissa pdf-muodossa: http://www.trentrdsu.org.uk/cms/uploads/qualitative%20research. pdf Metsämuuronen, J. 2006. Metodologian perusteet ihmistieteissä. Teoksessa: Metsämuuronen, J. (toim.) Laadullisen tutkimuksen käsikirja. Helsinki: International Methelp Ky, 16 78.
Lähteet Suomen säädöskokoelma Henkilötietolaki 523/1999 (HetiL) Laki viranomaisten toiminnan julkisuudesta 621/1999 Tutkimusetiikkaa ja lakipykäliä [online]. Tampere: Yhteiskuntatieteellinen tietoarkisto. Tampereen yliopisto, päivitetty 27.9.2007 [viitattu 2.5.2008]. Saatavissa www-muodossa: http://www.fsd.uta.fi/laki_ja_etiikka/etiikka_lait.html Tutkittavien informointi [online]. Tampere: Yhteiskuntatieteellinen tietoarkisto. Tampereen yliopisto, päivitetty 27.9.2007 [viitattu 2.5.2008]. Saatavissa www-muodossa: http://www.fsd.uta.fi/laki_ja_etiikka/keruuohjeet.html Virtanen, J. 2006. Fenomenologia laadullisen tutkimuksen lähtökohtana. Teoksessa: Metsämuuronen, J. (toim.) Laadullisen tutkimuksen käsikirja. Helsinki: International Methelp Ky, 150 214.