10.luento MATHM-57550 Kvalitatiiviset tutkimusmenetelmät 5 op. Kirsi Silius & Anne-Maritta Tervakari 7.3.2006 Luennon teemat Laadullisen tutkimuksen luotettavuus tutkimuksen validiteetti ja reliabiliteetti eli tutkimuksen pätevyys ja toistettavuus Yleistäminen laadullisessa tutkimuksessa Laadullisen tutkimuksen raportointi Eettisistä kysymyksistä 1
Käsitteitä : reliabiliteetti ja validiteetti Reliabiliteetti: tutkimustulosten toistettavuus toistettaessa tutkimus tai mittaus saadaan samat tulokset kaksi tutkijaa päätyy samanlaiseen tulokseen kysymyksessä tutkimuksen kyky antaa eisattumanvaraisia tuloksia Validiteetti: tutkimuksen pätevyys tutkimuksessa on tutkittu sitä, mitä on ollut tarkoitus tutkia mittari tai tutkimusmenetelmä mittaa juuri sitä mitä on tarkoituksin esim. vastaaja ymmärtää kysymyksen samalla tavoin kuin tutkija Laadullisen tutkimuksen arviointi Laadullisen tutkimuksen arvioinnissa on kysymys tutkimusprosessin luotettavuudesta (ei pelkästään mittauksen luotettavuudesta) Toisaalta on kysymys myös totuuskäsityksestä Ajatellaanko, että on olemassa vain yksi totuus vai voiko samasta asiasta olla useampia totuuksia erään käsityksen mukaan ihmistä ja kulttuuria koskevat kuvaukset ovat ainutkertaisia, joten totuuksia on lukuisia Laadullisen tutkimuksen arviointiin on sovellettu mm. seuraavia tapoja: tilastollisen tutkimuksen perinteisten käsitteiden, reliabiliteetin ja validiteetin, soveltaminen laadullisessa tutkimuksessa sellaisenaan vanhoille termeille on kehitetty uusia sisältöjä vanhat termit on hylätty kokonaan ja tutkimuksen luotettavuutta arvioidaan muusta näkökulmasta) (Eskola & Suoranta, 2000; Hirsjärvi 2001, 213-215. ) 2
Tutkimusprosessin luotettavuus Tutkimuksen luotettavuuden kriteereitä Uskottavuus vastaavatko tutkijan käsitteellistykset ja tulkinnat tutkittavien käsityksiä tutkittavilta voidaan varmistaa tulkintojen oikeellisuus Tutkimustulosten siirrettävyys tilanteesta toiseen vastaavaan tilanteeseen mahdollista tietyin ehdoin Varmuus tutkijan ennakko-oletukset otetaan huomioon Vahvistuvuus tehdyt tulkinnat saavat tukea aiemmista tutkimuksista Laadullista tutkimusta on usein kritisoitu luotettavuuskriteereiden hämäryydestä (Eskola & Suoranta, 2000 ) 3
Realistinen luotettavuusnäkemys Arvioinnin perustana tutkimusteksti tutkimusteksti on ikkuna todellisuuteen tutkimustekstissä konstruoidaan tutkimusprosessissa käytetty logiikka arvioidaan kuinka pätevästi tutkittu kohde ja tutkimusprosessi kuvataan Ulkoinen validiteetti tulkintojen, johtopäätösten ja aineiston välisten suhteiden pätevyys eli kuvauksen ja siihen liitettyjen selitysten ja tulkintojen yhteensopivuus Sisäinen validiteetti tutkimuksen teoreettisten ja käsitteellisten määrittelyjen sopusointu Muita kriteereitä: aineiston merkittävyys ja riittävyys sekä analyysin kattavuus, arvioitavuus ja toistettavuus (Eskola & Suoranta, 2000) Validiteetti eli pätevyys laadullisessa tutkimuksessa Kuvauksen, päätelmän, selityksen tai tulkinnan oikeellisuus tai luotettavuus (Maxwell 1996) sopiiko selitys kuvaukseen onko selitys luotettava Kuvauksen validiteetti aineiston tarkkuus ja kattavuus esim. aineistojen tuottamisen olosuhteiden selvä ja totuudenmukainen kuvaus henkilöiden, paikkojen ja tapahtumien tarkka kuvaus Tulkinnan validiteetti: Ymmärretään tutkittavien ihmisten näkökulmat ja merkitykset esim. miten tutkija on ymmärtänyt tutkittavia haastattelutilanteessa Ei käytetä omia käsityksiä tai omaa viitekehystä (esim. Hirsjärvi 2001, 214. ) 4
Validiteetti laadullisessa tutkimuksessa Teoreettinen validiteetti kiinnitettävä huomiota poikkeavaan aineistoon tarvittaessa esitettävä vaihtoehtoisia tulkintoja Tutkijan omat käsitykset (researcher bias) omat ennakkokäsitykset ja niiden taustan selvittäminen esim. tutkija ei määrää mikä on tärkeää aineistossa Reaktiivisuus ymmärrettävä tutkijan vaikutus tutkimukseen esim. miten tutkijan läsnäolo tai tutkijan oma kielenkäyttö aineiston keruun yhteydessä on vaikuttanut tutkimukseen (esim. Hirsjärvi 2001, 212. ) Triangulaatio keinona parantaa luotettavuutta Erilaisten aineistojen, teorioiden ja/tai menetelmien käyttöä samassa tutkimuksessa aineistotriangulaatio: yhdessä tutkimuksessa yhdistetään useammanlaisia aineistoja kuten haastattelut, havainnointi, organisaation kokouspöytäkirjat tutkijatriangulaatio: samaa ilmiötä tutkii useampi tutkija teoriatriangulaatio: aineistoa tulkitaan eri teorioiden näkökulmasta menetelmätriangulaatio: useita aineistonhankinta- ja tutkimusmenetelmiä yksi menetelmä kuvaa kohdetta yhdestä näkökulmasta, jolloin useampaa menetelmää käyttämällä saadaan totuudenmukaisempi kuva Voidaan korjata luotettavuusvirhettä Kallista ja vie paljon aikaa (Eskola & Suoranta,2000; Lacey & Luff 2001) 5
Mittauksen luotettavuus Mittaamisen* luotettavuus laadullisessa tutkimuksessa Havaintojen keräystapaan eli mittaamiseen voidaan käyttää hyvin monenlaisia apuvälineitä ja mittauksen kohteet ovat hyvin erilaisia eri tieteenaloilla Tieteellisesti pätevällä mittarilla on tieteelliset vaatimukset Mittarin muodostaminen lähtee siitä, että ensin määritellään asia tai ilmiö, josta halutaan tietoa ja josta halutaan kerätä havaintoja (mitata) Tämä edellyttää ilmiön täsmällistä käsitteellistämistä * mittaaminen tarkoittaa tässä sekä tilastollista että laadullista mittaamista ts. havaintojen keräämistä konkreettisesti mittaamalla, havainnoimalla, haastattelemalla, kyselemällä jne. 6
Mittaaminen On kyettävä määrittämään myös konkreettinen mittari eli tutkittava ilmiö on operationalisoitava toisin sanoen teoreettinen käsite on muunnettava mittauksen kohteeksi myös laadullisessa tutkimuksessa on pohdittava miten teoreettinen käsite ilmaistaan (arki)kielellä ts. millainen kysymys vastaajalle esitetään, jotta saadaan haluttua tietoa Usein mittari kehitetään itse, mutta yhtä hyvin voidaan käyttää myös valmiita mittareita Valmista mittaria käytettäessä on erityisen tärkeää selvittää, mitä se tarkkaan ottaen mittaa ts. mikä on ollut alkuperäinen kohderyhmä, sen kulttuuri, kieli, ajankohta, vastaajien ikä yms. Mittarin rakentamisessa on tärkeää huomioida tutkimuksen kohderyhmä Esimerkiksi lapsille ei voida käyttää samanlaista mittaria kuin aikuisille Esimerkki operationalisoinnista Käytettävyyden osatekijä: opittavuus ensin määriteltävä teoreettisesti mitä opittavuudella tässä yhteydessä tarkoitetaan Tilastollinen tutkimus esim. Uskon, että useimmat ihmiset oppivat käyttämään tätä verkkopalvelua nopeasti. täysin eri mieltä 1 2 3 4 5 täysin samaa mieltä Laadullinen tutkimus esim. haastattelu Kerro verkkopalvelun käytön oppimiseen liittyvistä kokemuksistasi? 7
Mittarin validiteetti Mittarin on siis mitattava sitä asiaa, mitä sillä halutaan mitata ts. mitä asiaa halutaan tutkia mittari on väline havaintojen (tiedon) keräämiseksi Mittarin validiteetilla tarkoitetaan mittarin pätevyyttä mitata juuri sitä, mitä sen on tarkoitus mitata tarpeeksi kattavasti laadullisessa tutkimuksessa esim. voidaanko haastattelukysymyksen avulla saada tietoa juuri siitä mistä on tarkoituskin Mittaria on osattava käyttää oikeaan kohteeseen, oikealla tavalla ja oikeaan aikaan, jotta se tavoittaa kohteen esimerkiksi epäonnistunut otanta, mittauksen ajankohta tai jopa haastateltavan ja haastattelijan välinen henkilökemia voivat aiheuttaa "epäpätevyyttä" mittarin käytössä Mittarin validiteetti Validi mittari on tulos onnistuneesta operationalisoinnista toisin sanoen kysymyksillä saadaan tietoa juuri siitä asiasta mistä ollaan kiinnostuneitakin Tutkittavat ilmiöt voidaan käytännössä operationalisoida hyvinkin erilaisiksi mittareiksi Operationalisoinnissa on epäonnistunut mikäli vastaaja ei esimerkiksi iästään tai sosiaalisesta asemastaan johtuen ymmärrä lainkaan kysymyksiä tai ei ymmärrä niitä samalla tavalla kuin tutkija seurauksena mittausvirheitä 8
Mittarin reliabiliteetti laadullisessa tutkimuksessa Reliabiliteetti - voidaan pyrkiä parantamaan usealla eri tavalla indikaattoreiden vaihto: ilmiön yhdenmukaisuuden osoittamista eri tavoin useampi havaintokerta: esim. samaa asiaa kysytään eri tavoin useampi havainnoitsija tai haastattelija Laadullisen tutkimuksen arviointi 9
Laadullisen tutkimuksen arviointi Ulkopuolinen lukija arvioi tutkimusta tutkimusraportin pohjalta Arviointinäkemyksiä: realistinen näkökulma: tutkimusraportissa esitettyjen väitteiden perusteltavuus ja totuudenmukaisuus metodinen näkemys: tutkimusmenetelmien oikeaoppinen käyttö arviointi aineistonkeräämisen ja analysoinnin kuvauksen perusteella tutkimuksen toistettavuus konstruktivistinen näkemys: kritiikki tieteellisen viitekehyksen sisällä instrumentalismi: tutkimuksen käytännöllinen arvo Tutkimuksen arviointia auttaa, jos lukijalle annetaan aineiston tulkintojen lisäksi autenttisia katkelmia aineistosta, joista tulkinnat on tehty Saadaanko retoriikalla luotettavampia tutkimuksia? esim. kuvailut kenttätyön kestosta ja vaikeudesta siteeraukset alan ehdottomilta guruilta (Eskola & Suoranta, 2000) Yleistäminen laadullisessa tutkimuksessa 10
Yleistäminen laadullisessa tutkimuksessa Aineistosta ei tehdä päätelmiä yleistettävyyttä ajatellen yksityisessä toistuu yleinen yksityisen tapauksen tarkka tutkimus tuo esiin merkittävät tekijät, jotka toistuvat usein tarkasteltaessa ilmiötä yleisellä tasolla Sisäinen yleistettävyys yleistettävissä siihen yhteyteen, josta aineisto koottu päätelmän yleistettävyys tutkittavassa ryhmässä tai tilanteessa Ulkoinen yleistettävyys yleistäminen tutkitun ryhmän tai tilanteen ulkopuolelle Teoreettinen yleistettävyys tuottaa teoreettisia lauseita, periaatteita, väittämiä (Eskola & Suoranta, 2000; Hirsjärvi 2001, 169) Yleistäminen laadullisessa tutkimuksessa Yleistäminen ei ole mahdollista suoraan aineistosta ainoastaan tehdyistä tulkinnoista (niiden kestävyys ja syvyys) Tällöin kriittiseksi tekijäksi nousee aineiston kerääminen Yleistettävyyttä parantaa mahdolliset vertailuasetelmat (Eskola & Suoranta, 2000) 11
Yleistäminen laadullisessa tutkimuksessa Kvalitatiivisen tutkimuksen tulosten siirrettävyys eri kontekstien välillä riippuu tutkitun tapauksen ympäristön ja uuden ympäristön samanlaisuudesta Tutkimuksen siirrettävyyttä pyritään parantamaan siten, että tutkija selostaa tarkasti, miten hän on tutkimuksen suorittanut empiiriset ja teoreettiset määritelmät pitää liittää toisiinsa tutkijan tulee kuvata tutkimuksen konteksti, tapauksen kulku ja tutkimusprosessi yksityiskohtaisesti (Lincoln & Cuba 1985) Laadullisen tutkimuksen raportointi 12
Tutkimustekstin kirjoittaminen Tutkimustulokset julkaistaan yleensä tutkimusraporttina - toisinaan myös esim. suullisina esitelminä tai artikkeleina. Perinteinen rakenne noudattaa kaavaa: nimi, tiivistelmä, alkusanat, sisällysluettelo, johdanto, teoreettinen tausta, ongelmat ja hypoteesit, tutkimusmenetelmät, tulokset, pohdinta, lähteet ja liitteet Hyvä nimi on ytimekäs ja informatiivinen Sisällysluettelosta paljastuu tutkimuksen rakenne, työn eteneminen ja eri osien väliset suhteet Johdannossa lukija johdatetaan tutkimukseen (tutkimuksen perusidea ja tarkoitus sekä rajaus) Teoriaosuudessa esitetään teoreettiset lähtökohdat tutkimukselle sekä tehdään ongelman asettelu (ellei ole tehty jo aiemmin) Menetelmäosuudessa esitellään aineistonkeruumenetelmät, käytetyt tutkimusmenetelmät sekä kuvaillaan kohderyhmää Tuloksissa esitetään vastaukset tutkimusongelmiin. Johtopäätöksissä kerrotaan miten ongelmat onnistuttiin ratkaisemaan, miten tutkimus lisäsi tietoa ilmiöstä, miten tuloksia voidaan hyödyntää, mitä rajoituksia tutkimukseen sisältyy, (Eskola & Suoranta, 2000; Hirsjärvi ym. 2001, 232-244) Laadullisen tutkimuksen raportointi Laadullisen tutkimuksen raportointiin ei ole olemassa yhtä ainoaa oikeaa mallia Tutkimusraportti on usein kertomuspainotteinen kuvaus tutkimusprosessin kulusta aineiston analyysi ja esittämistapa korostuvat Kirjoittaminen (ja uudelleenkirjoittaminen) on merkittävä osa laadullista tutkimusta vrt. tilastollinen tutkimus, missä kirjoittaminen on eräänlainen tutkimuksen jälkiselostus Kirjoittaminen on luovaa, ei mekaanista Kertomus etsimisestä tiheä kuvaus aineistosta yhdistyy tieteelliseen kerrontaan (Eskola & Suoranta, 2000; Hirsjärvi ym. 2001, 246) 13
Laadullisen tutkimuksen raportointi Yleisiä periaatteita tutkimusraportin laatimiseksi Johdannossa tutkija johdatetaan aiheeseen esitellään käytetyt tutkimusote ja tutkimusongelma kerrotaan mihin empiirisillä havainnoilla pyritään usein liitetään katkelma empiirisestä havainnosta, jonka avulla lukija viedään aiheeseen Menetelmäosiossa kuvataan tutkimusprosessin eteneminen esitellään prosessin vaiheet: tutkimusongelman hahmottuminen, tutkimuksen etenemissuunnitelma, tutkimuskohteiden valinta, aineiston hankinta ja analyysimenetelmät (pohditaan samalla niiden luotettavuutta) aineiston tuottamisen olosuhteiden kuvaaminen esim. haastattelu- ja havaintoaineiston keräämisen yhteydessä mainitaan paikka, kulunut aika, mahdolliset häiriötekijät ja virhetulkinnat haastattelussa sekä tutkijan oma tulkinta tilanteesta (Eskola & Suoranta, 2000; Hirsjärvi ym. 2001, 214 ja 247) Laadullisen tutkimuksen raportointi Analyysi, tulokset ja pohdinta tutkimusraportin tärkein osa Sisältää analyysin ja tulkinnan avulla esiin nousseiden kategorioiden tärkeyden ja kiinnostavuuden perustelun luokittelujen syntymisen alkujuuret ja luokittelujen perusteet merkityksellisten teemojen havainnollistaminen tarkoin valituin autenttisin tekstikatkelmin (suorat lainaukset) monivaiheisten analysoitujen havaintojen perusteella tehdään päätelmiä (ja yleistyksiä) myös millä perusteella tulkinta esitetään, mihin päätelmät perustuvat Pohdintaosiossa tulokset suhteutetaan kirjallisuuteen toisin sanoen teorian ja aineiston yhdistävä pohdinta Loppuluvussa keskeisimmät tulokset tai päätelmät kootaan yhteen ja kytketään päätelmät laajempaan yhteyteen sekä tarkastellaan tutkimusprojektia kokonaisuutena (Eskola & Suoranta, 2000; Hirsjärvi ym. 2001, 214 ja 248) 14
Laadullisen tutkimuksen raportointi Hyvä laadullinen tutkimusraportti kuvastaa tutkimusprosessin todellista kulkua yhdistää aineiston tiheän kuvauksen tieteelliseen kerrontaan kuvaa tutkijan kirjallisuudesta tekemien synteesien yhdistelemistä tutkijan omaan tekstiin ilmentää selvästi mikä on tutkittavien omaa sanankäyttöä, mikä taas tutkijan tekstiä (aineistoa tulkitsevaa ja erittelevää) Tutkimusraportin pääasiallinen aikamuoto on preesens ja persoona yksikön 1. etenkin niissä kohdin, missä tutkija kertoo miten hän teki tutkimuksen (esim. Hirsjärvi ym. 2001, 248) Vinkkejä Tutkimusta tehdessä kannattaa kirjoittaa ylös kaikki mitä mieleen tulee kyseisestä aiheesta ja karsia turhat sivujuonet myöhemmin pois tutkimuspäiväkirja Kirjoitusvaiheessa sisällysluettelo toimii ajatusten jäsentäjänä Oma persoonallisuus saa näkyä laadullisessa tutkimuksessa Aineistonkeräämisen jälkeen voi liikkua hulluuden rajoilla kun ei oikein tiedä, mitä aineiston kanssa pitäisi tehdä. Eskolan ja Suorannan mukaan tämä on kuitenkin ohimenevää. 15
Eettiset kysymykset Tutkimustoiminnan eettiset kysymykset Tieteen eettiset ongelmat voivat liittyä tiedon hankintaan tulosten julkistamiseen tieteen sosiaaliseettiseen vastuuseen liittyvät mm. siihen, missä määrin tiede ja tutkimustoiminta on vastuussa tiedon käytöstä ja seurauksista yhteiskunnalle Suomessa tutkimuseettinen neuvottelukunnan tutkimuseettiset ohjeet määrittelevät yleisellä tasolla hyvää tieteellistä käytäntöä ja sen loukkauksia monitieteisestä näkökulmasta monilla tieteenaloilla on omia eettisiä normistoja, jotka määrittelevät yksityiskohtaisemmin esim. tutkimuksen kohteen ja tutkijan välisestä suhteesta. (Hyvä tieteellinen 2002.) 16
Tutkimustoiminnan eettiset kysymykset Käytännön tutkimustyön liittyvät eettiset kysymykset aiheen valinta, tutkimuksen kohteena olevien henkilöiden kohtelu ja rehellisyyden vaatimus Aiheen valinta kenen ehdoilla tutkimusaihe valitaan ja miksi tutkimukseen ryhdytään Hirsjärvi ym. 2001, 25-28 Tutkimustoiminnan eettiset kysymykset Tutkimuksen kohteena olevien henkilöiden kohtelu tutkittavilta henkilöiltä edellytetään asiaan perehtyneesti annettu suostumus (informed consent) > miten henkilöiden suostumus hankintaan perehtyneisyys (informed): tutkittavalle henkilölle tulee kertoa mitä tulee tapahtumaan, mitä tutkimuksen kuluessa saattaa tapahtua > henkilön on kyettävä ymmärtämään informaatio suostumus (consent): henkilö on kykenevä tekemään rationaalisia ja kypsiä arviointeja sekä suostuminen on vapaaehtoista tutkimuskohdetta (tai muitakaan henkilöitä) ei saa käyttää hyväkseen anonyymiuden takaaminen aineiston keräämisessä ja tulosten julkistamisessa aineiston keräämisessä huomioitavat korvauskysymykset, luottamuksellisuus ja aineiston asianmukainen tallentaminen Hirsjärvi ym. 2001, 25-28 17
Tutkimustoiminnan eettiset kysymykset Rehellisyyden vaatimus kunnia sille kenelle se kuuluu: plagiointi - tieteellinen viittauskäytäntö yhteistyön tuloksena syntynyttä tietoa ei julkaista omissa nimissä ei tuoteta näennäisesti uutta tutkimusta muokkaamalla vanhaa ( itseplagiointi ) ei sepitellä tai kaunistella tutkimustuloksia > kriittinen yleistäminen ja kriittinen pohdinta siitä kenen tuloksista on kyse raportointi on luotettavaa: käytetyt menetelmät on esitelty huolellisesti, mahdolliset puutteet tuodaan esiin tutkimusrahojen käyttö on perusteltua Hirsjärvi ym. 2001, 25-28 Lisätietoa Tutkimusetiikka [online]. Helsinki. Suomen tieteen ja teknologian tietopalvelu, opetusministeriö, 2005, päivitetty 16.6.2005 [viitattu 6.3.2006]. Saatavissa www-muodossa: <URL: http://www.research.fi/tut-etiikka_fi.html >. Hyvä tieteellinen käytäntö ja sen loukkausten käsitteleminen [online]. Helsinki: Tutkimuseettinen neuvottelukunta, 2002 [päivitetty] 14.4.2004 [viitattu 7.3.2006]. Saatavissa pdf-muodossa: http://pro.tsv.fi/tenk/htkfi.pdf. 18
Viikkoharjoitus 10. Mieti omaa tutkimustasi. Valitse seuraavista tehtävistä toinen ja pohdi oman tutkimuksen toteuttamista annettujen kysymysten pohjalta. Tehtävä 1: Tutkimuksen luotettavuus Millaisia tutkimuksen luotettavuuteen liittyviä haasteita tai ongelmia tutkimuksesi toteutuksen yhteydessä saattaa ilmetä? Entä miten oman tutkimuksesi luotettavuutta voisi parantaa? Tehtävä 2: Tutkimuksen eettiset kysymykset Millaisia eettisiä kysymyksiä saattaa tulla ratkaistavaksi tutkimuksen toteuttamisen yhteydessä? Miten hyvää tieteellistä käytäntöä voidaan edistää tutkimuksessasi? Lähteet Eskola, J. & Suoranta, J. 2000. Johdatus laadulliseen tutkimukseen. Tampere. Vastapaino. Hirsjärvi, S., Remes, P. & Sajavaara, P. 2001. Tutki ja kirjoita. 6. 7. painos. Helsinki. Kustannusosakeyhtiö Tammi. Hyvä tieteellinen käytäntö ja sen loukkausten käsitteleminen [online]. Helsinki: Tutkimuseettinen neuvottelukunta, 2002 [päivitetty] 14.4.2004 [viitattu 6.3.2006]. Saatavissa pdf-muodossa: http://pro.tsv.fi/tenk/htkfi.pdf. Lincoln, Y.S. & Guba, E.G. 1985. Naturalistic inquiry. Beverly Hills, Ca: Sage. Lacey, A. & Luff, D. 2001. Trent Focus for Research and Development in Primary Health Care: An Introduction to Qualitative Analysis. Trent. Focus. www.trentfocus.org.uk/resources/qualitative Data Analysis.pdf (8.2.2005) Metsämuuronen, J. 2003. Tutkimuksen tekemisen perusteet ihmistieteessä. 2. uudistettu painos. Helsinki. International Methelp Ky. 19