Käsitteistä Reliabiliteetti, validiteetti ja yleistäminen KE 62 Ilpo Koskinen 28.11.05 empiirisessä tutkimuksessa puhutaan peruskurssien jälkeen harvoin "todesta" ja "väärästä" tiedosta (tai näiden modernimmista muunnelmista, kuten "totuudenkaltaisuudesta") sen sijaan puhutaan esimerkiksi "reliabiliteetista ja validiteetista" tai "tutkimuksen arvioitavuudesta" kvalitatiivisessa tutkimuksessa näihin termeihin turvaudutaan, kun halutaan arvioida, voidaanko johonkin tutkimuksen väitteeseen luottaa kyse on olennaisesta asiasta; kaikkia tutkimuksia arvioidaan jotenkin, joten on syytä tuntea keskeiset kaksi luennon otsikossa olevaa arviointia ohjaavaa käsitettä ja niiden takana piilevät ajatusmallit Miksi nämä käsitteet kannattaa miettiä tutkimusta laadittaessa? Ne huomioimalla saa ohjattua tutkimuksen keskeisiin ja tärkeisiin asioihin mahdollisten virhelähteiden analyysi etukäteen auttaa minimoimaan virheitä keskeinen hyvän tutkimuksen merkki on luotettavuus - siihen kannattaa siis kiinnittää huomiota Reliabiliteetti Reliabiliteetti ja validiteetti reliabiliteetilla tarkoitetaan yleisimmin sitä konsistenssin astetta, jolla jotkin tapaukset sijoitetaan samaan luokkaan eri havainnoitsijoiden toimesta eri aikoina 1
Validiteetti täsmällisemmin reliabiliteetilla ymmärretään (1) metodin stabiilisuutta: toivottavaa olisi, että tietty metodi tuottaisi samat tulokset joka keran, kun sitä käytetään saman ilmiön tutkimiseen (2) havaintojen stabiilisuutta: havaintojen pitäisi pysyä samoina ajan yli (3) havaintojen samanlaisuutta saman ajanjakson sisällä missä määrin tietty väite, tulkinta tai tulos kuvaa kohteen, johon viittaa voimme uskoa, että jokin tulos on tosi, vaikkei se sitä olisi - ja päinvastoin syitä on monia: käsitteet, teoria, empiria validiteetin lajeina pidetään minimaalisesti sisäistä ja ulkoista validiteettia. Lisäksi joskus erotetaan muita validiteetin lajeja sisäinen validiteetti merkitsee tulkinnan sisäistä loogisuutta ja ristiriidattomuutta ulkoinen yleistyvyyttä muualla kuin tutkittuun tapaukseen Käsitteiden mielekkyydestä "Reliabiliteetilla" ja "validiteetilla" on selvä merkitys lähinnä vain muutamassa kontekstissa validiteetilla on selvä merkitys kokeellisessa tutkimuksessa reliabiliteetilla on selvä merkitys lähinnä nk. sisällönanalyysissa ja surveyssä tehtyjen indeksien tarkistamisessa Kvalitatiiviseen tutkimukseen nämä käsitteet sopivat huonosti Laadullisessa kirjallisuudessa molempien käsitteiden mielekkyyttä usein epäillään eri auktoriteeteilla on silti käsitteitä, joilla pyritään parantamaan tutkimuksen laatua esim. "arvioitavuus" (Suomessa esim. Klaus Mäkelä) tai yksinkertaisesti "tutkimuksen laatu jatkuva laaduntarkkailu? 2
Reliabiliteetin ja validiteetin osoittaminen Laadulliselle tutkimukselle ominaiset reliabiliteetin ja validiteetin osoittamistavat voi ryhmittää kahden otsikon alle. Ensimmäistä näistä voi pitää perustasona, toinen riippuu tutkijan omasta filosofiasta: 1. Rel. ja val. osoittaminen raportissa (Grönfors, 178-179) Raportissa pitäisi kuvata vähintäänkin tutkimuksen kulku ja tekotapa saadun materiaalin tarkistustekniikat sekä se, miten tutkija vaikutti aineistoon oma (teoreettinen) viitekehys omat sidokset (rahoittajat, ym.) miten reaktiivisuuskysymykset tulivat esille ja miten ne huomioitiin tutkimuksessa IK: lisäksi keskeiset virhelähteet ja niiden käsittely 2. "Jäsenvalidaatio" Joskus esitetään, että tutkittujen ihmisten pitäisi voida tunnistaa itsensä raportista. Käytännössä tämä tarkoittaa, että lähes valmis raportti annetaan luettavaksi tutkituille ihmisille. Tämän jälkeen raporttia korjataan, kunnes tutkitut ihmiset ovat siihen tyytyväisiä tai minimaalisemmin, tutkittujen ihmisten annetaan kirjoittaa "vastine" samaan raporttiin joskus puhutaan myös "praktisesta validiteetista" "diskursiivisesta validiteetista" aina: tutkija korjaa tekstiään tutkimansa yhteisön ehdoilla Jäsenvalidaatio on järkevää, jos pyrkimys on kuvata tutkittujen ajattelumaailma (eikä esimerkiksi käyttäytymistä) on syytä olettaa, että he pystyvät kuvaamaan oman ajattelumaailmansa suhteellisen virheettä on syytä olettaa, että he pystyvät suhtautumaan tutkimukseen kiihkotta 3
jos tutkija antaa tutkituille ihmisille auktoriteetin myös tulkintoihinsa ja johtopäätöksiinsä, pitäisi lisäksi voida olettaa, että tutkitut ihmiset ymmärtävät tutkijan ajatuksenkulun ja pystyvät arvioimaan sitä kokonaisuudessaan (tämä lienee harvinainen tilanne) vähänkin epäselvien "faktojen" tarkistaminen tutkituilla ihmisillä on sen sijaan aina fiksua näin saa karsittua harmittavia virheitä pois tutkimuksesta tällaiset virheet saattavat ruokkia yleisempää epäilyä tutkimuksen pätevyydestä Virhelähteiden kontrollista Jos reliabiliteetti- ja validiteettiajattelu otetaan vakavasti, pitäisi tutkimuksen lopuksi arvioida systemaattisesti tutkimuksen sisältämiä virhelähteitä tutkimusta suunniteltaessa nämä virhelähteet pitäisi minimoida Systemaattisia virhelähteitä huono aineiston käsitteellistys/teoretisointi niin teoria- kuin induktiivisvetoisessa prosessissa epäselvät käsitteet ja ilmiselvästi väärä teoriakehys (suhteessa vaihtoehtoisiin teorioihin) huonosti hallittu vakava reaktiivisuus tarkoitukseen sopimaton metodi huolimattomuus päättelyssä, esim. puutteet kielteisten tapausten käsittelyssä Satunnaisia virhelähteitä kysymykset, jotka eivät ole jossain yksityiskohdissa riittävän tarkkoja tai systemaattisia vain paikoin huono päättely vähäinen reaktiivisuus, joka ei uhkaa tulosten päälinjaa huono ja epätarkka litteraatio yms. 4
5