Tutkivan toiminnan luotettavuuden kriteerit 1
Luotettavuuden käsitteet Kun puhutaan tutkimuksen tieteellisestä luotettavuudesta ja pätevyydestä, puhutaan yleensä käsitteillä validiteetti ja reliabiliteetti. Kun tutkimus on validi, se on luotettava, pätevä. Tutkimusväline on reliaabeli, kun se on mittatarkka ja pysyvästi samaa mittaava. Kumpikin tutkimuksen luotettavuusnäkökulma on tärkeä, mutta käsitteenä validiteetti on laaja-alaisempi ja koskee kaikkea tutkimustyötä, sekä määrällistä ja laadullista tutkimusta että myös realistista evaluaatiota. 2
Mitä validiteetti ja reliabiliteetti tarkoittavat? Kuvitellaan, että heitetään tikkaa ja yritetään osua napakymppiin (=tutkimuksen tavoite). Jos heittäjän käsi on vakaa, hän saa kaikki tikat (tutkimustulokset) kohdennetuksi suunnilleen samaan kohtaan, mutta koska ne menevät kehän ulkolaidalle, ne eivät osu tavoitteeseen. Silloin reliabiliteetti on hyvä, mutta validiteetti heikko. Toinen heittää kaikki tikat hajalleen ympäri tikkataulua (ehkä kirkkaasti ohikin), jolloin kumpikin luotettavuusmittari on heikko. Hyvä heittäjä saa kaikki osumat keskelle eli sinne mihin pitääkin. 3
Tutkimuksen validiteetti Validiteetilla eli tutkimuksen pätevyydellä ja luotettavuudella tarkoitetaan perinteisesti tutkimusmenetelmän kykyä selvittää sitä, mitä sillä on tarkoitus selvittää. 4
Tutkimuksen validiteetti Validiteetin arviointi kohdistaa yleensä huomionsa kysymykseen, kuinka hyvin tutkimusote ja siinä käytetyt menetelmät vastaavat sitä ilmiötä, jota halutaan tutkia. Voidakseen olla validi, sovellettavan tutkimusotteen tulee tehdä oikeutta tutkittavan ilmiön olemukselle ja kysymyksenasettelulle. Validiteetin kannalta ei kuitenkaan ole keskeisintä ryhtyä pohtimaan sitä, millä kuinka valideilla mittareilla tuloksia saadaan, vaan aivan ensimmäiseksi miettiä sitä, millainen tutkimuksen strategia on validi. Tutkimustyössä käytetty menetelmä ei itsessään johda tietoon, vaan menetelmä on valittava sen mukaan, millaista tietoa halutaan. Tätä seikkaa joutuu tutkija pohtimaan aivan ensimmäisenä tehdessään valintaa eri tutkimusmenetelmien välillä 5
Tutkimuksen validiteetti Varsinkin teoreettisten käsitteiden tutkimuksen validiteetti on viime kädessä arviointikysymys, jossa tutkijayhteisössä pitkäaikaisen keskustelun tuloksena muodostunut vallitseva mielipide on ratkaiseva: tutkijayhteisö on "sopinut", että tiettyä käsitettä voidaan mitata tietyllä mittarilla tai ilmaista tietyillä käsitteillä. "Sopimus" voi ulottua myös siihen, että mittarin validiteettia ei pidetä tyydyttävänä. Tällaisista seikoista usein keskustellaan esimerkiksi väitöskirjojen ja muiden perusteellista keskustelua herättävien tutkimustöiden yhteydessä. Nämä "sopimukset" liittyvät tutkimustyön ontologisiin ja ennen kaikkea epistemologisiin seikkoihin 6
Tutkimuksen validiteetti Validiteetin totaalinen puuttuminen tekee tutkimuksesta arvottoman. Silloinhan tutkitaan todellisuudessa aivan muuta asiaa kuin mitä kuvitellaan tai alun perin on ollut tarkoitus. Puutteellinen validiteetti merkitsee siis sitä, että empiiriset havainnot ja koko tutkimus itsessään kohdistuu enemmän tai vähemmän sivuun siitä, mikä oli tarkoituksena. 7
Tutkimuksen validiteetti Looginen validiteetti (koettu validiteetti, face validity) edellyttää, että tutkimusta tarkastellaan kokonaisuudessaan kriittisesti. Se tarkoittaa tutkijan omaa käsitystä suorituksen oikeellisuudesta. Näyttääkö tulos oikealta? Sisäisen validiteetin tarkastelussa tehdään kysymys: Määrällisen tutkimuksen osalta tarkastellaan, aiheutuvatko empiirisen tutkimuksen tulokset / muuttujien väliset erot niistä tekijöistä, joiden oletetaan niihin vaikuttavan? Laadullisen tutkimuksen ollessa kysymyksessä tarkastellaan mm. kysymystä siitä, onko tutkimusstrategia valittu tutkittavan kohteen olemuksen mukaisesti? 8
Tutkimuksen validiteetti Ulkoinen validiteetti kiinnostaa varsinkin silloin, kun pohditaan kvantitatiivisen tutkimuksen tulosten yleistettävyyttä: Missä populaatiossa, missä tilanteissa, missä asetelmissa saatu tulos voidaan yleistää? Ulkoisen validiteetin heikkouteen saattavat vaikuttaa monet tekijät, esimerkiksi tutkittavan kohteen valinta: valinta on vino perusjoukkoon nähden, jolloin tutkittavat edustavat vain jotakin osaa perusjoukosta. Myös kokeiluasetelma vaikuttaa ja muuttaa esitestattuja toisin kuin varsinaisia koehenkilöitä. Jo pelkästään tietoisuus siitä, että ollaan erikoisasemassa muihin nähden saattaa vaikuttaa testituloksiin (ns. haloefekti). Koemenetelmien yhteisvaikutus voi myös olla erilainen kuin yksittäisten koemenetelmien vaikutus ja vaikeasti erotettavissa. 9
Tutkimuksen validiteetti Sisältövaliditeetti joka on eri asia kuin sisäinen validiteetti tarkoittaa tutkimusaineistoon liittyvää validiteettia ja kuvastaa sitä, kuinka hyvin aineiston analysointimenetelmä vastaa tutkimusaineistoa. Kun reliabiliteetti kuvastaa sitä, kuinka hyvin menetelmä toimii aineiston analysoinnissa, sisältövaliditeetti kuvastaa sitä, kuinka hyvin koottu aineisto vastaa ulkopuolisia kriteereitä. Sisältövaliditeetin arviointi kuuluu varsinkin laadullisen tutkimuksen moniin erilaisiin sisällönanalyysin menetelmiin. Tutkimusprosessin on oltava arvioitavissa ja arvioijan on kyettävä seuraamaan tutkijan päättelyä. Hänen on kyettävä näkemään, etteivät tulokset perustu pelkästään tutkijan henkilökohtaiseen intuitioon. Siksi tutkijan tulee mahdollisimman selvästi kuvata aineistonsa, tekemänsä tulkinnat sekä ratkaisu- ja tulkintatavat. 10
Tutkimuksen validiteetti Käsitevaliditeetti (teoriavaliditeetti) kertoo siitä, onko teoreettinen lähestymistapa valittu oikein? Onko käytetty oikeita käsitteitä? Onko ilmiön luonnetta tulkittu oikein? Tässä suhteessa kysymys liittyy tutkimusfilosofisiin kysymyksiin ja tutkittavan ilmiön ontologisiin taustaoletuksiin. Erityisen tärkeä tämä asia on silloin, jos on asetettu teorioihin nojaten tutkimushypoteeseja ja niitä koetellaan erilaisin mittausvälinein. Esimerkkinä ovat sellaiset testit, joita käytetään taitosuoritusten mittareina. Elleivät ne täytä käsitevaliditeetin vaatimuksia, saattaa taitosuorituksen rakenteen tulkinta muodostua vääräksi. 11
Tutkimuksen validiteetti Ennustevaliditeetti tarkoittaa sitä, pystytäänkö tutkimusmenetelmän tai mittareiden avulla saamaan aikaan tuloksia, joilla on ennustearvoa? Tavallisesti tuloksia voidaan verrata käytännössä havaittuihin tosiasioihin. Jos ne eivät täsmää tutkimustulosten kanssa, saattaa vika olla paitsi mittarissa itsessään, myös tutkimusmenetelmässä tai -tilanteessa tai -ajoituksessa tms. Tavallinen esimerkki tämäntapaisista mittareista on oppilaitosten pääsykoetehtävät, joiden validiteetti voidaan todeta vasta myöhemmin: Ennustavatko ao. mittarit menestymistä opinnoissa vai myöhemmässä elämässä vai onko niillä mitään ennustearvoa? Toinen esimerkki on työhönottohaastattelu tai yleensä työhönottotapahtuman kriteerit. Niihin harvemmin kohdistetaan varsinaista tutkimusta, mutta aihetta ehkä olisi, nimenomaan ennustevaliditeetin kohottamiseksi. 12
Tutkimuksen reliabiliteetti Reliabiliteetti-käsite kuuluu yleensä määrälliseen, kvantitatiiviseen, tutkimukseen. Reliabiliteetilla eli mittarin tai menetelmän luotettavuudella viitataan perinteisesti käytetyn tutkimusmenetelmän kykyyn antaa eisattumanvaraisia tuloksia, toisin sanoen käsitteellä tarkoitetaan tutkimusmenetelmän ja käytettyjen mittareiden kykyä saavuttaa tarkoitettuja tuloksia. Nykyisten tilasto-ohjelmien aikana reliabiliteettikysymys saattaa kaventua mittausvirheen arvioinniksi, joka on tilasto-ohjelmiin valmiiksi sisäänrakennettu. Huom! Tässä aineistossa ei käsitellä määrällisen tutkimuksen luotettavuuskysymyksiä. Ks. niistä kvantitatiivisen tutkimuksen oppaista. 13
Tutkimustulosten yleispätevyyden ja toistettavuuden vaatimus? Tutkimuksen toistettavuus on lähinnä perinteisen tutkimuksen ideaali, jonka mukaan toinen tutkija päätyisi saman aineiston ja esitettyjen tulkintasääntöjen pohjalta samoihin tulkintoihin kuin tutkija. Toistettavuuden ajatusta on kuitenkin kritisoitu voimakkaasti. Toistettavuus saattaisi tarkoittaa myös pelkästään samanlaisten tutkimusolosuhteiden luomista ja samanlaisten analyysiprosessien läpiviemistä. 14
Laadullisen tutkimuksen luotettavuus perustuu sen kokonaistulokseen Laadullisen tutkimuksen luotettavuusarvioinnissa eivät arvioitavina ole niinkään käytetyt menetelmät kuin se kokonaiskuva tai uusi teoria tai malli, joka on tutkimuksen tuloksena. Arviointi perustuu siihen, että kytketään arviointikriteerit tutkimustulokseen: Onko se hyvä ja selkeä vai heikko ja todellisuutta vastaamaton? Onko tavoitteena olleet seikat saavutettu? 15
Laadullisen tutkimuksen luotettavuusarvioinnin keskeinen tekijä on näkemyksellisyys Näkemyksellisyydellä tarkoitetaan mm. sitä, että tutkija osaa pureutua arkielämässä ilmenevän suhteellisen totuuden taakse ja löytää sieltä perspektiiviä työlleen. Tulkinnallisessa metodissa jokainen osa tulee osata sijoittaa kokonaisuuden osaksi, jotta kokonaisuudelle saadaan oikea sisältö. Jokaisen "faktan" merkitys riippuu siitä näkökulmasta, johon se sijoitetaan. Tulkinnallisessa lähestymistavassa heti alusta lähtien on tutkijalla jokin esikäsitys siitä, mitä kokonaisuuden palanen merkitsee. 16
Laadullisen tutkimuksen luotettavuusarvioinnin keskeinen tekijä on näkemyksellisyys Tuomalla tämä esiymmärrys esille saadaan lähtökohta tulkinnalle, toisin sanoen tutkija saattaa lukijan heti alusta lähtien tietoiseksi taustanäkemyksistään (= tutkijan positio) Samalla se merkitsee, että tutkimus asetetaan alttiiksi kriittiselle tarkastelulle. Puutteellisesti informoitu esiymmärrys tai taustaoletukset aiheuttavat sen, että lukijan on itse luotava nämä kehykset ymmärtääkseen tutkijan päätelmät ja pystyäkseen niitä arvioimaan. 17
Laadullisen tutkimuksen luotettavuusarvioinnin keskeinen tekijä on näkemyksellisyys Tutkijan esiymmärryksen auki kirjoittaminen ei suinkaan ole helppoa. Sitä auttaa, jos osataan heti alussa esittää erilaisia työhypoteeseja ja vaihtoehtoisia teoreettisia lähtökohtia, joita sitten jatkossa kriittisesti seulotaan. Lukija voi samalla päätellä taustaoletusten kestävyyttä ja seurata tutkijan päättelyn pitävyyttä. 18
Laadullisen tutkimuksen luotettavuusarvioinnin keskeinen tekijä on näkemyksellisyys Eräs tapa aloittaa esiymmärryksen auki kirjoittaminen on selostaa persoonallisia, merkitystä omaavia ja asiaan kuuluvia kokemuksia ja lähteä liikkeelle niistä käsin. Reflektiivinen tutkimusote (esimerkiksi toimintatutkimus) korostaa reflektion merkitystä uuden tiedon ja toiminnan tulosten esiin kohottajana. Reflektio heijastaa kaikkien osanottajien, myös tutkijan taustaoletuksia ja perspektiiviä, roolia itse tapahtumassa samoin kuin tutkivan otteen kulkua. Silloin tilannetta tutkitaan ja tulkitaan heti tapahtumien jälkeen ja selvitellään, mitä niihin sisältyi ja miksi tulokset ovat sellaisia kuin ovat. 19
Prosessien tutkimuksen luotettavuusarviointi Edellä on käsitelty perinteisen tieteellisen tutkimuksen sekä kvantitatiivisen että kvalitatiivisen tutkimuksen luotettavuuskysymyksiä. Asiaa on tarkasteltava hiukan laajemmasta näkökulmasta, kun tutkimus yhdistetään käytännöllistavoitteiseen kehityshankkeeseen. Tieteellisten kriteerien lisäksi on otettava huomioon reaalimaailman vaatimukset. Varsinkin kun kyseessä on ongelmanratkaisuprojektina toteutettu tutkimus- ja kehityshanke, sen tuloksia voidaan arvioida käytännössä ja reaalimaailmassa toimivina ratkaisuina. 20
Prosessin luotettavuuden arviointi Prosessin luotettavuus tutkimusmenetelmänä edellyttää omanlaistaan luotettavuusarviointia. Prosessin arvioinnissa voidaan tarkastella niitä vaikutuksia, joita tutkimustilanteella on ollut siihen osallistuneisiin henkilöihin. niitä vaikutuksia, joita on kohdistuvat kehittämiskohteeseen prosessin läpiviennin aitoutta Tämän lajin arviointi koskee erityisesti niitä menetelmiä, joissa on ollut kyseessä toimintaympäristöön tai projektiin kohdistuvia interventioita. kuten mm. kehitystutkimus, systeemiä kehittävä tutkimus, työntutkimus, toimintatutkimus jne. 21
Prosessin tutkimuksen luotettavuusarviointi Onko hankkeen taustalla on todellinen ratkaistava ja ratkaistavissa oleva ongelma? Onko ongelman ratkaisu johtanut uuteen tai parannettuun artefaktiin? Onko ongelma ollut sellainen, jonka ympäristö /ammattiala katsoo tarpeelliseksi ratkaista? Onko ratkaisu hyödyllinen ja hyödynnettävissä laajemminkin kuin vain yhteen erityistapaukseen ja onko siinä otettu huomioon tiedon /osaamisen yleinen sovellettavuus ja siirrettävyys? Voidaanko ratkaisuun liittyvä tietoaines käsitteellistää eli kuvailla ja yleistää? Onko käsitteellistäminen tehty niin, että se on yleisesti ymmärrettävissä (intersubjektiivisuus)? Onko koeteltu tätä tietoa eli onko osoitettu, että ongelma on ratkaisun avulla perin juurin pengottu tai paranneltu? 22
Tiivistetysti: hyvän ammatillisen opinnäytetyön kuten myös t&k- hankkeen keskeiset kriteerit. Luotettavuuden pääasiallisin merkitys on se, että tutkimus on intersubjektiivinen eli se kommunikoi lukijan kanssa. Tutkimus luo siten aina merkityksiä ja osallistuu johonkin teoreettiseen tai käytäntösidonnaiseen keskusteluun, jolloin sen arvioinnin ensisijainen kriteeri on hankkeen ja sen raportoinnin retorinen vakuuttavuus 23
Tiivistetysti edelleen. Vakuuttavuus, joka rakentuu sisäisesti tutkimukseen, on saavutettavissa tekemisen, kirjoittamisen ja muun esittämisen retorisin keinoin. Esimerkiksi kehittämishankkeen tietyistä solmukohdista tutkija voi sisällyttää mukaan autenttista materiaalia, kuten työpäiväkirjan tekstiä tai suunnitelmaluonnoksia, jotka antavat lukijalle mahdollisuuden ottaa kantaa tulkintoihin ja tehtyihin ratkaisuihin ja tarvittaessa riitauttaa niitä. Lisäksi teksti-, kuva- ynnä muun materiaalin on oltava dialogisessa suhteessa aiheen teoretisointiin ja ongelman ratkaisua dokumentoivaa. 24
Tiivistetysti edelleen Tulosten käyttökelpoisuus, siirrettävyys ja uutuusarvo. Raportissa on pohdittava, miten tulokset ovat laajennettavissa tai siirrettävissä toisiin tilanteisiin ja kuinka ne uudistavat käsillä olevan taidon käytäntöjä. Tavoite voi olla löytää jotakin, joka uudistaa käytäntöä, tuottaa aiempaa reflektoidumpia ratkaisumalleja, joiden voidaan osoittaa toimivan käytännössä. Tekijän on tuotava esille myös ne työhönsä liittyvät laatuominaisuudet, jotka aiheen rajauksen kannalta ovat olennaisia. Jokainen teos, toiminta ja tapahtuma sijoittuu alalle ominaiseen eetokseen, jossa vallitsee kirjoittamattomia eettisiä, esteettisiä sekä tyyli- ja makutottumuksia. Siksi työn tuloksia on syytä arvioida myös tältä kannalta. 25