1. Miten kvantitatiivisen tutkimuksen luotettavuutta voidaan arvioida Paunosen ja Vehviläinen-Julkusen

Transkriptio

1 ARVIOINTIKRITEERIT/MALLIVASTAUKSET 1. Miten kvantitatiivisen tutkimuksen luotettavuutta voidaan arvioida Paunosen ja Vehviläinen-Julkusen mukaan? (5 pistettä) Kvantitatiivisen tutkimuksen luotettavuuden arviointi Kvantitatiivisen tutkimuksen luotettavuutta voidaan tarkastella toisaalta mittaamisen ja aineistojen keruun, toisaalta tulosten luotettavuutena. Kvantitatiivisen tutkimuksen luotettavuuden arvioinnin alueita ovat tutkimuksen validiteetti ja reliabiliteetti, joita arvioidaan mittarin ja mittaamisen luotettavuutena. 1. Mittarin validiteetti ja sen arviointi (yhteensä 1,75) Mittarin validiteetti tarkoittaa, että mittari mittaa todella sitä, mitä sen tulisi mitata. Esitutkimuksella on huomattava rooli validiteetin arvioinnissa. Miten mittarin validiteettia arvioidaan? Mittarin validiteetin arvioinnin kohteena ovat sisältövaliditeetti, käsitevaliditeetti (rakenne- tai teoreettinen validiteetti) ja kriteerivaliditeetti Sisältövaliditeetti Mittarin sisältövaliditeetti tarkoittaa, että tutkimuksessa käytetty käsite on kyetty operationalisoimaan mitattavaksi, eli mittari mittaa juuri sitä, mitä se on tarkoitettukin mittaamaan. Sisältövaliditeettia voidaan arvioida käyttäen esimerkiksi pinta- eli näennäisvaliditeetin arviointia ja asiantuntija-arviointia Käsitevaliditeetti Mittarin käsitevaliditeetti ilmaisee, missä laajuudessa mittari mittaa tarkasteltavaa käsitettä. Käsitevaliditeettia voidaan arvioida käyttäen esimerkiksi käsiteanalyysiä, faktorianalyysiä ja rinnakkaismittauksia tai vertaamalla saatuja tuloksia aikaisempiin tutkimustuloksiin Kriteerivaliditeetti Mittarin kriteerivaliditeetti kuvaa, mikä yhteys on mittarilla saaduilla ja nykyisyyttä kuvaavalla tai tulevaisuutta ennustavalla kriteerillä. Tällöin arvioidaan samanaikais- tai ennustevaliditeettia. 2. Mittarin reliabiliteetti ja sen arviointi (yhteensä 1,75) Mittarin reliabiliteetti kuvaa mittarin kykyä antaa tuloksia, jotka eivät ole sattumanvaraisia. Sitä arvioidaan mittarin pysyvyytenä, vastaavuutena ja sisäisenä johdonmukaisuutena Mitä tarkoittaa mittarin reliabiliteetti? 2.1. Mittarin pysyvyys Mittarin pysyvyys tarkoittaa sen herkkyyttä ulkopuolisten tekijöiden vaikutuksille. Sitä voidaan arvioida mittaamalla samaa ilmiötä samalla mittarilla kaksi kertaa (test-retest) tai arvioijien välisenä arviointien pysyvyytenä (interrater). 1

2 2.2. Mittarin vastaavuus Mittarin vastaavuus eli ekvivalenssi ilmoittaa mittaustuloksen samanlaisuuden asteen. Sitä voidaan arvioida esimerkiksi kahden mittauksen korrelaation ja kahden arvioinnin yksimielisyyskerrointen avulla Mittarin sisäinen johdonmukaisuus Mittarin sisäinen johdonmukaisuus kuvaa mittarin eri osioiden kykyä mitata samaa asiaa. Sitä voidaan arvioida käyttäen puolitusmenetelmää, osioanalyyseja tai Cronbachin alfakerrointa. 3. Tutkimustulosten arviointi (yhteensä 1,0) Kvantitatiivisen tutkimuksen luotettavuutta on syytä tarkastella myös suhteessa tuloksiin. Tällöin puhutaan sisäisestä ja ulkoisesta validiteetista Sisäinen validiteetti ja sen uhat Sisäisesti validi tutkimus on sellainen, jossa tulokset johtuvat vain ja ainoastaan tutkimuksen asetelmasta, ei sekoittavista tekijöistä. Sisäisen validiteetin uhkia ovat mm. ns. historia, henkilöiden valikoituminen tutkimukseen, kypsyminen, testauksen vaikutus, aineistosta tapahtuvat poistumat ja kontaminaatio. Tärkeintä on taata, etteivät tutkimustuloksiin vaikuta sekoittavat tekijät eli että tutkimusasetelma on pysyvä Ulkoinen validiteetti ja sen uhat Tutkimuksen ulkoiseen validiteettiin kuuluu erittäin tärkeänä osana tutkimustulosten yleistettävyys. Peruskysymyksenä on, onko otos edustava ja edustaako se perusjoukkoa. Ulkoisen validiteetin uhkia ovat Hawthronen efekti, tutkijavaikutus, testausvaikutus, uutuusvaikutus, valikoituminen, asetelma ja historia. Lisäksi arvioidaan (yhteensä 0,5) Vastauksen sisällön looginen eteneminen Vastauksen oikeakielisyys 2

3 2. Arvioi tutkimuksen (Kanste 2006) luotettavuutta Paunosen ja Vehviläinen-Julkusen esittämän kvantitatiivisen tutkimuksen luotettavuuden kriteerien mukaan. (5 pistettä) Sisältö 4,5 p -mittarin validiteetti -mittarin reliabiliteetti -tulosten sisäinen validiteetti -tulosten ulkoinen validiteetti Kielestä 0,5 p -vastauksen looginen eteneminen -vastauksen oikeakielisyys Arviointikriteerit ja niiden pisteytys Mittarin validiteetti : Artikkelissa tarkastellaan hoitohenkilökunnan työuupumusta Suomessa ja muissa maissa. Maslach Burnout Inventory on Yhdysvalloissa kehitetty ja mittaria on laajasti käytetty hoitohenkilökunnan työuupumuksen tutkimiseen. Mittarin validiteettia voidaan tarkastella sisältövaliditeetin, käsitevaliditeetin ja kriteerivaliditeetin suhteen. Sisältövaliditeettia arvioidaan työuupumuskäsitteen operationalisoinnin avulla. MBI mittarissa työuupumus on emotionaalista väsymystä (9 muutujaa), työstä etääntymistä (5 muuttujaa) ja työssä onnistumisen tunnetta (8 muutujaa). Kysymyksissä on 7 portainen Likert-asteikko. Muuttujista voi muodostaa kolme summamuuttujaa ja kokonaistyöuupuksen summan. Mittari on käännetty suomeksi huolellisesti kaksoiskäännösmenetelmällä. p Arikkelissa kuvataan että asiantuntijaryhmässä arvioitiin mittarin Face-validiteettia ja todettiin mittarin sopivan hyvin suomalaiseen terveydenhuoltoon. Mainittu face-validiteetti tai näennäisvalidteetti on yksi tapa tarkastella mittarin sisällön kattavuutta, mutta se on aina subjektiivinen ja siksi heikoin validiteetin muoto. p Käsitevaliditeetti perustuu työuupumuksen käsitteen ja käsitteen operationaalisen määritelmän vastaavuuteen. Artikkelissa kuvataan aikaisempaan kirjallisuuteen pohjautuen työuupumuksen erilaisia määrittelyjä joiden mukaan ilmiössä on keskeistä fyysinen, emotionaalinen ja henkinen väsymyksen tila. Moniulotteinen työuupumusmalli sisältää samat komponentit kuin tutkimuksessa käytetty MBI mittari: emotionaalinen väsymys, työstä etääntyminen ja vähäinen työssä onnistumisen tunne. Mittarin käsitevaliditeetti on siis hyvä koska sillä on selkeä teoreettinen perusta. (Artikkelissa ei enää tarkemmin kuvata käsitevaliditeetin varmistamista jossa voidaan käyttää esim. käsiteanalyysiä, faktorianalyysiä tai rinnakkaismittauksia.) Kriteerivaliditeetti tarkoittaa mittarilla saatujen tulosten vertaamista samalla mittarilla saatuihin muihin tuloksiin tai aiemmin tiedettyjen oletettujen yhteyksien löytymistä. Artikkelin toinen tutkimustehtävä antaa laajan ja tarkan kuvan saatujen tulosten kriteerivaliditeetista. Suomessa saatuja tuloksia on verrattu useissa muissa maissa samalla mittarilla hoitohenkilökunnalta mitattuihin vastaaviin arvoihin. Muiden maiden tuloksiin verrattuna suomalaisten hoitajien työuupumustaso oli alhainen ja työuupumukseen yhteydessä olevat asiat olivat samansuuntaisia. Kriteerivaliditeettia ei mainita artikkelissa. p 3

4 Mittarin reliabiliteetti tarkoittaa mittarin kykyä antaa tarkkoja tuloksia jotka eivät ole sattumanvaraisia. Reliabiliteettia kuvaavat sisäinen johdonmukaisuus, mittarin pysyvyys ja mittarin vastaavuus. Sisäinen johdonmukaisuus tarkoittaa että kaikki käsitettä mittaavat kysymykset sopivat yhteen ja muodostavat yhtenäisen kokonaisuuden. Toistetuissa mittauksissa mittautulosten tulee pysyä samoina jos olosuhteet pysyvät samoina. Mittarin vastaavuus on hyvä kun saadut tulokset eivät ole ristiriidassa aikaisemman tiedon kanssa. p Mittarin realiabiliteettia pyrittiin varmistamaan esitutkimuksen avulla. Kyselylomaketta ja otontaa kokeiltiin ensin pienemmällä otoksella. Esitutkimuksen otos oli 250 vastaajaa. Mittari osoittautui sisäisesti johdonmukaiseksi eikä mittaria muutettu joten esitutkimuksen aineisto yhdistettiin toisen vaiheen kyselyyn. Artikkelissa ei kerrota kyselylomakkeen saatekirjeestä jonka avulla myös pyritään siihen että vastaajat ymmärtävät oikein mitä pitää tehdä. Sisäinen johdonmukaisuus kuvataan artikkelissa Cronbachin alfan ja osiokorrelaatioiden avulla. Mittarilla on hyvä sisäinen johdonmukaisuus koska Cronbach alfa on yli 0,70 ja osioiden väliset korrelaatiokertoimet olivat 0,30-0,70 välillä. p Mittarin pysyvyyttä ei varsinaisesti tarkastella tutkimuksessa. Ei käytetä toistomittauksia tai kahta arvioitsijaa. Luotettavuuden arvioinnissa mainitaan että tulosten pysyvyys miespopulaatiossa on kyseenalainen koska tulokset on saatu pääosin naisilta. p Mittarin vastaavuus tarkoittaa että työuupumuksen ohella olisi mitattu jotain muuta ilmiötä jonka tiedetään aikaisempien tutkimusten perusteella olevan yhteydessä työuupumukseen. Tutkimuksessa ei mainita vastaavuudesta mutta teoreettisen osan ja tulososan vertailussa havaitaan että esim. samoin kuin aikaisemmissa tutkimuksissa myös tässä aineistossa työuupumusta on sekä nuorimmilla että vanhimmilla hoitajilla. p Tulosten sisäiseen luotettavuuteen voivat vaikuttaa tilannetekijät, valikoituminen ja tutkijan vaikutus. Paikka ja ajankohta jolloin lomake täytetään ovat tärkeitä ja vastaamistilanteen tasapuolisuus kaikille vastaajille. Tutkija voi vaikuttaa vastaajiin jos on paikalla vastaustilanteessa tai vastaajat esim. tuntevat hänet. p Tilannetekijät tässä tutkimuksessa: Aineisto kerättiin postikyselyllä. Tilannetekijöiden vaikutusta ei artikkelissa pohdita. Ilmeisesti vastaajat olivat tasavertaisessa asemassa kun kaikki saivat vastata lomakkeeseen kotona. Kulttuurierot otetaan esiin erityisesti kansainväliseen vertailuun vaikuttavana seikkana. Eri maissa on erilainen suhde työhön ja erilainen arvomaailma mikä voi vaikuttaa siihen mitä vastataan. Suomessa todetaan olevan ryhmälojaalisuus yleistä, jolloin työstä pois jäänti uupuneenakaan ei ole helppoa. p Otoksen valikoitumista ei myöskään mainita, mutta tuodaan seikkaperäisesti esiin otanta ja sen suorittaminen. Satunnaisotanta takaa että kaikilla perusjoukossa on saman laiset mahdollisuuden päästä otokseen. Vastausprosentti on 75 % mikä todetaan hyväksi, mutta ei pohdita miksi 25 % jätti vastaamatta. Onko esimerkiksi voimakas työuupumus syynä vastaamattomuuteen? Kadosta ei anneta mitään tietoja vaikka se voisi vaikuttaa valikoitumiseen. p 4

5 Tutkijan vaikutus: Postikyselyssä vastaajat eivät ole tavanneet tutkijaa henkilökohtaisesti. Tutkijavaikusta ei ole pohdittu. p Tulosten ulkoinen luotettavuus muodostuu tulosten yleistettävyydestä, tulosten vertailtavuudesta ja mahdollisen Hawthorne Efektin vaikutuksista. Tulokset pitäisi voida yleistää perusjoukkoon. Luotettavat tulokset kuvaavat oikein otoksen avulla ilmiötä perusjoukossa. Luotettavat tulokset ovat aikaisempiin tutkimuksiin verrattuna samansuuntaisia. Luotettavat tulokset eivät ole vääristyneet tilannetkijöiden tai vastaajista johtuvista syistä.. p Yleistettävyyttä tarkastellaan luotettavuuden arvioinnissa. Tutkijan arvioin mukaan tulokset voidaan yleistää kohtuudella perusjoukkoon, koska otanta on satunnainen ja edustaa hyvin perusjoukkoa, vastausprosentti oli hyvä ja otos oli taustatietojen perusteella perusjoukkoa edustava. p Tulosten vertailtavuutta tarkastellaan laajasti kun tuloksia vertaillaan eri maiden samalla mittarilla ja hoitaja-aineistoilla kerättyihin tuloksiin. Todetaan että kulttuurierot voivat lisätä vertailun epäluotettavuutta. Tutkija vertaa omia tuloksia myös toiseen suomalaiseen aineistoon jossa tulokset ovat samanlaisia. p Hawthorne efektin vaikutusta ei tutkimuksessa pohdita vastaajien kannalta. Oliko mukana seikkoja jotka saivat hoitajat vastaamaan tavalla jonka he kuvittelivat toivotuksi? Voisiko julkinen keskustelu terveydenhuollon ongelmista mediassa vaikuttaa vastaajiin? p Kieli; johdonmukaisuus ja loogisuus p Oikeakielisyys p Yhteensä 5 p 5

6 3. Tarkastele arkitiedon ja tieteellisen tiedon keskeisiä eroja. (5 pistettä) Arviointikriteerit: 1. arkitiedon määritteleminen (s.24) 2. tieteellisen tiedon määritteleminen 0,75 (s.25) - tuotetaan tieteellisessä tutkimuksessa - tieteen olemassa olo - kielellisessä muodossa oleva - autonomisuus (näistä kolme mainittu =0.75) 3. tiedon hankinta 0,50 4. tiedon järjestelmällisyys 0,50 5. yleistäminen 0,50 6. kriittisyys 0,50 7. perusteltavuus 0,50 8. julkisuus 0,50 9. luotettavuus 0, vastauksen loogisuus, oikeakielisyys 0,50 yht. 5 pistettä 6

7 4. Määrittele mitä eettisellä ongelmalla tarkoitetaan ja kuvaa esimerkki, jossa eettisen ongelman tunnusmerkit täyttyvät. (5 pistettä) 1. Kielen oikeellisuus, virheettömyys 2. Looginen esitystapa 3. Eettisen ongelman peruskysymyksen määrittely 4. Tunnusmerkit: Arvojen välinen ristiriita Ei yhtä oikeaa ratkaisuvaihtoehtoa Ratkaisuvaihtoehtojen epätäydellisyys Pitkäkestoisuus Kauaskantoiset seuraukset Ilmeneminen eri tavoin: keskustelu, toiminta 5. Esimerkki Ongelman nimeäminen Esimerkkiongelman käsittely tunnusmerkkien mukaan p 0.25 p x 0.25 p 7