Aki Taanila MÄÄRÄLLISEN AINEISTON KERÄÄMINEN

Transkriptio

1 Aki Taanila MÄÄRÄLLISEN AINEISTON KERÄÄMINEN

2 SISÄLLYS 0 JOHDANTO LAADULLINEN VAI MÄÄRÄLLINEN? TUTKIMUSPROSESSI Suunnittelu Toteutus EI-KOKEELLINEN TUTKIMUSASETELMA Kyselytutkimus Korrelatiivinen asetelma Valmiit aineistot KOKEELLINEN TUTKIMUSASETELMA Satunnaistettu koeasetelma Satunnaistettu koeasetelma ilman etukäteismittausta Muita satunnaistettuja koeasetelmia Ei-satunnaistettu koe Toistomittaus Ex post facto -asetelma Aikasarja-asetelma Kokeellisen tutkimusasetelman pätevyys ja tulosten yleistettävyys MITTAAMINEN Käsitteiden muuttaminen mitattavaan muotoon KYSELYLOMAKE Tosiasia Tietämys Mielipide, asenne, uskomus, aie Yleisiä ohjeita kysymysten laatimiseen MITTAAMISEN RELIABILITEETTI JA VALIDITEETTI OTANTA Perusjoukko, otos ja näyte Tulosten yleistettävyys Otantamenetelmiä Otanta ja Excel ANALYSOINTI... 35

3 0 JOHDANTO Käsittelen tässä monisteessa määrällisen aineiston keräämiseen liittyviä asioita. Kvantitatiivinen eli määrällinen aineisto on aineisto, joka sisältää numeromuodossa esitettyä tietoa. Määrälliset aineistot voivat olla sisällöltään moninaisia kuten seuraavista esimerkeistä ilmenee. Esimerkki. Yrityksen työntekijöiden sairauspoissaolot olivat lisääntyneet ja käytäväpuheiden perusteella työtyytyväisyys oli heikentynyt. Tutkija laati työntekijöille kyselylomakkeen, jonka avulla mitattiin työtyytyväisyyden eri tekijöitä 5-portaista asteikkoa käyttäen. Tuloksena oli määrällinen aineisto, jonka perusteella johtoryhmä päätti ryhtyä kiireellisiin toimiin kyselyssä huonoja arvioita saaneiden tekijöiden suhteen. Esimerkki. Kiinteistövälittäjä keräsi tietoja toteutuneista kesämökkikaupoista (mökin pinta-ala, tontin pinta-ala, rantaviivan pituus, rakennusvuosi, etäisyys lähimpään kauppaan jne.). Tuloksena oli määrällinen aineisto, jonka perusteella voitiin rakentaa matemaattinen malli kesämökin hinnan arvioimiseksi. Esimerkki. Verkkosivuston ylläpitäjä testasi kahta erilaista mainoskuvaa käyttämällä sivustolla yhtä mainoskuvaa kerrallaan. Mainoskuvia vaihdeltiin satunnaisesti. Mainoskuviin kohdistuneet klikkaukset/minuutti kirjattiin aineistoon. Näin saatiin määrällinen aineisto, jonka avulla voidaan arvioida mainoskuvan vaikutusta klikkausten määrään. Riippumatta siitä käytetäänkö aineistoa tutkimustyössä, kehittämistehtävässä vai päätöksenteon tukena, niin aineiston halutaan antavan todenmukaista, käyttökelpoista ja luotettavaa tietoa. Tämän vuoksi aineiston kerääminen täytyy suorittaa suunnitelmallisesti. Suunnitelman keskeisiä asioita ovat aineiston tarkoitus (miksi aineisto kerätään, mihin kysymyksiin sillä vastataan), tutkimusasetelma, mittaaminen ja otanta. Määrällisen aineiston sisältämä data täytyy käyttöä varten jalostaa hyödylliseksi ja käyttökelpoiseksi informaatioksi. Alustavia ohjeita ja lukuvinkkejä aineiston analysointiin löydät 9. luvusta. Lisämateriaalia Akin menetelmäblogissa ~ 1 ~

4 1 LAADULLINEN VAI MÄÄRÄLLINEN? Aineistot voidaan jaotella laadullisiin (kvalitatiivisiin) ja määrällisiin (kvantitatiivisiin). Laadullinen aineisto sisältää useimmiten tekstimuotoista tietoa. Määrällinen aineisto sisältää numeromuodossa esitettyä tietoa. Esimerkki. Ammattikorkeakouluopintojen keskeyttämistä selittäviä tekijöitä voidaan tutkia haastattelemalla opintonsa keskeyttäneitä. Haastattelut muodostavat laadullisen aineiston. Aineisto voi paljastaa ennalta tuntemattomia keskeyttämisiä selittäviä tekijöitä ja mielenkiintoisia yhteyksiä eri tekijöiden välillä. Esimerkki. Jos ammattikorkeakouluopintojen keskeyttämistä selittävät tekijät ovat tiedossa, niin voidaan laatia kyselylomake, jossa tarjotaan keskeyttäneille valmiita vastausvaihtoehtoja. Kyselylomakkeella kerätty aineisto on määrällinen aineisto. Aineistosta voidaan laskea prosenttijakaumat keskeyttämistä selittäville tekijöille. Jos kyselylomakkeella on kysytty myös taustamuuttujia, niin voidaan tarkastella taustamuuttujien yhteyttä keskeyttämistä selittäviin tekijöihin (esimerkiksi löytyykö miesten keskeyttämisten takaa eri tekijöitä kuin naisilla). Jaottelu laadullisiin ja määrällisiin aineistoihin on perusteltua, koska laadullisen aineiston keräämiseen ja analysointiin käytettävät menetelmät poikkeavat määrällisen aineiston keräämiseen ja analysointiin käytettävistä menetelmistä. Laadullisia aineistoja saadaan esimerkiksi haastattelemalla, havainnoimalla ja käyttämällä olemassa olevia dokumentteja. Määrällisiä aineistoja saadaan esimerkiksi kyselylomakkeella, suorittamalla mittauksia mittalaitteilla ja käyttämällä olemassa olevia tietokannoista löytyviä tietoja. Jaottelua laadulliseen ja määrälliseen ei pidä korostaa liikaa: samassa yhteydessä voidaan hyödyntää sekä laadullista että määrällistä aineistoa laadullisen aineiston analysointiin voidaan tarvittaessa käyttää määrällisiä menetelmiä (luokittelut, prosenttijakaumat) kyselylomakkeella voidaan määrällisten kysymysten ohella käyttää avoimia kysymyksiä, joiden vastaukset ovat laadullisia määrällisestä aineistosta lasketut taulukot ja tunnusluvut muuttuvat käyttökelpoisiksi tuloksiksi vasta kun ne tulkitaan niiden käsitteiden valossa, joita numeroilla pyrittiin mittaamaan (tässä mielessä määrällinen aineisto viime kädessä palautuu laadulliseksi). ~ 2 ~

5 2 TUTKIMUSPROSESSI Aineiston keräämiseen ja hyödyntämiseen liittyvät vaiheet voidaan esittää tutkimusprosessina kuvion 1 mukaisesti. Kuvio1. Eräs tapa vaiheistaa tutkimusprosessi 2.1 Suunnittelu Suunnitteluvaiheeseen kuuluu olemassa olevaan tietoon perehtyminen, tutkimuskysymysten määrittäminen, tutkimusasetelman valinta, mittarien laatiminen ja otannan suunnittelu. Parhaassa tapauksessa suunnitteluvaiheessa suunnitellaan myös aineiston analysointi. Teoria Olemassa olevaa tietoa kannattaa hyödyntää. Tutkittavasta aihepiiristä löytyy todennäköisesti kirjallisuutta, aikaisempia tutkimuksia ja muuta materiaalia. Aihepiiristä puhutaan ja kirjoitetaan käyttäen aihepiirille ominaisia käsitteitä. Käsitteiden välisiä yhteyksiä kuvailevia malleja saattaa löytyä kirjallisuudesta, aikaisemmista tutkimuksista ja muusta materiaalista. Kaikkea edellä mainittua voidaan kutsua aihepiiriin liittyväksi teoriaksi. Tarkasteltavaa ilmiötä lähestytään teorian määrittämästä tietoperustasta ja näkökulmasta käsin. Tutkimuskysymykset Aineisto kerätään jotain tarkoitusta varten. Tarkoitus kannattaa ilmaista tutkimuskysymyksinä, joihin haetaan vastausta tai hypoteeseina, joita testataan aineiston avulla. Tutkimuskysymysten täytyy olla riittävän rajattuja ja konkreettisia, jotta niihin voidaan löytää vastaukset. Hypoteesien täytyy olla sellaisia, että niistä voidaan johtaa testattavissa olevat niin kutsutut tilastolliset hypoteesit. Tutkimuskysymysten tai hypoteesien sisältämien käsitteiden täytyy olla täsmällisesti määriteltyjä. ~ 3 ~

6 Aineiston keräämisen tarkoituksena voi olla myös mitattavien muuttujien välisiä yhteyksiä kuvaavien matemaattisten mallien (esimerkiksi lineaarinen regressiomalli) rakentaminen. Jos nimenomaisena tarkoituksena on matemaattisten mallien rakentaminen, niin tarkoitus voidaan ilmaista tutkimuskysymysten sijasta tavoitelauseina. Tavoitelauseissa kerrotaan minkä tyyppisten ja mitä muuttujia sisältävien mallien rakentaminen on tarkoituksena. Tutkimusasetelma Tutkimusasetelma on vastaus kysymykseen: Millä tavalla kerätty ja minkälainen aineisto tuottaa vastaukset tutkimuskysymyksiin? Tutkimusasetelma voi karkeasti jaotellen olla ei-kokeellinen asetelma tai kokeellinen asetelma. Ei-kokeellisessa asetelmassa aineisto kerätään ilman, että tutkija aktiivisesti vaikuttaa mitattavien muuttujien arvoihin. Kokeellisessa asetelmassa tutkija vaihtelee yhden tai useamman muuttujan arvoja tutkiakseen vaihtelun vaikutusta muihin muuttujiin. Kokeellisen tutkimusasetelman avulla on mahdollista osoittaa syy-vaikutussuhteiden olemassaolo. Mittaaminen Mittaamisen kohteena, havaintoyksiköinä, voivat olla esimerkiksi ihmiset, ihmisryhmät, yritykset, tuotteet, ostotapahtumat, lehti-ilmoitukset jne. Muuttujalla tarkoitetaan havaintoyksikköön liittyvää mitattavissa olevaa ominaisuutta. Mittaaminen voi tapahtua esimerkiksi havainnoimalla, haastattelemalla, kyselylomakkeella tai suorittamalla mittauksia mittalaitteilla. Jos tarkasteltavat ilmiöt tai käsitteet ovat moniulotteisia, niin jokaista ulottuvuutta varten tarvitaan omat mittarit. Esimerkki. Älykkyys on moniulotteinen teoreettinen käsite. Erään teorian mukaan älykkyyden ulottuvuuksia ovat muiden muassa kielellinen, matemaattis-looginen, musiikillinen, avaruudellis-visuaalinen jne. Älykkyyttä mittaavassa testissä jokaista ulottuvuutta varten pitäisi olla yksi tai useampia tehtäviä. Otanta Jos tietoja ei kerätä koko kiinnostuksen kohteena olevasta joukosta, niin tarvitaan otantamenetelmää. Asianmukaisen otantamenetelmän käytöllä pyritään varmistamaan otoksen edustavuus ja tätä kautta tulosten yleistettävyys koko joukkoon. Luotettavuus ja pätevyys Tutkimuksen tekijän täytyy olla kaikissa vaiheissa huolellinen, rehellinen ja kriittinen. Tutkimuksen tekijä toimii toivottavasti niin asiantuntevasti ja huolellisesti, että hän voi pitää tutkimustaan luotettavana ja pätevänä. Luotettavuuden ja pätevyyden edellytyksinä ovat muiden muassa tarkoitukseen sopiva tutkimusasetelma luotettava ja pätevä mittaaminen tarkoituksenmukainen otantamenetelmä. ~ 4 ~

7 Perusteltuja valintoja Suunnittelu ei etene suoraviivaisesti vaiheesta toiseen. Ajattele suunnittelua palapelinä, jota työstät kunnes kaikki palaset sopivat paikoilleen. Valmiita ratkaisuja ei yleensä ole löydettävissä menetelmäoppaista. Sinun täytyy ajatella asiat itse oman tutkimuksesi kannalta. Sinun täytyy pystyä perustelemaan kaikki valinnat, joita teet suunnittelun yhteydessä. Ilman perusteltuja valintoja palapelin palaset tuskin sopivat paikoilleen. Aineiston esittäminen ja analysointi kannattaa miettiä jo osana suunnittelua. Samalla varmistut siitä, että suunniteltu aineisto kykenee tarjoamaan vastaukset tutkimuskysymyksiin ja/tai mahdollistaa hypoteesien testaamisen. 2.2 Toteutus Mieti ennen suunnitteluvaiheesta toteutukseen siirtymistä vielä kerran, saatko valitulla tutkimusasetelmalla aineiston, joka tuottaa luotettavat ja pätevät vastaukset tutkimuskysymyksiin ja/tai mahdollistaa hypoteesien testauksen. Toteutuksen aloittamisen jälkeen ei ole paluuta aikaisempiin vaiheisiin. Tiedon keruu Tiedon keruu sujuu suunniteltua tutkimusasetelmaa, otantamenetelmää ja mittareita käyttäen. Ole huolellinen ja kiinnitä tiedon keruussa erityistä huomiota kerättävän tiedon luotettavuuteen. Analysointi Aineisto tallennetaan erityistä huolellisuutta noudattaen. Aineistosta lasketaan taustamuuttujien (esimerkiksi sukupuoli, ikä, siviilisääty jne.) jakaumat. Vertaamalla näitä mahdollisesti tiedossa oleviin perusjoukon vastaaviin jakaumiin, voidaan arvioida otoksen edustavuutta. Tilastollisilla menetelmillä paljastetaan muuttujan arvoissa esiintyvä vaihtelu. Yksittäisten muuttujien arvoissa esiintyvää vaihtelua tarkastellaan yhteenvetotaulukoiden ja/tai tunnuslukujen avulla. Ryhmien välisiä eroja tarkastellaan ristiintaulukointien ja ryhmäkohtaisten tunnuslukujen avulla. Muuttujien arvoissa esiintyvää riippuvuutta (yhteisvaihtelua) tarkastellaan ristiintaulukointien, hajontakuvioiden ja korrelaatiokertoimien avulla. Otoksesta lasketuille keskiarvoille ja prosenttiosuuksille voidaan laskea virhemarginaalit. Virhemarginaali kuvastaa epävarmuutta, joka sisältyy tunnusluvun yleistämiseen otoksesta perusjoukkoon. Jos tutkimuksessa on asetettu hypoteeseja, niin hypoteeseista johdetaan tilastollisesti testattavissa olevat niin kutsutut nollahypoteesit. Nollahypoteesi on yleensä muotoa 'ei eroa ryhmien välillä' tai 'ei riippuvuutta'. Asetetut hypoteesit joko hylätään tai saavat tukea aineiston antaman tiedon valossa. Päätelmät ja tulkinnat Päätelmiä ja tulkintoja tehdään teoriaa ja aineistoa hyväksikäyttäen. Tässä sinun on nähtävä numeroiden takana olevia reaalimaailman todellisia ilmiöitä. Ajattelun taidot ovat kovalla koetuksella ja tähän vaiheeseen on vaikeaa löytää mistään ohjeita. Ohjeita ei löydy, koska kyse on nimenomaan oman ajattelun taidoista sinun omaan tutkimukseesi liittyen. ~ 5 ~

8 Raportti Tutkimusta arvioidaan tutkimusraportin perusteella. Toteutettu tutkimus kaikkine vaiheineen ja valintoineen dokumentoidaan ja tehdä näkyväksi raportin muodossa. Tulosten, päätelmien ja tulkintojen täytyy avautua raportin lukijalle uskottavasti ja vakuuttavasti. Toisen henkilön pitäisi raporttisi pohjalta pystyä toistamaan tutkimus. Vaikka tutkimus olisi muutoin tehty huolellisesti, niin huolimattomasti kirjoitettu raportti pilaa koko tutkimuksen. Pienikin epätäsmällisyys, perustelematon väite tai huonosti laadittu argumentti voi herättää lukijan epäluottamuksen koko tutkimusta kohtaan. Erityisesti tutkijan on perusteltava huolellisesti esittämänsä väitteet. Perusteluna voi toimia yhtäältä teoria ja toisaalta aineistosta lasketut taulukot ja tunnusluvut. Taulukoita ja tunnuslukuja voidaan havainnollistaa graafisina esityksinä. Graafinen esittäminen ei kuitenkaan aina ole paikallaan, jos lukijan arvellaan olevan numeroihin tottunut ja etsivän täsmällistä numeromuotoista tietoa. Raportissa käydään ikään kuin keskustelua kriittisen lukijan kanssa. Tutkijan täytyy pyrkiä vastaamaan kaikkiin luotettavuuteen, pätevyyteen ja yleistettävyyteen kohdistuviin epäilyksiin, joita kriittisesti ajattelevalle lukijalle voi tulla mieleen. On parempi tuoda uskottavuuteen liittyvät tekijät avoimesti esille kuin antaa lukijan keksiä ne. Noudata oman oppilaitoksesi tai organisaatiosi raportointiohjeita. ~ 6 ~

9 3 EI-KOKEELLINEN TUTKIMUSASETELMA Ei-kokeellisen asetelman avulla voidaan kuvailla miten erilaiset ominaisuudet, mielipiteet jne. ovat jakaantuneet tutkittavassa joukossa. Ajan suhteen tarkasteltuna kuvaileva asetelma voi olla poikittaisasetelma, jolloin havainnot kerätään tiettynä ajankohtana pitkittäisasetelma, jolloin havaintojen keräämistä suoritetaan kahtena tai useampana ajankohtana tarkoituksena kuvailla ajan mukana tapahtuneita muutoksia. Jos ei-kokeellisessa asetelmassa käytetään riittävän suurta satunnaisesti valittua otosta, niin tuloksia voidaan yleistää koko kiinnostuksen kohteena olevaan joukkoon tilastollisen päättelyn keinoin. Ei-kokeellisessa asetelmassa voidaan tarkastella muuttujien välisiä riippuvuuksia (yhteisvaihtelua). Tällöin asetelmaa voidaan kutsua korrelatiiviseksi. 3.1 Kyselytutkimus Kyselytutkimus on yleisesti käytetty ei-kokeellinen tutkimusasetelma. Kyselytutkimukselle tyypillisiä piirteitä ovat havaintoyksiköinä on ihmisiä tieto kerätään strukturoituja kysymyksiä (valmiit vastausvaihtoehdot) käyttäen haastattelemalla, havainnoimalla tai antamalla vastaajien täyttää kyselylomake. Kyselytutkimuksen avulla voidaan tutkia asiakastyytyväisyyttä, yrityskuvaa, työilmapiiriä, kuluttajien ostoaikeita jne. 3.2 Korrelatiivinen asetelma Jos tarkoituksena on kuvailla eri muuttujien välisiä riippuvuuksia, niin voidaan puhua korrelatiivisesta asetelmasta. Poikittaisasetelmaa (esimerkiksi kyselytutkimusta) voidaan käyttää korrelatiivisena asetelmana. Jos otos on satunnaisesti valittu, niin korrelatiivisessa asetelmassa voidaan asettaa korrelaatiokertoimia ja riippuvuutta koskevia hypoteeseja. Tällöin testattava nollahypoteesi on muotoa korrelaatiokerroin on nolla tai ei riippuvuutta. Esimerkki. Korrelatiivisella asetelmalla voidaan tutkia onko asiakkaan sukupuolella tai iällä yhteyttä asiakastyytyväisyyteen? On tärkeää huomata, että yleensä poikittaistutkimus ei anna perusteita väittää muuttujien välisiä riippuvuuksia syy-vaikutussuhteiksi. Poikittaistutkimuksella vain kuvaillaan liittyykö yhden muuttujan arvoihin tietynlaisia toisen muuttujan arvoja. Toki tutkija voi riippuvuuden perusteella tehdä hyviä arvauksia syy-vaikutussuhteista. Korrelatiivisen tutkimuksen avulla voidaan kartoittaa muuttujien välillä esiintyviä riippuvuuksia ja tämän pohjalta voidaan suunnitella jatkotutkimuksia kokeellista asetelmaa käyttäen. Esimerkki. Jos tutkitaan rikosten esiintymistä eri alueilla, niin saatetaan havaita riippuvuutta muuttujien yksinhuoltajaperheiden prosenttiosuus alueella ja väkivaltarikosten lukumäärä/ asukasta. Riippuvuuden selityksenä voi olla esimerkiksi ~ 7 ~

10 yksinhuoltajaperheiden jäsenet tekevät rikoksia, jolloin yksinhuoltajaperheiden prosenttiosuuden kasvu myös kasvattaa rikollisuutta rikollisuus aiheuttaa avioeroja tai jopa puolisoiden kuolemia ja on näin osasyynä yksinhuoltajaperheiden määrään on olemassa muita muuttujia, jotka vaikuttavat yhtä aikaa yksinhuoltajaperheiden määrää lisäävästi ja rikosten määrää lisäävästi (esimerkiksi työttömyys, varallisuuserot jne.) riippuvuus voi esiintyä aivan sattumaltakin. Poikittaistutkimuksessa ei ole ajallista ulottuvuutta, joten emme tiedä mitään muuttujien arvojen ajallisesta järjestyksestä (esimerkiksi kasvaako yksinhuoltajaperheiden osuus ennen rikosten lisääntymistä vai päinvastoin). Tämän vuoksi ei voida puhua syy-vaikutussuhteista vaan ainoastaan riippuvuudesta (yhteisvaihtelusta). Korrelatiivista asetelmaa käytetään usein ennusteiden laatimiseen, vaikkei syy-vaikutussuhteista voidakaan puhua. Jos tietynlaiset muuttujien arvot esiintyvät aineistossa yhtä aikaa, niin ehkä ne esiintyvät yhdessä yleisemminkin. Tämä tietenkin sillä edellytyksellä, että aineistossa havaittu riippuvuus (yhteisvaihtelu) on voimakkaampaa kuin satunnainen vaihtelu (siis tilastollisesti merkitsevää). 3.3 Valmiit aineistot Aineiston kerääminen varta vasten tutkimusta varten ei ole tarpeen, jos käytettävissä on valmis aineisto. Valmis aineisto voi olla esimerkiksi aikaisemmin suoritetun tutkimuksen aineisto tai viranomaisten keräämä aineisto. Aineisto voidaan poimia myös yritysten päivittäisen toiminnan tuloksena syntyneistä tietokannoista. Valmiin aineiston täytyy täyttää seuraavat ehdot: Aineiston avulla saadaan vastaukset tutkimuskysymyksiin ja pystytään testaamaan asetetut hypoteesit. Aineiston tiedot ovat riittävän tuoreita ja ajankohtaisia tutkimusongelman kannalta. Aineiston keräämiseen liittyvät järjestelyt on dokumentoitu. Valmiita aineistoja käytettäessä on tarkasteltava aineiston keräämiseen liittyvää luotettavuutta ja pätevyyttä aivan vastaavalla tavalla kuin itse kerättyjen aineistojenkin tapauksessa. Aineiston käyttöön on saatavissa lupa. Valmiin aineiston käyttöoikeutta ei välttämättä saa ilmaiseksi. Aineisto on muunnettavissa taulukkolaskennan/tilasto-ohjelman vaatimaan tiedostomuotoon. Yleensä tämä on mahdollista, mutta IT-asiantuntijan apu voi olla tarpeen. ~ 8 ~

11 4 KOKEELLINEN TUTKIMUSASETELMA Syy-vaikutussuhteiden osoittamiseen käytetään kokeellista tutkimusasetelmaa tai kokeellista tutkimusasetelmaa jäljittelevää asetelmaa. Syy-vaikutus Muuttujan x muutoksen voidaan perustellusti väittää vaikuttavan muuttujan y arvoihin (syy-vaikutussuhde), jos seuraavat kolme ehtoa täyttyvät: x:n muutos esiintyy ajallisesti ennen y:n muutosta x:n muutoksen ja y:n muutoksen välillä on riippuvuutta x:n muutoksen jälkeen havaittua y:n muutosta ei voida selittää millään muilla tekijöillä. Yllä lueteltujen kolmen ehdon täyttyminen pyritään kokeellisessa tutkimusasetelmassa varmistamaan seuraavasti: Tutkija muuttaa syyksi arvellun muuttujan x arvoja ja mittaa y:n arvot sen jälkeen. Näin taataan, että x:n muutos esiintyy ajallisesti ennen y:n muutosta. Tutkija selvittää tilastollisia menetelmiä käyttäen onko x:n ja y:n välinen riippuvuus tilastollisesti merkitsevää eli suurempaa kuin satunnaisvaihtelun aiheuttama riippuvuus. Tutkimusasetelma pyritään järjestelemään siten että muiden mahdollisesti y:hyn vaikuttavien tekijöiden vaikutus saadaan kontrolloitua. Nollahypoteesi Kokeelliseen tutkimusasetelmaan liittyy olennaisena osana hypoteesien asettaminen. Hypoteeseista täytyy johtaa testattavissa olevat tilastolliset hypoteesit. Tutkimusasetelman täytyy olla sellainen, että se mahdollistaa hypoteesien luotettavan ja pätevän testaamisen. Esimerkki. Jos halutaan tutkia tuottaako uusi oppimateriaali parempia oppimistuloksia kuin aiemmin käytetty materiaali, niin hypoteesiksi voidaan asettaa: Uusi oppimateriaali tuottaa parempia oppimistuloksia kuin vanha oppimateriaali. Jos oppimistulosten arviointiin käytetään tenttiä, niin voidaan asettaa tentin pistemäärää koskeva tilastollisesti testattava hypoteesi. Tilastollisessa hypoteesin testauksessa perusoletuksena on, että eroja ei esiinny. Tällaista perusoletusta kutsutaan nollahypoteesiksi. Esimerkkitapauksessamme testattavissa oleva nollahypoteesi voidaan muotoilla esimerkiksi seuraavasti: Uutta materiaalia käyttäneiden tenttipistemäärien keskiarvo ei poikkea vanhaa materiaalia käyttäneiden keskiarvosta. Kokeellisen tutkimusasetelman terminologiaa Kokeellisen tutkimusasetelman yhteydessä käytetään seuraavia käsitteitä: riippumaton muuttuja eli muuttuja, jonka muutosta pidetään syynä (independent variable) riippuva muuttuja eli muuttuja, jonka muutosta pidetään vaikutuksena (dependent variable) ~ 9 ~

12 kontrolloitava muuttuja (control variable) on muuttuja, jolla voi olla vaikutusta riippuvaan muuttujaan, mutta joka ei varsinaisesti ole kiinnostuksen kohteena käsittely (treatment) tarkoittaa riippumattoman muuttujan arvoihin vaikuttamista koeryhmä eli testiryhmä (test group) on ryhmä, jolle käsittely suoritetaan vertailuryhmä eli kontrolliryhmä (control group) on ryhmä, jolle ei suoriteta käsittelyä tai suoritetaan lumekäsittely. Esimerkki. Edellisessä oppimateriaaliin liittyvässä esimerkissä: Riippumattomana muuttujana on käytetty oppimateriaali Riippuvana muuttujana on oppimistuloksia mittaavan tentin pistemäärä Käsittelynä on tietyn oppimateriaalin käyttäminen opetuksessa. Koeryhmänä on uutta oppimateriaalia käyttävä ryhmä. Vertailuryhmänä on vanhaa oppimateriaalia käyttävä ryhmä. Käytetyn oppimateriaalin lisäksi moni muukin tekijä voi vaikuttaa oppimistuloksiin ja sitä kautta tenttipistemäärään. Esimerkiksi kouluttajan käyttäytyminen (kouluttaja voi esimerkiksi käyttäytyä innostuneemmin uutta materiaalia käyttäessään), opiskelijan sukupuoli (uuden materiaalin vaikutus oppimiseen saattaa riippua sukupuolesta) jne. Toisaalta oppimistulosten lisäksi tenttimenestykseen voivat vaikuttaa muutkin tekijät. Esimerkiksi tentin kysymykset voivat olla siinä mielessä epäpäteviä, että ne eivät mittaa riittävän hyvin oppimistuloksia. Myös testin suorittamisajankohta (opiskelijoiden vireystila voi vaihdella vuorokauden ajan mukaan) voi vaikuttaa tenttimenestykseen. Tavoitteena tietenkin on, että mikään muu kuin riippumaton muuttuja ei voisi vaikuttaa riippuvaan muuttujaan tutkimuksen aikana. Tutkija pyrkii siis kontrolloimaan muita riippuvaan muuttujaan mahdollisesti vaikuttavia muuttujia. Jos havaintoyksiköinä on ihmisiä, niin käytännössä muiden riippuvaan muuttujaan vaikuttavien muuttujien täydellinen kontrollointi ei ole yleensä mahdollista. Seuraavassa käsitellään joitain muunnelmia kokeellisesta tutkimusasetelmasta. 4.1 Satunnaistettu koeasetelma Jos tutkimusasetelmassa käytetään koeryhmää ja vertailuryhmää, niin paras tapa jakaa havaintoyksiköt koeryhmään ja vertailuryhmään on satunnaistaminen (esimerkiksi arpominen). Jos ryhmien koot ovat riittävän suuret, niin satunnaistamisen ansiosta koeryhmän ja vertailuryhmän voidaan olettaa olevan lähtötilanteessa kutakuinkin samanlaisia kaikkien riippuvaan muuttujaan vaikuttavien muuttujien suhteen. Satunnaistettua eli klassista koeasetelmaa voidaan havainnollistaa kuvion 2 mukaisesti. Jos ensimmäisen ja toisen mittauksen välinen ero on erilainen koeryhmässä kuin vertailuryhmässä, niin tätä voidaan pitää käsittelyn vaikutuksena. Erityisesti kannattaa huomata, että satunnaistamisen ansiosta voidaan olettaa koeryhmän ja vertailuryhmän olevan samanlaisia muiden riippuvaan muuttujaan vaikuttavien muuttujien suhteen. Näin voidaan ajatella, että ainoastaan käsittely on voinut aiheuttaa eron koeryhmän ja vertailuryhmän välille. ~ 10 ~

13 Kuvio 2. Klassinen koeasetelma; mittaus ennen käsittelyä ja käsittelyn jälkeen Nollahypoteesi (mittaus ennen käsittelyä ja käsittelyn jälkeen) Jos riippuvan muuttujan arvoista (havainnoista) voidaan laskea keskiarvo, niin testattavana nollahypoteesina on: Koeryhmän 1. ja 2. mittauksen erotusten keskiarvo on sama kuin vertailuryhmän 1. ja 2. mittauksen erotusten keskiarvo. Nollahypoteesi siis toteaa, että koeryhmän ja vertailuryhmän välillä ei ole eroa. Esimerkki. Mainoskampanjan vaikutusta tutkittaessa voidaan edetä seuraavasti: valitaan satunnaisesti joukko kauppaketjuun kuuluvia myymälöitä jaetaan myymälät satunnaisesti kahteen ryhmään mitataan tuotteen viikkomyynti kussakin myymälässä suoritetaan toiseen ryhmään (koeryhmä) kuuluvissa myymälöissä mainoskampanja mitataan tuotteen viikkomyynti kussakin myymälässä. Testattava nollahypoteesi: Tuotteen viikkomyynnin muutosten keskiarvo on sama koeryhmässä ja vertailuryhmässä. Jos koeryhmän ja vertailuryhmän välillä havaitaan eroa, niin eron aiheuttajana voi olla: mainoskampanjan vaikutus normaali vaihtelu, jonka johdosta koeryhmän keskimääräinen viikkomyynti saattaa sattumalta muuttua vertailuryhmää enemmän. Hypoteesin testauksen avulla selvitetään voidaanko havaittu ero laittaa normaalin vaihtelun tiliin vai onko ero niin suuri, että voidaan päätellä mainoskampanjan vaikuttaneen. Testausmenetelmä satunnaistetussa koeasetelmassa Edellä kuvatussa satunnaistetussa koeasetelmassa käytetään testausmenetelminä kahden ryhmän vertailuun tarkoitettuja testejä. Jos testattava hypoteesi koskee keskiarvoa, niin testaukseen käytetään kahden riippumattoman otoksen t-testiä. Jos t-testin käyttöedellytykset eivät täyty, niin t-testin sijasta voidaan käyttää Mann-Whitneyn U-testiä. Jos riippuva muuttuja on kategorinen, niin keskiarvoa ei voida laskea. Tällöin testaamiseen käytetään ristiintaulukointiin liittyvää khiin neliö -testiä. 4.2 Satunnaistettu koeasetelma ilman etukäteismittausta Satunnaistettu koeasetelma voidaan toteuttaa myös ilman etukäteismittausta. Tällöin luotetaan siihen, että satunnaistamisen ansiosta koeryhmä ja vertailuryhmä ovat lähtötilanteessa samanlaisia riippumattoman muuttujan suhteen. Etukäteismittaus saatetaan ~ 11 ~

14 jättää tekemättä vaikka sen toteuttaminen olisi käytännössä mahdollista. Joissain tapauksissa etukäteismittaus nimittäin saattaa vaikuttaa jälkikäteen tehtävän mittauksen tuloksiin. Esimerkki. Oletetaan, että tarkoituksena on tutkia uuden oppimateriaalin eroa vanhaan materiaaliin verrattuna. Osaamisen mittaaminen ennen oppimateriaalin käyttöä saattaa aiheuttaa tutkituissa oppimista, jonka seurauksena tutkitut menestyvät hyvin suorittaessaan tentin toistamiseen. Tämä etukäteismittaamisen aiheuttama oppiminen saattaa peittää alleen oppimateriaalien eroon liittyvän vaikutuksen. Asetelmaa ilman etukäteismittausta voidaan havainnollistaa seuraavalla kuviolla: Kuvio 3. Satunnaistettu koeasetelma ilman etukäteismittausta Jos koeryhmän ja vertailuryhmän välillä havaitaan tilastollisesti merkitsevä ero, niin eroa voidaan pitää käsittelyn aiheuttamana. Nollahypoteesi (mittaus vain käsittelyn jälkeen) Jos riippuvan muuttujan arvoista voidaan laskea keskiarvo, niin testattavana nollahypoteesina on: Koeryhmän keskiarvo on yhtä suuri kuin vertailuryhmän keskiarvo. Esimerkki. Postimyyntiliike haluaa tutkia ilmaisten lahjojen vaikutusta katteeseen. Asiakkaista valitaan satunnaisesti kaksi ryhmää. Testiryhmälle lähetetään postimyyntikuvasto ja sen mukana tarjous ilmaisista lahjoista tietyn summan ylittävistä tilauksista. Vertailuryhmälle lähetetään vain postimyyntikuvasto. Tehdyistä tilauksista postimyyntiliikkeelle jäävä kate mitataan molemmille ryhmille kuukausi postimyyntikuvaston lähettämisen jälkeen. Huomaa, että tässä on mahdotonta tehdä käsittelyä edeltävää mittaamista. Testausmenetelmä satunnaistetussa koeasetelmassa ilman etukäteismittausta Edellä kuvatussa satunnaistetussa koeasetelmassa käytetään testausmenetelminä kahden ryhmän vertailuun tarkoitettuja testejä. Jos testattava hypoteesi koskee keskiarvoa, niin testaukseen käytetään kahden riippumattoman otoksen t-testiä. Jos t-testin käyttöedellytykset eivät täyty, niin t-testin sijasta voidaan käyttää Mann-Whitneyn U-testiä. Jos riippuva muuttuja on kategorinen, niin keskiarvoa ei voida laskea. Tällöin testaamiseen käytetään ristiintaulukointiin liittyvää khiin neliö -testiä. ~ 12 ~

15 4.3 Muita satunnaistettuja koeasetelmia Jos käsittely kohdistetaan eritasoisena eri ryhmille, niin vertailtavia ryhmiä voi olla useampia kuin kaksi. Tällöin testataan nollahypoteesia: Ryhmien välillä ei eroja. Testausmenetelmänä käytetään yksisuuntaista varianssianalyysia tai Kruskall-Wallisin testiä. Jos riippuva muuttuja on kategorinen, niin testaamiseen käytetään khiin neliö -testiä. Esimerkki. Vertailtavana voi olla useampia kuin kaksi vaihtoehtoista oppimateriaalia. Jos tutkimusasetelmaan otetaan mukaan kaksi riippumatonta muuttujaa, niin testaamiseen käytetään kaksisuuntaista varianssianalyysia toistoin (factorial design). Esimerkki. Oppimateriaalin ohella opetusmenetelmä (esimerkiksi luento-opetus, ongelmakeskeinen opetus, verkossa tapahtuva opetus) voi ratkaisevasti vaikuttaa oppimistuloksiin. Tämän tutkimiseksi voidaan rakentaa koeasetelma, jossa havaintoyksiköt jaetaan kuuteen ryhmään (2 vaihtoehtoista oppimateriaalia, 3 vaihtoehtoista opetusmenetelmää 6 eri yhdistelmää). Nollahypoteesina on tällöin: Ryhmien oppimistuloksissa ei ole eroja. 4.4 Ei-satunnaistettu koe Jos koeryhmää ja vertailuryhmää muodostettaessa satunnaistaminen ei ole mahdollista, niin voidaan käyttää ei-satunnaistettua koeasetelmaa: Kuvio 4. Ei-satunnaistettu koeasetelma, mittaus ennen käsittelyä ja käsittelyn jälkeen Asetelma on heikompi kuin satunnaistettu koeasetelma, koska koeryhmän ja vertailuryhmän samanlaisuudesta ei ole takeita. Esimerkki. Tarkastellaan aiemmin esillä ollutta oppimateriaaliesimerkkiä. Jos kouluttajalla ei ole mahdollisuutta satunnaistamiseen, niin täytyy tyytyä saatavilla oleviin opetusryhmiin. Kouluttaja käyttää uutta oppimateriaalia yhdellä opetusryhmällä ja vanhaa materiaalia toisella opetusryhmällä. Opiskelijoiden ennakkotiedot testataan ja koulutuksen jälkeen testataan uudelleen. Jos uutta oppimateriaalia käyttäneiden tulokset ovat parantuneet enemmän kuin vertailuryhmän, niin tätä voidaan pitää osoituksena uuden oppimateriaalin paremmuudesta. Olipa tutkimusasetelma mikä tahansa, niin aina pitää ajatella muiden mahdollisten tekijöiden vaikutusta. ~ 13 ~

16 Esimerkki. Oppimateriaali esimerkissä muita mahdollisia tekijöitä ovat esimerkiksi: kouluttajan käyttäytyminen (esimerkiksi kouluttaja saattaa toimia innostuneemmin uutta oppimateriaalia käyttäessään) opiskelijoiden vuorovaikutus toistensa kanssa (jos testiryhmän ja koeryhmän opiskelijat ovat koulutuksen kestäessä yhteydessä toisiinsa, niin uuden oppimateriaalin vaikutusta voi siirtyä vertailuryhmäänkin) opiskelijan sukupuoli (jos uusi materiaali sopii paremmin toiselle sukupuolelle ja vanha materiaali toiselle, niin uuden materiaalin vaikutus saattaa jäädä havaitsematta, jollei sukupuolta kontrolloida). Ei-satunnaistettu asetelma ilman etukäteismittausta on erittäin heikko asetelma, eikä sen käyttöä voida suositella. Nollahypoteesi ja testausmenetelmät ei-satunnaistetussa kokeessa Ei-satunnaistetun koeasetelman tapauksessa käytetään samankaltaisia hypoteeseja ja testausmenetelmiä kuin vastaavissa satunnaistetuissa kokeissa. Testausta ei voida kuitenkaan pitää yhtä luotettavana kuin satunnaistetussa kokeessa, koska testien edeltävyysehtona oleva satunnaisesti valittu otos ei täyty. 4.5 Toistomittaus Jos käsittely halutaan (esimerkiksi tutkittavat haluavat käsittelyn) kohdistaa kaikkiin tutkittaviin, niin vertailuryhmää ei ole. Asetelmaa voidaan havainnollistaa seuraavalla kuviolla: Kuvio 5. Toistomittausasetelma Tällaisessa asetelmassa syy-vaikutussuhteiden olemassaoloa on vaikea perustella, jos muita asiaan mahdollisesti vaikuttavia muuttujia ei pystytä kontrolloimaan. Nollahypoteesi toistomittauksessa Jos mittaustuloksista voidaan laskea keskiarvo, niin nollahypoteesina on: 1. mittauksen ja 2. mittauksen keskiarvot ovat yhtä suuret. Esimerkki. Henkilöstön kehittämisohjelman vaikutusta työn tehokkuuteen voidaan tutkia mittaamalla työn tehokkuutta ennen ja jälkeen kehittämisohjelman. Vaikka eroja olisikin, niin ei kuitenkaan voida olla varmoja, että juuri henkilöstön kehittämisohjelma sai aikaan tehokkuuden kasvun. Vaikutus on voinut aiheutua muistakin tekijöistä, jotka ovat muuttuneet mittausten välisenä aikana. Tällaisia tekijöitä voivat olla esimerkiksi pelko tulevista irtisanomisista tai ajan kuluessa tapahtuva luontainen kehittyminen. Testausmenetelmä toistomittauksessa Jos riippuvasta muuttujasta voidaan laskea keskiarvo, niin testaaminen voidaan suorittaa kahden riippuvan otoksen t-testillä tai Wilcoxonin merkittyjen sijalukujen testillä. Testimenetelmä on eri kuin vertailuryhmällä varustetussa asetelmassa, koska molemmissa ~ 14 ~

17 mittauksissa on mittauksen kohteena sama ryhmä. Näin vertailtavat otokset eivät ole toisistaan riippumattomia. 4.6 Ex post facto -asetelma Esimerkki. Tutkittaessa pitkäaikaisen tupakanpolton vaikutusta keuhkojen kuntoon, kokeellinen asetelma ei ole mahdollinen. Ensinnäkin aikaväli ensimmäisen mittauksen ja toisen mittauksen välillä on liian pitkä ja toisaalta tutkija ei voi määrätä satunnaisesti valikoimaansa ryhmää tupakoimaan vuosikymmeniksi. Tutkija voi kuitenkin valita satunnaisesti otoksen tupakoimattomia ja pitkään tupakoineita. Jos tupakoineiden keuhkot ovat huonommassa kunnossa, niin tätä voisi pitää perusteluna sille, että nimenomaan tupakointi vaikuttaa keuhkojen kuntoon. Kuvatun asetelman taustalla on ajatus, että menneisyydessä on satunnaisesti valittu ryhmä ihmisiä tupakoimaan (koeryhmä) ja toinen ryhmä olemaan tupakoimatta (vertailuryhmä) vaikka todellisuudessa tutkija ei ole päässyt tällaista valintaa tekemään. Koska ryhmien valikoituminen on tapahtunut luonnostaan, niin ei ole täysiä takeita sille, että ryhmät ovat olleet alun alkaen ominaisuuksiltaan samanlaiset (on kuviteltavissa, että voisi olla olemassa tupakointiin altistava geeni, joka myös aiheuttaa keuhkojen kunnon heikentymistä iän myötä; tällöin tupakoinnin sinällään ei tarvitsisi olla keuhkojen kunnon huonontumisen syynä). Edellisessä esimerkissä on kyse ex post facto ('jo tapahtunut') -asetelmasta. Asetelmalle ominaisia piirteitä ovat: tutkija ei alkujaan pääse valitsemaan ryhmiä mittaamista ei suoriteta ennen käsittelyä tutkija ei suorita käsittelyä, vaan se on tapahtunut itsestään elämänkokemuksena tai olosuhteina. Kuvio 6. Ex post facto -asetelma Ex post facto -asetelmassa täytyy kiinnittää erityistä huomiota muihin riippuvaan muuttujaan vaikuttaviin muuttujiin. Muut vaikuttavat muuttujat täytyy mahdollisuuksien mukaan kontrolloida koeryhmää ja vertailuryhmää valittaessa. Esimerkki (jatkoa edelliseen esimerkkiin). Pitkään tupakoineiden ryhmä valitaan satunnaisesti pitkään tupakoineista. Koska tupakoivat voivat olla myös muiden muuttujien suhteen erilainen joukko kuin tupakoimattomat, niin koeryhmä ja vertailuryhmä voivat erota toisistaan useiden keuhkojen kuntoon vaikuttavien tekijöiden suhteen. Esimerkiksi: Pitkään tupakoineiden joukko lienee keski-iältään vanhempi kuin tupakoimattomien joukko. Keuhkojen kunto arvatenkin huonontuu iän myötä. Näin ollen pitkään tupakoineiden keuhkojen huonokuntoisuus voisikin olla iän vaikutusta. Tämän vuoksi onkin paikallaan kontrolloida ikä-muuttujaa ja valita koeryhmä ja kontrolliryhmä saman ikäisistä. ~ 15 ~

18 Pitkään tupakoineiden joukko saattaa olla ammattijakaumaltaan erilainen kuin tupakoimattomien joukko. Jos isompi osa tupakoineista työskentelee keuhkojen kannalta vaarallisissa ammateissa, niin tämä saattaa osaltaan selittää keuhkojen huonompaa kuntoa. Nollahypoteesi ex post facto -asetelmassa Jos mittaustuloksista voidaan laskea keskiarvo, niin testattavana nollahypoteesina on: Koeryhmän keskiarvo on yhtä suuri kuin vertailuryhmän keskiarvo. Testausmenetelmä ex post facto -asetelmassa Testausmenetelminä käytetään kahden ryhmän vertailuun tarkoitettuja testejä. Jos testattava hypoteesi koskee keskiarvoa, niin testaukseen käytetään kahden riippumattoman otoksen t-testiä. Jos t-testin käyttöedellytykset eivät täyty, niin t-testin sijasta voidaan käyttää Mann-Whitneyn U-testiä. Jos vertailtavia ryhmiä on useita, niin testausmenetelmänä käytetään yksisuuntaista varianssianalyysia tai Kruskall-Wallisin testiä. Jos riippuva muuttuja on kategorinen, niin keskiarvoa ei voida laskea. Tällöin testaamiseen käytetään ristiintaulukointiin liittyvää khiin neliö -testiä. 4.7 Aikasarja-asetelma Aikasarja-asetelmassa suoritetaan useita mittauksia eri ajankohtina. Esimerkki. Alkoholinkulutus kehittyy yleensä pitkiä aikoja samansuuntaisesti (esimerkiksi tasainen nouseva trendi). Jos alkoholin hintaa muutetaan tiettynä ajankohtana, niin hinnan muutoksen jälkeen saatetaan havaita alkoholinkulutuksessa hyppäys ylemmäs tai alemmas. Hyppäyksen sijasta voidaan myös havaita muutos nousun tai laskun jyrkkyydessä. 4.8 Kokeellisen tutkimusasetelman pätevyys ja tulosten yleistettävyys Kokeellisten asetelmien tarkoituksena on syy-vaikutussuhteiden osoittaminen. Tutkimusasetelman pätevyys (sisäinen validiteetti) on hyvä, jos syy-vaikutussuhteista tehtävät päätelmät ovat hyvin perusteltuja. Pätevyyden yhteydessä on hyvä palauttaa mieleen kolme ehtoa, joiden pitäisi täyttyä syy-vaikutussuhteen tapauksessa: x:n muutos esiintyy ajallisesti ennen y:n muutosta x:n muutoksen ja y:n muutoksen välillä on riippuvuutta x:n muutoksen jälkeen havaittua y:n muutosta ei voida selittää millään muilla tekijöillä. Kokeellisissa asetelmissa ehto 1 on yleensä täytetty ja ehdon 2 toteutuminen varmistetaan hypoteesin testauksella. Sen sijaan ehdon 3 toteutumisen varmistaminen on vaikeampaa. Klassisessa koeasetelmassa ehto 3 pystytään yleensä täyttämään hyvin ja näin pätevyyskin on hyvä. Muissa, kokeellisen kaltaisissa, asetelmissa pätevyys on enemmän tai vähemmän kyseenalainen, koska muiden tekijöiden vaikutusta ei pystytä täydellisesti kontrolloimaan. Pätevyys voi heikentyä muiden muassa seuraavista syistä: ~ 16 ~

19 koeryhmää ja vertailuryhmää ei ole muodostettu satunnaistaen vertailuryhmä puuttuu etukäteismittaus ennen käsittelyä puuttuu kaikkia riippuvaan muuttujaan vaikuttavia muuttujia ei ole kontrolloitu. Tulosten yleistettävyys Vaikka tutkimusasetelman avulla voidaan päätellä syy-vaikutussuhteen olemassaolo tutkimustilanteessa, niin tulosta ei välttämättä voida yleistää erilaisiin ajanhetkiin, paikkoihin ja ympäristöihin. Mitä enemmän muut mahdollisesti asiaan vaikuttavat olosuhteet muuttuvat tutkimustilanteesta sitä epävarmemmaksi yleistäminen käy. Jos tutkimuksen kohteena on ihmisten käyttäytyminen, niin yleistämisen epävarmuutta lisää ihmisten käyttäytymisen vaikea ennustaminen. Pienetkin muutokset tutkimusasetelmaan nähden voivat saada ihmiset käyttäytymään eri tavalla kuin tutkimuksessa. Lisätietoa Täydentävää tietoa kokeellisesta tutkimuksesta ja sen yhteydessä käytettävistä menetelmistä löydät Akin menetelmäblogista Voit aloittaa artikkelista ~ 17 ~

20 5 MITTAAMINEN Immanuel Kant: Havainnot ilman käsitteitä ovat sokeita, käsitteet ilman havaintoja ovat tyhjiä. Määrällisiä menetelmiä käytettäessä tutkimuskysymysten keskeiset käsitteet pelkistetään mitattaviksi ominaisuuksiksi eli muuttujiksi. 5.1 Käsitteiden muuttaminen mitattavaan muotoon Mittaamisella pyritään liittämään teoriataso käytäntöön etsimällä teoreettisia käsitteitä vastaavat reaalimaailman vastineet. Kuvio 7. Mittaaminen liittää teoreettiset käsitteet käytännön ilmiöihin Osa käsitteistä on suoraan mitattavissa. Tällaisia ovat esimerkiksi lämpötila, valuuttakurssit, yrityksen markkinaosuus, sukupuoli, ikä jne. Esimerkki. Lämpötilan mittaamiseen voidaan valita niin hyvä lämpömittari, että mittarin epätarkkuuden aiheuttamilla mittausvirheillä ei ole käytännön merkitystä. Esimerkki. Valmistettujen laakerinkuulien halkaisijan mittaamiseen voidaan käyttää niin hyviä mittauslaitteita, että liian suuret tai liian pienet laakerinkuulat löydetään mittauksen perusteella. Esimerkki. Yrityksen tilaa mitataan erilaisilla tiettyjen laskusääntöjen mukaan lasketuilla taloudellisilla tunnusluvuilla. Jos yrityksen kirjanpito on hoidettu hyvän kirjanpitotavan mukaisesti ja erityistä huolellisuutta noudattaen, niin taloudellisiin tunnuslukuihin liittyvä mittaustarkkuus on niin hyvä, että esimerkiksi sijoittajat voivat luottaa saamaansa informaatioon. Jos mitattava ilmiö tai käsite on moniulotteinen, niin ulottuvuudet täytyy määritellä ennen mittarien laatimista. Ilmiötä koskevasta olemassa olevasta tiedosta (teoriasta) on apua ulottuvuuksien määrittelyssä. Kun ulottuvuudet ovat selvillä, niin jokaiselle ulottuvuudelle on löydettävä sopivat mittarit. KÄSITE KÄSITTEEN ULOTTUVUUDET MITTARIT Esimerkki. Asiakastyytyväisyys on moniulotteinen teoreettinen käsite. Erään teorian mukaan koettuun asiakaspalvelun laatuun vaikuttavat ulottuvuudet ovat luotettavuus, reagointialttius, pätevyys, saavutettavuus, kohteliaisuus, viestintä, uskottavuus, turvallisuus, asiakkaan ymmärtäminen ja tunteminen sekä fyysinen ympäristö. Jos asiakastyytyväisyyttä mitataan kyselylomakkeella, niin jokaista edellä mainituista ulottuvuuksista täytyy mitata yhdellä tai useammalla kysymyksellä. Tarkastellaan käsitteiden muuttamista mitattavaan muotoon kahden laajemman esimerkin valossa. ~ 18 ~

21 Esimerkki. Oletetaan, että hypoteesina on: Stressaantuneiden ihmisten joukossa on enemmän tupakoivia kuin stressaantumattomien joukossa. Hypoteesi sisältää käsitteet stressaantunut ja tupakoiva. Jos tutkittavat henkilöt täytyy luokitella stressaantuneisuuden tai tupakoinnin mukaan, niin epämääräiset arkiajattelun mielikuvat eivät riitä, vaan käsitteiden merkitys tutkimuksessa on määriteltävä täsmällisesti. Huomaa, että käsitteiden määrittely ei ole yksiselitteistä ja eri tutkimuksissa sama käsite voidaan määritellä eri tavoilla. Yksinkertaisimmillaan stressaantuneisuutta voidaan mitata esimerkiksi kysymyksellä: Nykyaikana jokainen meistä on ajoittain stressaantunut. Arvioi omaan nykyiseen elämäntilanteeseesi perustuen stressaantuneisuuttasi asteikolla 0 (ei lainkaan stressaantunut) - 10 (erittäin stressaantunut). Kysymyksen heikko puoli on, että monien tutkimusten mukaan vastaajat eivät itse aina tunnista omaa stressaantuneisuuttaan. Jos halutaan parempi tapa mitata stressaantuneisuutta, niin tarvitaan tietoa stressistä. Tutkija voi tutustua kirjallisuuden avulla stressin aiheuttamiin fysiologisiin muutoksiin ihmiselimistössä ja laatia lääketieteellisiin kokeisiin perustuvan mittariston stressaantuneisuuden mittaamiseen. Tällöin edellytyksenä on tutkimusasetelma, joka sallii lääketieteellisten kokeiden tekemisen. Tutkija voi tutustua kirjallisuuden avulla stressin aiheuttamiin psyykkisiin oireisiin ja laatia näiden perusteella havainnointitutkimusta varten kriteerit, joiden perusteella tutkitut voidaan jaotella stressaantuneisuuden mukaan. Tutkija voi tutustua kirjallisuuden avulla stressin osatekijöihin ja laatia osatekijöiden avulla kysymyssarjan, jonka avulla kysymyksiin vastanneet voidaan jaotella stressaantuneisuuden mukaan. Yhtä kaikki, tutkijan on perehdyttävä stressiä käsittelevään kirjallisuuteen, tutkimuksiin ja muihin lähteisiin löytääkseen sopivan teorian, jonka pohjalta mittari voidaan laatia. Käsite tupakoiva vaikuttaa yksinkertaisemmalta. Tarkemman pohdinnan jälkeen kuitenkin huomataan, että käsitettä ei voida ehkä mitata yhdellä kysymyksellä. Jos kysytään suoraan: Tupakoitko, niin saatava luokittelu ei ole kovin vakuuttava: Miten vastaavat ne, jotka tupakoivat vain ollessaan juhlimassa? Miten vastaavat piipun tai sikarin polttajat? Miten vastaavat lähes koko elämänsä raskaasti tuprutelleet, jotka tutkimuksen tekohetkellä ovat tupakkalakossa? Tupakointi voidaan yrittää muuttaa mitattavaan muotoon esimerkiksi seuraavien kysymysten avulla: Oletko polttanut savukkeita, sikareita tai piippua viimeisen seitsemän päivän aikana? Arvioi kuinka monta savuketta olet polttanut viimeisen seitsemän päivän aikana? Arvioi kuinka monta sikaria olet polttanut viimeisen seitsemän päivän aikana? Arvioi kuinka monta grammaa piipputupakkaa olet polttanut viimeisen 7 päivän aikana? (kysytään niiltä, jotka eivät ole polttaneet viimeisen 7 päivän aikana) Oletko polttanut viime aikoina savukkeita sikareita tai piippua? ~ 19 ~

22 (kysytään niiltä, jotka vastasivat edelliseen 'Kyllä') Kuinka paljon poltat keskimäärin viikon aikana? (avoin vastaus) (kysytään niiltä, jotka eivät ole polttaneet viimeisen seitsemän päivän aikana tai viime aikoina) Oletko joskus polttanut säännöllisesti? (kysytään niiltä, jotka vastasivat edelliseen 'Kyllä') Kuinka kauan on polttamisen lopettamisesta? Vastausten avulla on mahdollista luokitella vastaajat paljon polttaviin, vähän polttaviin, entisiin polttajiin ja niihin, jotka eivät ole koskaan polttaneet säännöllisesti. Esimerkki. Tarkastellaan toisena esimerkkinä tutkimushypoteesia: Korkeampaan yhteiskuntaluokkaan kuuluvat ja korkeamman koulutuksen omaavat ovat suvaitsemattomampia tupakointia kohtaan. Yhteiskuntaluokka, koulutus ja suvaitsemattomuus tupakointia kohtaan ovat käsitteitä. Käsite yhteiskuntaluokka voitaisiin korvata käsitteellä sosioekonominen asema, jolloin voidaan käyttää tilastokeskuksen luokitteluohjeita: ( Samoista ohjeista löytyy myös käyttökelpoinen luokittelu käsitteelle koulutus. Suvaitsemattomuus tupakointia kohtaan ei selvinne kovin pätevästi jos pelkästään kysytään vastaajan suvaitsemattomuutta. Suvaitsemattomuuden voi purkaa eri ilmenemismuotoihin ja kysyä vastaajan suhtautumista eri ilmenemismuotoihin. Esimerkiksi voidaan pyytää vastaajaa ottamaan kantaa seuraaviin väittämiin 5-portaista asteikkoa käyttäen (5 Täysin samaa mieltä - 1 Täysin eri mieltä): Yhteiskuntamme on muuttunut liian suvaitsemattomaksi tupakoivia kohtaan. Hallitus ei toimi riittävän aktiivisesti tupakoinnin vähentämiseksi. Työnantajien pitäisi kieltää tupakointi työpaikoilla. Nykyään tupakoinnin rajoittamisesta vouhotetaan liikaa. Tupakointi on jokaisen oma valinta eikä muiden tulisi puuttua siihen. Julkisella paikalla tupakoinnista pitäisi tehdä laitonta. Tupakointipaikan suhteen on jo riittävästi rajoituksia. Vastausten perusteella voidaan laskea summamuuttuja, jonka arvot vaihtelevat välillä Summamuuttujan voidaan ajatella kuvastavan vastaajan suvaitsevaisuutta tupakointia kohtaan. Huomaa, että ennen summamuuttujan laskemista täytyy joidenkin kysymysten vastausasteikko kääntää, jotta kaikissa kysymyksissä suuret muuttujan arvot ilmaisevat samansuuntaista mielipidettä (joko suvaitsevaisuutta tai suvaitsemattomuutta). Lisätietoa Täydentävää tietoa mittaamisesta löydät Akin menetelmäblogista Voit aloittaa artikkelista ~ 20 ~

23 6 KYSELYLOMAKE Jos tutkimusasetelmana on kyselytutkimus, niin mittaaminen suoritetaan kyselylomaketta käyttäen. Kysymyksiä laadittaessa täytyy huomioida mitattavien käsitteiden ja ilmiöiden ulottuvuudet, jotka yleensä selviävät aiheeseen liittyvästä teoriasta. Jokaista ulottuvuutta varten tarvitaan yksi tai useampia kysymyksiä kyselylomakkeelle. Esimerkki. Työtyytyväisyyden mittaamisessa voidaan hyödyntää esimerkiksi Herzbergin kahden faktorin teoriaa. Herzbergin mukaan tyytyväisyys johtuu eri tekijöistä kuin tyytymättömyys. Herzberg puhuu työtyytyväisyyttä lisäävistä motivaatiotekijöistä (ulottuvuuksista) ja tyytymättömyyttä lisäävistä hygieniatekijöistä (ulottuvuuksista). Kyselylomakkeen jokaisen yksittäisen kysymyksen kohdalla pitää miettiä: miten kysymyksellä saatava tieto edesauttaa tutkimuskysymyksiin vastaamista saatko kysymyksen avulla todella tietää sen mitä haluatkin tietää voisiko saman tiedon saada tehokkaammin tai luotettavammin muunlaisella kysymyksellä. Mittaamisen luotettavuuteen ja pätevyyteen liittyviä ongelmakohtia täytyy pohdiskella kysymyksiä laadittaessa. Pohdiskelua auttaa vastaamistapahtumaan liittyvien vaiheiden hahmottaminen: kysymyksen lukeminen tai kuuleminen kysymyksen ymmärtäminen vastauksen muistaminen tai hahmottaminen vastaaminen (tähän voi kuulua oman vastauksen sovittaminen annettuun asteikkoon, vastauksen muuntaminen esimerkiksi sosiaalisen hyväksyttävyyden tai haastattelijan oletettujen odotusten mukaan). Edellä luetellut vaiheet eivät toki ole toinen toisiaan seuraavia, vaan kietoutuvat toisiinsa. Kysymykset on laadittava sellaisiksi, että yllä luetellut neljä vaihetta sujuvat vastaajan kannalta vaivattomasti. Kysyttävän tiedon mukaisesti kysymykset voidaan jaotella esimerkiksi seuraavasti: tosiasioita mittaavat kysymykset vastaajan tietämystä mittaavat kysymykset mielipiteitä, asenteita, uskomuksia ja aikeita mittaavat kysymykset. 6.1 Tosiasia Tosiasia voi olla esimerkiksi sukupuoli, ikä, asumismuoto, yrityksen liikevaihto jne. Kannattaa kysyä vain sellaisia tosiasioita, jotka varmasti ovat vastaajan tiedossa ja muistettavissa. Jos vastaajan tiedot ovat hatarat tai tosiasiat vaikeasti muistettavissa, niin kysymyksen avulla saatava tieto on epäluotettavaa ja satunnaista. Esimerkki. Ei ole itsestään selvää, että yrityksen työntekijä muistaa yrityksen liikevaihdon. Esittämällä valmis luokittelu, voidaan vastaajan tehtävää helpottaa. Toisaalta valmis luokittelu voi houkutella valitsemaan jonkin vaihtoehdoista vaikka todellista tietoa ei asiasta olisikaan. Parasta olisi, jos liikevaihto selvitettäisiin luotettavasta lähteestä (esimerkiksi vuosikertomuksesta). ~ 21 ~

24 Tosiasioita voidaan kysyä avoimen kysymyksen avulla tai tarjoamalla valmiita vaihtoehtoja. Jos vastaajalle tarjotaan valmiit vaihtoehdot, niin vaihtoehtojen tulee olla toisensa poissulkevia ja kattavia. Tarpeen vaatiessa kattavuus saadaan aikaan kaatoluokalla, joka sisältää kaikki muut vaihtoehdot. Esimerkki. Asutteko (valitkaa vain yksi vaihtoehto) o kerrostalossa o rivitalossa o paritalossa o omakotitalossa o ei missään edellä mainituista, vaan Edellä on käytetty kaatoluokkaa, jonka voi valita, jos ei löydä omaa vaihtoehtoaan tarjotuista. Esimerkki. Mistä kuulitte ensimmäisen kerran uudesta palvelustamme? o tuttavalta o työtoverilta o opiskelukaverilta o naapurilta o lehti-ilmoituksesta o radiosta Vastausvaihtoehdot eivät ole toisensa poissulkevia, joten vastaajalle voi tulla vaikeuksia valita (naapuri voi olla työkaveri jne.) Lisäksi puuttuvat vastausvaihtoehdot niitä varten, jotka kuulivat uudesta palvelusta jostain muualta tai eivät ole kuulleet siitä mistään. Samassa kysymyksessä voidaan esittää vaihtoehtoja, joista vastaaja voi valita useammankin kuin yhden vaihtoehdon (multiple response). Esimerkki. Onko asunnossanne (voitte valita myös useampia vaihtoehtoja) koneellinen ilmastointi poistoilman lämmön talteenotto keskuspölynimuri Vastaajan toteutunutta käyttäytymistä koskevat kysymykset ovat myös tosiasiakysymyksiä. Esimerkki. Tutkija voi esimerkiksi olla kiinnostunut vastaajan elokuvissakäynneistä. Tällöin voidaan kysyä kuinka monta kertaa vastaaja on käynyt elokuvissa vaikkapa viimeisen 30 päivän aikana. Vastaajan muisti voi olla puutteellinen ja vaikuttaa näin käyttäytymistä koskevien kysymysten luotettavuuteen. Vastaajan muistia ei pitäisi laittaa liian kovalle koetukselle. Esimerkki. Jos kysytään elokuvissakäyntien määrää viimeisen vuoden aikana, niin paljon elokuvissa käyvien on liian vaikeaa esittää täsmällistä lukumäärää. Käyttäytymistä koskeviin kysymyksiin voi liittyä luotettavuus- ja pätevyysongelmia myös vastaajien epärehellisyyden kautta. Esimerkki. Monilla vastaajilla on taipumusta vähätellä tai liioitella alkoholinkäyttöä. Tässä ei ole kyse välttämättä suoranaisesta epärehellisyydestä. ~ 22 ~

25 6.2 Tietämys Jos esimerkiksi halutaan tutkia vastaajien tietämyksen ja käyttäytymisen välistä yhteyttä tai koulutuksen vaikutusta tietämykseen, niin tarvitaan vastaajan tietämyksen mittaamista. Tietämystä voidaan mitata tarjoamalla kysymyksiin valmiita vastausvaihtoehtoja tai pyytämällä järjestämään tai yhdistämään annettuja vaihtoehtoja. Joissain tapauksissa voidaan käyttää avoimiakin kysymyksiä, mutta vastaajat ovat harvoin halukkaita vastaamaan kyselylomakkeella tietämystä mittaaviin essee-kysymyksiin. Jokainen on tenttien ynnä muiden testien yhteydessä nähnyt hyviä (arvaten myös huonoja) esimerkkejä tietämystä mittaavista kysymyksistä. 6.3 Mielipide, asenne, uskomus, aie Mielipiteitä, asenteita, uskomuksia, aikeita jne. koskevat kysymykset ovat erityisen alttiita luotettavuus- ja pätevyysongelmille. Vastaaja ei välttämättä ole selvillä omista tuntemuksistaan tai ei ehkä ole ennen kysymyksen esittämistä koskaan pysähtynyt miettimään tuntemuksiaan kyseiseen asiaan. Vastaajan tulkinta omasta mielipiteestään voi vaihdella mielentilan, ympäristön ja ajankohdan mukaan. On kyseenalaista, pystyykö ihminen arvioimaan ja tulkitsemaan tuntemuksiaan objektiivisesti ja valitsemaan tämän perusteella tuntemuksia vastaavan arvon numeeriselta asteikolta. Vastausta valitessaan vastaaja saattaa ajatella myös vastauksen sosiaalista hyväksyttävyyttä tai kyselyn tekijän odotuksia. Mittaamiseen voidaan käyttää muiden muassa valmiit vaihtoehdot tarjoavaa asteikkoa Likertin asteikkoa semanttista differentiaalia annettujen vaihtoehtojen järjestämistä avoimia kysymyksiä. Valmiit vastausvaihtoehdot Valmiita vaihtoehtoja tarjoavat asteikot sopivat monenlaisiin käyttötarpeisiin kuten seuraavista esimerkeistä ilmenee. Laatua voidaan mitata esimerkiksi asteikoilla erinomainen, hyvä, kohtalainen, heikko tai erittäin hyvä, melko hyvä, ei hyvä eikä huono, melko huono, erittäin huono Tärkeyttä voidaan mitata esimerkiksi asteikolla erittäin tärkeä, melko tärkeä, neutraali, ei kovin tärkeä, ei lainkaan tärkeä Kiinnostavuutta voidaan mitata esimerkiksi asteikolla erittäin kiinnostava, jonkin verran kiinnostava, ei lainkaan kiinnostava Tyytyväisyyttä voidaan mitata esimerkiksi asteikolla erittäin tyytyväinen, tyytyväinen, ei tyytyväinen eikä tyytymätön, tyytymätön, erittäin tyytymätön Useutta voidaan mitata esimerkiksi asteikolla joka päivä, vähintään kerran viikossa, vähintään kerran kuukaudessa, harvemmin, ei koskaan Totuutta voidaan mitata esimerkiksi asteikolla täysin totta, jossain määrin totta, ei ehkä totta, ei varmasti totta ~ 23 ~

26 Likertin asteikko Likertin asteikkoa käytettäessä esitetään väite ja 3 7 -portainen vastausasteikko, josta vastaaja valitsee mielipiteensä väitteestä. Esimerkki. Perheeni ruokaostoksissa hinta on tärkeä valintaperuste o täysin samaa mieltä o jokseenkin samaa mieltä o ei samaa eikä eri mieltä o jokseenkin eri mieltä o täysin eri mieltä Semanttinen differentiaali Semanttisessa differentiaalissa käytetään 7-portaista (portaiden määrä voi olla muunkin suuruinen) asteikkoa, jonka ääripäinä ovat toisilleen vastakkaiset adjektiivit. Esimerkki. Vastaajaa voidaan pyytää arvioimaan lähintä esimiestään tarjoamalla seuraavia adjektiivipareja: Lämmin _ Kylmä Tuttavallinen _ Etäinen Helposti lähestyttävä _ Vaikeasti lähestyttävä Tehokas _ Tehoton Kannustava _ Lannistava Järjestäminen Vastaajaa voidaan pyytää järjestämään annetut vaihtoehdot järjestykseen esimerkiksi paremmuuden, houkuttelevuuden, toimivuuden jne. mukaan. Järjestettävien vaihtoehtojen lukumäärä kannattaa pitää niin pienenä, että vastaajat jaksavat miettiä järjestystä (jo 6 järjestettävän asian tapauksessa mahdollisia järjestyksiä on 720 kappaletta). Jos riittää tieto ykkösvaihtoehdosta, niin vastaajia voidaan järjestämisen sijasta pyytää valitsemaan ykkösvaihtoehto. Järjestämiseen pohjautuvien kysymysten tilastollinen analysointi on hankalampaa kuin muiden kysymystyyppien. Avoimet Avoimessa kysymyksessä ei anneta valmiita vastausvaihtoehtoja valittavaksi, vaan vastaaja saa itse muotoilla vastauksensa. Avoin kysymys on paikallaan, jos tutkija ei ennakkoon tiedä tai osaa luokitella mahdollisia vastausvaihtoehtoja. Avoimen kysymyksen avulla voidaan saada yllättäviä ja käyttökelpoisia mielipiteitä. Avoimien kysymysten käsittely ja vastausten luokittelu on aikaa vievää. Tämän vuoksi avoimien kysymysten lukumäärä kannattaa pitää pienenä. ~ 24 ~

27 6.4 Yleisiä ohjeita kysymysten laatimiseen Jokaisen vastaajan pitäisi ymmärtää ja tulkita kysymykset samalla tavalla Hyvä kysymys on yksinkertainen, lyhyt ja selkeä. Epäselviä käsitteitä ei tulisi käyttää, ellei niitä erikseen selitetä. Huomaa, että vastaaja on harvoin yhtä perehtynyt aihepiiriin kuin tutkija. Tutkijalle hyvinkin selvät asiat tai käsitteet eivät ole sitä vastaajalle. Esimerkki. Jos kysytään Onko yrityksellänne käytössä intranet?, niin osa vastaajista ei tiedä käsitteen intranet merkitystä ja loput vastaajista tulkitsevat sen kukin omalla tavallaan. Vastaajat voivat tulkita yksinkertaiseltakin näyttävän kysymyksen eri tavoin. Esimerkki. Jos kysytään Onko sinulla auto, niin toisten mielestä työsuhdeauto aiheuttaa myönteisen vastauksen, toisten mielestä ei; toisten mielestä perheen yhteinen auto aiheuttaa myönteisen vastauksen, toisten mielestä ei. Tutkijan pitäisikin tässä tapauksessa harkita tarkkaan, mitä todella haluaa tietää, ja muotoilla kysymys sen mukaisesti. Yhdessä kysymyksessä tulee kysyä vain yhtä asiaa. Esimerkki. Kuinka tyytyväinen olit asiakaspalvelun ystävällisyyteen ja henkilökunnan asiantuntemukseen. Tässä kysytään kahta asiaa ja vastaajalla voi olla täysin vastakkaiset näkemykset palvelun ystävällisyydestä ja henkilökunnan asiantuntemuksesta. Tarpeeton kieltosanojen käyttö aiheuttaa vastaajalle ylimääräistä rasitetta ja voi johtaa virheellisiin vastauksiin. Esimerkki. Etkö olisi valmis maksamaan tuotteen ympäristöystävällisyydestä. Kysymys on liian vaikeasti muotoiltu. Vältä liian yleisiä kysymyksiä. Esimerkki. Luetko Helsingin Sanomia on niin yleinen kysymys, että sen avulla ei saada juurikaan mitään selville. Osa kyllä -vastaajista lukee Helsingin Sanomista monenlaista aineistoa päivittäin, osa lukee vain sarjakuvat, osa lukee vain sunnuntai numeron jne. Osa ei -vastaajista saattaa lukea Helsingin Sanomia silloin tällöin. Jos halutaan tietää jotain lukutiheydestä tai luetusta sisällöstä, niin kannattaa käyttää valmiit vaihtoehdot tarjoavaa asteikkoa. Esimerkki. Onko sinulla sauna. No, saunahan voi olla kaupunki-asunnossa ja/tai kesämökillä. Kerrostalossa asuvalla voi olla yhteiskäytössä oleva sauna. Kysymystä suunniteltaessa on harkittava tarkkaan, mitä todella halutaan tietää. Vältä epämääräisiä ilmaisuja (usein, tavallisesti, useimmat, yleensä, ), koska eri vastaajat tulkitsevat ne eri tavoin. Esimerkki. Ei kannata kysyä Käytkö usein elokuvissa. Vastaajalla täytyy olla edellytykset vastata kysymyksiin Kysymysten täytyy liittyä vastaajan kokemuspiiriin, jotta vastaajalla on edellytykset vastata. Vastaajan muistia ei pidä asettaa liian kovalle koetukselle. Jos on odotettavissa, että joillain vastaajilla ei ole tietoa, kokemusta tai mielipidettä kysyttävästä asiasta, niin pitää tarjota ylimääräinen vastausvaihtoehto (esimerkiksi En ole käyttänyt kyseistä palvelua, Ei kokemusta asiasta, Ei mielipidettä asiasta ). Huomaa, että Likertin asteikon keskimmäinen vaihtoehto (jos vaihtoehtoja pariton määrä) ei ole tarkoitettu vastaajille, jotka eivät tiedä kysyttävästä asiasta mitään. ~ 25 ~

28 Esimerkki. Jos on oletettavaa, että osalla vastaajista ei ole edellytyksiä muodostaa kantaansa kysyttävään asiaan, niin Likertin asteikon vastausvaihtoehdot voisivat olla: täysin samaa mieltä, jokseenkin samaa mieltä, ei samaa eikä eri mieltä, jokseenkin eri mieltä, täysin eri mieltä, ei kokemusta asiasta. Vastaajalla täytyy olla motivaatio vastata kysymyksiin Vastaajan motivaatiota voidaan parantaa kyselyn esittelyllä, jossa kerrotaan kyselyn tarkoitus ja perustellaan sen tarpeellisuus. Joidenkin kysymysten kohdalla voidaan kysymyskohtaisestikin perustella kysymyksen tarkoitusta ja tarpeellisuutta. Motivaation säilyttämiseksi kysymysten esittämisjärjestyksen pitäisi olla looginen ja järkeenkäypä. Kyselylomakkeen selkeä ja miellyttävä ulkoasu edesauttaa vastaamista. Epäselvät ja vaikeasti tulkittavat kysymykset alentavat vastaajan motivaatiota samoin kuin liian pitkät kyselyt. Vastaajan täytyy kokea, että hän voi vastata kysymyksiin rehellisesti ilman itsensä nolaamisen pelkoa. ~ 26 ~

29 7 MITTAAMISEN RELIABILITEETTI JA VALIDI- TEETTI Mittaamista voidaan pitää reliaabelina, jos satunnaiset virheet eivät vaikuta mittaustuloksiin. Reliabiliteetin tilalla käytetään suomenkielisiä nimityksiä luotettavuus, tarkkuus ja pysyvyys. Koska mikään suomennoksista ei täysin yksi yhteen vastaa reliabiliteetin käsitettä, niin lienee parasta käyttää vieraskielistä nimitystä reliabiliteetti. Jos havaintoyksiköinä on ihmisiä, niin mittauksen reliabiliteettia heikentäviä tekijöitä ovat muun muassa seuraavat: kysymysten väärinymmärtäminen haastateltavien muistin puutteellisuus vastaajan motivaatio vastaustilanne vastausajankohta vastauspaikka kysyjän vaikutus annettuihin vastauksiin vastausten virheellinen kirjaaminen. Mittaamista voidaan pitää validina, jos onnistutaan mittaamaan sitä mitä pitikin mitata. Validiteetti voidaan suomentaa pätevyydeksi. Validiteetin edellytyksenä on, että mitattavien käsitteiden ja ilmiöiden ulottuvuudet tunnistetaan oikein ja että kullekin ulottuvuudelle löydetään asianmukaiset mittarit. Esimerkki. Jos halutaan mitata suomalaisten kuluttamaa alkoholimäärää, niin Alkon myynti ei mittaa sitä validisti. Osa alkoholistahan tuodaan ulkomaantuliaisina. Alkon myynti ei vastaa käsitettä suomalaisten kuluttama alkoholimäärä. Esimerkki. Köyhyys on vaikeasti määriteltävä käsite. Jos köyhyys-käsitettä kuitenkin halutaan käyttää, niin tutkimuksessa on täsmällisesti määriteltävä, mitä köyhyydellä kyseisessä tutkimuksessa ymmärretään (esimerkiksi tietyn kuukausitulon alapuolelle jäävät on eräs tapa muuttaa köyhyys mitattavaan muotoon). Reliabiliteetti ja validiteetti ovat kietoutuneet toisiinsa. Heikko reliabiliteetti heikentää aina jossain määrin myös validiteettia. Jos ajatellaan, että mittaamisen tarkoituksena on osua ampumataulun keskelle, niin mittaamisen reliabiliteettia ja validiteettia voidaan havainnollistaa ampumataulun osumilla. Mittaaminen on reliaabelia (tarkkaa), jos osumat eri ampumakerroilla keskittyvät lähelle toisiaan. Mittaaminen on validia, jos tähtäyspisteenä on taulun keskikohta. Kuvio 8. Ampumatauluvertaus ~ 27 ~

30 8 OTANTA 8.1 Perusjoukko, otos ja näyte Perusjoukko eli populaatio on joukko, joka on tutkimuksen kohteena. Perusjoukkona voi olla esimerkiksi korkeasta verenpaineesta kärsivät, tietyn yrityksen asiakkaat, vuonna 2009 rekisteröidyt autot, tuotannossa syntyneet koneenosat, pörssissä noteeratut yritykset jne. Kokonaistutkimuksessa tutkitaan koko perusjoukko. Jos ei ole mahdollista tai kannattavaa tutkia koko perusjoukkoa, niin voidaan tutkia perusjoukon osajoukko. Otos on perusjoukosta sattumaa hyväksikäyttäen valittu osajoukko. Otosta valittaessa jokaisella perusjoukon alkiolla täytyy olla mahdollisuus tulla valituksi otokseen. Otantaa varten on kehitetty erilaisia otantamenetelmiä, joiden käytöllä pyritään takaamaan otoksen satunnaisuus. Otoksen perusteella on mahdollista tehdä perusjoukkoa koskevia päätelmiä. Jos poimitaan tutkimukseen ne perusjoukon alkiot, jotka sattuvat olemaan saatavilla, niin kyseessä on näyte eikä otos. Näytteen valitsija voi valita tietoisesti tai tietämättään tietynlaisia vastaajia. Jos näytteeseen mukaan tulevat valitsevat itse itsensä, niin tietyn mielipiteen omaavat voivat olla muita innokkaampia osallistumaan. Esimerkki. Katukysely on hyvä esimerkki näytteenotosta. Kadulla liikkujat eivät välttämättä kovin hyvin edusta tutkittavaa perusjoukkoa, ellei perusjoukkona ole kyseisellä kadulla kyseiseen aikaan liikkuvat. Esimerkki. Jos TV:n ajankohtaisohjelmassa pyydetään katsojia vastaamaan nettikyselyyn ajankohtaisesta asiasta, niin kyseessä on itse valikoituva näyte. Osallistujat siis itse valitsevat itsensä. Ei varmaankaan ole perusteltua pitää tällaista osajoukkoa esimerkiksi kaikkia suomalaisia edustavana otoksena. Kyselytutkimuksissa näytteen perusteella ei pidä tehdä yleistyksiä perusjoukkoon (tai ainakin yleistyksiin täytyy suhtautua varovaisesti). Otannan edut Otantatutkimus on halvempi kuin kokonaistutkimus ja tulokset saadaan nopeammin. On ehkä yllättävää, mutta otantatutkimuksen tulokset voivat olla luotettavampia kuin kokonaistutkimuksen. Otantatutkimuksessa voidaan nimittäin panostaa enemmän huolelliseen ja tarkkaan mittaamiseen sekä valitun otoksen tavoittamiseen. 8.2 Tulosten yleistettävyys Otoksen tuloksia voidaan tietyin varauksin yleistää laajempaan perusjoukkoon. Yleistyksiä tehtäessä täytyy pohtia kehikkovirheen, otantavirheen ja kadon mahdollisia vaikutuksia. Kehikkovirhe ja kato voivat vääristää tuloksia myös kokonaistutkimuksessa. ~ 28 ~

31 Kehikkovirhe Käytännössä koko perusjoukko ei aina ole käytettävissä otosta valittaessa. Sitä osaa perusjoukosta, joka on käytettävissä otosta valittaessa, kutsutaan otantakehikoksi. Kuvio 9. Otantakehikko Esimerkki. Otos kauppaketjun asiakkaista voidaan valita kanta-asiakaskortin omistavista. Kaikki asiakkaat eivät kuitenkaan omista kanta-asiakaskorttia. Esimerkki. Otos suomalaisista yrityksistä voidaan valita rekisteristä, joka ei sisällä aivan viime aikoina perustettuja yrityksiä. Jos koko perusjoukko ei ole käytettävissä otosta valittaessa, niin otoksen perusteella tehdyt perusjoukkoa koskevat päätelmät saattavat olla harhaisia. Näin on, jos käytettävissä olevan otantakehikon alkiot ovat tutkittavissa asioissa erilaisia kuin otantakehikkoon kuulumattomat. Esimerkki. Jos otos kauppaketjun asiakkaista valitaan kanta-asiakaskortin omistavista, niin otantakehikon ulkopuolelle jäävät saattavat olla mielipiteiltään erilaisia kuin kantaasiakaskortin omaavat. Joskus otantakehikko voi olla liian laaja ja sisältää varsinaiseen perusjoukkoon kuulumattomia. Kysely- ja haastattelututkimuksissa kannattaakin esittää kysymykset, joilla varmistetaan vastaajan kuuluminen tarkoitettuun perusjoukkoon. Otantavirhe Eri otokset, samankokoisetkin, antavat erilaisia tuloksia. Tässä on kyse sattuman aiheuttamasta otantavirheestä. Kuvio 10. Otantavirhe Otantavirheen suuruus voidaan arvioida todennäköisyyslaskennan keinoin. Itse asiassa otantavirhe on ainoa otantatutkimukseen liittyvä virhelaji, jonka suuruus voidaan laskennallisesti määrittää. Tilastollinen päättely (virhemarginaalien laskeminen, hypoteesien testaaminen) perustuu otantavirheen tuntemiseen. ~ 29 ~

32 Kato Jos kaikkia otokseen valittuja ei syystä tai toisesta tavoiteta tai saada mukaan tutkimukseen (kato), niin seurauksena voi olla hyvinkin epäedustava otos. Kadon seurauksena otoksen perusteella tehdyt perusjoukkoa koskevat päätelmät saattavat olla harhaisia. Näin on, jos vastaamatta jääneet ovat tutkittavissa asioissa erilaisia kuin vastanneet. Kirje- ja nettikyselyissä kato on usein huomattavan suuri. Esimerkki. Työilmapiirikyselyyn saattavat jättää vastaamatta kaikkein kriittisimmin työilmapiiriin suhtautuvat. Syynä voi olla esimerkiksi pelko siitä, että kysely ei ole anonyymi (vastaajat voidaan tavalla tai toisella yhdistää vastauksiin). Kadon vaikutusta tulosten yleistettävyyteen on vaikea arvioida. Ainakin kannattaa verrata otoksen taustamuuttujien (sukupuoli, ikä, jne.) jakaumia vastaaviin perusjoukon jakaumiin (jos ne ovat tiedossa). Jos taustamuuttujien jakaumat otoksessa ovat likipitäen samanlaiset kuin perusjoukossa, niin tätä voidaan pitää hyvänä merkkinä tulosten yleistettävyyden kannalta. Otoksen koko Otoskoosta ei voida antaa yleispätevää ohjetta. Muutama esimerkki valaisee asiaa. Esimerkki. Tuotettujen laakerinkuulien halkaisijan keskiarvo voidaan selvittää riittävän tarkasti jo muutaman kymmenen kuulan otoksesta, jos kuulat ovat riittävän tasalaatuisia (halkaisijan vaihteluväli on pieni). Esimerkki. Jos eteläisen Suomen talitinttien maksasta löytyvien raskasmetallien pitoisuuksissa ei havaita suurta vaihtelua, niin jo muutaman kymmenen linnun otos riittää hyvin raskasmetallipitoisuuksien määrittämiseen. Esimerkki. Jos halutaan verrata eri ikäryhmien internet käyttötottumuksia, niin otoksesta täytyy löytyä vähintään 30 mielellään vähintään 60 edustajaa kustakin ikäryhmästä. Esimerkki. Jos tutkitaan ydinvoiman vastustusta, niin prosenttiosuuksien virhemarginaali on 2-3 prosenttiyksikön luokkaa vielä 1000 henkilön otoksellakin. Yleensäkin prosenttiosuuksien tarkkaan määrittämiseen tarvitaan suuri otos. Esimerkki. Jos kyselyn perusjoukkona on yrityksen 500 työntekijää, niin lienee järkevintä suorittaa kokonaistutkimus. Pienestä otoksesta voi otantavirheen takia tulla hyvinkin epäedustava. Otoskokoa kasvattamalla voidaan aina pienentää epäedustavan otoksen todennäköisyyttä. Nyrkkisääntö: käytä niin suurta otosta kuin resurssit suinkin sallivat. Jos otosta tarkastellaan ryhmiin jaettuna, niin jokaisessa ryhmässä tulisi olla vähintään 30 havaintoyksikköä. 8.3 Otantamenetelmiä Esimerkki. Jos valmistetun tuotteen laatua tutkitaan valitsemalla tutkittavaksi osa maanantaiaamupäivän tuotannosta, niin kyseessä ei ole edustava otos koko tuotannosta, mutta voi olla edustava otos maanantaiaamupäivän tuotannosta. Maanantaiaamupäivän tuotanto saattaa laadultaan poiketa muiden ajankohtien tuotannosta. Esimerkki. Jos Alkoholiliikkeen asiakastutkimuksessa haastatellaan asiakkaita eri viikonpäivinä lounasaikaan, niin kyseessä ei ole edustava otos asiakaskunnasta, mutta voi ~ 30 ~

33 olla edustava otos lounasaikaan asioivista asiakkaista. Lounasajan ulkopuolella liikkeessä asioivat saattavat olla mielipiteiltään erilaisia. Esimerkki. Jos oppilaitoksen opiskelijoista valitaan tutkittavat kiertämällä luokkahuoneissa päiväsaikaan, niin kyseessä ei ole edustava otos koulun opiskelijoista, mutta voi olla edustava otos päiväopiskelijoista. Otoksen ulkopuolelle jäävät iltaopiskelijat ja opinnäytetyövaiheessa olevat opiskelijat, jotka eivät enää osallistu luennoille. Jos tutkija valitsee tutkittavia oman harkintansa mukaan, niin kyse ei ole otoksesta, vaan harkinnanvaraisesta näytteestä. Tällöin on kyseenalaista tehdä koko perusjoukkoa koskevia päätelmiä otoksen perusteella. Otantamenetelmillä pyritään varmistamaan otannan satunnaisuus: kaikilla perusjoukon jäsenillä pitäisi olla samanlainen mahdollisuus päästä otokseen mukaan. Joissain menetelmissä voidaan myös varmistaa tiettyjen avainryhmien riittävä edustus. Käytännön tilanne ja käytössä olevat resurssit sanelevat minkälaista otantamenetelmää käytetään. On erityisen tärkeää, että käytetty otantamenetelmä kuvataan tutkimusraportissa yksityiskohtaisesti. Mahdollisuuksien mukaan pyritään soveltamaan joitain seuraavassa kuvattavista otantamenetelmistä. Yksinkertainen satunnaisotanta arvonta Kuvio 11. Yksinkertainen satunnaisotanta Otannan perusmenetelmä on yksinkertainen satunnaisotanta. Yksinkertaisessa satunnaisotannassa jokaisella alkiolla on yhtä suuri todennäköisyys tulla poimituksi otokseen. Yksinkertainen satunnaisotanta valitaan arpomalla. Systemaattinen otanta - joka k:s Kuvio 12. Systemaattinen otanta Systemaattinen otanta sopii käytettäväksi silloin, kun perusjoukkoa ei tarkkaan pystytä määrittämään, esimerkiksi liikkeen asiakastutkimus ovensuukyselynä, liikennetutkimus maantiellä jne.. Systemaattisessa otannassa valitaan ensin poimintaväli. Jos perusjoukon koko on tiedossa, niin poimintaväli saadaan jakamalla perusjoukon koko halutulla otoskoolla. Jos poimintaväliksi valitaan k, niin seuraavaksi arvotaan k:n ensimmäisen havaintoyksikön joukosta yksi ja sen jälkeen poimitaan järjestyksessä joka k:s. havaintoyksikkö. Menetelmä sopii käytettäväksi myös silloin, jos käytettävissä on luettelo perusjoukon jäsenistä. Luettelosta voidaan poimia otos systemaattista otantaa käyttäen. Systemaattista otantaa käytettäessä täytyy varmistaa, ettei poimintajonossa esiinny jaksollisuutta: ~ 31 ~

34 Esimerkki. Pullotuskoneessa on 10 suutinta ja kone pullottaa 10 pulloa kerralla. Jos laaduntarkkailussa tarkastetaan joka kymmenes pullo, niin jokainen tarkastettu pullo on saman suuttimen pullottama. Kyseessä ei varmastikaan ole edustava otos pullotuskoneen pullottamista pulloista. Ositettu otanta - avainryhmien edustus taattu Kuvio 13. Ositettu otanta Esimerkki. Jos tutkimuksen tarkoituksena on vertailla Suomessa asuvia suomenkielisiä ja ruotsinkielisiä, niin yksinkertaisella satunnaisotannalla arvottu otos luultavasti sisältäisi aika vähän ruotsinkielisiä. Vertailua varten ruotsinkielisiä pitäisi kuitenkin olla niin paljon, että voitaisiin tehdä kaikkia Suomessa asuvia ruotsinkielisiä koskevia päätelmiä. Ratkaisu on ositettu otanta, jossa arvotaan otos erikseen suomenkielisistä ja erikseen ruotsinkielisistä. Jos halutaan nimenomaan verrata kyseisiä ryhmiä toisiinsa, niin käytetään tasaista kiintiöintiä: suomenkielisiä arvotaan mukaan yhtä monta kuin ruotsinkielisiäkin. Tällöin otoksesta ei tietenkään suoraan voi tehdä kaikkia Suomessa asuvia koskevia päätelmiä, ainoastaan päätelmiä suomenkielisistä ja ruotsinkielisistä. Esimerkki. Jos tutkimuksen tarkoituksena on tehdä kaikkia Suomessa asuvia koskevia päätelmiä, mutta halutaan taata suomenkielisten ja ruotsinkielisten edustus otoksessa, niin voidaan käyttää suhteellista kiintiöintiä: suomenkielisten ja ruotsinkielisten suhde säilytetään samana kuin perusjoukossa. Ositetussa otannassa voidaan osittavana muuttujana käyttää mitä tahansa tutkimuksen kannalta tärkeää muuttujaa, kuten ikäryhmä, sukupuoli, asuinseutu jne.. Ryväsotanta Ryväsotannassa perusjoukon alkiot ryhmitellään ryppäisiin. Vain osa ryppäistä pääsee mukaan otokseen. ~ 32 ~

35 Kuvio 14. Ryväsotanta Esimerkki. Oppilaitoksen opiskelijoista voidaan poimia otos arpomalla ensin otos luokkahuoneista, jolloin luokkahuoneet ovat nk. ryppäitä. Arvotuissa luokkahuoneissa käydään sitten suorittamassa kysely. Otoksessa pitäisi myös huomioida päivä ja iltaopiskelijat. Tämän voisi toteuttaa arpomalla otos luokkahuoneista päiväsaikaan ja toinen otos ilta-aikaan. Tässä yhdistetään ryväsotantaan ositettu otanta, jolla taataan päivä- ja iltaopiskelijoiden edustus. Esimerkki. Jos tutkitaan tänä vuonna peruskoulun aloittavia, niin voidaan poimia ensin otos kouluista, jolloin koulut ovat ryppäitä. Tämän jälkeen arvotaan kustakin otokseen tulleesta koulusta tietty määrä tutkimuksen kohderyhmään kuuluvia oppilaita. Jos poimituista ryppäistä tutkitaan kaikki ryppäisiin kuuluvat alkiot, puhutaan yksiasteisesta ryväsotannasta. Jos poimituista ryppäistä valitaan vain osa alkioista tutkittavaksi, niin kyseessä on kaksiasteinen ryväsotanta. 8.4 Otanta ja Excel Jos perusjoukon alkioista on käytettävissä tietokonemuodossa oleva numeroitu luettelo, niin voit arpoa Excelin avulla halutun kokoisen otoksen. Oletetaan, että Exceliin on avattu luettelo, josta osa näkyy alla olevassa taulukossa: Excelissä voit arpoa otoksen analyysityökalujen Sampling (Otanta) -toiminnolla. Jos käytät analyysityökaluja ensimmäistä kertaa, niin: 1. Valitse File Options (Tiedosto Asetukset). Excel 2007: Napsauta File-välilehden sijasta Office-painiketta. 2. Valitse vasemmalta Add Ins (Apuohjelmat) ja valitse sitten alhaalta Manage (Hallinta) -ruudusta Excel Add Ins (Excel-apuohjelmat). 3. Valitse Go (Siirry). 4. Valitse luettelosta Analysis ToolPak (Analyysityökalut) ja valitse OK. Jos Excel huomauttaa, että analyysityökaluja ei ole asennettu, niin valitse Yes (Kyllä) asentaaksesi ne. Kun olet ottanut käyttöön analyysityökalut, voit käyttää Data (Tiedot) -välilehden Analysis (Analyysi) -ryhmässä olevaa Data Analysis (Tietojen analysointi) -komentoa. Kun ~ 33 ~

36 valitset analyysityökaluista Sampling (Otanta), niin pääset Sampling (Otanta) -valintaikkunaan: Otanta-ikkunassa määritetään: Input Range (Syöttöalue) sisältää viittauksen luettelon numeroihin. Syöttöalueen täytyy sisältää numerotietoa. Tarvittaessa luetteloon lisätään sarake, johon sijoitetaan numerot 1,2,3,... Sampling Method (Otantamenetelmä) on Periodic (Jaksollinen), jos halutaan systemaattinen otos. Tällöin kohtaan Period sijoitetaan poimintaväli. Jos esimerkiksi halutaan poimia joka kymmenes, niin Period on 10. Sampling Method (Otantamenetelmä) on Random (Satunnaisluku), jos halutaan yksinkertainen satunnaisotos. Number of Samples (Otantojen lukumäärä) on haluttu otoskoko. Arvonnassa valituksi voi tulla sama rivi useampia kertoja; tämän vuoksi otoskooksi kannattaa valita hieman aiottua otoskokoa isompi luku. Tulostusasetuksista voidaan valita New Worksheet Ply (Uusi laskentataulukko), jolloin otokseen mukaan tulevat numerot tulostuvat uuteen laskentataulukkoon. Toiminnon tuloksena saat tyhjään laskentataulukkoon otokseen mukaan tulevat numerot. Muut tiedot voit hakea taulukkohakufunktiolla VLOOKUP (PHAKU): Esimerkin funktio =VLOOKUP(A1;Sheet1!$A$2:$B$1001;2;0) etsii solun A1 sisältämää lukua Sheet1-laskentataulukon alueen A2:B1001 ensimmäisestä sarakkeesta. Jos tieto löytyy, niin funktio palauttaa kyseisestä tiedosta 2 saraketta oikealle sijaitsevan tiedon (koska toiseksi viimeinen lähtötieto on 2). Funktion viimeinen lähtötieto 0 tarkoittaa, että haetaan täsmälleen solun A1 sisältämää tietoa. Huomaa, miten viittaus Sheet1- taulukon soluihin on kiinteä (dollarimerkit). Tämän ansiosta funktio voidaan kopioida ensimmäiseltä riviltä taulukon muille riveille viittauksen muuttumatta. ~ 34 ~