TUTKIMUSAINEISTON ANALYYSI. LTKY012 Timo Törmäkangas

Transkriptio

1 TUTKIMUSAINEISTON ANALYYSI LTKY012 Timo Törmäkangas

2 KATO (MISSING DATA, ATTRITION) Kun otostetuista havaintoyksiköistä saavutetaan (mitataan) vain osa, tarkoittaa kato sitä osaa tutkittavista tai mittauksista, jota ei saavutettu (mitattu). Teknisestä syystä kato on ongelmallista, koska se usein johtaa siihen, että havaintoyksikön muu mitattu aineisto joudutaan jättämään huomioimatta tai puuttuvien havaintoarvojen tilalle joudutaan tuottamaan arvioita näistä arvoista (imputointi) Jos puuttuvia havaintoja esiintyy satunnaisesti aineistossa, otoksesta saatavien tulosten ei pitäisi oleellisesti vääristyä käytössä on vain pienempi otos Tässä tapauksessa informaation puuttumisen sanotaan olevan vaikutuksetonta (non-informative) tutkimuksen tulosten suhteen. Jos kato on vaikutuksellista (informative), puuttuu aineistosta tällöin sellaisia havaintoja, joilla olisi vaikutusta tuloksiin. Tällöin puuttuvien havaintojen vaikutusta tuloksiin on yleensä vaikeampi arvioida.

3 KATO Katoa voidaan pyrkiä estämään erilaisin keinoin, esim. kyselyä suunniteltaessa: kysely laaditaan sopivan mittaiseksi: liian pitkä kysely ei motivoi tutkittavia kyselyyn osallistuvia voidaan motivoida sopivin keinoin (mm. luvataan palautetta tutkimuksen valmistuttua) valvotussa tilanteessa tulee antaa tarpeeksi aikaa vastata Jos kato on suurta ja resurssit sen sallivat, voi harkita uusintakyselyn suorittamista Tarkastellaan kadon vaikutusta tuloksiin myöhemmin tilastollisten tunnuslukujen yhteydessä

4 HARHA (BIAS) Tutkimuksen tulokset ovat harhaisia silloin, kun otoksesta saatavat tiedon ovat systemaattisesti vääristyneitä suhteessa perusjoukon tuloksiin Usein kun satunnaistaminen epäonnistuu, tuloksiin liittyy harhaa. Valikointi Otoksesta puuttuu oleellisia ryhmiä Tärkeiden muuttujien puuttuminen Esim. kun tarkastellaan polvenojennusvoiman ja kehon rasvattoman painon välistä suhdetta ilman, että tunnetaan tutkittavien sukupuolta, tulokset kertovat usein enemmän sukupuolten eroista kuin em. muuttujien välisestä suhteesta Harhan tilanteessa kaikilla tutkittavilla ei ole ollut samaa todennäköisyyttä päätyä tutkimukseen Havaittua harhaa voi korjata esim. käyttämällä painokertoimia

5 TUTKITTAVIEN LUKUMÄÄRIÄ KOSKEVIA TUNNUSLUKUJA Tutkimuksen kannalta keskeisiä kokoja ovat Perusjoukon koko Äärellinen / pieni; ääretön suuri Määritetään tutkimuskysymyksen pohjalta Otoksen koko pyritään optimaaliseen kokoon suhteessa perusjoukkoon ja tutkimuskysymykseen Vastausprosentti pyritään mahdollisimman pieneen katoon

6 MATEMAATTISISTA MERKINNÖISTÄ TILASTOTIETEESSÄ Tilastollisissa kaavoissa käytetään erilaisia symboleja, joilla voi olla eri asiayhteydessä erilainen merkitys. Kiinnostuksen kohteena ovat yleensä parametrit, joiden arvoja estimoidaan otostiedon pohjalta Parametri on otosinformaatiota tiivistävä tunnusluku (esim. keskiarvo) Kaavoissa periaatteena on, että yksittäisiin lukuarvoihin viittaavilla symboleilla käytetään kursiivia. Parametrin yleissymboli theta: θ

7 MATEMAATTISISTA MERKINNÖISTÄ TILASTOTIETEESSÄ Muuttujat Mitattavaa muuttujaa merkitään isolla kirjaimella, esim. X Muuttujan saamia arvoja merkitään pienellä kirjaimella, esim. x Indeksien avulla viitataan muuttujan arvoihin otoksen eri havaintoyksiköillä, esim. muuttujan X havaintoarvo tapauksella viisi voidaan kuvata mm. näillä kahdella tavalla: x 5 tai x i, i = 5. Suurten aineistojen yhteydessä on helpompi kuvata tarvittavia laskutoimituksia symbolien avulla Tilastolliset tunnusluvut Perusjoukkoa koskevia tilastollisia tunnuslukuja merkitään kreikkalaisilla kirjaimilla (esim. perusjoukon keskiarvo: µ ) Otoksen tunnuslukuja merkitään pienillä länsimaisilla aakkosilla (esim. otoskeskiarvo: )

8 MATEMAATTISISTA MERKINNÖISTÄ TILASTOTIETEESSÄ Summaoperaattori Tilastollisissa kaavoissa yhteenlaskua merkitään kreikkalaisella isolla sigma-kirjaimella: Σ. Esim. Aineistossa on 10 henkilöä, joilta on mitattu muuttuja X (esim. kuukausipalkka). Perinteisesti muuttujan arvojen summaa merkitään: x 1 + x 2 + x 3 + x 4 + x 5 + x 6 + x 7 + x 8 + x 9 + x 10 Käyttämällä summaoperaattoria: Kaavaa luetaan niin, että sigma viittaa muuttujan arvojen, x, yhteenlaskua ja indeksillä i viitataan aineiston yksittäisiin tapauksiin. Sigman alla i = 1 tarkoittaa, että indeksi ensimmäiseksi arvoksi asetetaan 1. Tästä arvosta edetään kokonaislukuja (1,2,3, ) lisäten sigman päällä esitettyyn arvon 10 asti.

9 MATEMAATTISISTA MERKINNÖISTÄ TILASTOTIETEESSÄ Sulkujen käyttö: Osasummat:

10 MATEMAATTISISTA MERKINNÖISTÄ TILASTOTIETEESSÄ Lukujen esitystapoja Mm. SPSS-ohjelma antaa joskus tulosteissa lukuarvoja eksponenttimuodossa, jolloin esim. lukuarvo: 0, tulostetaan muodossa: 1,304E-8, joka vastaa laskutoimitusta: 1, Englanninkielisessä kirjallisuudessa desimaalierottimena on piste, suomalaisessa tekstissä on tapana ollut käyttää pilkkua.

11 KURSSIN SISÄLTÖ Johdanto Mittaaminen ja aineiston hankinta Mitta-asteikot Otanta Aineiston esittäminen ja data-analyysi Havaintomatriisi Yksiulotteisen empiirisen jakauman esittäminen Frekvenssijakauma Luokittelu Kuviot Tunnusluvut Kaksiulotteisen jakauman esittäminen ja riippuvuus Ristiintaulukko ja kuviot Riippuvuuden tunnusluvut Vähän todennäköisyydestä Otantajakauma Tilastollinen päätöksenteko Estimointi Hypoteesien testaus Perustestejä Keskiarvotestit, varianssianalyysit Riippuvuuden testit

12 AINEISTON ESITTÄMINEN JA DATA- ANALYYSI Aineiston keruun jälkeen aineisto tallennetaan tietokoneelle esim. optisella lukijalla tai käsin syöttämällä Käsin syötettäessä koodaaja muuttaa lomakkeen tiedot sovittuun numeeriseen muotoon Diskreeteillä muuttujilla esim. kysymysten vastausvaihtoehdot numeroidaan järkevästi Jatkuvilla muuttujilla käytetään yleensä mittareiden tuottamia mittalukuja Puuttuva tieto merkitään jollain sovitulla puuttuvan tiedon koodilla, esim. -9, -1 tai jättämällä tyhjä kohta ko. arvon kenttään tiedostossa Puuttuvan tiedon koodina on arvo, jollaista muuttujalle ei ole muutoin määritelty Jos tiedetään syy, miksi tieto puuttuu voidaan käyttää eri koodeja: esim. sukupuolimuuttujalla 9: kieltäytyi osallistumasta, 8: ei tavoitettu, 7: kuollut

13 HAVAINTOMATRIISI Havaintoaineistojen esitysmuoto p kappaletta muuttujia (X 1,, X p ) n kappaletta havaintoyksiköitä (a 1,, a n ) Yleensä havaintoyksiköitä tulisi olla suurempi määrä kuin muuttujia (n > p) Matriisista nähdään jokaisen yksikön muuttujan arvot Muuttujat X 1 X 2 X p Havainto- a 1 x 11 x 12 x 1p yksiköt a 2 x 21 x 22 x 2p : : :. : : : :. : a n x n1 x n2 x np

14 HAVAINTOMATRIISI ESIMERKKI Asetelmapohjainen informaatio sisältyy usein koehenkilötunnukseen (ID) Esim. ensimmäinen numero: koulu, toinen numero: luokka, kolme seuraavaa: oppilas Muuttujat ID Ikä Pituus Paino Sukupuoli Havainto yksiköt

15 HAVAINTOMATRIISI Havaintomatriisin rivi sisältää yhden havaintoyksikön muuttujien arvot havaintoyksikön profiili (profile) Havaintomatriisin sarake sisältää yhden muuttujan saamat arvot havaintoyksiköillä muuttujan jakauma (distribution) Havaintomatriisin havainnollisuutta voidaan parantaa lajittelemalla aineisto nousevaan tai laskevaan järjestykseen (sort) tai ryhmittelemällä aineisto (split)

16 HAVAINTOMATRIISI SPSS-OHJELMASSA

17 HAVAINTOMATRIISI SPSS-OHJELMASSA

18 AINEISTON TARKASTELU JA MUOKKAUS AINA ennen varsinaista analyysia suoritetaan aineiston tarkastelu ja muokkaus, data-analyysi Tavoitteena: Aineiston laadun toteaminen ja valvonta Aineiston rakenteen tarkastelu ja muokkaus Muuttujien jakauman muoto Apua mallin ja hypoteesien määrittämiseen Tarkastuksia: Puuttuvien tietojen tarkistus (paikkaus) Loogisuuskorjaukset Virheellisten arvojen korjaus

19 TARKASTUKSIA Tarkastelua voidaan suorittaa ajamalla muuttujien jakaumat jakauman muoto poikkeavat tapaukset virheelliset arvot Voi käyttää myös tunnuslukuja Pienimmät ja suurimmat arvot (ovatko järkeviä) Keskiarvo (onko oikean tuntuinen) Korrelaatiokerroin (onko yhteys oikeansuuntainen) Jakaumaa kuvaavat graafit ovat hyödyllisiä: jatkuvat muuttujat: esim. histogrammi, diskreetit muuttujat: esim. pylväskuvio Kuviosta näkee suoraa mm. poikkeavat havainnot sekä myös havaintojen keskittymisen jonkun arvon ympärille

20 MUOKKAUKSIA Esim. diskreetti muuttuja, jossa on viisi luokkaa voidaan joutua teoreettisista tai käytännön syistä uudelleen luokittelemaan kolmeen luokkaan Lasketaan erilaisia summia Asteikot Esim. kroonisten sairauksien lukumäärä Lasketaan erilaisia ajan pituuksia Muokataan muuttujan / muuttujien arvoja jonkun laskennallisen kaavan mukaan, esim. kehon painoindeksi (BMI)

21 VIRHELÄHTEITÄ TUTKIMUKSEN KULUESSA Suunnittelu -Valittiinko tutkimuksen kannalta oikeat mittarit? Koodaus - Koodattiinko vastaukset oikein? Aineiston muokkaus - Olivatko käytetyt muunnokset perusteltuja? Data-analyysi - Havaittiinko tärkeimmät ongelmat aineistossa? Analyysi - Valittiinko asianmukainen menetelmä?

22 KURSSIN SISÄLTÖ Johdanto Mittaaminen ja aineiston hankinta Mitta-asteikot Otanta Aineiston esittäminen ja data-analyysi Havaintomatriisi Yksiulotteisen empiirisen jakauman esittäminen Frekvenssijakauma Luokittelu Kuviot Tunnusluvut Kaksiulotteisen jakauman esittäminen ja riippuvuus Ristiintaulukko ja kuviot Riippuvuuden tunnusluvut Vähän todennäköisyydestä Otantajakauma Tilastollinen päätöksenteko Estimointi Hypoteesien testaus Perustestejä Keskiarvotestit, varianssianalyysit Riippuvuuden testit

23 YKSIULOTTEINEN EMPIIRINEN JAKAUMA Kun havaintojen lukumäärä on liian suuri, että havaintomatriisista on vaikea nähdä aineiston yleispiirteitä, informaatiota voidaan tiivistää, että johtopäätösten teko helpottuisi Yhtä muuttujaa tarkasteltaessa aineiston informaatiota voidaan tiivistää havaintoyksiköiden muuttujan arvojen sijasta ilmoitetaan kuinka monta kertaa kukin arvo esiintyi kyseisellä muuttujalla Yksiulotteinen frekvenssijakauma tai suora jakauma

24 ESIMERKKI DIGIT SYMBOL TESTIN PISTEMÄÄRÄ Digit symbol (pistemäärä) f i p i F i P i Yhteensä Satunnaisotanta (n. 25 %) jyväskyläläisiä 75-vuotiaita miehiä vuonna NORA -tutkimus.

25 ESIMERKKI DIGIT SYMBOL TESTIN PISTEMÄÄRÄ Digit symbol (pistemäärä) f i p i F i P i Yhteensä Frekvenssi (f i ) ilmaisee havaintoarvojen esiintymiskertojen lukumäärän (frequency, count) Esim. f 20 = 2

26 ESIMERKKI DIGIT SYMBOL TESTIN PISTEMÄÄRÄ Digit symbol (pistemäärä) f i p i F i P i Yhteensä Suhteellinen frekvenssi (p i ) ilmaisee havaintoarvojen esiintymiskertojen lukumäärän prosenttiosuutena kaikista havainnoista (percent) Esim. p 20 = 100 2/23 = 200 / 23 = 8.7

27 ESIMERKKI DIGIT SYMBOL TESTIN PISTEMÄÄRÄ Digit symbol (pistemäärä) f i p i F i P i Yhteensä Summafrekvenssi (F i ) eli kumulatiivinen frekvenssi ilmaisee kuinka moni järjestykseen asetetuista havaintoarvoista oli korkeintaan yhtä suuri kuin kyseinen muuttujan arvo (cumulative frequency) Esim. F 20 = = 6

28 ESIMERKKI DIGIT SYMBOL TESTIN PISTEMÄÄRÄ Digit symbol (pistemäärä) f i p i F i P i Yhteensä Suhteellinen summafrekvenssi (P i ) ilmoittaa summafrekvenssin prosenttimuodossa (cumulative percent) Esim. P 20 = 100 ( ) / 23 = 26.1

29 ESIMERKKI DIGIT SYMBOL TESTIN PISTEMÄÄRÄ (SPSS-TULOSTE)

30 LUOKITTELU Luokitteluasteikollisia muuttujia ei yleensä tarvitse luokitella, koska luokkia on usein vähän Joskus luokkia voi olla niin paljon, että tarvitsee käyttää jonkin tasoista luokkien uudelleen ryhmittelyä perustuen esim. yläkäsitteisiin Esim. tilastokeskuksen ammattiluokitus (2010) luokitus on käyttökelpoinen, koska luokitukset on tarkasti rajattu ja usein on mainittu myös mitkä ammatit eivät kuulu ko. luokan alle

31 AMMATTILUOKITUS 2010 (TILASTOKESKUS) 1 Johtajat 2 Erityisasiantuntijat 3 Asiantuntijat 4 Toimisto- ja asiakaspalvelutyöntekijät 5 Palvelu- ja myyntityöntekijät 6 Maanviljelijät, metsätyöntekijät ym. 7 Rakennus-, korjaus- ja valmistustyöntekijät 8 Prosessi- ja kuljetustyöntekijät 9 Muut työntekijät 0 Sotilaat X Tuntematon kirvesmies, (7111 talonrakentaja), pääluokka: 7 huoltomies (lvi), (7126 putkiasentajat), pääluokka: 7 peruskoulun opettaja, (2341 peruskoulun alaluokkien opettajat), pääluokka: 2 jne.

32 1 2 3 Huom. Informaatiota häviää, kun ääripään luokkiin kuuluvat on liitetty muihin luokkiin.

33 LUOKITTELU Jatkuvilla muuttujilla (välimatka- ja suhdeasteikolliset) havaitaan yleensä paljon erilaisia arvoja, ja tällöin luokittelu helpottaa usein aineiston käsittelyä ja esittämistä Edellytyksenä taulukoiden ja kuvaajien (mm. histogrammi) käytölle jatkuvilla muuttujilla Luokittelussa informaatiota häviää, mutta aineistosta tulee havainnollisempi ja käytännöllisempi Yleisin luokittelumuoto on tasavälinen luokitus, jossa kaikki luokat ovat yhtä leveitä (esim. 0..9, ,20..29, ) Jos muuttujan jakauma on vino (painottunut alkutai loppupäähän) tai siinä on poikkeavia havaintoarvoja, voidaan käyttää epätasavälistä luokittelua (esim. 0..2,3..10,10..50)

34 JATKUVAN MUUTTUJAN LUOKITTELU Luokittelussa käytettävä luokkien määrä on harkinnanvarainen Suurella luokkien määrällä saadaan enemmän informaatiota muuttujasta, kun taas pienemmällä luokkien määrällä saavutetaan parempi havainnollisuus Luokittelussa määritetään: Mittaustarkkuus: a = kahden peräkkäisen arvon mahdollinen erotus Luokkien lukumäärä: k Vaihteluvälin pituus: R = muuttujan suurimman ja pienimmän arvon erotus Luokan pituus: c = R / k

35 LUOKITTELU Pyöristetyt luokkarajat: mittaustarkkuuden mukaiset luvut Todelliset luokkarajat: alaraja a/ 2 yläraja a/ 2 Luokkakeskus: (alaraja + yläraja) / 2

36 POLVENOJENNUSVOIMA (N) Jyväskyläläiset 75-vuotiaita miehet vuonna 1989 (n = 119). NORA -tutkimus. Frekvenssijakauma: 85 riviä Puuttuva tieto =.

37 POLVENOJENNUSVOIMA (NEWTON) Järjestetty aineisto, puuttuvat tapaukset poistettu (n= 100) Jos aineistoa ei luokitella, jakaumataulukkoon tulee 86 riviä. Mittaustarkkuus: a = = 1 Valitaan luokkien lukumäärä: k = 20 Vaihteluvälin pituus: R = = 521 Luokan pituus: c = 521 / 20 = Koska luokan pituus pyöristettiin, voidaan vastaavasti aloittaa esim. arvosta 100.

38 POLVENOJENNUSVOIMA (NEWTON) Pyöristetyt luokkarajat f i

39