TUTKIMUSAINEISTON ANALYYSI LTKY012 Timo Törmäkangas
KURSSIN SISÄLTÖ Johdanto Mittaaminen ja aineiston hankinta Mitta-asteikot Otanta Aineiston esittäminen ja data-analyysi Havaintomatriisi Yksiulotteisen empiirisen jakauman esittäminen Frekvenssijakauma Luokittelu Kuviot Tunnusluvut Kaksiulotteisen jakauman esittäminen ja riippuvuus Ristiintaulukko ja kuviot Riippuvuuden tunnusluvut Vähän todennäköisyydestä Otantajakauma Tilastollinen päätöksenteko Estimointi Hypoteesien testaus Perustestejä Keskiarvotestit, varianssianalyysit Riippuvuuden testit
LUOKITTELU Luokitteluasteikollisia muuttujia ei yleensä tarvitse luokitella, koska luokkia on usein vähän Joskus luokkia voi olla niin paljon, että tarvitsee käyttää jonkin tasoista luokkien uudelleen ryhmittelyä perustuen esim. yläkäsitteisiin Esim. tilastokeskuksen ammattiluokitus (2010) luokitus on käyttökelpoinen, koska luokitukset on tarkasti rajattu ja usein on mainittu myös mitkä ammatit eivät kuulu ko. luokan alle
AMMATTILUOKITUS2010 (TILASTOKESKUS) 1 Johtajat 2 Erityisasiantuntijat 3 Asiantuntijat 4 Toimisto- ja asiakaspalvelutyöntekijät 5 Palvelu- ja myyntityöntekijät 6 Maanviljelijät, metsätyöntekijät ym. 7 Rakennus-, korjaus- ja valmistustyöntekijät 8 Prosessi- ja kuljetustyöntekijät 9 Muut työntekijät 0 Sotilaat X Tuntematon kirvesmies, (7111 talonrakentaja), pääluokka: 7 huoltomies (lvi), (7126 putkiasentajat), pääluokka: 7 peruskoulun opettaja, (2341 peruskoulun alaluokkien opettajat), pääluokka: 2 jne.
1 2 3 Huom. Informaatiota häviää, kun ääripään luokkiin kuuluvat on liitetty muihin luokkiin.
LUOKITTELU Jatkuvilla muuttujilla (välimatka-ja suhdeasteikolliset) havaitaan yleensä paljon erilaisia arvoja, ja tällöin luokittelu helpottaa usein aineiston käsittelyä ja esittämistä Edellytyksenä taulukoiden ja kuvaajien (mm. histogrammi) käytölle jatkuvilla muuttujilla Luokittelussa informaatiota häviää, mutta aineistosta tulee havainnollisempi ja käytännöllisempi Yleisin luokittelumuoto on tasavälinen luokitus, jossa kaikki luokat ovat yhtä leveitä (0..9, 10..19,20..29, ) Jos muuttujan jakauma on vino (painottunut alkutai loppupäähän) tai siinä on poikkeavia havaintoarvoja, voidaan käyttää epätasavälistä luokittelua (0..2,3..10,10..50)
JATKUVAN MUUTTUJAN LUOKITTELU Luokittelussa käytettävä luokkien määrä on harkinnanvarainen Suurella luokkien määrällä saadaan enemmän informaatiota muuttujasta, kun taas pienemmällä luokkien määrällä saavutetaan parempi havainnollisuus Luokittelussa määritetään: Mittaustarkkuus: a= kahden mahdollisen peräkkäisen arvon erotus Luokkien lukumäärä: k Vaihteluvälin pituus: R= muuttujan suurimman ja pienimmän arvon erotus Luokan pituus: c= R/ k
JATKUVAN MUUTTUJAN LUOKITTELU Pyöristetyt luokkarajat: mittaustarkkuuden mukaiset luvut Todelliset luokkarajat: alaraja a/ 2 yläraja + a/ 2 Luokkakeskus: (alaraja + yläraja) / 2
POLVENOJENNUSVOIMA(N) 359 521 170 199 383 415 378 380. 400 299 404 322 363 249 379 449 340 355 601 368 387. 506. 196 257 347 413 426 408 354 389 367 325 541 359 338 538.... 629. 397 419.. 327. 235 332 487 308 433. 404 411 295 184 400 417 332 489 355 341 599 240 400 211 407 393 454 408 334 395 379 401 221. 341 214 236 552 243 533. 432 275 360 413 325 314 335. 280 311 201 262 447 282. 412 401 108 297 454 426 318 405 160 293. 332. 436 300. Jyväskyläläiset 75-vuotiaita miehet vuonna 1989 (n= 119). NORA -tutkimus. Frekvenssijakauma: 85 riviä Puuttuva tieto =.
POLVENOJENNUSVOIMA(NEWTON) 108 293 341 395 426 160 295 341 397 426 170 297 347 400 432 184 299 354 400 433 196 300 355 400 436 199 308 355 401 447 201 311 359 401 449 211 314 359 404 454 214 318 360 404 454 221 322 363 405 487 235 325 367 407 489 236 325 368 408 506 240 327 378 408 521 243 332 379 411 533 249 332 379 412 538 257 332 380 413 541 262 334 383 413 552 275 335 387 415 599 280 338 389 417 601 282 340 393 419 629 Järjestetty aineisto, puuttuvat tapaukset poistettu (n= 100) Jos aineistoa ei luokitella, jakaumataulukkoon tulee 86 riviä. Mittaustarkkuus: a= 109 108 = 1 Valitaan luokkien lukumäärä: k = 20 Vaihteluvälin pituus: R= 629 108 = 521 Luokan pituus: c= 521 / 20 = 26.05 25 Koska luokan pituus pyöristettiin, voidaan vastaavasti aloittaa esim. arvosta 100.
POLVENOJENNUSVOIMA(NEWTON) 108 293 341 395 426 160 295 341 397 426 170 297 347 400 432 184 299 354 400 433 196 300 355 400 436 199 308 355 401 447 201 311 359 401 449 211 314 359 404 454 214 318 360 404 454 221 322 363 405 487 235 325 367 407 489 236 325 368 408 506 240 327 378 408 521 243 332 379 411 533 249 332 379 412 538 257 332 380 413 541 262 334 383 413 552 275 335 387 415 599 280 338 389 417 601 282 340 393 419 629 Todelliset luokkarajat f i 100.5-125.5 1 125.5-150.5 0 150.5-175.5 2 175.5-200.5 3 200.5-225.5 4 225.5-250.5 5 250.5-275.5 3 275.5-300.5 7 300.5-325.5 7 325.5-350.5 11 350.5-375.5 9 375.5-400.5 13 400.5-425.5 15 425.5-450.5 7 450.5-475.5 2 475.5-500.5 2 500.5-525.5 2 525.5-550.5 3 550.5-575.5 1 575.5-600.5 1 605.5-625.5 1 625.5-650.5 1
(101 + 125) / 2 = 113 Todelliset luokkarajat Pyöristetyt luokkarajat f i Luokkakeskus f i 100.5-125.5 101-125 1 125.5-150.5 126-150 0 150.5-175.5 151-175 2 175.5-200.5 176-200 3 200.5-225.5 201-225 4 225.5-250.5 226-250 5 250.5-275.5 251-275 3 275.5-300.5 276-300 7 300.5-325.5 301-325 7 325.5-350.5 326-350 11 350.5-375.5 351-375 9 375.5-400.5 376-400 13 400.5-425.5 401-425 15 425.5-450.5 426-450 7 450.5-475.5 451-475 2 475.5-500.5 476-500 2 500.5-525.5 501-525 2 525.5-550.5 526-550 3 550.5-575.5 551-575 1 575.5-600.5 576-600 1 605.5-625.5 601-625 1 625.5-650.5 626-650 1 113 1 138 0 163 2 188 3 213 4 238 5 263 3 288 7 313 7 338 11 363 9 388 13 413 15 438 7 463 2 488 2 513 2 538 3 563 1 588 1 613 1 638 1 Esitystapa 1 Esitystapa 2
KURSSIN SISÄLTÖ Johdanto Mittaaminen ja aineiston hankinta Mitta-asteikot Otanta Aineiston esittäminen ja data-analyysi Havaintomatriisi Yksiulotteisen empiirisen jakauman esittäminen Frekvenssijakauma Luokittelu Kuviot Tunnusluvut Kaksiulotteisen jakauman esittäminen ja riippuvuus Ristiintaulukko ja kuviot Riippuvuuden tunnusluvut Vähän todennäköisyydestä Otantajakauma Tilastollinen päätöksenteko Estimointi Hypoteesien testaus Perustestejä Keskiarvotestit, varianssianalyysit Riippuvuuden testit
YKSIULOTTEISEN JAKAUMAN GRAAFINEN KUVAUS Tilastoaineistojen havainnollistamiskeino Nopea yleiskatsaus muuttujan jakaumasta Helppoja tehdä tietokoneella (SPSS, R, Powerpoint) Etuja Havainnollinen ja suppea esitystapa Voidaan korostaa erityisseikkoja Useita erilaisia esitystapoja Huonoja puolia Epätarkkuus Tahallisen tai tahattoman harhauttamisen mahdollisuus Vaatii usein lukijalta arvaamattoman paljon asiantuntemusta ja kriittisyyttä Kuvion tulisi olla selkeä; kikkailua tulisi välttää
PYLVÄSDIAGRAMMI Erityisesti diskreetit muuttujat Havainnollistetaan frekvenssijakaumaa Pylväät alkavat aina nollasta Voidaan piirtää myös vaakasuoraan Kuvio 1.Itsearvioituterveydentila 75-vuotiailla jyväskyläläisillä naisilla (n= 208) vuonna 1989 (Jyväskylän yliopisto, Gerontologian Tutkimuskeskus, NORA-projekti, 1989).
SEKTORIDIAGRAMMI Erityisesti diskreetit muuttujat Kokonaisuuden jakautuminen osiin Koko ympyrä sisältää kaikki havainnot (100%) Kuvio 2.Itse arvioitu taloudellinen tilanne 75-vuotiailla jyväskyläläisillä naisilla (n = 228) vuonna 1989 (Jyväskylän yliopisto, Gerontologian Tutkimuskeskus, NORA-projekti, 1989).
HISTOGRAMMI Jatkuvat muuttujat Luokiteltu muuttuja Pylväät Kuvaavat ko. luokan frekvenssiä kiinni toisissaan alkavat aina nollasta todelliset luokkaraja Voidaan piirtää myös vaakasuoraan Kuvio 3.Polven ojennusvoima (N) 75-vuotiailla jyväskyläläisillä miehillä (n= 100) vuonna 1989 (Jyväskylän yliopisto, Gerontologian Tutkimuskeskus, NORA-projekti, 1989).
ESIMERKKEJÄ HISTOGRAMMIN KÄYTÖSTÄ - vino jakauma -asteikkomuuttuja: sensuroitunut jakauman alkupäästä Kuvio 4.Masennusoireiden summapistemäärä (CES-D) 75-vuotiailla göteborgilaisilla naisilla (n= 158) vuonna 1989 (Jyväskylän yliopisto, Gerontologian Tutkimuskeskus, NORA-projekti, 1989).
ESIMERKKEJÄ HISTOGRAMMIN KÄYTÖSTÄ - poikkeava havainto jakauman ylälaidalla Kuvio 5.Kehon painoindeksi (BMI) 75-vuotiailla jyväskyläläisillä naisilla (n= 191) vuonna 1989 (Jyväskylän yliopisto, Gerontologian Tutkimuskeskus, NORA-projekti, 1989).
ESIMERKKEJÄ HISTOGRAMMIN KÄYTÖSTÄ Alaryhmien vertailu Miehet Koko aineisto Naiset Kuvio 5.Polvenojennusvoima (N) 75-vuotiailla göteborgilaisilla miehillä (n= 95) naisilla (n= 110) vuonna 1989 (Jyväskylän yliopisto, Gerontologian Tutkimuskeskus, NORA-projekti, 1989).
HYVÄ KUVIO Kuva ja siihen liittyvät tekstielementit (otsikko, selitteet jne.) muodostavat itsenäisen kokonaisuuden Asteikot tulisi nimetä selkeästi Esittää tiedot visuaalisesti ja yksinkertaisesti Ei vääristä aineiston informaatioon liittyvää sanomaa Välittää suuren määrän tietoa pienessä tilassa Monitasoinen viestintä: asioiden yleistila selviää ensisilmäyksellä, mutta lähempi tarkastelu saattaa paljastaa lisätietoa
TEOREETTISISTA JAKAUMISTA Usein johtopäätösten teko helpottuu huomattavasti, jos tarkasteltavan muuttujan perusjoukonjakauma noudattaa jotain teoreettista jakaumaa Tällaiset jakaumat pystytään kuvaamaan helposti muutaman parametrin pohjalta parametriset menetelmät Jos jakauma ei vaikuta noudattavan mitään tunnettua jakaumaa, voidaan käyttää eiparametrista menetelmää Yksi data-analyysin tarkoituksista on siis selvittää noudattaako tarkasteltavan muuttujan jakauma tunnettua teoreettista jakaumaa Jatkuvilla muuttujilla tämä teoreettinen jakauma on tavallisesti normaalijakauma (tällä kurssilla ei tarkemmin käsitellä muita)
NORMAALIJAKAUMA
NORMAALIJAKAUMA keskiarvo Normaalijakauman kuvaajan massakeskittymän sijainti X-muuttujan akselilla riippuu vain kahdesta parametrista: keskiarvo ja -hajonta. Useat luonnon ilmiöitä mittaavat muuttujat ovat lähes normaalisti jakautuneita. hajonta
NORMAALIJAKAUMA RYHMISSÄ Jos tarkastellaan esim. kahta ryhmää, mielenkiinto voi kiinnittyä näiden ryhmien väliseen keskiarvoeroon. Teoreettisella normaalijakaumalla voidaan kuvata malli, jota ryhmäkeskiarvojen uskotaan noudattavan perusjoukossa. Interventio Polven ojennusvoima Tässä malliin liittyvät ryhmien keskiarvot ja keskihajonnat, jotka ovat tärkeitä tunnuslukuja keskiarvoerotuksen tarkastelussa.
KURSSIN SISÄLTÖ Johdanto Mittaaminen ja aineiston hankinta Mitta-asteikot Otanta Aineiston esittäminen ja data-analyysi Havaintomatriisi Yksiulotteisen empiirisen jakauman esittäminen Frekvenssijakauma Luokittelu Kuviot Tunnusluvut Kaksiulotteisen jakauman esittäminen ja riippuvuus Ristiintaulukko ja kuviot Riippuvuuden tunnusluvut Vähän todennäköisyydestä Otantajakauma Tilastollinen päätöksenteko Estimointi Hypoteesien testaus Perustestejä Keskiarvotestit, varianssianalyysit Riippuvuuden testit
JAKAUMAN TUNNUSLUVUT Tunnusluku (statistic) kuvaa jotain keskeistä informaatiota muuttujan jakaumasta Tarkoitus on kuvata muuttujan jakaumaan liittyvä keskeinen tieto käyttämällä muutamaa tunnuslukua Sopivien tunnuslukujen valinta riippuu jakauman erityispiirteestä Esim. kun jakauma on lähes normaali, riittää kuvata jakauma käyttämällä keskiarvoa ja keskihajontaa Tunnuslukuja tarvitaan johtopäätösten tueksi Esim. kahden ryhmän välinen keskiarvoerotuksesta saa selkeän kuvan, kunkerrotaan mitä keskiarvot ja keskihajonnat olivat (vrt. tilastollinen testaus)
JAKAUMAN SIJAINTI Sijaintiluvut kertovat missä kohdalla muuttujan arvoasteikkoa jokin jakauman kohta sijaitsee Keskiluvut pyrkivät kuvaamaan jakauman keskikohdan sijaintia Muut sijaintiluvut kertovat jonkun toisen jakauman kohdan sijainnin Luentomonisteen pituusaineisto 174 174 171 177 168 170 174 173 nouseva järjestys 168 170 171 173 174 174 174 177
KESKILUVUT Moodi, mode(mo) Tyyppiarvo, tyypillinen arvo; arvo joka esiintyy muuttujalla useimmin Määritetään frekvenssijakaumasta: muuttujan arvo, jolla on korkein frekvenssi Käytännössä voi kuvata jakauman keskikohdan sijaintia huonosti, joten suhteellisen vähän käytetty Muuttujalla voi olla useampi moodi samalla kertaa Mitta-asteikko: luokitteluasteikosta ylöspäin Esim. Luentomonisteen miesten pituuden esimerkkiaineistolle moodi on arvolla 174, koska f 174 = 3 on suurin havaittu frekvenssi. 168 170 171 173 174 174 174 177
KESKILUVUT Mediaani, median (Md) Suuruusjärjestykseen järjestetyssä muuttujan jakaumassa se arvo, jota pienempiä (ja suurempia) arvoja on 50 % Jos havaintoja on pariton määrä, mediaani on jakauman keskimmäinen arvo Jos havaintoja on parillinen määrä, mediaani on jakauman kahden keskimmäisen arvon keskiarvo Vakaa keskikohdan mitta, vaikka muuttujalla olisi poikkeavia havaintoja Mitta-asteikko: vähintään järjestysasteikko 168 170 171 173 174 174 174 177 Esim. miesten pituuden aineistossa mediaani on Md = (173 + 174) / 2 = 173.5.
KESKILUVUT Keskiarvo, (artihmetic) mean(x, µ) Tärkein jatkuvien muuttujien keskiluku Otoskeskiarvon symbolina muuttujan arvoa kuvaava kirjain, jonka päälle piirretään vaakaviiva Lasketaan kaavalla: Herkkä poikkeaville havainnoille Mitta-asteikko: vähintään välimatka-asteikko Esim. Miesten pituuden keskiarvoksi saadaan 1381 / 8 = 172.63. 174 174 171 177 168 170 174 173
MUUT SIJAINTILUVUT Fraktiilit, fractiles/ percentiles Voidaan määrätä aineistosta suhteellisen summafrekvenssin pohjalta p%:n fraktiilion arvo, jota pienempiä arvoja muuttujalla esiintyy p% Käytetyimpiä fraktiilejaovat tertiilit(3 ryhmää), kvartiilit(4 ryhmää), kvintiilit(5 ryhmää) ja desiilit (10 ryhmää) Kvartiilit: Q 1 : alakvartiili, jakaumalla 25 % muuttujan arvoista on pienempiä kuin alakvartiili Q 2 : mediaani, jakaumalla 50 % muuttujan arvoista on pienempiä kuin mediaani Q 3 : yläkvartiili, jakaumalla 75 % muuttujan arvoista on pienempiä kuin yläkvartiili(ja siis 25 % sitä suurempia)
POLVENOJENNUSVOIMA(NEWTON) 108 293 341 395 426 160 295 341 397 426 170 297 347 400 432 184 299 354 400 433 196 300 355 400 436 199 308 355 401 447 201 311 359 401 449 211 314 359 404 454 214 318 360 404 454 221 322 363 405 487 235 325 367 407 489 236 325 368 408 506 240 327 378 408 521 243 332 379 411 533 249 332 379 412 538 257 332 380 413 541 262 334 383 413 552 275 335 387 415 599 280 338 389 417 601 282 340 393 419 629 Järjestetty aineisto, puuttuvat tapaukset poistettu (n = 100)
Q 1 = 300
Q 1 = 300 Q 2 = 363
Q 1 = 300 Q 2 = 363 Q 3 = 412
f 332 = 3
Kvartiilit(302, 365, 413) Kvartiilit: missä sijaitsee keskimmäinen 50 % aineistosta?
Kvartiilit(302, 365, 413) Keskiarvo (362.2) Keskiarvo ja mediaani: ovatko lähellä toisiaan?