MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Transkriptio

1 MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 3B Tilastolliset datajoukot Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi II

2 Sisältö Johdanto Tilastollisen datan kuvaileminen

3 Mitä tilastotiede on? Tilastotiede soveltaa sekä kehittää metodeja ja malleja, joita voidaan käyttää tutkittaessa reaalimaailman satunnaisilmiöitä. Menetelmät ja mallit perustuvat todennäköisyysteorian lainalaisuuksiin. Tilastotiedettä voidaan soveltaa aina, kun saatavilla on kvantifioitavaa dataa. Mikä tahansa datajoukko, joka kuvaa jotakin reaalimaailman ilmiötä on potentiaalinen tilastotieteen tutkimuskohde.

4 Tilastollinen data Populaatio on joukko, joka sisältää kaikki mahdolliset tilastollisen kokeen kohteet eli yksiköt Havainto on havaittu arvo, joka liitetään yksikköön. Tilastollinen datajoukko on kaikista havainnoista koostuva kokoelma. Esim: Tutkitaan suomalaisten pituuksia ja mitataan sitä varten 2000 satunnaisesti valittua suomalaista. Silloin Populaatio on kaikki suomalaiset. Yksikkö on kuka tahansa suomalainen. Havainto on kenen tahansa mitatun suomalaisen pituus. Tilastollinen aineisto koostuu kaikista mitatuista pituuksista.

5 Yleiskatsaus Datan kuvailemiseen käytettäviä menetelmiä: Taulukot Kuvaajat Tunnusluvut (esim. keskiarvo, kvantiilit, korrelaatio) Tilastolliseen päättelyyn käytettäviä menetelmiä Stokastiset mallit Parametrien estimointi Merkitsevyyden testaus

6 Sisältö Johdanto Tilastollisen datan kuvaileminen

7 Tilastollinen data Tilastollisen analyysin kohteena oleva data on usein tapana tallettaa taulukkoon eli datakehikkoon, jonka rivit vastaavat kohteesta tehtyjä havaintoja sarakkeet vastaavat tutkittavan ilmiön muuttujia Muuttujat voivat olla laadullisia tai määrällisiä laadullisen muuttujan arvot jaotellaan luokkiin (esim. aurinkoista, sateista, pilvistä ) määrällisen muuttujan arvot ovat lukuja

8 Tilastollinen aineisto Hav. X 1 X 2 X m 1 X 1,1 X 1,2 X 1,m 2 X 2,1 X 2,2 X 1,m 3 X 3,1 X 3,2 X 1,m n X n,1 X n,2 X n,m Taulukko : Datakehikko, jossa on n havaintoa ja m muuttujaa.

9 Laadullinen muuttuja Arvot jaotellaan luokkiin, jotka toisinaan numeroidaan kokonaisluvuilla (vaikkapa tietokoneelle tallentamisen helpottamiseksi tai muusta syystä). Esim. Miten kuljet työmatkat? 1 = Bussilla 2 = Polkupyörällä 3 = Muulla tavoin Huom Numeroidun laadullisen muuttujan keskiarvo ei yleensä tarkoita mitään. Numeroidun laadullisen muuttujan mediaanilla voi olla merkitys, mikäli arvot voidaan järjestää.

10 Esimerkki: Laadullinen muuttuja Hav. Matkustustapa 1 Bussi 2 Joku muu 3 Joku muu 4 Bussi 5 Polkupyörä Edellä valitulla numeroinnilla muuttujan keskiarvo olisi 1 ( ) = 2, 5 mutta tässä ei ole järkeä, koska muuten bussin ja jonkun muun keskiarvo olisi polkupyörä.

11 Määrällinen muuttuja Määrällinen muuttuja saa arvoja reaalilukujen osajoukossa. Määrällinen muuttuja voidaan muuntaa laadulliseksi jakamalla arvot luokkiin. Esim Satunnaisesti valitun suomalaisen työssäkäyvän työaika (min/vrk) on määrällinen muuttuja, joka saa arvoja joukossa [0, 1440]. Tämä voidaan jakaa luokkiin esim. L 1 = (0, 60] L 2 = (60, 120]... L 24 = (1380, 1440]

12 Esimerkki: Määrällinen datajoukko Hav. Aika (min/päivä) Ryhmä L L L L L8 Taulukko : Datakehikko, jossa on 5 havaintoa ja määrällinen muuttuja aika. Viimeisessä sarakkeessa on luokitellut arvot. Havaittujen aikojen keskiarvo on 1 ( ) = min 5 eli noin 8 tuntia 5 minuuttia.

13 Luokittelu ja histogrammi Esim. Suomalaisten ikärakenne n = miljoonaa datapistettä Ei ole järkeä piirtää jokaista pistettä kuvaajaan Jaetaan datapisteet luokkiin. Ikä (v) Lukumäärä

14 Luokittelu ja histogrammi Histogrammi piirretään yleensä näin: Yksi palkki per luokka Palkin leveys = luokkavälin leveys (yksikkönä vuosi) Palkin korkeus = datapisteiden suhteellinen osuus jaettuna palkin leveydellä (yksikkönä % per vuosi) Esim: Suomalaiset 1. palkki käsittää suomalaiset, joiden ikä on 0 14 vuotta 1. palkin leveys = 15 v Datapisteiden lkm luokassa 1 on ja suhteellinen osuus / % Palkin korkeus = 16.3/ (yksikkönä % per vuosi).

15 Luokittelu ja histogrammi prosenttia per v % 11.7% 24.8% 26.7% 11.7% 8.8% Ikä (v) Lukumäärä v

16 Kahden muuttujan datajoukot

17 Esimerkki: Isien ja poikien pituudet I P I P I P I P I P I P I P I P I P I P I P I P I P I P I P I P I P I P I P I P Taulukko : 1000 havaintoparia Pearsonin isä-poika pituusaineistosta.

18 Hajontakuvio Height Son Father

19 Density Histogram of Fathers Height

20 Histogram of Sons Density Height

21 Datajoukon tunnusluvut Lukuarvoisen datajoukon x = (x 1,..., x n ) tunnuslukuja: Keskiarvo m(x) = 1 n n i=1 x i Varianssi σ 2 (x) = 1 n n i=1 (x i m(x)) 2 Keskihajonta σ(x) = σ 2 (x) Otosvarianssi s 2 (x) = 1 n n 1 i=1 (x i m(x)) 2 Otoskeskihajonta s(x) = s 2 (x) Huom Yo. luvut lasketaan suoraan havaitusta datasta, joten niillä ei ole mitään tekemistä minkään todennäköisyysjakauman kanssa. R: mean(x), var(x), ((n-1)/n)*var(x), sd(x)

22 Järjestystunnuslukuja Järjestetyn muuttujan (määrällinen tai järjestetty laadullinen) havainnoista x = (x 1,..., x n ), voidaan laskea tason p (0, 1) kvantiili Q(p): Q(0.25) on alakvartiili Q(0.5) on mediaani Q(0.75) on yläkvartiili Tällöin 25 % havainnoista on alakvartiilin alapuolella Puolet havainnoista sijaitsee mediaanin alapuolella 25 % havainnoista on yläkvartiilin yläpuolella R: quantile(x,p), summary(x), median(x)

23 Seuraavalla kerralla puhutaan parametrien estimoinnista...