Tilastollisen analyysin perusteet Luento 5: Jakaumaoletuksien. testaaminen

Transkriptio

1 Tilastollisen analyysin perusteet Luento 5:

2 Sisältö

3

4 Tilastotieteessä tehdään usein oletuksia havaintojen jakaumasta. Useat tilastolliset menetelmät toimivat tehottomasti tai jopa virheellisesti, jos jakaumaoletukset eivät päde. Tämän vuoksi jakaumaoletusten paikkansapitävyyttä on syytä testata erikseen.

5

6 Normaalijakaumalla on keskeinen asema tilastotieteessä. Havaintojen normaalisuuden testaamisen on kehitetty useita erilaisia menetelmiä. Tarkastelemme niistä muutamia lähemmin.

7 Olkoot x 1, x 2,..., x n satunnaismuuttujan x havaitut arvot. Oletetaan, että havaintopisteet x 1, x 2,..., x n ovat riippumattomia ja samoin jakautuneita. Nollahypoteesi H 0 : Satunnaismuuttuja x on normaalijakautunut. Vaihtoehtoinen hypoteesi H 1 : Satunnaismuuttuja x ei ole normaalijakautunut.

8 Bowmanin ja Shentonin testi Bowmanin ja Shentonin testin testisuure on vinouden ja huipukkuuden funktio BS = n( v k 2 24 ), missä v on ensimmäisellä luennolla esitetty otosvinouskerroin ja k on ensimmäisellä luennolla esitetty otoshuipukkuuskerroin. Normaalijakauman vinouskerroin ja huipukkuuskerroin ovat molemmat 0. Testisuure saa suuria arvoja, jos havaintojen vinous ja/tai huipukkuus poikkeavat paljon normaalijakauman vinoudesta ja/tai huipukkuudesta.

9 Bowmanin ja Shentonin testi Kun n on suuri, niin nollahypoteesin vallitessa testisuure BS noudattaa likimain χ 2 (2) jakaumaa. Testisuureen normaaliarvo on 2, koska nollahypoteesin pätiessä E[BS] = 2. Suuret testisuureen arvot (verrattuna normaaliarvoon) viittaavat siihen, että nollahypoteesi H 0 ei päde. Nollahypoteesi H 0 hylätään, jos p arvo on kyllin pieni.

10 Bowmanin ja Shentonin testi Bowmanin ja Shentonin testi sopii suurille otoksille. Testin modifoitu versio, Jarque-Bera -testi, toimii paremmin myös pienillä otoksilla. Enemmän Jarque-Bera -testistä esim. Wikipediasta.

11 Järjestysluku-kuvaaja Olkoot z 1, z 2,..., z n havainnot x 1, x 2,..., x n suuruusjärjestyksessä pienimmästä suurimpaan, ja olkoon E(y i ) havainnon y i odotusarvo, kun y i on suuruusjärjestyksessä i. havainto normaalijakaumasta N(0, 1) poimitusta n kappaleen satunnaisotoksesta. Piirretään kuvaaja (E(y i ), z i ), i = 1, 2,..., n. Jos havainnot x i ovat peräisin normaalijakaumasta, niin pisteet (E(y i ), z i ) asettuvat (satunnaisvaihtelua lukuun ottamatta) suoralle. Poikkeamat suorasta viittaavat normaalijakaumasta poikkeamiseen. Kuviosta voidaan tunnistaa mm. havaintoarvojen jakauman vinous ja poikkeavat havainnot

12 Wilkin ja Shapiron testi Wilkin ja Shapiron testisuure on järjestysluku-kuvaajan pisteistä (E(Yi), Zi), i = 1, 2,..., n lasketun Pearsonin otoskorrelaatiokertoimen neliö. Pienet testisuureen arvot viittaavat siihen, että normaalisuusoletus ei päde. Suuret testisuureen arvot ovat sopusoinnussa normaalisuusoletuksen kanssa. Tietokone laskee testin p-arvon. Nollahypoteesi hylätään, jos p-arvo on riittävän pieni. Myös tämä testi vaatii toimiakseen riittävän suuren otoskoon.

13 Numeerinen esimerkki normaaliuden testaamisesta Eräässä aikaisemmassa esimerkissä vertailtiin Kallen superkeksien ja Panun pahanmakuisten prinsessakeksien hintaa ja tehtiin symmetriaoletus hintojen erotukselle. Tutkitaan hintojen erotuksen normaaliutta. Otos erotuksista: Erotus Taulukko: Kallen ja Panun keksipakettien hintojen erotukset.

14 Bowmanin ja Shentoinin testi: Testisuuretta varten on laskettava ensin vinous ja huipukkuusluvut v ja k. Otoskeskihajonta s ja otoskeskiarvo x = v = m 1 n 3 s 3 = n i=1 (x i x) 3 s 3 = = ( 1 10 k = m 1 4 s 4 3 = ( n i=1 (x i ( )) n i=1 (x i x) 4 s 4 ) 3 10 i=1 (x i ( )) ) = Testisuureen arvoksi saadaan BS = n( v k 2 24 ) = 10( ( 1.186)2 ) Nollahypoteesin vallitessa testisuure noudattaa suurilla otoskoilla χ 2 (2)-jakaumaa. Kriittisiksi arvoiksi 5% merkitsevyys tasolla saadaan ja Koska < < 7.378, näyttöä ei-normaaliudesta ei löytynyt.

15 Järjestysluku-kuvaaja: Kuva: Järjestysluku-kuvaaja hintojen erotuksista.

16 Shapiron ja Wilkin testi: Laskettu R:n valmiilla shapiro.test-funktiolla. Shapiro-Wilk normality test data: erot W = , p-value = p-arvo on suuri, joten näyttöä ei-normaaliudesta ei löytynyt.

17 Voidaanko tuloksiin luottaa? Täyttyvätkö kaikki testien vaatimukset? Mikä olikaan tyypin 2 virhe?

18

19 Multinomijakauma Multinomijakauma liittyy satunnaiskokeisiin, joissa on useampia kuin kaksi toistensa poissulkevaa tulosvaihtoehtoa. Toistettaessa tällaisia moniulotteisia riippumattomia satunnaiskokeita n kappaletta, saatujen tulosten frekvenssijakauma voidaan kuvata multinomijakauman avulla. Tarkastellaan tilannetta, missä satunnaiskokeella on k kappaletta toistensa poissulkevaa tulosvaihtoehtoa.

20 Multinomijakauma Satunnaismuuttujat x 1, x 2,..., x k noudattavat multinomijakaumaa parametrein n, p 1, p 2,..., p k, jos pistetodennäköisyysfunktio p(x 1,..., x k ) = n! x 1!x 2! x k! px 1 1 px 2 2 px k k, missä ja k x i = n i=1 k p i = 1. i=1

21 Multinomijakauma Oletetaan, että x 1, x 2,..., x k noudattavat multinomijakaumaa parametrein n, p 1, p 2,..., p k. Tällöin, kun n on suuri, niin k (x i np i ) 2 i=1 np i noudattaa likimain χ 2 (k 1) jakaumaa.

22 χ 2 -yhteensopivuustesti Yhteensopivuustestissä tutkitaan onko satunnaismuuttujan x jakauma yhtäpitävä jonkin oletetun jakauman kanssa. Nollahypoteesi H 0 : Satunnaismuuttuja x noudattaa jakaumaa F x (jolla saattaa tai saattaa olla olematta tuntemattomia parametreja.) Vaihtoehtoinen hypoteesi H 1 : Satunnaismuuttuja x ei noudata jakaumaa F x.

23 χ 2 -yhteensopivuustesti Olkoot x 1, x 2,..., x n satunnaismuuttujan x havaitut arvot. Oletetaan, että havaintopisteet x 1, x 2,..., x n ovat riippumattomia ja samoin jakautuneita. Luokitellaan havainnot (n kpl) erillisiin luokkiin, joiden lukumäärä on k kpl. Määritetään frekvenssit O i, i {1, 2,..., k}, missä O i on luokan i havaittu frekvenssi/lukumäärä. Huomaa, että nyt k i=1 O i = n. Olkoon p i todennäköisyys sille, että nollahypoteesin vallitessa satunnaismuuttuja x kuuluu luokkaan i. Määritetään luokkaan i kuuluvien havaintojen odotettu frekvenssi E i = np i. Huomaa, että k i=1 p i = 1. Nyt, nollahypoteesin vallitessa, satunnaismuuttujat O 1, O 2,..., O k noudattavat multinomijakaumaa parametrein n, p 1, p 2,..., p k.

24 χ 2 -yhteensopivuustesti Muodostetaan testisuure χ 2 y = k i=1 (O i E i ) 2 E i. Kun n on suuri, niin nollahypoteesin vallitessa testisuure χ 2 y noudattaa likimain χ 2 (k 1 e) jakaumaa, missä e on jakauman estimoitujen parametrien lukumäärä. Testisuureen normaaliarvo on k 1 e, koska nollahypoteesin pätiessä E[χ 2 y] = k 1 e. Suuret ja pienet testisuureen arvot (verrattuna normaaliarvoon) viittaavat siihen, että nollahypoteesi H 0 ei päde. Nollahypoteesi H 0 hylätään, jos p arvo on kyllin pieni.

25 χ 2 -yhteensopivuustesti Huom: Jos testisuureen arvo on suuri, otosfrekvenssit poikkeavat odotetuista huomattavan paljon, joten on selvää, että nollahypoteesi tulee hylätä. Jos taas testisuureen arvo on hyvin pieni, niin tällöin otosfrekvenssit poikkeavat odotetuista erikoisen vähän. Kyseessä on ns. overfitting ongelma. Yleisesti overfitting ongelma voi esiintyä esim. silloin jos mallin varianssi oletetaan liian suureksi.

26 Yhteensopivuustesti, Esimerkki 1 Tarkastellan keramiikkatehtaassa valmistettujen jättimukien laatua. Nollahypoteesina on se, että tuotteessa on muotovika todennäköisyydellä 2/14, värivika todennäköisyydellä 2/14, molemmat viat todennäköisyydellä 1/14 ja tuote on virheetön todennäköisyydellä 9/14. Valitaan satunnaisesti 200 tuotetta. Näistä muotoviallisia on 40 kpl, väriviallisia 44 kpl, molemmat viat omaavia 26 kpl ja virheettömiä 90 kpl. Nyt O 1 = 40, O 2 = 44, O 3 = 26, O 4 = 90, E 1 = 200 2/14, E 2 = 200 2/14, E 3 = 200 1/14, E 4 = 200 9/14, ja χ 2 y = 4 (O i E i ) 2 = E i i=1 Nollahypoteesin vallitessa testi noudattaa likimain χ 2 (4 1) = χ 2 (3) jakaumaa. Koska P(χ 2 (3) 34.08) < , niin nollahypoteesi hylätään.

27 Yhteensopivuustesti, Esimerkki 2 Testataan noudattaako suomalaisten kuukausipalkka normaalijakaumaa. Arvotaan n kpl suomalaisia ja kirjataan kuukausipalkat muistiin. Nollahypoteesi on se, että havainnot noudattavat normaalijakaumaa, jonka odotusarvo ja varianssi ovat tuntemattomia. Estimoidaan tuntemattomat parametrit havainnoista. Diskretoidaan jatkuva palkkamuuttuja esim. 100 euron väleihin. Lasketaan havaitut luokkafrekvenssit. Toisin sanoen lasketaan kuhunkin osaväliin=luokkaan sijoittuvien palkkahavaintojen lukumäärä. Määritetään luokkiin liittyvät todennäköisyydet normaalijakaumasta, esim...., P(1900 < X < 2000), P(2000 < X < 2100),... Lasketaan odotetut luokkafrekvenssit. Lasketaan testisuureen arvo. Nollahypoteesin vallitessa testi noudattaa likimain χ 2 (k 1 2) = χ 2 (k 3) jakaumaa, missä k on osavälien eli luokkien lukumäärä. Tarkastellaan testistä saadun lukuarvon todennököisyyttä ja tehdään johtopäätös.

28 χ 2 -homogeenisuustesti Homogeenisuustestissä tarkastelun kohteena on monta (r kpl) havaintoaineistoa. Nollahypoteesi H 0 : Havaintoaineistot tulevat samasta jakaumasta F x. Vaihtoehtoinen hypoteesi H 1 : Havaintoaineistot eivät tule samasta jakaumasta.

29 χ 2 -homogeenisuustesti Tarkastellaan usean havaintoaineiston, r kpl, satunnaismuuttujien arvoja. Oletetaan, että jokaisen joukon havaintopisteet ovat riippumattomia ja joukon sisällä samoin jakautuneita. Oletetaan, että aineistossa i, i {1,..., r} on n i havaintoa. Luokitellaan havainnot luokkiin, lukumäärä c kpl, luokkien koot C j Määritetään frekvenssit O ij, i {1, 2,..., r}, j {1, 2,..., c}, missä O ij ryhmän i luokkaan j kuuluvien havaintojen havaittu frekvenssi (eli lukumäärä).

30 Homogeenisuustesti, havaitut frekvenssit Muodostetaan havaituista frekvensseistä taulukko. 1 2 c summa 1 O 11 O 12 O 1c n 1 2 O 21 O 22 O 2c n 2 r O r1 O r2 O rc n r summa C 1 C 2 C c n

31 χ 2 -homogeenisuustesti Olkoon p j = C j /n. (Jos nollahypoteesi pätee, jokaisen ryhmän i kohdalla luokan j todennäköisyys on sama p j.) Määritetään ryhmässä i luokkaan j kuuluvien havaintojen odotettu frekvenssi E ij = n i p j.

32 Homogeenisuustesti, odotetut frekvenssit Muodostetaan odotetuista frekvensseistä taulukko. 1 2 c summa 1 E 11 E 12 E 1c n 1 2 E 21 E 22 E 2c n 2 r E r1 E r2 E rc n r summa C 1 C 2 C c n

33 χ 2 -homogeenisuustesti Muodostetaan testisuure χ 2 h = r c i=1 j=1 (O ij E ij ) 2 E ij. Kun n on suuri, niin nollahypoteesin vallitessa testisuure χ 2 h noudattaa likimain χ2 ((r 1)(c 1)) jakaumaa. Testisuureen normaaliarvo on (r 1)(c 1), koska nollahypoteesin pätiessä E[χ 2 h ] = (r 1)(c 1). Suuret testisuureen arvot (verrattuna normaaliarvoon) viittaavat siihen, että nollahypoteesi H 0 ei päde. Nollahypoteesi H 0 hylätään, jos p arvo on kyllin pieni.

34 Homogeenisuustesti, Esimerkki Kylän kunnaninsinööri on tehnyt uuden tiesuunnitelman. Kyläläisiltä kysyttiin mielipidettä insinöörin visiosta. 250 miestä ja 300 naista valittiin satunnaisesti vastaamaan kyselyyn. Myönteisesti suhtautuvia miehiä oli 169 ja myönteisesti suhtautuvia naisia oli 125. Kielteisesti suhtautuvia miehiä oli 52 ja kielteisesti suhtautuvia naisia 144. Miehistä 29 ja naisista 31 ei ottanut kantaa.

35 Esimerkki, havaitut frekvenssit myönt kielt ei kantaa yht miehet naiset yht

36 Esimerkki, odotetut frekvenssit myönt kielt ei kantaa yht miehet naiset yht

37 Homogeenisuustesti, Esimerkki Testisuureen arvo χ 2 h = r c (O ij E ij ) 2 E ij i=1 j=1 = ( ) 2 /133.6+( ) 2 /89.1+( ) 2 /27.3 +( ) 2 /160.4+( ) 2 /106.9+( ) 2 /32.7 = Nollahypoteesin vallitessa testi noudattaa likimain χ 2 (2 1)(3 1) = χ 2 (2) jakaumaa. Koska P(χ 2 (2) ) < , niin todetaan että naisten ja miesten mielipiteet tiesuunnitelmasta eroavat toisistaan.

38 χ 2 -riippumattomuustesti Riippumattomuustestissä tarkastellaan kahden satunnaismuuttujan (tekijän/faktorin) välistä stokastista riippumattomuutta. Nollahypoteesi H 0 : Muuttujat ovat riippumattomia. Vaihtoehtoinen hypoteesi H 1 : Muuttujat eivät ole riippumattomia.

39 χ 2 -riippumattomuustesti Tarkastellaan yksinkertaista satunnaisotosta, otoskoko n. Luokitellaan havaintoyksiköt tekijän A suhteen luokkiin, r kpl, ja tekijän B suhteen luokkiin, c kpl. Olkoon R i tekijän A luokkaan i kuuluvien havaintojen frekvenssi/lukumäärä, olkoon C j tekijän B luokkaan j kuuluvien havaintojen frekvenssi ja olkoon O ij tekijän A luokkaan i ja tekijän B luokkaan j kuuluvien havaintojen havaittu frekvenssi.

40 Riippumattomuustesti, havaitut frekvenssit 1 2 c summa 1 O 11 O 12 O 1c R 1 2 O 21 O 22 O 2c R 2 r O r1 O r2 O rc R r summa C 1 C 2 C c n

41 χ 2 -riippumattomuustesti Olkoon P j = C j /n. (Jos nollahypoteesi pätee, jokaisen tekijän A luokan i kohdalla tekijän B luokan j todennäköisyys on sama P j.) Määritetään tekijän A luokkaan i ja tekijän B luokkaan j kuuluvien havaintojen odotettu frekvenssi E ij = R i P j.

42 Riippumattomuustesti, odotetut frekvenssit 1 2 c summa 1 E 11 E 12 E 1c R 1 2 E 21 E 22 E 2c R 2 r E r1 E r2 E rc R r summa C 1 C 2 C c n

43 χ 2 -riippumattomuustesti Muodostetaan testisuure χ 2 r = r c i=1 j=1 (O ij E ij ) 2 E ij. Kun n on suuri, niin nollahypoteesin vallitessa testisuure χ 2 r noudattaa likimain χ 2 ((r 1)(c 1)) jakaumaa. Testisuureen normaaliarvo on (r 1)(c 1), koska nollahypoteesin pätiessä E[χ 2 h ] = (r 1)(c 1). Suuret testisuureen arvot (verrattuna normaaliarvoon) viittaavat siihen, että nollahypoteesi H 0 ei päde. Nollahypoteesi H 0 hylätään, jos p arvo on kyllin pieni.

44 Riippumattomuustesti, Esimerkki Tarkastellaan avioliitossa elävien miehen ja naisen äänestyskäyttäytymisien riippumattomuutta. Otoksessa on 120 avioparia ja luokat ehdokas K. Närhi, ehdokas P. Hömötiainen ja MUU (jokin muu ehdokas). Yhteensä luokkia on siis yhdeksän luokkaa NN, NH, NMUU, HN, HH, HMUU, MUUN, MUUH ja MUUMUU.

45 Esimerkki, havaitut frekvenssit N, mies H, mies MUU, mies yht N, nainen H, nainen MUU, nainen yht

46 Esimerkki, odotetut frekvenssit N, mies H, mies MUU, mies yht N, nainen H, nainen MUU, nainen yht

47 Riippumattomuustesti, Esimerkki Testisuureen arvo χ 2 r = r c (O ij E ij ) 2 = E ij i=1 j=1 Nollahypoteesin vallitessa testi noudattaa likimain χ 2 (3 1)(3 1) = χ 2 (4) jakaumaa. Koska P(χ 2 (4) 21.46) = , niin todetaan että miesten ja naisten välisissä avioliitoissa puolisoiden äänestyskäyttäytyminen ei ole riippumatonta.

48 Homogeenisuustesti ja riippumattomuustesti χ 2 -riippumattomuustesti ja χ 2 -homogeenisuustesti muistuttavat toisiaan. Testisuureet ja testisuureiden vapausasteet lasketaan samalla tavalla. Testien testausasetelmat ovat kuitenkin täysin erilaiset.

49 J. S. Milton, J. C. Arnold: Introduction to Probability and Statistics, McGraw-Hill Inc R. V. Hogg, J. W. McKean, A. T. Craig: Introduction to Mathematical Statistics, Pearson Education Pertti Laininen: Todennäköisyys ja sen tilastollinen soveltaminen, Otatieto 1998, numero 586. Ilkka Mellin: Tilastolliset menetelmät,