Mat-2.2104 Tilastollisen analyysin perusteet, kevät 2007 4. luento: Jakaumaoletuksien testaaminen Kai Virtanen 1
Jakaumaoletuksien testaamiseen soveltuvat testit χ 2 -yhteensopivuustesti yksi otos otoksen vertaaminen annettuun jakaumaan χ 2 -homogeenisuustesti monta otosta ovatko otokset peräisin samasta jakaumasta? χ 2 -riippumattomuustesti yksi otos, havaintoyksikköjä kuvataan kahdella satunnaismuuttujalla (tekijällä) kahden satunnaismuuttujan riippumattomuuden testaaminen Bowmanin ja Shentonin testi normaalisuudelle yksi otos onko otos peräisin normaalijakaumasta Wilkin ja Shapiron testi normaalisuudelle yksi otos onko otos peräisin normaalijakaumasta Kai Virtanen 2
χ 2 -yhteensopivuustesti, hypoteesit Onko satunnaismuuttujasta X poimittu satunnaisotos sopusoinnussa X:n oletetun jakauman kanssa? Nollahypoteesi H 0 : Havainnot noudattavat todennäköisyysjakaumaa, jonka parametrit eivät välttämättä ole tunnettuja; esim: tuote: muotovika, värivika, molemmat viat, virheetön insinöörin väitös: tuotteita syntyy suhteissa 2:2:1:9 vastaavat todennäköisyydet: 2/14, 2/14, 1/14, 9/14 Vaihtoehtoinen hypoteesi H 1 : Havainnot eivät noudata nollahypoteesin määrittelemää todennäköisyysjakaumaa insinöörin väitös on palturia!!! Kai Virtanen 3
χ 2 -yhteensopivuustesti, havaitut luokkafrekvenssit Luokitellaan havainnot (n kpl) luokkiin, joiden lukumäärä m kpl Luokkien määrääminen: Diskreetin satunnaismuuttujan mahdolliset arvot valitaan satunnaisesti 200 tuotetta luokat, m=4: muotovika (muv), värivika (väv), molemmat viat (mov), virheetön (vir) Diskretoidaan jatkuvan satunnaismuuttujan arvojoukko äärellisiin osaväleihin O k, k = 1,2,,m on luokan k havaittu frekvenssi/lukumäärä, muv 40kpl, väv 44kpl, mov 26 kpl, vir 90kpl m k= 1 O k = n Kai Virtanen 4
χ 2 -yhteensopivuustesti, odotetut luokkafrekvenssit Olkoon P k todennäköisyys, että satunnaismuuttuja X saa arvon luokasta k, kun nollahypoteesi pätee P k :n jakauman konstruointi: nollahypoteesi määrää täysin jakauman tuote-esimerkki nollahypoteesi määrää jakauman tyypin, mutta parametrit ovat tuntemattomia => parametrit estimoitava havainnoista Luokkaan k kuuluvien havaintojen odotettu frekvenssi E k E = np, k = 1, 2, K, m k k tuote-esimerkki: k= 1 E 1 =200*2/14, E 2 =200*2/14, E 3 =200*1/14, E 4 =200*9/14 m E k = n Kai Virtanen 5
χ 2 -yhteensopivuustesti, testisuure ja p-arvo IDIS: havaittujen frekvenssien O k ja odotettujen frekvenssien E k jakaumat muistuttavat toisiaan => havainnot tukevat nollahypoteesia! Määritellään χ 2 -testisuure: 2 χ tuote-esimerkki:χ 2 = 34.08 H 0 ok => testisuure suurissa otoksissa approksimatiivisesti χ 2 -jakautunu vapausastein f = m 1 p, p on estimoitujen parametrien lukumäärä Suuri testisuureen arvo => nollahypoteesi roskikseen p-arvo = oikeanpuoleinen häntä = P(χ 2 > testisuureen arvo) tuote-esimerkki: f=4-1-0=3 ja P(χ 2 > 34,08)=0.0000 => pöljän insinöörin väittämä ei pidä paikkaansa alkuunkaan! m = k= 1 ( Ok Ek ) E k 2 Kai Virtanen 6
Esimerkki χ 2 -yhteensopivuustestistä, jatkuva satunnaismuuttuja Noudattaako suomalaisten kuukausipalkka normaalijakaumaa? Arvotaan läjä suomalaisia ja kirjataan kuukausipalkat muistiin Nollahypoteesi: Havainnot noudattavat normaalijakaumaa, jonka odotusarvo- ja varianssiparametrit tuntemattomia 1) Estimoidaan tuntemattomat parametrit havainnoista 2) Diskretoidaan jatkuva palkkamuuttuja esim. 100 väleihin 3) Lasketaan havaitut luokkafrekvenssit, i.e., lasketaan kuhunkin osaväliin=luokkaan sijoittuvien palkkahavaintojen lukumäärä 4) Määrätään luokkiin liittyvät todennäköisyydet normaalijakaumasta, esim.... P(1900<X<2000), P(2000<X<2100), jne... 5) Lasketaan odotetut luokkafrekvenssit, i.e., luokkatodennäköyys X havaintojen lukumäärä 6) Lasketaan testisuureen arvo, määrätään p-arvo ja tehdään johtopäätös Kai Virtanen 7
χ 2 -homogeenisuustesti, hypoteesit Monta havaintoaineistoa, ovatko aineistot peräisin samasta jakaumasta? Homogeenisuuden testaaminen Yleinen hypoteesi H : Perusjoukko on jaettu r ryhmään, joista on poimittu toisistaan riippumattomat satunnaisotokset Nollahypoteesi H 0 : Otokset i = 1, 2,, r on poimittu samasta todennäköisyysjakaumasta Vaihtoehtoinen hypoteesi H 1 : Otokset i = 1, 2,, r on poimittu eri todennäköisyysjakaumista Kai Virtanen 8
χ 2 -homogeenisuustesti, havaitut frekvenssit r ryhmää/otosta, otoskoot n i Luokitellaan havainnot luokkiin, lukumäärä c kpl, luokkien koot C j O ij ryhmän i luokkaan j kuuluvien havaintojen havaittu frekvenssi/lukumäärä Luokat 1 2 c Summa Ryhmät 1 O 11 O 12 O 1c n 1 2 O 21 O 22 O 2c n 2 r O r1 O r2 O rc n r Ryhmien koko Summa C 1 C 2 C c n Luokkien koko Havaintoja yhteensä Kai Virtanen 9
χ 2 -homogeenisuustesti, odotetut frekvenssit Jos nollahypoteesi pätee, jokaisen ryhmän i kohdalla luokan j todennäköisyys on sama p j p j :n estimaatti p j = luokan j havaintojen kokonaismäärä / havaintojen kokonaismäärä = C j /n Odotettu frekvenssi ryhmässä i ja luokassa j on E ij = n i p j =C j n i /n 1 2 c Summa 1 2 c Summa 1 O 11 O 12 O 1c n 1 1 E 11 E 12 E 1c n 1 2 O 21 O 22 O 2c n 2 r O r1 O r2 O rc n r Summa C 1 C 2 C c n 2 E 21 E 22 E 2c n 2 r E r1 E r2 E rc n r Summa C 1 C 2 C c n Kai Virtanen 10
χ 2 -homogeenisuustesti, testisuure ja p-arvo IDIS: Havaittujen frekvenssien O ij ja odotettujen frekvenssien E ij jakaumat muistuttavat toisiaan => havainnot sopusoinnussa nollahypoteesin kanssa χ 2 -testisuure χ 2 r c = ( O E ) i= 1 j= 1 ij H 0 ok => testisuure suurissa otoksissa approksimatiivisesti χ 2 -jakautunu vapausastein f = (r 1)(c 1) Suuri testisuureen arvo => nollahypoteesi roskikseen, i.e., havainnot peräisin eri jakaumista p-arvo = oikean puoleinen häntä = P(χ 2 > testisuureen arvo) ij E ij 2 Kai Virtanen 11
Esimerkki χ 2 -homogeenisuustestistä Kylän kunnaninsinööri on tehnyt uuden tiesuunnitelman 300 mieheltä ja 300 naiselta kysyttiin mielipidettä insinöörin visiosta Myönteisesti suhtautuvia miehiä 169 ja naisia 125 Kielteisesti suhtautuvia miehiä 102 ja naisia 144 Ei kantaa, miehiä 29 ja naisia 31 Onko miesten ja naisten jakaumissa (mielipiteissä) eroa? Havaitut frekvenssit Miehet Naiset Yht. Kyllä 169 125 294 Ei 102 144 246 Ei kantaa 29 31 60 Yht. 300 300 600 Odotetut frekvenssit Miehet Naiset Testisuureen arvo = 13.82, f=(2-1)(3-1), P(χ 2 > 13.82)=0.0010 Yht. Kyllä 147 147 294 => Miesten ja naisten mielipiteissä on eroa!!!!! 123 123 246 600 Kai Virtanen 12 Ei Ei kantaa 30 30 60 Yht. 300 300
χ 2 -riippumattomuustesti, hypoteesit Kahden satunnaismuuttujan (tekijän/faktorin) välinen stokastinen riippumattomuus: Tieto toisen muuttujan saamasta arvosta ei vaikuta toiseen muuttajaan liittyviin todennäköisyyksiin Yleinen hypoteesi H : Perusjoukosta on poimittu yksinkertainen satunnaisotos ja havaintoyksiköt voidaan luokitella ristiin kahden tekijän A ja B suhteen Nollahypoteesi H 0 : Tekijät A ja B ovat riippumattomia Vaihtoehtoinen hypoteesi H 1 : Tekijät A ja B eivät ole riippumattomia Kai Virtanen 13
χ 2 -riippumattomuustesti: havaitut frekvenssit Poimitaan perusjoukosta yksinkertainen satunnaisotos, n kpl Luokitellaan havaintoyksiköt tekijän A suhteen luokkiin (r kpl) ja tekijän B suhteen luokkiin (c kpl) R i tekijän A luokkaan i kuuluvien havaintojen frekvenssi/lukumäärä C j tekijän B luokkaan j kuuluvien havaintojen frekvenssi O ij tekijän A luokkaan i ja tekijän B luokkaan j kuuluvien havaintojen havaittu frekvenssi/lukumäärä Tekijän A luokat i 1 2 c Summa 1 O 11 O 12 O 1c R 1 2 O 21 O 22 O 2c R 2 r O r1 O r2 O rc R r Summa C 1 C 2 C c n Tekijän B luokat j Kai Virtanen 14
χ 2 -riippumattomuustesti, odotetut frekvenssit Nollahypoteesi Tekijät A ja B ovat riippumattomia pätee => Odotettujen frekvenssien estimaattien arvot ovat tismalleen samat kuin homogeenisuuden testaamisessa!!!! Odotettu frekvenssi tekijän A luokkassa i ja tekijän B luokassa j on E ij = C j R i /n 1 2 c Summa 1 2 c Summa 1 O 11 O 12 O 1c R 1 2 O 21 O 22 O 2c R 2 1 E 11 E 12 E 1c R 1 2 E 21 E 22 E 2c R 2 r O r1 O r2 O rc R r Summa C 1 C 2 C c n r E r1 E r2 E rc R r Summa C 1 C 2 C c n Kai Virtanen 15
χ 2 -riippumattomuustesti, testisuure ja p-arvo IDIS: Havaittujen frekvenssien O ij ja odotettujen frekvenssien E ij jakaumat muistuttavat toisiaan => havainnot ovat sopusoinnussa nollahypoteesin tekijät A ja B ovat riippumattomia kanssa χ 2 -testisuure χ 2 r c = ( O E ) i= 1 j= 1 ij H 0 ok => testisuure suurissa otoksissa approksimatiivisesti χ 2 -jakautunu vapausastein f = (r 1)(c 1) Suuri testisuureen arvo => nollahypoteesi roskikseen, i.e., tekijät A ja B eivät ole riippumattomia ij p-arvo = oikeanpuoleinen häntä = P(χ 2 > testisuureen arvo) E ij 2 Kai Virtanen 16
Esimerkki χ 2 -riippumattomuustestistä Ovatko avioliitossa elävien miehen ja naisen äänestyskäyttäytymiset riippumattomia? 120 avioparia; ehdokas A, ehdokas B tai joku muu (MUU) Yhdeksän luokkaa AA, AB,..., MUUMUU Nainen Nainen Havaitut frekvenssit A B MUU Yht. Odotetut frekvenssit A B MUU Yht. Mies A B 15 20 7 25 8 5 30 50 Mies A B 11.25 18.75 10.50 17.50 8.25 13.75 30 50 MUU 10 10 20 40 MUU 15.00 14.00 11.00 40 YHT 45 42 33 120 YHT 45 42 33 120 Testisuureen arvo = 21.46, f=(3-1)(3-1), P(χ 2 > 21.46)=0.0003 => Aviopuolisot valitsevat ehdokkaan yhteistuumin Kai Virtanen 17
χ 2 -riippumattomuustesti ja χ 2 -homogeenisuustesti χ 2 -riippumattomuustesti ja χ 2 -homogeenisuustesti muistuttavat toisiaan Frekvenssitaulukosta ei voi nähdä kummasta testausasetelmasta on kyse χ 2 -riippumattomuustesti ja χ 2 -homogeenisuustesti tehdään teknisesti samalla tavalla: Odotetut frekvenssit määrätään samalla kaavalla Testisuureet lasketaan samalla kaavalla Testisuureet noudattavat nollahypoteesin pätiessä approksimatiivisesti samaa jakaumaa Testien testausasetelmat ovat kuitenkin täysin erilaiset!!!!! Kai Virtanen 18
Riippumattomuustesti vs. homogeenisuustesti Riippumattomuustestin testausasetelma: (i) Tarkastellaan kahden tekijän A ja B riippuvuutta, kun havainnot luokitellaan tekijöiden suhteen ristiin (ii) Havaintoaineisto muodostuu yhdestä satunnaisotoksesta (iii) Vain havaintojen kokonaislukumäärä n on kiinteä, kun taas sattuma määrää miten havainnot jakautuvat luokkiin tekijöiden A ja B ristiluokituksen suhteen Homogeenisuustestin testausasetelma: (i) Perusjoukko koostuu r ryhmästä ja testissä tarkastellaan perusjoukon alkioiden jakautumista luokkiin eri ryhmissä yhden ominaisuuden suhteen (ii) Havaintoaineisto muodostuu toisistaan riippumattomista ryhmäkohtaisista satunnaisotoksista (iii) Sekä ryhmäkohtaiset otoskoot n i että havaintojen kokonaislukumäärä n ovat kiinteitä, kun taas sattuma määrää miten havainnot jakautuvat luokkiin ryhmien sisällä Kai Virtanen 19
Normaalisuusoletuksen tutkiminen Normaalijakaumalla on keskeinen asema tilastotieteessä Esim. t-testeissä oletetaan, että havainnot noudattavat normaalijakaumaa Erilaisia menetelmiä havaintojen normaalisuuden tutkimiseen χ 2 -yhteensopivuustesti ok Erityisesti normaalisuuden testaamiseen: Bowmanin ja Shentonin testi Rankit Plot -kuvio sekä Wilkin ja Shapiron testi Kai Virtanen 20
Bowmanin ja Shentonin testi, hypoteesit Yleinen hypoteesi H : Havainnot X 1, X 2,, X n on poimittu yksinkertaisella satunnaisotannalla perusjoukosta Nollahypoteesi H 0 : Havainnot X 1, X 2,, X n noudattavat normaalijakaumaa Vaihtoehtoinen hypoteesi H 1 : Havainnot X 1, X 2,, X n eivät noudata normaalijakaumaa Kai Virtanen 21
Bowmanin ja Shentonin testi, testisuure ja p-arvo Bowmanin ja Shentonin testin testisuure on vinouden ja huipukkuuden funktio χ 2 -testisuure missä c 1 on vinous, c 2 huipukkuus ja n otoskoko Normaalijakaumalle c 1 =0 ja c 2 =0 huipukkuus Testisuure saa suuria arvoja, jos havaintojen vinous ja/tai huipukkuus poikkeavat paljon normaalijakauman vinoudesta ja/tai huipukkuudesta Suuret testisuureen arvo => H 0 ei päde H 0 ok => testisuure χ 2 noudattaa suurissa otoksissa approksimatiivisesti χ 2 -jakaumaa vapausastein f = 2 p-arvo = oikeanpuoleinen häntä = P(χ 2 > testisuureen arvo) n n χ = c + c 6 24 2 2 2 1 2 Kai Virtanen 22
Normaalisuuden testaaminen, Rankit Plot -kuvio Olkoot Z 1, Z 2,, Z n havainnot X 1, X 2,, X n suuruusjärjestyksessä pienimmästä suurimpaan E(Y i ) havainnon Y i odotusarvo; Y i suuruusjärjestyksessä i. havainto normaalijakaumasta N(0,1) poimitusta n kpleen satunnaisotoksesta Piirretään käppyrä (E(Y i ), Z i ), i = 1, 2,, n Havainnot X i peräisin normaalijakaumasta => pisteet (E(Y i ), Z i ) asettuvat (satunnaisvaihtelua lukuun ottamatta) suoralle Poikkeamat suorasta viittaavat epänormaalisuuteen Kuviosta voidaan tunnistaa: Havaintoarvojen jakauman vinous Havaintoarvojen jakauman huipukkuus Poikkeavat havainnot Kai Virtanen 23
Wilkin ja Shapiron testi Wilkin ja Shapiron testisuure on Rankit Plot -kuvion pisteistä (E(Y i ), Z i ), i = 1, 2,, n lasketun otoskorrelaatiokertoimen neliö Pienet testisuureen arvot viittaavat siihen, että normaalisuusoletus ei päde Suuret testisuureen arvot ovat sopusoinnussa normaalisuusoletuksen kanssa Kompuutteri laskee p-arvon Kai Virtanen 24