1. Normaalisuuden tutkiminen, Bowmanin ja Shentonin testi, Rankit Plot, Wilkin ja Shapiron testi

Transkriptio

1 Mat Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat: Yhteensopivuuden ja homogeenisuden testaaminen Bowmanin ja Shentonin testi, Hypoteesi, 2 -homogeenisuustesti, 2 -yhteensopivuustesti, Päätössääntö, Nollahypoteesi, Normaalisuuden testaaminen, p-arvo, Rankit Plot, Testi, Testisuure, Testisuureen normaaliarvo, Vaihtoehtoinen hypoteesi, Wilkin ja Shapiron testi, Yhteensopivuustestit, Yleinen hypoteesi 1. Normaalisuuden tutkiminen, Bowmanin ja Shentonin testi, Rankit Plot, Wilkin ja Shapiron testi (a) (b) (c) Ratkaisu: (a) Generoi STATISTIX-ohjelman pseudosatunnaislukuja tuottavilla aliohjelmilla tiedostoon RANDOM1 seuraavat muuttujat (50 havaintoa): NORMA NORMB NORMC TAS N(0,1) N(0,1) N(0,1) Uniform(0,1) Muodosta STATISTIX-ohjelman transformaatiokomennoilla tiedostoon RANDOM1 seuraavat muuttujat: KHI = NORMA^2 + NORMB^2 + NORMC^2 2 (3) IKHI = 20 - KHI EXP = Ln(1 - TAS)/(-0.2) Exp(0.2) Tutki muuttujien NORMA, TAS, KHI, IKHI, EXP normaalisuutta: Piirrä histogrammit Määrää aritmeettiset keskiarvot, mediaanit, vinoudet, huipukkuudet Testaa normaalisuutta Bowmanin ja Shentonin testillä Piirrä Rankit Plot kuviot ja testaa normaalisuutta Wilkin ja Shapiron testillä (taulukot: STATISTIX-ohjelman HELP) Satunnaislukujen generointi Generoidaan tiedostoon RANDOM1 satunnaislukuja jakaumasta N(0,1) muuttujiksi NORMA, NORMB, NORMC: Data > Transformations Transformation Expression NORMA / NORMB / NORMC = NRandom (0,1) TKK Systeemianalyysin laboratorio (2009) 1/23

2 Generoidaan tiedostoon RANDOM1 satunnaislukuja jakaumasta Uniform(0,1) muuttujaksi TAS: Data > Transformations Transformation Expression TAS = Random (b) Transformaatiot Generoidaan tiedostoon RANDOM1 satunnaislukuja jakaumasta 2 (3) muuttujaksi KHI käyttämällä hyväksi 2 (3)-jakauman määritelmää: Olkoon Tällöin X, X, X N(0,1) X, X, X X X X (3) Data > Transformations Transformation Expression KHI = NORMA^2 + NORMB^2 + NORMC^2 Muodostetaan muuttuja IKHI = 20 - KHI: Data > Transformations Transformation Expression IKHI = 20 - KHI Generoidaan tiedostoon RANDOM1 satunnaislukuja jakaumasta Exp(0.2) muuttujaksi EXP, käyttämällä hyväksi seuraavaa todennäköisyyslaskennan yleistä tulosta: Olkoon F mielivaltaisen todennäköisyysjakauman kertymäfunktio. Tällöin pätee seuraava tulos: Jos U ~ Uniform(0,1) niin satunnaismuuttuja Z = F 1 (U) noudattaa todennäköisyysjakaumaa, jonka kertymäfunktio on F. TKK Systeemianalyysin laboratorio (2009) 2/23

3 Frequency Mat Tilastollisen analyysin perusteet Koska eksponenttijakauman kertymäfunktio on F( x) 1exp( x) niin satunnaismuuttuja log e(1 U) Z Exp( ) Data > Transformations Transformation Expression EXP = Ln(1 - TAS)/(-0.2) (c) Normaalisuuden tutkiminen: Histogrammit Statistics > Summary Statistics > Histogram Histogram Variables = NORMA / KHI / IKHI / TAS / EXP Low, High, Step = valitaan muuttujan arvojen mukaan sopivasti Histogram Variables = NORMA Low, High, Step = -2.4, +2.4, 0.4 Histogram NORMA Muuttujan NORMA jakauma on (käytännössä) yksihuippuinen ja melko symmetrinen. TKK Systeemianalyysin laboratorio (2009) 3/23

4 Frequency Frequency Mat Tilastollisen analyysin perusteet Histogram Variables = KHI Low, High, Step = 0, 10, 1 Histogram Muuttujan KHI jakauma on vino oikealle. KHI Histo gram Variables = IKHI Low, High, Step = 10, 20, 1 Histogram IKHI Muuttujan IKHI jakauma on vino vasemmalle. TKK Systeemianalyysin laboratorio (2009) 4/23

5 Frequency Frequency Mat Tilastollisen analyysin perusteet Histogram Variables = TAS Low, High, Step = 0, 1, 0.1 Histogram TAS Muuttujan TAS jakauma on melko tasainen. Histogram Variables = EXP Low, High, Step = 0, 22, 2 Histogram Muuttujan EXP jakauma on vino oikealle. EXP TKK Systeemianalyysin laboratorio (2009) 5/23

6 Tunnusluvut Statistics > Summary Statistics > Descriptive Statistics Descriptive Variables = NORMA, KHI, IKHI, TAS, EXP DESCRIPTIVE STATISTICS VARIABLE N MEAN MEDIAN SKEW KURTOSIS NORMA E KHI IKHI TAS EXP Muuttuja NORMA: Aritmeettinen keskiarvo (= MEAN) Mediaani (= Median) 0 Jakauma on symmetrinen pisteen 0 suhteen Vinous (= SKEW) 0 Huipukkuus (= KURTOSIS) 0 Tunnusluvut ovat sopusoinnussa generointiprosessin kanssa: NORMA ~ N(0,1) Muuttuja KHI: Aritmeettinen keskiarvo (= MEAN) = 2.7 > 2.3 = Mediaani (= MEDIAN) Jakauma on vino oikealle Vinous (= SKEW) > 0 Huipukkuus (= KURTOSIS) > 0 Tunnusluvut ovat sopusoinnussa generointiprosessin kanssa: KHI ~ 2 (3) Muuttuja IKHI: Aritmeettinen keskiarvo (= MEAN) = 17.3 < 17.7 = Mediaani (= MEDIAN) Jakauma on vino vasemmalle Vinous (= SKEW) < 0 Huipukkuus (= KURTOSIS) > 0 Tunnusluvut ovat sopusoinnussa generointiprosessin kanssa: IKHI = 20 KHI TKK Systeemianalyysin laboratorio (2009) 6/23

7 Muuttuja TAS: Aritmeettinen keskiarvo (= MEAN) Mediaani (= MEDIAN) 0.5 Jakauma on symmetrinen pisteen 0.5 suhteen Vinous (= SKEW) 0 Huipukkuus (= KURTOSIS) < 0 Tunnusluvut ovat sopusoinnussa generointiprosessin kanssa: TAS ~ Uniform(0,1) Muuttuja EXP: Aritmeettinen keskiarvo (= MEAN) = 4.6 > 3.9 = Mediaani (= MEDIAN) Jakauma on vino oikealle Vinous (= SKEW) > 0 Huipukkuus (= KURTOSIS) > 0 Tunnusluvut ovat sopusoinnussa generointiprosessin kanssa: EXP ~ Exp(5) Muuttujan IKHI vinous on muuttujan KHI vinouden vastaluku. Miksi? Muuttujien KHI ja IKHI huipukkuudet ovat yhtä suuria. Miksi? Bowmanin ja Shentonin testit Bowmanin ja Shentonin testisuure n n Skew Kurt 2 a (2) jos nollahypoteesi H 0 normaalisuudesta pätee. STATISTIX ei sisällä Bowmanin ja Shentonin testiä, mutta se voidaan helposti tehdä määräämällä ensin tutkittavan muuttujan vinous ja huipukkuus STATISTIX-ohjelmalla ja laskemalla testisuureen arvo esim. jollakin taulukkolaskinohjelmalla tai laskimella. Bowmanin ja Shentonin testien tulokset: VARIABLE N SKEW KURT B-S p-arvo NORMA KHI IKHI TAS EXP TKK Systeemianalyysin laboratorio (2009) 7/23

8 Ordered Data Mat Tilastollisen analyysin perusteet B-S-testisuureen arvot muuttujille KHI ja IKHI ovat yhtä suuria. Miksi? Bowmanin ja Shentonin testin mukaan nollahypoteeseja muuttujien NORMA ja TAS normaalisuudesta ei voida hylätä 5 %:n merkitsevyystasolla, kun taas nollahypoteesit muuttujien KHI, IKHI ja EXP normaalisuudesta voidaan hylätä. Yo. taulukon p-arvot on saatu seuraavalla tavalla: Statistics > Probability Functions Function = Chi-square (x,df) X = B-S testisuureen arvo DF = 2 Rankit plot -kuviot Statistics > Randomness/Normality Tests > Normal Probability Plot Plot Variable = NORMA / KHI / IKHI / TAS / EXP Plot Variable = NORMA 2.1 Wilk-Shapiro / Rankit Plot of NORMA Rankits Approximate Wilk-Shapiro cases Muuttujan NORMA jakauma näyttää melko normaaliselta (kuten pitääkin). TKK Systeemianalyysin laboratorio (2009) 8/23

9 Ordered Data Ordered Data Mat Tilastollisen analyysin perusteet Plot Variable = KHI Wilk-Shapiro / Rankit Plot of KHI Rankits Approximate Wilk-Shapiro cases Muuttujan KHI jakauma on vino oikealle. Plot Variable = IKHI 20 Wilk-Shapiro / Rankit Plot of IKHI Rankits Approximate Wilk-Shapiro cases Muuttujan IKHI jakauma on vino vasemmalle. TKK Systeemianalyysin laboratorio (2009) 9/23

10 Ordered Data Ordered Data Mat Tilastollisen analyysin perusteet Plot Variable = TAS Wilk-Shapiro / Rankit Plot of TAS Rankits Approximate Wilk-Shapiro cases Muuttujan TAS jakauma on ohuthäntäisempi kuin muuttujan NORMA jakauma. Plot Variable = EXP 24 Wilk-Shapiro / Rankit Plot of EXP Rankits Approximate Wilk-Shapiro cases Muuttujan EXP jakauma on vino oikealle. TKK Systeemianalyysin laboratorio (2009) 10/23

11 Wilkin ja Shapiron testit Wilkin ja Shapiron testien tulokset: VARIABLE N W-S Päätös NORMA H 0 jää voimaan KHI H 0 hylätään IKHI H 0 hylätään TAS H 0 jää voimaan EXP H 0 hylätään Olkoon havaintojen lukumäärä 50. Tällöin kriittiset rajat 1 %:n ja 5 %:n merkitsevyystasoille ovat seuraavat: Merkitsevyystaso 1% 5% Kriittinen raja Jos Wilkin ja Shapiron testisuureen arvo alittaa kriittisen rajan, on nollahypoteesi hylättävä. Wilkin ja Shapiron testin mukaan nollahypoteeseja muuttujien NORMA ja TAS normaalisuudesta ei voida hylätä 1 %:n merkitsevyystasolla, kun taas nollahypoteesit muuttujien KHI, IKHI ja EXP normaalisuudesta voidaan hylätä. Yo. taulukon p-arvojen määrääminen: ks. edellä. W-S-testisuureen arvot muuttujille KHI ja IKHI ovat yhtä suuria. Miksi? 2. Ulkopuoliset havainnot ja Rankit Plot (a) (b) (c) Generoi STATISTIX-ohjelman satunnaislukuja tuottavalla aliohjelmalla tiedostoon RANDOM2 seuraava muuttuja (50 havaintoa): NORM: N(0,1) Muodosta tiedostoon RANDOM2 muuttujasta NORM muuttujat VARA ja VARB seuraavalla tavalla: VARA: anna muuttujan NORM havainnon nro 50 arvoksi 5 VARB: anna muuttujan NORM havainnon nro 50 arvoksi +5 Tutki muuttujien VARA ja VARB jakaumia: Piirrä histogrammit Määrää aritmeettiset keskiarvot, mediaanit, vinoudet, huipukkuudet Piirrä Rankit Plot -kuviot ja testaa normaalisuutta Wilkin ja Shapiron testillä (taulukot: STATISTIX-ohjelman HELP) TKK Systeemianalyysin laboratorio (2009) 11/23

12 Ratkaisu: (a) Satunnaislukujen generointi Generoidaan tiedostoon RANDOM2 satunnaislukuja jakaumasta N(0,1) muuttujaksi NORM: Data > Transformations Transformation Expression NORM = NRandom (0,1) (b) Transformaatiot Kopioidaan tiedostoon RANDOM2 muuttuja NORM muuttujiksi VARA ja VARB: Data > Transformations Transformation Expression VARA / VARB = NORM Muutetaan havaintoarvo nro 50 muuttujassa VARA luvuksi 5. Muutetaan havaintoarvo nro 50 muuttujassa VARB luvuksi +5. (c) Jakauman tutkiminen: Histogrammit Statistics > Summary Statistics > Histogram Histogram Variables = NORM / VARA / VARB Low, High, Step = valitaan muuttujan arvojen mukaan sopivasti TKK Systeemianalyysin laboratorio (2009) 12/23

13 Frequency Frequency Mat Tilastollisen analyysin perusteet Histogram Variables = NORM Low, High, Step = -5.2, +5.2, 0.4 Histogram NORM Muuttuja NORM voisi olla normaalinen (ks. Wilkin ja Shapiron testiä alla). Histogram Variables = VARA Low, High, Step = -5.2, +5.2, 0.4 Histogram VARA Ulkopuolinen havainto 5 näkyy selvästi. TKK Systeemianalyysin laboratorio (2009) 13/23

14 Frequency Mat Tilastollisen analyysin perusteet Histogram Variables = VARB Low, High, Step = -5.2, +5.2, 0.4 Histogram VARB Ulkopuolinen havainto +5 näkyy selvästi. Tunnusluvut Statistics > Summary Statistics > Desriptive Statistics Descriptive Variables = VARA, VARB DESCRIPTIVE STATISTICS VARIABLE N MEAN MEDIAN SKEW KURTOSIS NORM VARA VARB Tarkastellaan miten ulkopuolinen havainto vaikuttaa tunnuslukuihin: Aritmeettiset keskiarvot (= MEAN): Ulkopuolinen havainto vetää aritmeettista keskiarvoa puoleensa. Mediaanit (= MEDIAN): Ulkopuolinen havainto ei vaikuta olennaisesti mediaanin arvoon. Tässä näkyy se, että mediaani on tunnuslukuna robustimpi kuin aritmeettinen keskiarvo. TKK Systeemianalyysin laboratorio (2009) 14/23

15 Ordered Data Mat Tilastollisen analyysin perusteet Vinoudet (= SKEW): Ulkopuolinen havainto muuttaa muuttujan NORM melko symmetrisen jakauman vinoksi: VARA on vino vasemmalle. VARB on vino oikealle. Huipukkuudet (= KURTOSIS): Ulkopuolinen havainto saa tässä tapauksessa huipukkuuden arvon kasvamaan. Rankit Plot -kuviot Statistics > Randomness/Normality Tests > Normal Probability Plot Plot Variable = NORM / VARA / VARB Plot Variable = NORM 3 Wilk-Shapiro / Rankit Plot of NORM Rankits Approximate Wilk-Shapiro cases Muuttujan NORM jakauma näyttää melko normaaliselta (kuten pitääkin). TKK Systeemianalyysin laboratorio (2009) 15/23

16 Ordered Data Ordered Data Mat Tilastollisen analyysin perusteet Plot Variable = VARA Wilk-Shapiro / Rankit Plot of VARA Rankits Approximate Wilk-Shapiro cases Muuttujan VARA jakauma näyttää melko normaaliselta, kun ulkopuolista havaintoa ei oteta huomioon. Plot Variable = VARB 5 Wilk-Shapiro / Rankit Plot of VARB Rankits Approximate Wilk-Shapiro cases Muuttujan VARB jakauma näyttää melko normaaliselta, kun ulkopuolista havaintoa ei oteta huomioon. TKK Systeemianalyysin laboratorio (2009) 16/23

17 Wilkin ja Shapiron testit Wilkin ja Shapiron testien tulokset: VARIABLE N W-S Päätös NORM H 0 jää voimaan VARA H 0 hylätään VARB H 0 hylätään Olkoon havaintojen lukumäärä 50. Tällöin kriittiset rajat 1 %:n ja 5 %:n merkitsevyystasoille ovat seuraavat: Merkitsevyystaso 1% 5% Kriittinen raja Jos Wilkin ja Shapiron testisuureen arvo alittaa kriittisen rajan, on nollahypoteesi hylättävä. Wilkin ja Shapiron testin mukaan nollahypoteesia muuttujan NORM normaalisuudesta ei voida hylätä 1 %:n merkitsevyystasolla, kun taas nollahypoteesit muuttujien VARA ja VARB normaalisuudesta voidaan hylätä. Yo. taulukon p-arvojen määrääminen: ks. Tehtävä 1. Huomaa, miten ulkopuolinen havainto on pienentänyt Wilkin ja Shapiron testisuureen arvoa yhteensopivuustesti Oletetaan, että henkilö ilmoittaa heittäneensä noppaa 120 kertaa ja saaneensa seuraavan silmälukujen frekvenssien jakauman: Silmäluku Frekvenssi Testaa 2 -yhteensopivuustestillä oletusta, että noppa on virheetön: (a) (b) Laske 2 -testisuureen arvo käyttäen STATISTIX-ohjelman transformaatioita. Laske 2 -testisuureen arvo käyttäen STATISTIX-ohjelman Association Tests -valikon Multinomial Test -vaihtoehtoa ja testaa nollahypoteesia, että noppa on ollut virheetön 5 %:n merkitsevyystasoa käyttäen. TKK Systeemianalyysin laboratorio (2009) 17/23

18 Ratkaisu: (a) 2 -testisuureen arvon laskeminen transformaatioilla Muodostetaan tiedosto NOPPA1: Muuttuja O = havaitut frekvenssit Muuttuja E = odotetut frekvenssit Määrätään odotetut frekvenssit E käyttäen nollahypoteesina oletusta: H 0 : Pr(Silmäluku i) = p i = 1/6, i = 1, 2, 3, 4, 5, 6 jolloin E i = np i = n/6 = 120/6 = 20, i = 1, 2, 3, 4, 5, 6 Tiedosto NOPPA1: O E testisuure: ( O E ) m 2 2 k k 2 a k1 Ek ( f ) jossa vapausasteiden lukumäärä f = m 1 p ja m = luokkien lukumäärä p = odotettujen frekvenssien määräämiseksi estimoitujen parametrien lukumäärä Muodostetaan muuttuja KHI: KHI = (O E) 2 /E Data > Transformations Transformation Expression Variable = (O E)^2/E TKK Systeemianalyysin laboratorio (2009) 18/23

19 Tiedosto NOPPA1 transformaation jälkeen: O E KHI testisuureen arvo saadaan laskemalla yhteen sarakkeen KHI luvut, jolloin tulokseksi saadaan 2 = 13.1 (b) 2 -yhteensopivuustesti Statistics > Association Tests > Multinomial Test Hypothesized Proportions Variable = E Observed Frequencies Variable = O MULTINOMIAL TEST HYPOTHESIZED PROPORTIONS VARIABLE: E OBSERVED FREQUENCIES VARIABLE: O HYPOTHESIZED OBSERVED EXPECTED CHI-SQUARE CATEGORY PROPORTION FREQUENCY FREQUENCY CONTRIBUTION OVERALL CHI-SQUARE P-VALUE DEGREES OF FREEDOM 5 2 -testisuureen arvo = ja sitä vastaava p-arvo = , kun vapausasteita on 5. Siten nollahypoteesi nopan virheettömyydestä voidaan hylätä 5 %:n merkitsevyystasolla. Huomaa, että testisuureen arvoksi saatiin sama kuin (a)-kohdassa kuten pitikin. TKK Systeemianalyysin laboratorio (2009) 19/23

20 4. 2 -homogeenisuustesti Vaaleja edeltäneessä kyselyssä tarkasteltiin neljän puolueen A, B, C ja D kannatusta kolmella alueella. Kysely toteutettiin poimimalla toisistaan riippumattomat yksinkertaiset satunnaisotokset ko. alueiden äänestäjien joukosta. Tulokset on annettu alla olevassa taulukossa. Testaa 2 -homogeenisuustestillä nollahypoteesia, että kannatuksen jakaumat ovat eri alueilla samat. Puolue Alue A B C D Otoskoko (a) (b) Ratkaisu: Käytä aineistoa taulukkomuodossa. Käytä aineistoa kategorisessa muodossa. Olkoon nollahypoteesina H 0 : Puoluekannatus jakautuu eri aleilla samalla tavalla. Havaitut frekvenssit: O ij = havaittu frekvenssi ryhmässä (otoksessa) i ja luokassa j, i = 1, 2,, r, j = 1, 2,, c Odotetut frekvenssit: jossa E n i C ij j nc i n c j1 r i1 Huomaa, että O j ij O ij n i = otoskoko ryhmässä i C j = luokkafrekvenssi yhdistetyssä otoksessa TKK Systeemianalyysin laboratorio (2009) 20/23

21 Nollahypoteesin H 0 pätiessä testisuure ( O E ) r c 2 2 ij ij 2 a i1 j1 Eij ( f ) jossa f = (r 1)(c 1) (a) Aineisto taulukkomuodossa A B C D homogeenisuustesti Statistics > Association Tests > Chi-Square Test Model Specification = Table Table Variables = A, B, C, D CHI-SQUARE TEST FOR HETEROGENEITY OR INDEPENDENCE VARIABLE CASE A B C D OBSERVED EXPECTED CELL CHI-SQ OBSERVED EXPECTED CELL CHI-SQ OBSERVED EXPECTED CELL CHI-SQ OVERALL CHI-SQUARE 9.48 P-VALUE DEGREES OF FREEDOM 6 CASES INCLUDED 12 MISSING CASES 0 TKK Systeemianalyysin laboratorio (2009) 21/23

22 2 -testisuureen arvo = 9.48 ja sitä vastaava p-arvo = , kun vapausasteita on 6. Siten nollahypoteesi siitä, että puoluekannatuksen jakauma on eri alueilla sama, jää voimaan. (b) Aineisto kategorisessa muodossa COUNT ROW COLUMN homogeenisuustesti Statistics > Association Tests > Chi-Square Test Model Specification = Categorical Count Variable = Count Row Variable = Row Column Variable = Column TKK Systeemianalyysin laboratorio (2009) 22/23

23 CHI-SQUARE TEST FOR HETEROGENEITY OR INDEPENDENCE FOR COUNT = ROW COLUMN COLUMN ROW OBSERVED EXPECTED CELL CHI-SQ OBSERVED EXPECTED CELL CHI-SQ OBSERVED EXPECTED CELL CHI-SQ OVERALL CHI-SQUARE 9.48 P-VALUE DEGREES OF FREEDOM 6 CASES INCLUDED 12 MISSING CASES 0 2 -testisuureen arvo = 9.48 ja sitä vastaava p-arvo = , kun vapausasteita on 6. Siten nollahypoteesi siitä, että puoluekannatuksen jakauma on eri alueilla sama, jää voimaan. Kommentti: Huomaa, että (a)- ja (b)-kohdissa on saatu täsmälleen sama tulos (kuten pitääkin); vain otsikkotiedot ovat tulostuksissa erilaiset. TKK Systeemianalyysin laboratorio (2009) 23/23