Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2005) 1

Transkriptio

1 Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (005) 1

2 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden otoksen t-testi A Kahden otoksen t-testi B t-testi parivertailuille Testi varianssille Varianssien vertailutesti TKK (c) Ilkka Mellin (005)

3 Testit suhdeasteikollisille muuttujille: Mitä opimme? 1/ Tarkastelemme tässä luvussa normaalijakauman parametreja koskevia tilastollisia testejä. Yhden otoksen testit: t-testi normaalijakauman odotusarvolle χ -testi normaalijakauman varianssille Kahden otoksen testit: t-testi A normaalijakaumien odotusarvojen vertailuun erisuurten varianssien tapauksessa t-testi B normaalijakaumien odotusarvojen vertailuun yhtä suurten varianssien tapauksessa t-testi normaalijakaumien odotusarvojen vertailuun parivertailutilanteessa F-testi normaalijakauman varianssien vertailuun TKK (c) Ilkka Mellin (005) 3

4 Testit suhdeasteikollisille muuttujille: Mitä opimme? / Tarkasteltavia testejä normaalijakauman odotusarvolle voidaan tavallisesti hyvin soveltaa myös ei-normaalisille havaintoaineistoille, jos havaintojen lukumäärä on riittävän suuri. TKK (c) Ilkka Mellin (005) 4

5 Testit suhdeasteikollisille muuttujille: Esitiedot Esitiedot: ks. seuraavia lukuja: Tilastollisten aineistojen kerääminen ja mittaaminen Tilastollisten aineistojen kuvaaminen Otos ja otosjakaumat Estimointi Estimointimenetelmät Väliestimointi Tilastolliset testit Tarvitset esitietoja myös seuraavista kalvokokoelman Johdatus todennäköisyyslaskentaan luvuista: Satunnaismuuttujat ja todennäköisyysjakaumat Jakaumien tunnusluvut Jatkuvia jakaumia Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (005) 5

6 Testit suhdeasteikollisille muuttujille: Lisätiedot Testejäjärjestysasteikollisille muuttujille käsitellään luvussa Testit järjestysasteikollisille muuttujille Testejälaatueroasteikollisille muuttujille käsitellään luvussa Testit laatueroasteikollisille muuttujille Jakaumaoletuksien testaamista käsitellään luvussa Yhteensopivuuden, homogeenisuuden ja riippumattomuuden testaaminen TKK (c) Ilkka Mellin (005) 6

7 Testit suhdeasteikollisille muuttujille >> Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden otoksen t-testi A Kahden otoksen t-testi B t-testi parivertailuille Testi varianssille Varianssien vertailutesti TKK (c) Ilkka Mellin (005) 7

8 Testit normaalijakauman parametreille Avainsanat Kahden otoksen testit Normaalijakauma Odotusarvo Otos Parametri Riippumattomat otokset Varianssi Vertailutesti Yhden otoksen testit TKK (c) Ilkka Mellin (005) 8

9 Testit normaalijakauman parametreille Normaalijakauman parametrien tilastolliset testit 1/ Normaalijakauma on tilastotieteen tärkein jakauma. Oletetaan, että satunnaismuuttuja X noudattaa normaalijakaumaa parametrein µ ja σ : X N( µ, σ ) Tällöin E(X) = µ on normaalijakauman odotusarvo ja Var(X) = σ on normaalijakauman varianssi. Parametrit µ ja σ määräävät täysin normaalijakauman. TKK (c) Ilkka Mellin (005) 9

10 Testit normaalijakauman parametreille Normaalijakauman parametrien tilastolliset testit / Normaalijakauman parametreja koskevat testit voidaan jakaa kahteen ryhmään: Yhden otoksen testit Kahden otoksen testit eli vertailutestit Yhden otoksen testeissä testataan yksinkertaisia nollahypoteeseja, jotka koskevat normaalijakauman odotusarvo- tai varianssiparametria. Kahden otoksen testit ovat vertailutestejä, joilla verrataan kahden normaalijakauman odotusarvo- tai varianssiparametreja toisiinsa. TKK (c) Ilkka Mellin (005) 10

11 Testit normaalijakauman parametreille Normaalijakauman parametreille tarkoitettujen testien yleinen soveltuvuus 1/ Testejä normaalijakauman odotusarvolle sovelletaan usein myös sellaisissa tilanteissa, joissa havainnot eivät noudata normaalijakaumaa. Tämä perustuu seuraaviin seikkoihin: (i) Esitettävät testit odotusarvolle perustuvat havaintojen aritmeettisiin keskiarvoihin. (ii) Keskeisen raja-arvolauseen mukaan myös einormaalisten havaintojen aritmeettiset keskiarvot noudattavat tietyin ehdoin suurissa otoksissa approksimatiivisesti normaalijakaumaa. TKK (c) Ilkka Mellin (005) 11

12 Testit normaalijakauman parametreille Normaalijakauman parametreille tarkoitettujen testien yleinen soveltuvuus / Sen sijaan testit normaalijakauman varianssille eivät yleensä ole käyttökelpoisia ei-normaalisille havainnoille ja tilanne ei välttämättä parane suurillakaan havaintojen lukumäärillä. TKK (c) Ilkka Mellin (005) 1

13 Testit normaalijakauman parametreille Tavanomaiset testit normaalijakauman parametreille Tarkastelemme seuraavia testejä normaalijakauman parametreille: Yhden otoksen t-testi odotusarvolle Kahden riippumattoman otoksen t-testi A odotusarvoille erisuurten varianssien tapauksessa Kahden riippumattoman otoksen t-testi B odotusarvoille yhtä suurten varianssien tapauksessa t-testi parivertailuille Yhden otoksen χ -testi varianssille Kahden riippumattoman otoksen F-testi variansseille TKK (c) Ilkka Mellin (005) 13

14 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille >> Yhden otoksen t-testi Kahden otoksen t-testi A Kahden otoksen t-testi B t-testi parivertailuille Testi varianssille Varianssien vertailutesti TKK (c) Ilkka Mellin (005) 14

15 Yhden otoksen t-testi Avainsanat Aritmeettinen keskiarvo Nollahypoteesi Normaalijakauma Odotusarvo Otos Otosvarianssi Parametri Testisuure Testisuureen jakauma Testisuureen normaaliarvo t-jakauma Varianssi Voimakkuus Yhden otoksen testit Yleinen hypoteesi TKK (c) Ilkka Mellin (005) 15

16 Yhden otoksen t-testi Testausasetelma 1/ Olkoon X 1, X,, X n yksinkertainen satunnaisotos perusjoukosta S, joka noudattaa normaalijakaumaa N( µ, σ ) Jakauma riippuu seuraavista parametreista: µ = jakauman odotusarvo σ = jakauman varianssi TKK (c) Ilkka Mellin (005) 16

17 Yhden otoksen t-testi Testausasetelma / Asetetaan normaalijakauman N( µ, σ ) odotusarvo- eli paikkaparametrille µ nollahypoteesi H 0 :µ = µ 0 Testausongelma: Ovatko havainnot sopusoinnussa nollahypoteesin H 0 kanssa? Ongelman ratkaisuna on yhden otoksen t-testi. TKK (c) Ilkka Mellin (005) 17

18 Yhden otoksen t-testi Hypoteesit Yleinen hypoteesi H : (i) Havainnot X i N( µ, σ ), i= 1,,, n (ii) Havainnot X 1, X,, X n ovat riippumattomia Nollahypoteesi H 0 : H 0 :µ = µ 0 Vaihtoehtoinen hypoteesi H 1 : H: 1 µ > µ 0 1-suuntaiset vaihtoehtoiset hypoteesit H: 1 µ < µ 0 H : µ µ -suuntainen vaihtoehtoinen hypoteesi 1 0 TKK (c) Ilkka Mellin (005) 18

19 Yhden otoksen t-testi Parametrien estimointi Olkoot X ja 1 n X i n i = 1 = 1 s X X n = ( i ) n 1 i= 1 tavanomaiset harhattomat estimaattorit parametreille E(X i ) = µ, i = 1,,, n ja Var(X i ) = σ, i = 1,,, n TKK (c) Ilkka Mellin (005) 19

20 Yhden otoksen t-testi Testisuure ja sen jakauma Määritellään t-testisuure X µ 0 t = s/ n Jos nollahypoteesi H 0 :µ = µ 0 pätee, niin testisuure t noudattaa Studentin t-jakaumaa vapausastein (n 1): t t( n 1) TKK (c) Ilkka Mellin (005) 0

21 Yhden otoksen t-testi Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu 1/ Oletetaan, että testin yleinen hypoteesi H ja nollahypoteesi H 0 pätevät: X 1, X,, X n X i N( µ 0, σ ), i = 1,,, n Koska tällöin (ks. lukua Otos ja otosjakaumat) niin X 1 σ n = Xi N µ 0, n i= 1 n X µ 0 z = N(0,1) σ / n Koska standardipoikkeama σ on tuntematon, satunnaismuuttujan z lauseke on testisuureena epäoperationaalinen. TKK (c) Ilkka Mellin (005) 1

22 Yhden otoksen t-testi Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu / Jos standardipoikkeama σ korvataan satunnaismuuttujan z lausekkeessa vastaavalla otossuureella n 1 s = ( Xi X) n 1 i= 1 niin saadaan t-testisuure X µ 0 t = s / n joka nollahypoteesin H 0 pätiessä noudattaa Studentin t-jakaumaa vapausastein (n 1): t t(n 1) Todistus: ks. lukua Otos ja otosjakaumat. TKK (c) Ilkka Mellin (005)

23 Yhden otoksen t-testi t-testisuure mittaa tilastollista etäisyyttä Testisuure X µ 0 t = s/ n mittaa havaintoarvojen aritmeettisen keskiarvon ja nollahypoteesin H 0 :µ = µ 0 kiinnittämän odotusarvoparametrin µ arvon µ 0 tilastollista etäisyyttä. Mittayksikkönä on erotuksen X µ 0 standardipoikkeaman σ / n estimaattori, jota määrättäessä on oletettu, että nollahypoteesi H 0 pätee. TKK (c) Ilkka Mellin (005) 3

24 Yhden otoksen t-testi Testi Testisuureen X µ 0 t = s/ n normaaliarvo = 0, koska nollahypoteesin pätiessä E(t) = 0 H 0 :µ = µ 0 Siten itseisarvoltaan suuret testisuureen t arvot viittaavat siihen, että nollahypoteesi H 0 ei päde. Nollahypoteesi H 0 hylätään, jos testin p-arvo on kyllin pieni. TKK (c) Ilkka Mellin (005) 4

25 Yhden otoksen t-testi Testin hylkäysalueen valinta 1/4 Valitaan testin merkitsevyystasoksi α. Jos vaihtoehtoinen hypoteesi on muotoa H 1 : µ > µ 0 niin kriittinen raja +t α saadaan ehdosta Pr(t +t α ) = α jossa t t(n 1) Testin hylkäysalue on tällöin muotoa (+t α, + ) TKK (c) Ilkka Mellin (005) 5

26 Yhden otoksen t-testi Testin hylkäysalueen valinta /4 Valitaan testin merkitsevyystasoksi α. Jos vaihtoehtoinen hypoteesi on muotoa H 1 : µ < µ 0 niin kriittinen raja t α saadaan ehdosta Pr(t t α ) = α jossa t t(n 1) Testin hylkäysalue on tällöin muotoa (, t α ) TKK (c) Ilkka Mellin (005) 6

27 Yhden otoksen t-testi Testin hylkäysalueen valinta 3/4 Valitaan testin merkitsevyystasoksi α. Jos vaihtoehtoinen hypoteesi on muotoa H 1 : µ µ 0 niin kriittiset rajat t α/ ja +t α/ saadaan ehdoista Pr(t t α/ ) = α/ Pr(t +t α/ ) = α/ jossa t t(n 1) Testin hylkäysalue on tällöin muotoa (, t α ) (+t α, + ) TKK (c) Ilkka Mellin (005) 7

28 Yhden otoksen t-testi Testin hylkäysalueen valinta 4/4 Oletetaan, että testin merkitsevyystasoksi on valittu α. Testin hylkäysalueen määräämistä voidaan havainnollistaa alla olevilla kuvioilla. H:µ 1 µ 0 H:µ µ > H:µ 1 < µ tn ( 1) tn ( 1) tn ( 1) 1 α α α 1 α 1 α 1 α 1 α + t α t α t α / +t α / Hylkäysalue Hylkäysalue Hylkäysalue Hylkäysalue TKK (c) Ilkka Mellin (005) 8

29 Yhden otoksen t-testi Testin p-arvo Olkoon t-testisuureen havaittu arvo t 0. Testin p-arvon määräämistä voidaan havainnollistaa alla olevilla kuvioilla. H:µ 1 µ 0 > 1 < H:µ µ H:µ µ tn ( 1) tn ( 1) tn ( 1) p p p p 1 p 1 p 1 p t + t t t Testin p-arvo = p Testin p-arvo = p Testin p-arvo = p TKK (c) Ilkka Mellin (005) 9

30 Yhden otoksen t-testi Normaalisuusoletuksen merkitys 1/ Yhden otoksen t-testin yleisessä hypoteesissa oletetaan, että havainnot ovat normaalijakautuneita. t-testi ei kuitenkaan ole herkkä poikkeamille normaalisuudesta, jos havaintojen lukumäärä n on kyllin suuri. TKK (c) Ilkka Mellin (005) 30

31 Yhden otoksen t-testi Normaalisuusoletuksen merkitys / Testiä on melko turvallista käyttää, kun havaintojen lukumäärä n > 15 ellei havaintojen jakauma ole kovin vino ja havaintojen joukossa ole poikkeavia havaintoja. Jos havaintojen lukumäärä n > 40 testiä voidaan melko turvallisesti käyttää jopa selvästi vinoille havaintojen jakaumille. TKK (c) Ilkka Mellin (005) 31

32 Yhden otoksen t-testi Testin hyväksymisvirheen todennäköisyys ja voimakkuus 1/6 Tarkastellaan t-testin hyväksymisvirheen todennäköisyyttä ja voimakkuutta tilanteessa, jossa normaalijakauman N( µ, σ ) varianssi σ oletetaan tunnetuksi. Olkoon nollahypoteesi muotoa H 0 :µ = µ 0 ja vaihtoehtoinen hypoteesi muotoa H:µ 1 < µ 0 Huomautus: Jos normaalijakauman varianssia σ ei oleteta tunnetuksi, vaatii t-testin voimakkuuden määrääminen ns. epäkeskisen t-jakauman määrittelemistä. Tämän yleisen tapauksen käsittely sivuutetaan tässä esityksessä. TKK (c) Ilkka Mellin (005) 3

33 Yhden otoksen t-testi Testin hyväksymisvirheen todennäköisyys ja voimakkuus /6 t-testisuure X µ 0 t = σ / n noudattaa nollahypoteesin H 0 :µ = µ 0 pätiessä standardoitua normaalijakaumaa (ks. lukua Otos ja otosjakaumat): t N(0, 1) TKK (c) Ilkka Mellin (005) 33

34 Yhden otoksen t-testi Testin hyväksymisvirheen todennäköisyys ja voimakkuus 3/6 Vaihtoehtoisen hypoteesin H:µ 1 < µ 0 tapauksessa t-testin päätössääntö on muotoa: Hylkää nollahypoteesi H 0 :µ = µ 0 jos X µ 0 t = < zα σ / n Kriittinen raja z α saadaan ehdosta Pr(z z α ) = α jossa z N(0, 1). TKK (c) Ilkka Mellin (005) 34

35 Yhden otoksen t-testi Testin hyväksymisvirheen todennäköisyys ja voimakkuus 4/6 Vaihtoehtoisen hypoteesin H:µ 1 < µ 0 tapauksessa t-testin päätössääntö voidaan kirjoittaa myös seuraavaan muotoon: Hylkää nollahypoteesi H 0 :µ = µ 0 jos X < µ 0 zασ / n = Xc Kriittinen raja z α saadaan ehdosta Pr(z z α ) = α jossa z N(0, 1). TKK (c) Ilkka Mellin (005) 35

36 Yhden otoksen t-testi Testin hyväksymisvirheen todennäköisyys ja voimakkuus 5/6 Vaihtoehtoisen hypoteesin H:µ 1 < µ 0 tapauksessa t-testin hyväksymisvirheen todennäköisyys β on ehdollinen todennäköisyys jossa β = Pr(H0 jätetään voimaan H0ei ole tosi) = Pr( X X µ = µ ) = Pr z µ µ 0 c X c µ σ / n TKK (c) Ilkka Mellin (005) 36

37 Yhden otoksen t-testi Testin hyväksymisvirheen todennäköisyys ja voimakkuus 6/6 Vaihtoehtoisen hypoteesin H:µ 1 < µ 0 tapauksessa t-testin voimakkuus 1 β on ehdollinen todennäköisyys 1 β = Pr(H0hylätään H0ei ole tosi) = Pr( X < X µ = µ ) jossa µ µ 0 = Pr z < c X c µ σ / n TKK (c) Ilkka Mellin (005) 37

38 Yhden otoksen t-testi Testin hyväksymisvirheen todennäköisyys ja voimakkuus: Havainnollistus 1/3 Kuvio oikealla havainnollistaa t- testin hyväksymisvirheen todennäköisyyttä β ja voimakkuutta 1 β. Yleinen hypoteesi H : X 1, X,, X n X i ~ N(µ, σ ), i = 1,,, n Nollahypoteesi H 0 : µ = µ 0 Vaihtoehtoinen hypoteesi H 1 : µ < µ 0 N(µ,σ /n ) N(µ 0,σ /n) α β µ µ 0 X c TKK (c) Ilkka Mellin (005) 38

39 Yhden otoksen t-testi Testin hyväksymisvirheen todennäköisyys ja voimakkuus: Havainnollistus /3 Valitaan merkitsevyystasoksi α. Kriittinen raja z α : Pr(z z α ) = α z N(0, 1) Kriittinen raja X c : X c = µ 0 zασ / n Päätössääntö: Hylkää nollahypoteesi H 0, jos X < X c N(µ,σ /n ) α N(µ 0,σ /n) β µ µ 0 X c TKK (c) Ilkka Mellin (005) 39

40 Yhden otoksen t-testi Testin hyväksymisvirheen todennäköisyys ja voimakkuus: Havainnollistus 3/3 Hyväksymisvirheen todennäköisyys β : β = Pr( X X c µ = µ ) Voimakkuus 1 β : 1 β = Pr( X < X c µ = µ ) N(µ,σ /n ) N(µ 0,σ /n) α β µ µ 0 X c TKK (c) Ilkka Mellin (005) 40

41 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi >> Kahden otoksen t-testi A Kahden otoksen t-testi B t-testi parivertailuille Testi varianssille Varianssien vertailutesti TKK (c) Ilkka Mellin (005) 41

42 Kahden otoksen t-testi A Avainsanat Aritmeettinen keskiarvo Kahden otoksen testit Nollahypoteesi Normaalijakauma Odotusarvo Otosvarianssi Parametri Riippumattomat otokset Testisuure Testisuureen jakauma Testisuureen normaaliarvo t-jakauma Varianssi Vertailutesti Yleinen hypoteesi TKK (c) Ilkka Mellin (005) 4

43 Kahden otoksen t-testi A Testausasetelma 1/4 Olkoon X11, X1,, Xn 11 yksinkertainen satunnaisotos perusjoukosta S 1, joka noudattaa normaalijakaumaa N( µ 1, σ1) Jakauma riippuu seuraavista parametreista: µ 1 = jakauman odotusarvo σ 1 = jakauman varianssi TKK (c) Ilkka Mellin (005) 43

44 Kahden otoksen t-testi A Testausasetelma /4 Olkoon X1, X,, Xn yksinkertainen satunnaisotos perusjoukosta S, joka noudattaa normaalijakaumaa N( µ, σ ) Jakauma riippuu seuraavista parametreista: µ = jakauman odotusarvo σ = jakauman varianssi TKK (c) Ilkka Mellin (005) 44

45 Kahden otoksen t-testi A Testausasetelma 3/4 Oletetaan lisäksi, että perusjoukosta S 1 poimittu otos X11, X1,, Xn 11 ja perusjoukosta S poimittu otos X1, X,, Xn ovat toisistaan riippumattomia. Otosten riippumattomuus merkitsee sitä, että se mikä alkio poimitaan perusjoukosta S 1 ei vaikuta siihen mikä alkioista poimitaan perusjoukosta S ja kääntäen. TKK (c) Ilkka Mellin (005) 45

46 Kahden otoksen t-testi A Testausasetelma 4/4 Asetetaan normaalijakaumien N( µ 1, σ1) ja N( µ, σ ) odotusarvo-eli paikkaparametreille µ 1 ja µ nollahypoteesi H 0:µ 1 = µ = µ Testausongelma: Ovatko havainnot sopusoinnussa nollahypoteesin H 0 kanssa? Ongelman ratkaisuna on kahden riippumattoman otoksen t-testi erisuurten varianssien tapauksessa. Huomautus: Jos voidaan olettaa, että σ1 = σ, testauksessa kannattaa käyttää kahden riippumattoman otoksen t-testiä B. TKK (c) Ilkka Mellin (005) 46

47 Kahden otoksen t-testi A Yleinen hypoteesi Yleinen hypoteesi H : (1) Havainnot X i1 N( µ 1, σ 1), i= 1,,, n1 () Havainnot X j N( µ, σ ), j = 1,,, n (3) Havainnot X i1 ja X j ovat riippumattomia kaikille i ja j. Huomautuksia: Oletus (3) sisältää kolme riippumattomuusoletusta: Havainnot ovat riippumattomia otoksien 1 ja sisällä. Havainnot ovat riippumattomia otoksien 1 ja välillä. Jakaumien variansseja ja ei ole oletettu yhtä suuriksi; vrt. kahden otoksen t-testi B. TKK (c) Ilkka Mellin (005) 47

48 Kahden otoksen t-testi A Nollahypoteesi ja vaihtoehtoiset hypoteesit Nollahypoteesi H 0 : H 0:µ 1 = µ = µ Vaihtoehtoinen hypoteesi H 1 : H: 1 µ 1 > µ 1-suuntaiset vaihtoehtoiset hypoteesit H: 1 µ 1 < µ H : µ µ -suuntainen vaihtoehtoinen hypoteesi 1 1 TKK (c) Ilkka Mellin (005) 48

49 Kahden otoksen t-testi A Parametrien estimointi Olkoot ja n 1 k Xk = Xik, k = 1, n k i = 1 n 1 k s = ( X X ), k = 1, k ik k n k 1 i= 1 tavanomaiset harhattomat estimaattorit parametreille E(X ik ) = µ k, i = 1,,, n k, k = 1, ja Var(X ik ) = σ k, i = 1,,, n k, k = 1, TKK (c) Ilkka Mellin (005) 49

50 Kahden otoksen t-testi A Testisuure ja sen asymptoottinen jakauma Määritellään t-testisuure X1 X t = s1 s + n1 n Jos nollahypoteesi H 0:µ 1 = µ = µ pätee, niin testisuure t noudattaa suurissa otoksissa approksimatiivisesti standardoitua normaalijakaumaa N(0,1): t a N(0,1) TKK (c) Ilkka Mellin (005) 50

51 Kahden otoksen t-testi A Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu 1/3 Oletetaan, että testin yleinen hypoteesi H ja nollahypoteesi H 0 pätevät: X, X,, X, X, X,, X 11 1 n 1 1 n 1 X N( µσ, ), i = 1,,, n i1 1 1 X j N( µσ, ), j = 1,,, n Tällöin (ks. lukua Otos ja otosjakaumat) n1 1 σ 1 X1 = Xi 1 N µ, n1 i= 1 n1 n 1 σ X = X j N µ, n j= 1 n Koska X1 X, niin σ1 σ X1 X N 0, + n1 n TKK (c) Ilkka Mellin (005) 51

52 Kahden otoksen t-testi A Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu /3 Edellä esitetystä seuraa, että X1 X z = N(0,1) σ1 σ + n1 n Koska varianssit σ ovat tuntemattomia, satunnaismuuttujan z 1 ja σ lauseke on testisuureena epäoperationaalinen. TKK (c) Ilkka Mellin (005) 5

53 Kahden otoksen t-testi A Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu 3/3 Jos satunnaismuuttujan z lausekkeessa varianssit σ1 ja σ korvataan vastaavilla otossuureilla n 1 k sk = ( Xik Xk), k = 1, n k 1 i= 1 niin saadaan t-testisuure X1 X t = s1 s + n n 1 joka nollahypoteesin H 0 pätiessä noudattaa suurissa otoksissa approksimatiivisesti standardoitua normaalijakaumaa N(0, 1): t a N(0, 1) Todistus sivuutetaan. TKK (c) Ilkka Mellin (005) 53

54 Kahden otoksen t-testi A Testisuureen jakauman approksimointi Pienissä otoksissa saadaan testisuureen t jakaumalle parempi approksimaatio käyttämällä approksimaationa Studentin t-jakaumaa vapausastein (ns. Satterthwaiten approksimaatio) ν = s n s + n s 1 s 1 + n1 1 n 1 n 1 n TKK (c) Ilkka Mellin (005) 54

55 Kahden otoksen t-testi A t-testisuure mittaa tilastollista etäisyyttä Testisuure X X t = s s + n n mittaa otoksien 1 ja aritmeettisten keskiarvojen tilastollista etäisyyttä. Mittayksikkönä on erotuksen X1 X standardipoikkeaman σ1 σ + n1 n estimaattori, jota määrättäessä on oletettu, että nollahypoteesi H 0 pätee. TKK (c) Ilkka Mellin (005) 55

56 Kahden otoksen t-testi A Testi Testisuureen X X t = s s + n n normaaliarvo = 0, koska nollahypoteesin pätiessä E(t) = 0 H 0:µ 1 = µ = µ Siten itseisarvoltaan suuret testisuureen t arvot viittaavat siihen, että nollahypoteesi H 0 ei päde. Nollahypoteesi H 0 hylätään, jos testin p-arvo on kyllin pieni. TKK (c) Ilkka Mellin (005) 56

57 Kahden otoksen t-testi A Testin hylkäysalueen valinta 1/5 Käsittelemme seuraavassa kahden otoksen t-testin A hylkäysalueen valintaa, jos testisuureen approksimoidaan standardoidulla normaalijakaumalla N(0, 1). Jos kahden otoksen t-testin A testisuuretta approksimoidaan Studentin t-jakaumalla, jossa vapausasteiden lukumäärä ν lasketaan Satterthwaiten kaavan mukaan, testin hylkäysalue määrätään samalla tavalla kuin yhden otoksen t-testin tapauksessa. TKK (c) Ilkka Mellin (005) 57

58 Kahden otoksen t-testi A Testin hylkäysalueen valinta /5 Valitaan testin merkitsevyystasoksi α. Jos vaihtoehtoinen hypoteesi on muotoa H 1 : µ > µ 0 niin kriittinen raja +t α saadaan ehdosta Pr(t +t α ) = α jossa t a N(0, 1) Testin hylkäysalue on tällöin muotoa (+t α, + ) TKK (c) Ilkka Mellin (005) 58

59 Kahden otoksen t-testi A Testin hylkäysalueen valinta 3/5 Valitaan testin merkitsevyystasoksi α. Jos vaihtoehtoinen hypoteesi on muotoa H 1 : µ < µ 0 niin kriittinen raja t α saadaan ehdosta Pr(t t α ) = α jossa t a N(0, 1) Testin hylkäysalue on tällöin muotoa (, t α ) TKK (c) Ilkka Mellin (005) 59

60 Kahden otoksen t-testi A Testin hylkäysalueen valinta 4/5 Valitaan testin merkitsevyystasoksi α. Jos vaihtoehtoinen hypoteesi on muotoa H 1 : µ µ 0 niin kriittiset rajat t α/ ja +t α/ saadaan ehdoista Pr(t t α/ ) = α/ Pr(t +t α/ ) = α/ jossa t a N(0,1) Testin hylkäysalue on tällöin muotoa (, t α ) (+t α, + ) TKK (c) Ilkka Mellin (005) 60

61 Kahden otoksen t-testi A Testin hylkäysalueen valinta 5/5 Oletetaan, että testin merkitsevyystasoksi on valittu α. Testin hylkäysalueen määräämistä voidaan havainnollistaa alla olevilla kuvioilla. H:µ 1 1 µ > 1 1 < H:µ 1 1 µ H:µ µ N(0,1) N(0,1) N(0,1) 1 α α α 1 α 1 α 1 α 1 α + t α t α t α / +t α / Hylkäysalue Hylkäysalue Hylkäysalue Hylkäysalue TKK (c) Ilkka Mellin (005) 61

62 Kahden otoksen t-testi A Testin p-arvo Olkoon t-testisuureen havaittu arvo t 0. Testin p-arvon määräämistä voidaan havainnollistaa alla olevilla kuvioilla. H:µ 1 1 µ > 1 1 < H:µ 1 1 µ H:µ µ N(0,1) N(0,1) N(0,1) p p p p 1 p 1 p 1 p t + t t t Testin p-arvo = p Testin p-arvo = p Testin p-arvo = p TKK (c) Ilkka Mellin (005) 6

63 Kahden otoksen t-testi A Normaalisuusoletuksen merkitys 1/ Kahden otoksen t-testin A yleisen hypoteesin mukaan havainnot ovat molemmissa otoksissa normaalijakautuneita. Testi ei kuitenkaan ole herkkä poikkeamille normaalisuudesta, jos molempien otosten otoskoot ovat kyllin suuria. TKK (c) Ilkka Mellin (005) 63

64 Kahden otoksen t-testi A Normaalisuusoletuksen merkitys / Testiä on melko turvallista käyttää, kun n 1 > 15 ja n > 15 ja n 1 ja n eivät eroa toisistaan kovin paljon, elleivät havaintojen jakaumat ole kovin vinoja ja ellei havaintojen joukossa ole poikkeavia havaintoja. Jos n 1 > 40 ja n > 40 testiä voidaan melko turvallisesti käyttää jopa selvästi vinoille havaintojen jakaumille. TKK (c) Ilkka Mellin (005) 64

65 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden otoksen t-testi A >> Kahden otoksen t-testi B t-testi parivertailuille Testi varianssille Varianssien vertailutesti TKK (c) Ilkka Mellin (005) 65

66 Kahden otoksen t-testi B Avainsanat Aritmeettinen keskiarvo Kahden otoksen testit Nollahypoteesi Normaalijakauma Odotusarvo Otosvarianssi Parametri Riippumattomat otokset Testisuure Testisuureen jakauma Testisuureen normaaliarvo t-jakauma Varianssi Vertailutesti Yleinen hypoteesi TKK (c) Ilkka Mellin (005) 66

67 Kahden otoksen t-testi B Testausasetelma 1/4 Olkoon X11, X1,, Xn 11 yksinkertainen satunnaisotos perusjoukosta S 1, joka noudattaa normaalijakaumaa N( µ 1, σ ) Jakauma riippuu seuraavista parametreista: µ 1 = jakauman odotusarvo σ = jakauman varianssi TKK (c) Ilkka Mellin (005) 67

68 Kahden otoksen t-testi B Testausasetelma /4 Olkoon X1, X,, Xn yksinkertainen satunnaisotos perusjoukosta S, joka noudattaa normaalijakaumaa N( µ, σ ) Jakauma riippuu seuraavista parametreista: µ = jakauman odotusarvo σ = jakauman varianssi TKK (c) Ilkka Mellin (005) 68

69 Kahden otoksen t-testi B Testausasetelma 3/4 Oletetaan lisäksi, että perusjoukosta S 1 poimittu otos X11, X1,, Xn 11 ja perusjoukosta S poimittu otos X1, X,, Xn ovat toisistaan riippumattomia. Otosten riippumattomuus merkitsee sitä, että se mikä alkio poimitaan perusjoukosta S 1 ei vaikuta siihen mikä alkioista poimitaan perusjoukosta S ja kääntäen. TKK (c) Ilkka Mellin (005) 69

70 Kahden otoksen t-testi B Testausasetelma 4/4 Asetetaan normaalijakaumien N( µ 1, σ ) ja N( µ, σ ) odotusarvo-eli paikkaparametreille µ 1 ja µ nollahypoteesi H 0:µ 1 = µ = µ Testausongelma: Ovatko havainnot sopusoinnussa nollahypoteesin H 0 kanssa? Ongelman ratkaisuna on kahden riippumattoman otoksen t-testi yhtä suurten varianssien tapauksessa. Huomautus: Jos jakaumien varianssit eivät ole yhtä suuret, testauksessa on käytettävä kahden riippumattoman otoksen t-testiä A. TKK (c) Ilkka Mellin (005) 70

71 Kahden otoksen t-testi B Yleinen hypoteesi Yleinen hypoteesi H : (1) X i1 N( µ 1, σ ), i= 1,,, n1 () X j N( µ, σ ), j = 1,,, n (3) Havainnot X i1 ja X j ovat riippumattomia kaikille i ja j Huomautuksia: Oletus (3) sisältää kolme riippumattomuusoletusta: Havainnot ovat riippumattomia otoksien 1 ja sisällä. Havainnot ovat riippumattomia otoksien 1 ja välillä. Jakaumien varianssit on tässä oletettu yhtä suuriksi; vrt. kahden otoksen t-testi A. TKK (c) Ilkka Mellin (005) 71

72 Kahden otoksen t-testi B Nollahypoteesi ja vaihtoehtoiset hypoteesit Nollahypoteesi H 0 : H 0:µ 1 = µ = µ Vaihtoehtoinen hypoteesi H 1 : H: 1 µ 1 > µ 1-suuntaiset vaihtoehtoiset hypoteesit H: 1 µ 1 < µ H : µ µ -suuntainen vaihtoehtoinen hypoteesi 1 1 TKK (c) Ilkka Mellin (005) 7

73 Kahden otoksen t-testi B Parametrien estimointi Olkoot ja n 1 k Xk = Xik, k = 1, n k i = 1 n 1 k s = ( X X ), k = 1, k ik k n k 1 i= 1 tavanomaiset harhattomat estimaattorit parametreille E(X ik ) = µ k, i = 1,,, n k, k = 1, ja Var(X ik ) = σ, i = 1,,, n k, k = 1, TKK (c) Ilkka Mellin (005) 73

74 Kahden otoksen t-testi B Yhdistetty varianssiestimaattori Määritellään ns. yhdistetty varianssiestimaattori s Yhdistetty varianssiestimaattori s P on harhaton estimaattori varianssiparametrille σ, jos nollahypoteesi H :µ = µ = µ pätee. Huomautus: ( n 1) s + ( n 1) s 1 1 P = n1+ n 0 1 Yhdistetty varianssiestimaattori s P ei ole sama kuin yhdistetyn otoksen varianssi, koska otoskeskiarvot X1 ja X eivät (yleensä) ole yhtä suuria. TKK (c) Ilkka Mellin (005) 74

75 Kahden otoksen t-testi B Testisuure ja sen jakauma Määritellään t-testisuure X1 X t = 1 1 sp + n1 n Jos nollahypoteesi H 0:µ 1 = µ = µ pätee, niin testisuure t noudattaa Studentin t-jakaumaa vapausastein (n 1 + n ): t t( n + n ) 1 TKK (c) Ilkka Mellin (005) 75

76 Kahden otoksen t-testi B Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu 1/3 Oletetaan, että testin yleinen hypoteesi H ja nollahypoteesi H 0 pätevät: X, X,, X, X, X,, X Tällöin (ks. lukua Otos ja otosjakaumat) X 11 1 n 1 1 n X N 0, σ + n1 n 1 X N( µσ, ), i = 1,,, n i1 1 j N( µσ, ), = 1,,, X j n n1 1 σ X1 = Xi 1 N µ, n1 i= 1 n1 n 1 σ X = X j N µ, n j= 1 n Koska X X, niin 1 TKK (c) Ilkka Mellin (005) 76

77 Kahden otoksen t-testi B Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu /3 Edellä esitetystä seuraa, että X1 X z = N(0,1) 1 1 σ + n n 1 Koska standardipoikkeama σ on tuntematon, satunnaismuuttujan z lauseke on testisuureena epäoperationaalinen. Määritellään otosvarianssit n 1 k sk = ( Xik Xk), k = 1, 1 n k i= 1 TKK (c) Ilkka Mellin (005) 77

78 Kahden otoksen t-testi B Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu 3/3 Jos satunnaismuuttujan z lausekkeessa standardipoikkeama σ korvataan otossuureella ( n1 1) s1 + ( n 1) s sp = n + n niin saadaan t-testisuure X1 X t = 1 1 sp + n n 1 1 joka nollahypoteesin H 0 pätiessä noudattaa Studentin t-jakaumaa vapausastein (n 1 + n ): t t(n 1 + n ) Todistus sivuutetaan; ks. kuitenkin vastaavaa todistusta yhden otoksen t-testin tapauksessa ja siellä esitettyjä viittauksia. TKK (c) Ilkka Mellin (005) 78

79 Kahden otoksen t-testi B t-testisuure mittaa tilastollista etäisyyttä Testisuure X t = s P n n mittaa otoksien 1 ja aritmeettisten keskiarvojen tilastollista etäisyyttä. Mittayksikkönä on erotuksen X1 X standardipoikkeaman 1 1 σ + n n 1 X 1 estimaattori, jota määrättäessä on oletettu, että nollahypoteesi H 0 pätee. TKK (c) Ilkka Mellin (005) 79

80 Kahden otoksen t-testi B Testi Testisuureen X1 X t = 1 1 sp + n n 1 normaaliarvo = 0, koska nollahypoteesin pätiessä E(t) = 0 H 0:µ 1 = µ = µ Siten itseisarvoltaan suuret testisuureen t arvot viittaavat siihen, että nollahypoteesi H 0 ei päde. Nollahypoteesi H 0 hylätään, jos testin p-arvo on kyllin pieni. TKK (c) Ilkka Mellin (005) 80

81 Kahden otoksen t-testi B Testin hylkäysalueen valinta sekä testin p-arvo Kahden otoksen t-testin B hylkäysalueen valinta tapahtuu kuten yhden otoksen t-testin tapauksessa paitsi, että t-testisuure noudattaa tässä Studentin t-jakaumaa vapausastein (n 1 + n ). Kahden otoksen t-testin B testisuureen arvoa vastaavan p- arvon määrääminen tapahtuu kuten yhden otoksen t-testin tapauksessa paitsi, että t-testisuure noudattaa tässä Studentin t-jakaumaa vapausastein (n 1 + n ). TKK (c) Ilkka Mellin (005) 81

82 Kahden otoksen t-testi B Normaalisuusoletuksen merkitys 1/ Kahden otoksen t-testin B yleisen hypoteesin mukaan havainnot ovat molemmissa otoksissa normaalijakautuneita. Testi ei kuitenkaan ole herkkä poikkeamille normaalisuudesta, jos molempien otosten otoskoot ovat kyllin suuria. TKK (c) Ilkka Mellin (005) 8

83 Kahden otoksen t-testi B Normaalisuusoletuksen merkitys / Testiä on melko turvallista käyttää, kun n 1 > 15 ja n > 15 ja n 1 ja n eivät eroa toisistaan kovin paljon, elleivät havaintojen jakaumat ole kovin vinoja ja ellei havaintojen joukossa ole poikkeavia havaintoja. Jos n 1 > 40 ja n > 40 testiä voidaan melko turvallisesti käyttää jopa selvästi vinoille havaintojen jakaumille. TKK (c) Ilkka Mellin (005) 83

84 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden otoksen t-testi A Kahden otoksen t-testi B >> t-testi parivertailuille Testi varianssille Varianssien vertailutesti TKK (c) Ilkka Mellin (005) 84

85 t-testi parivertailuille Avainsanat Aritmeettinen keskiarvo Nollahypoteesi Normaalijakauma Odotusarvo Otos Otosvarianssi Parametri Parivertailu Testisuure Testisuureen jakauma Testisuureen normaaliarvo t-jakauma Varianssi Yhden otoksen testit Yleinen hypoteesi TKK (c) Ilkka Mellin (005) 85

86 t-testi parivertailuille Parivertailuasetelma Parivertailuasetelma syntyy tilastollisessa tutkimuksessa esimerkiksi seuraavissa tilanteissa: (i) Päämääränä on verrata kahta mittaria mittaamalla molemmilla mittareilla samoja kohteita samoissa olosuhteissa. (ii) Päämääränä on tutkia jonkin käsittelyn vaikutusta mittaamalla samoja kohteita ennen käsittelyä ja käsittelyn jälkeen. (iii) Päämääränä on vertailla kahta perusjoukkoa mittaamalla saman muuttujan arvoja perusjoukkojen alkioiden sovitetuissa pareissa. TKK (c) Ilkka Mellin (005) 86

87 t-testi parivertailuille Testausasetelma 1/ Oletetaan, että havainnot muodostuvat muuttujaa X koskevista mittaustuloksien pareista (X i1, X i ), i = 1,,, n jotka ovat toisistaan riippumattomia. Päämääränä on verrata mittauksia toisiinsa: Antavatko mittaukset keskimäärin saman tuloksen? Tällaisissa parivertailuasetelmissa ei saa käyttää riippumattomien otoksien t-testejä A tai B, koska parivertailuasetelmissa mittaustulokset X i1 ja X i eivät ole riippumattomia. TKK (c) Ilkka Mellin (005) 87

88 t-testi parivertailuille Testausasetelma / Muodostetaan mittaustuloksien X i1 ja X i erotukset D, 1,,, i = Xi 1 Xi i = n Mittaukset 1 ja antavat keskimäärin saman tuloksen, jos erotukset D i saavat keskimäärin arvon nolla. Testausongelman ratkaisuna on tavanomainen yhden otoksen t-testi mittaustuloksien X i1 ja X i erotuksien D i odotusarvolle. TKK (c) Ilkka Mellin (005) 88

89 t-testi parivertailuille Hypoteesit Yleinen hypoteesi H : (1) Erotukset Di N( µ D, σ D), i= 1,,, n () Erotukset D 1, D,, D n ovat riippumattomia Nollahypoteesi H 0 : H : µ = 0 0 D Vaihtoehtoinen hypoteesi H 1 : H: 1 µ D > 0 1-suuntaiset vaihtoehtoiset hypoteesit H: 1 µ D < 0 H : µ 0 -suuntainen vaihtoehtoinen hypoteesi 1 D TKK (c) Ilkka Mellin (005) 89

90 t-testi parivertailuille Parametrien estimointi Olkoot 1 n Di n i = 1 D= ja 1 s D D n D = ( i ) n 1 i= 1 tavanomaiset harhattomat estimaattorit parametreille E(D i ) = µ D, i = 1,,, n ja Var(D i ) = σ D, i = 1,,, n TKK (c) Ilkka Mellin (005) 90

91 t-testi parivertailuille Testisuure ja sen jakauma Määritellään t-testisuure D t = sd / n Jos nollahypoteesi H 0 : µ D = 0 pätee, niin testisuure t noudattaa Studentin t-jakaumaa vapausastein (n 1): t t( n 1) TKK (c) Ilkka Mellin (005) 91

92 t-testi parivertailuille Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu 1/ Oletetaan, että testin yleinen hypoteesi H ja nollahypoteesi H 0 pätevät: D 1, D,, D n Di N(0, σ D), i = 1,,, n Koska tällöin (ks. lukua Otos ja otosjakaumat) n 1 σ D D= Di N 0, n i= 1 n niin D z = N(0,1) σ D / n Koska standardipoikkeama σ D on tuntematon, satunnaismuuttujan z lauseke on testisuureena epäoperationaalinen. TKK (c) Ilkka Mellin (005) 9

93 t-testi parivertailuille Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu / Jos satunnaismuuttujan z lausekkeessa standardipoikkeama σ D korvataan vastaavalla otossuureella n 1 sd = ( Di D) n 1 i= 1 niin saadaan t-testisuure D t = sd / n joka nollahypoteesin H 0 pätiessä noudattaa Studentin t-jakaumaa vapausastein (n 1): t t(n 1) Todistus: ks. kappaletta Yhden otoksen t-testi. TKK (c) Ilkka Mellin (005) 93

94 t-testi parivertailuille t-testisuure mittaa tilastollista etäisyyttä Testisuure D t = s / D n mittaa havaintoarvojen erotuksien aritmeettisen keskiarvon tilastollista etäisyyttä nollasta. Mittayksikkönä on erotuksien D i aritmeettisen keskiarvon D standardipoikkeaman σ D n estimaattori, jota määrättäessä on oletettu, että nollahypoteesi H 0 pätee. TKK (c) Ilkka Mellin (005) 94

95 t-testi parivertailuille Testi Testisuureen D t = s / D n normaaliarvo = 0, koska nollahypoteesin H 0 : µ D = 0 pätiessä E(t) = 0 Siten itseisarvoltaan suuret testisuureen t arvot viittaavat siihen, että nollahypoteesi H 0 ei päde. Nollahypoteesi H 0 hylätään, jos testin p-arvo on kyllin pieni. TKK (c) Ilkka Mellin (005) 95

96 t-testi parivertailuille Testin hylkäysalueen valinta sekä testin p-arvo Parivertailutestin hylkäysalueen valinta tapahtuu kuten yhden otoksen t-testin tapauksessa. Parivertailutestin testisuureen arvoa vastaavan p-arvon määrääminen tapahtuu kuten yhden otoksen t-testin tapauksessa. TKK (c) Ilkka Mellin (005) 96

97 t-testi parivertailuille Normaalisuusoletuksen merkitys 1/ Parivertailuasetelman t-testin yleisessä hypoteesissa oletetaan, että havaintoarvojen erotukset ovat normaalijakautuneita. Testi ei kuitenkaan ole herkkä poikkeamille normaalisuudesta, jos havaintojen lukumäärä n on kyllin suuri. TKK (c) Ilkka Mellin (005) 97

98 t-testi parivertailuille Normaalisuusoletuksen merkitys / Testiä on melko turvallista käyttää, kun n > 15 ellei erotusten jakauma ole kovin vino ja erotuksien joukossa ole poikkeavia erotuksia. Jos havaintojen lukumäärä n > 40 testiä voidaan melko turvallisesti käyttää jopa selvästi vinoille erotuksien jakaumille. TKK (c) Ilkka Mellin (005) 98

99 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden otoksen t-testi A Kahden otoksen t-testi B t-testi parivertailuille >> Testi varianssille Varianssien vertailutesti TKK (c) Ilkka Mellin (005) 99

100 Testi varianssille Avainsanat Aritmeettinen keskiarvo χ -jakauma Nollahypoteesi Normaalijakauma Odotusarvo Otos Otosvarianssi Parametri Testisuure Testisuureen jakauma Testisuureen normaaliarvo Varianssi Yhden otoksen testit Yleinen hypoteesi TKK (c) Ilkka Mellin (005) 100

101 Testi varianssille Testausasetelma 1/ Olkoon X 1, X,, X n yksinkertainen satunnaisotos perusjoukosta S, joka noudattaa normaalijakaumaa N( µ, σ ) Jakauma riippuu seuraavista parametreista: µ = jakauman odotusarvo σ = jakauman varianssi TKK (c) Ilkka Mellin (005) 101

102 Testi varianssille Testausasetelma / Asetetaan normaalijakauman N( µ, σ ) varianssiparametrille σ nollahypoteesi H 0 :σ = σ0 Testausongelma: Ovatko havainnot sopusoinnussa nollahypoteesin H 0 kanssa? Ongelman ratkaisuna on yhden otoksen χ -testi varianssille. TKK (c) Ilkka Mellin (005) 10

103 Testi varianssille Hypoteesit Yleinen hypoteesi H : (1) Havainnot X i N( µ, σ ), i= 1,,, n () Havainnot X 1, X,, X n ovat riippumattomia. Nollahypoteesi H 0 : H :σ = σ 0 0 Vaihtoehtoinen hypoteesi H 1 : H: σ 1 0 H: σ 1 0 H : σ > σ < σ σ suuntaiset vaihtoehtoiset hypoteesit -suuntainen vaihtoehtoinen hypoteesi TKK (c) Ilkka Mellin (005) 103

104 Testi varianssille Parametrien estimointi Olkoot X ja 1 n X i n i = 1 = 1 s X X n = ( i ) n 1 i= 1 tavanomaiset harhattomat estimaattorit parametreille E(X i ) = µ, i = 1,,, n ja Var(X i ) = σ, i = 1,,, n TKK (c) Ilkka Mellin (005) 104

105 Testi varianssille Testisuure ja sen jakauma Määritellään χ -testisuure ( n 1) s χ = σ 0 Jos nollahypoteesi H 0 :σ = σ0 pätee, niin testisuure χ noudattaa χ -jakaumaa vapausastein (n 1): χ χ ( n 1) TKK (c) Ilkka Mellin (005) 105

106 Testi varianssille Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu 1/3 Oletetaan, että testin yleinen hypoteesi H ja nollahypoteesi H 0 pätevät: X 1, X,, X n X i N( µ, σ 0 ), i= 1,,, n Tällöin (ks. lukua Otos ja otosjakaumat) n X i µ Y = χ ( n) i 1 σ = 0 Koska odotusarvo µ on tuntematon, satunnaismuuttujan Y lauseke on testisuureena epäoperationaalinen. TKK (c) Ilkka Mellin (005) 106

107 Testi varianssille Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu /3 Jos satunnaismuuttujan z lausekkeessa odotusarvo µ korvataan vastaavalla otossuureella X 1 n X i n i = 1 = niin saadaan χ -testisuure n Xi X ( n 1) s χ = i= 1 σ = 0 σ0 jossa n 1 s = ( Xi X) 1 n i= 1 TKK (c) Ilkka Mellin (005) 107

108 Testi varianssille Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu 3/3 Jos nollahypoteesi H 0 pätee, testisuure χ noudattaa χ -jakaumaa vapausastein (n 1): χ χ (n 1) Todistus: ks. lukua Otos ja otosjakaumat. TKK (c) Ilkka Mellin (005) 108

109 Testi varianssille Testi Testisuureen ( n 1) s χ = σ 0 normaaliarvo = (n 1), koska nollahypoteesin H pätiessä E(s 0 :σ = σ0 ) = σ 0, jolloin E(χ ) = n 1 Siten sekä pienet että suuret testisuureen χ arvot sen normaaliarvoon (n 1) nähden viittaavat siihen, että nollahypoteesi ei päde. Nollahypoteesi H 0 hylätään, jos testin p-arvo on kyllin pieni. TKK (c) Ilkka Mellin (005) 109

110 Testi varianssille Testin hylkäysalueen valinta 1/4 Valitaan testin merkitsevyystasoksi α. Jos vaihtoehtoinen hypoteesi on muotoa H:σ 1 > σ0 niin kriittinen raja χ α saadaan ehdosta Pr(χ χ α ) = α jossa χ χ (n 1) Testin hylkäysalue on tällöin muotoa (, + ) χ α TKK (c) Ilkka Mellin (005) 110

111 Testi varianssille Testin hylkäysalueen valinta /4 Valitaan testin merkitsevyystasoksi α. Jos vaihtoehtoinen hypoteesi on muotoa H:σ 1 < σ0 niin kriittinen raja χ1 α saadaan ehdosta Pr(χ χ1 α ) = α jossa χ χ (n 1) Testin hylkäysalue on tällöin muotoa (0, ) χ1 α TKK (c) Ilkka Mellin (005) 111

112 Testi varianssille Testin hylkäysalueen valinta 3/4 Valitaan testin merkitsevyystasoksi α. Jos vaihtoehtoinen hypoteesi on muotoa H:σ σ 1 0 χ1 α niin kriittiset rajat ja χ α saadaan ehdoista Pr(χ χ ) = α/ 1 α Pr(χ χ α ) = α/ jossa χ χ (n 1) Testin hylkäysalue on tällöin muotoa (0, ) (, + ) χ1 χ α α TKK (c) Ilkka Mellin (005) 11

113 Testi varianssille Testin hylkäysalueen valinta 4/4 Oletetaan, että testin merkitsevyystasoksi on valittu α. Testin hylkäysalueen määräämistä voidaan havainnollistaa alla olevilla kuvioilla. H:σ > σ 1 0 H:σ < σ 1 0 H:σ σ 1 0 χ ( n 1) χ ( n 1) χ ( n 1) 1 α α α 1 α 1 1 α 1 α χα χ1 χ α χ1 α α α Hylkäysalue Hylkäysalue Hylkäysalue Hylkäysalue TKK (c) Ilkka Mellin (005) 113

114 Testi varianssille Testin p-arvo 1/ Olkoon χ -testisuureen havaittu arvo. Jos vaihtoehtoinen hypoteesi on 1-suuntainen, testin p- arvon määräämistä voidaan havainnollistaa alla olevilla kuvioilla. H:σ > σ 1 0 H:σ < σ 1 0 χ 0 χ ( n 1) χ ( n 1) p p 1 p 1 p Testin p-arvo = p χ0 χ 0 Testin p-arvo = p TKK (c) Ilkka Mellin (005) 114

115 Testi varianssille Testin p-arvo / Olkoon vaihtoehtoinen hypoteesi -suuntainen: H:σ σ 1 0 Tällöin testin p-arvo on jossa χ χ ( n 1) { } 0 0 p = min Pr( χ χ ),Pr( χ χ ) TKK (c) Ilkka Mellin (005) 115

116 Testi varianssille Normaalisuusoletuksen merkitys Tässä esitetyn varianssitestin yleisessä hypoteesissa oletetaan, että havainnot ovat normaalijakautuneita. Testi on herkkä poikkeamille normaalisuudesta ja testi ei toimi kovinkaan hyvin, jos havaintojen jakauma on vino tai havaintojen joukossa on poikkeavia havaintoja. Tällöin suuretkaan havaintojen lukumäärät eivät yleensä paranna tilannetta. TKK (c) Ilkka Mellin (005) 116

117 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden otoksen t-testi A Kahden otoksen t-testi B t-testi parivertailuille Testi varianssille >> Varianssien vertailutesti TKK (c) Ilkka Mellin (005) 117

118 Varianssien vertailutesti Avainsanat Aritmeettinen keskiarvo F-jakauma Kahden otoksen testit Nollahypoteesi Normaalijakauma Odotusarvo Otos Otosvarianssi Parametri Testisuure Testisuureen jakauma Testisuureen normaaliarvo Varianssi Vertailutesti Yleinen hypoteesi TKK (c) Ilkka Mellin (005) 118

119 Varianssien vertailutesti Testausasetelma 1/4 Olkoon X11, X1,, Xn 11 yksinkertainen satunnaisotos perusjoukosta S 1, joka noudattaa normaalijakaumaa N( µ 1, σ1) Jakauma riippuu seuraavista parametreista: µ 1 = jakauman odotusarvo σ 1 = jakauman varianssi TKK (c) Ilkka Mellin (005) 119

120 Varianssien vertailutesti Testausasetelma /4 Olkoon X1, X,, Xn yksinkertainen satunnaisotos perusjoukosta S, joka noudattaa normaalijakaumaa N( µ, σ ) Jakauma riippuu seuraavista parametreista: µ = jakauman odotusarvo σ = jakauman varianssi TKK (c) Ilkka Mellin (005) 10

121 Varianssien vertailutesti Testausasetelma 3/4 Oletetaan lisäksi, että perusjoukosta S 1 poimittu otos X11, X1,, Xn 11 ja perusjoukosta S poimittu otos X1, X,, Xn ovat toisistaan riippumattomia. Otosten riippumattomuus merkitsee sitä, että se mikä alkio poimitaan perusjoukosta S 1 ei vaikuta siihen mikä alkioista poimitaan perusjoukosta S ja kääntäen. TKK (c) Ilkka Mellin (005) 11

122 Varianssien vertailutesti Testausasetelma 4/4 Asetetaan normaalijakaumien N( µ 1, σ1) ja N( µ, σ ) varianssiparametreille σ 1 ja σ nollahypoteesi H 0 :σ1 = σ = σ Testausongelma: Ovatko havainnot sopusoinnussa nollahypoteesin H 0 kanssa? Ongelman ratkaisuna on kahden riippumattoman otoksen F-testi variansseille. TKK (c) Ilkka Mellin (005) 1

123 Varianssien vertailutesti Yleinen hypoteesi Yleinen hypoteesi H : (1) Havainnot X i1 N( µ 1, σ 1), i= 1,,, n1 () Havainnot X j N( µ, σ ), j = 1,,, n (3) Havainnot X i1 ja X j ovat riippumattomia kaikille i ja j Huomautus: Oletus (3) sisältää kolme riippumattomuusoletusta: Havainnot ovat riippumattomia otoksien 1 ja sisällä. Havainnot ovat riippumattomia otoksien 1 ja välillä. TKK (c) Ilkka Mellin (005) 13

124 Varianssien vertailutesti Nollahypoteesi ja vaihtoehtoiset hypoteesit Nollahypoteesi H 0 : H :σ = σ = σ 0 1 Vaihtoehtoinen hypoteesi H 1 : H: σ 1 1 H: σ 1 1 H : σ > σ < σ σ suuntaiset vaihtoehtoiset hypoteesit -suuntainen vaihtoehtoinen hypoteesi TKK (c) Ilkka Mellin (005) 14

125 Varianssien vertailutesti Parametrien estimointi Olkoot ja n 1 k Xk = Xik, k = 1, n k i = 1 n 1 k s = ( X X ), k = 1, k ik k n k 1 i= 1 tavanomaiset harhattomat estimaattorit parametreille E(X ik ) = µ k, i = 1,,, n k, k = 1, ja Var(X ik ) = σ k, i = 1,,, n k, k = 1, TKK (c) Ilkka Mellin (005) 15

126 Varianssien vertailutesti Testisuure ja sen jakauma Määritellään F-testisuure s1 F = s Jos nollahypoteesi H 0 :σ1 = σ = σ pätee, niin testisuure F noudattaa Fisherin F-jakaumaa vapausastein (n 1 1) ja (n 1): F F( n 1, n 1) 1 TKK (c) Ilkka Mellin (005) 16

127 Varianssien vertailutesti Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu 1/4 Oletetaan, että testin yleinen hypoteesi H ja nollahypoteesi H 0 pätevät: X, X,, X, X, X,, X 11 1 n 1 1 n Tällöin (ks. lukua Otos ja otosjakaumat) n 1 X i1 µ 1 Y1 = χ ( n1) i= 1 σ n X j µ Y = χ ( n) j 1 σ = Koska Y 1 Y, niin Y1/ n1 Y = F( n1, n) Y / n 1 X N( µ, σ ), i = 1,,, n i1 1 1 j N( µ, σ ), = 1,,, X j n TKK (c) Ilkka Mellin (005) 17

128 Varianssien vertailutesti Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu /4 Koska odotusarvot µ 1 ja µ ovat tuntemattomia, satunnaismuuttujan Y1/ n1 Y = Y/ n lauseke on testisuureena epäoperationaalinen. Korvataan satunnaismuuttujien Y 1 ja Y lausekkeissa odotusarvot µ 1 ja µ vastaavilla otossuureilla n 1 k X = X, k = 1, k n k i = 1 ik TKK (c) Ilkka Mellin (005) 18

129 Varianssien vertailutesti Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu 3/4 Saamme satunnaismuuttujat (ks. lukua Otos ja otosjakaumat) n 1 ( n1 1) s1 Xi1 X1 V1 = = χ ( n1 1) σ i= 1 σ n ( n 1) s X j X V = = χ ( n 1) σ j 1 σ = jossa n 1 k sk = ( Xik Xk), k = 1, n k 1 i= 1 Lisäksi satunnaismuuttujat V 1 ja V ovat riippumattomia: V V 1 TKK (c) Ilkka Mellin (005) 19

130 Varianssien vertailutesti Testisuureen jakauma nollahypoteesin H 0 pätiessä: Perustelu 4/4 Määritellään F-testisuure V1/( n1 1) s1 F = = V /( n 1) s Jos nollahypoteesi H 0 pätee, testisuure F noudattaa Fisherin F- jakaumaa vapausastein (n 1 1) ja (n 1): F F( n 1, n 1) 1 TKK (c) Ilkka Mellin (005) 130

131 Varianssien vertailutesti Testi Testisuureen s1 F = s normaaliarvo 1, koska nollahypoteesin H 0 :σ1 = σ = σ pätiessä (ja jos n on kyllin suuri) n 1 E( F) = 1 n 3 Siten sekäpienet että suuret testisuureen F arvot sen normaaliarvoon 1 nähden viittaavat siihen, että nollahypoteesi ei päde. Nollahypoteesi H 0 hylätään, jos testin p-arvo on kyllin pieni. TKK (c) Ilkka Mellin (005) 131

132 Varianssien vertailutesti Testin hylkäysalueen valinta 1/4 Valitaan testin merkitsevyystasoksi α. Jos vaihtoehtoinen hypoteesi on muotoa H 0:σ1 > σ niin kriittinen raja F α saadaan ehdosta Pr(F F α ) = α jossa F F(n 1 1,n 1) Testin hylkäysalue on tällöin muotoa (F α, + ) TKK (c) Ilkka Mellin (005) 13

133 Varianssien vertailutesti Testin hylkäysalueen valinta /4 Valitaan testin merkitsevyystasoksi α. Jos vaihtoehtoinen hypoteesi on muotoa H 0:σ1 < σ niin kriittinen raja F 1 α saadaan ehdosta Pr(F F 1 α ) = α jossa F F(n 1 1,n 1) Testin hylkäysalue on tällöin muotoa (0, F 1 α ) TKK (c) Ilkka Mellin (005) 133

134 Varianssien vertailutesti Testin hylkäysalueen valinta 3/4 Valitaan testin merkitsevyystasoksi α. Jos vaihtoehtoinen hypoteesi on muotoa H 0:σ1 σ niin kriittiset rajat F 1 α/ ja F α/ saadaan ehdoista Pr(F F 1 α/ ) = α/ Pr(F F α/ ) = α/ jossa F F(n 1 1,n 1) Testin hylkäysalue on tällöin muotoa (0, F 1 α/ ) (F α/, + ) TKK (c) Ilkka Mellin (005) 134

135 Varianssien vertailutesti Testin hylkäysalueen valinta 4/4 Oletetaan, että testin merkitsevyystasoksi on valittu α. Testin hylkäysalueen määräämistä voidaan havainnollistaa olevilla kuvioilla. H:σ > σ 1 1 H:σ < σ 1 1 H:σ σ 1 1 Fn ( 1, n 1) 1 Fn ( 1 1, n 1) Fn ( 1 1, n 1) α α 1 α 1 α 1 α 1 α 1 α F α F 1 α F 1 α F α Hylkäysalue Hylkäysalue Hylkäysalue Hylkäysalue TKK (c) Ilkka Mellin (005) 135

136 Varianssien vertailutesti Testin p-arvo 1/ Olkoon F-testisuureen havaittu arvo F 0. Jos vaihtoehtoinen hypoteesi on 1-suuntainen, testin p- arvon määräämistä voidaan havainnollistaa alla olevilla kuvioilla. H:σ > σ 1 1 H:σ < σ 1 1 Fn ( 1, n 1) 1 Fn ( 1, n 1) 1 p p 1 p 1 p F 0 Testin p-arvo = p F 0 Testin p-arvo = p TKK (c) Ilkka Mellin (005) 136

137 Varianssien vertailutesti Testin p-arvo / Olkoon vaihtoehtoinen hypoteesi -suuntainen: Tällöin testin p-arvo on p = min Pr( F F ),Pr( F F ) jossa H:σ σ 1 1 F F(n 1 1,n 1) { } 0 0 TKK (c) Ilkka Mellin (005) 137

138 Varianssien vertailutesti Normaalisuusoletuksen merkitys Tässä esitetyn varianssien vertailutestin yleisessä hypoteesissa oletetaan, että havainnot ovat molemmissa otoksissa normaalijakautuneita. Testi on herkkä poikkeamille normaalisuudesta ja testi ei toimi kovinkaan hyvin, jos havaintojen jakauma on vino tai havaintojen joukossa on poikkeavia havaintoja. Tällöin suuretkaan havaintojen lukumäärät eivät yleensä paranna tilannetta. TKK (c) Ilkka Mellin (005) 138