Mat Tilastollisen analyysin perusteet, kevät 2007

Transkriptio

1 Mat Tilastollisen analyysin perusteet, kevät luento: Tilastolliset testit Kai Virtanen 1

2 Tilastollinen testaus Tutkimuksen kohteena olevasta perusjoukosta esitetään väitteitä oletuksia joita halutaan testata Tilastollinen testaus: perusjoukosta esitettyjä väitteitä/oletuksia verrataan havainnoista saatavaa informaatioon Väitteet/oletukset puetaan perusjoukon ominaisuutta kuvaavaa todennäköisyysjakaumaa tai sen parametreja koskeviksi hypoteeseiksi Kai Virtanen 2

3 Testausasetelman hypoteesit Testausasetelma kiinnitetään tekemällä kolme oletusta: (i) Testausasetelmaa koskevat perusoletukset, joista pidetään kiinni testauksen aikana muodostavat testin yleisen hypoteesin (ii) Testattavaa väitettä/oletusta kutsutaan nollahypoteesiksi (iii) Jos nollahypoteesi hylätään testissä, astuu voimaan vaihtoehtoinen hypoteesi Kai Virtanen 3

4 Yleinen hypoteesi Yleinen hypoteesi H sisältää oletukset perusjoukosta käytetystä otantamenetelmästä perusjoukon jakaumasta Yleisen hypoteesin H oletuksista pidetään kiinni koko testauksen ajan Yleisen hypoteesin sisältämiä jakaumaoletuksia voidaan ja on yleensä syytä testata erikseen Kai Virtanen 4

5 Nollahypoteesi Sitä perusjoukon jakauman parametreja koskevaa väitettä tai oletusta, jota halutaan testata kutsutaan nollahypoteesiksi H 0 Nollahypoteesista H 0 pidetään kiinni, elleivät havaintojen sisältämät todisteet nollahypoteesia vastaan ole kyllin voimakkaita Yksinkertaisissa testausasetelmissa nollahypoteesi on muotoa H 0 : θ = θ 0, missäθ testattava parametri ja θ 0 kiinnitetty arvo Nollahypoteesi on muotoa on sama tai ei ole eroa Kai Virtanen 5

6 Vaihtoehtoinen hypoteesi Vaihtoehtoinen hypoteesi H 1 on oletus, joka astuu voimaan, jos nollahypoteesi H 0 hylätään Jos vaihtoehtoinen hypoteesi on muotoa H 1 : θ > θ 0 tai muotoa H 1 : θ < θ 0 sitä kutsutaan yksisuuntaiseksi Jos vaihtoehtoinen hypoteesi on muotoa H 1 : θ θ 0 sitä kutsutaan kaksisuuntaiseksi Vaihtoehtoinen hypoteesi on muotoa ei ole sama tai on eroa Kai Virtanen 6

7 Testisuure Tilastollinen testi perustuu testisuureeseen, joka mittaa havaintojen ja nollahypoteesin H 0 yhteensopivuutta Testisuure on satunnaismuuttuja (vrt. estimaattori), jonka arvo (vrt. estimaatti) riippuu havainnoista ja nollahypoteesista H 0 Havaintojen ja nollahypoteesin H 0 yhteensopivuuden mittaaminen tarkoittaa sitä, että tutkitaan kuinka todennäköistä on saada sellaisia testisuureen arvoja kuin on saatu, ehdolla että H 0 pätee Yhteensopivuuden mittaaminen vaatii testisuureen jakauman tuntemista Kai Virtanen 7

8 Testisuureen normaaliarvo Testisuureen odotusarvoa nollahypoteesin H 0 pätiessä kutsutaan testisuureen normaaliarvoksi Jos testisuureen havaittu arvo on lähellä testisuureen normaaliarvoa, havainnot ovat sopusoinnussa nollahypoteesin H 0 kanssa Jos testisuureen otoksesta määrätty arvo poikkeaa merkitsevästi testisuureen normaaliarvosta, havainnot sisältävät todisteita nollahypoteesia H 0 vastaan Kai Virtanen 8

9 Testin p-arvo Nollahypoteesin H 0 hylkäys tai hyväksyminen perustuu testin p-arvoon Testinp-arvo = havaintojen todennäköisyys ehdolla, että nollahypoteesih 0 pätee Testien p-arvot saadaan tilastollisista ohjelmistoista Muinaishistoriassa käytettiin etukäteen valittuja merkitsevyystasoja ja niitä vastaavia hylkäysalueita Kai Virtanen 9

10 p-arvon määrääminen Testin p-arvo määrätään seuraavalla tavalla: (i) Lasketaan valitun testisuureen arvo havainnoista (ii) Määrätään testisuureen jakaumaan perustuen olettaen, että nollahypoteesi H 0 pätee todennäköisyys sille, että testisuure saa (normaaliarvoonsa verrattuna) niin poikkeuksellisen arvon kuin se on saanut tai vielä poikkeuksellisempia arvoja Nollahypoteesi voidaan hylätä, jos testin p-arvo on kyllin pieni Mitä pienempi on testin p-arvo, sitä vahvempia todisteita havainnot sisältävät nollahypoteesia H 0 vastaan Kai Virtanen 10

11 Vielä kerran... Tilastollinen testi, joka kertoo jokaisessa yksittäisessä tilanteessa eli jokaiselle otokselle, onko nollahypoteesi H 0 hylättävä vai ei, voidaan perustaa seuraavalla tavalla testin p-arvoon: (i) Valitaan pieni todennäköisyys p 0 (ii) Määrätään testin p-arvo Jos p < p 0, hylätään nollahypoteesi H 0 ja hyväksytään vaihtoehtoinen hypoteesi H 1 Jos p p 0, jätetään nollahypoteesi H 0 voimaan Kai Virtanen 11

12 Testin merkitsevyystaso Jos nollahypoteesi H 0 hylätään silloin, kun se on tosi, tehdään hylkäysvirhe: Pr(H 0 hylätään H 0 on tosi) = α Koska testeissä halutaan ensisijaisesti suojautua hylkäysvirhettä vastaan, testin merkitsevyystasoksi (parvoon liittyvä raja p 0 )αon tapana valita pieniä lukuja Tavanomaiset merkitsevyystasot ovat α = 0.05 α = 0.01 α = Esim. Testin p-arvo < 0.05 => nollahypoteesi hylätään Kai Virtanen 12

13 p-arvon määrääminen, H 1 : θ > θ 0 Olkoon testisuureen Z havainnoista määrätty arvo z Jos vaihtoehtoisena hypoteesina on yksisuuntainen vaihtoehto H 1 : θ > θ 0 niin testin p-arvo on p = Pr(Z z H 0 ) Testisuureen tiheysfunktio p 1 p 0 z Kai Virtanen 13

14 p-arvon määrääminen, H 1 : θ < θ 0 Olkoon testisuureen Z havainnoista määrätty arvo z Jos vaihtoehtoisena hypoteesina on yksisuuntainen vaihtoehto H 1 : θ < θ 0 niin testin p-arvo on p = Pr(Z z H 0 ) Testisuureen tiheysfunktio p 1 p z 0 Kai Virtanen 14

15 p-arvon määrääminen, H 1 : θ θ 0 Olkoon testisuureen Z havainnoista määrätty arvo z Jos vaihtoehtoisena hypoteesina on kaksisuuntainen vaihtoehto H 1 : θ θ 0 niin testin p-arvo on p = 2 X Pr(Z z H 0 ) Testisuureen tiheysfunktio p/2 p/2 1 p z 0 + z Kai Virtanen 15

16 Tilastollisen testin suorittamisen vaiheet 1. Asetetaan testin hypoteesit 2. Valitaan testisuure 3. Poimitaan otos niin, että yleisen hypoteesin oletukset pätevät 4. Määrätään testisuureen arvo havainnoista 5. Määrätään testisuureen havaittua arvoa vastaava p-arvo 6. Tehdään päätös nollahypoteesin hylkäämisestä Kai Virtanen 16