Sovellettu todennäköisyyslaskenta B

Samankaltaiset tiedostot
ABHELSINKI UNIVERSITY OF TECHNOLOGY

Mat Tilastollisen analyysin perusteet, kevät 2007

Väliestimointi (jatkoa) Heliövaara 1

Tilastollinen testaus. Vilkkumaa / Kuusinen 1

Harjoitus 7: NCSS - Tilastollinen analyysi

Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit

Johdatus tilastotieteeseen Tilastolliset testit. TKK (c) Ilkka Mellin (2005) 1

Tilastolliset testit. Tilastolliset testit. Tilastolliset testit: Mitä opimme? 2/5. Tilastolliset testit: Mitä opimme? 1/5

Ilkka Mellin Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus. TKK (c) Ilkka Mellin (2007) 1

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi. Viikko 5

Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus KE (2014) 1

Sovellettu todennäköisyyslaskenta B

Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1

Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2005) 1

Sovellettu todennäköisyyslaskenta B

Testit laatueroasteikollisille muuttujille

Sovellettu todennäköisyyslaskenta B

Johdatus tilastotieteeseen Testit laatueroasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1

Testejä suhdeasteikollisille muuttujille

Tilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin

Sovellettu todennäköisyyslaskenta B

Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1

Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1

11. laskuharjoituskierros, vko 15, ratkaisut

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Testit järjestysasteikollisille muuttujille

Jos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden

Valitaan testisuure, jonka jakauma tunnetaan H 0 :n ollessa tosi.

Odotusarvoparien vertailu. Vilkkumaa / Kuusinen 1

Mat Sovellettu todennäköisyyslasku A

Sovellettu todennäköisyyslaskenta B

MTTTA1 Tilastomenetelmien perusteet 5 op Luento Kokonaisuudet johon opintojakso kuuluu

χ = Mat Sovellettu todennäköisyyslasku 11. harjoitukset/ratkaisut

¼ ¼ joten tulokset ovat muuttuneet ja nimenomaan huontontuneet eivätkä tulleet paremmiksi.

Gripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta

Todennäköisyyden ominaisuuksia

edellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾

Luottamisvälin avulla voidaan arvioida populaation tuntematonta parametria.

Sovellettu todennäköisyyslaskenta B

Johdatus varianssianalyysiin. Vilkkumaa / Kuusinen 1

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

VALTIOTIETEELLINEN TIEDEKUNTA TILASTOTIETEEN VALINTAKOE Ratkaisut ja arvostelu < X 170

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

MTTTA1 Tilastomenetelmien perusteet 5 op Luento , osa 1. 1 Kokonaisuudet johon opintojakso kuuluu

Kaksisuuntainen varianssianalyysi. Vilkkumaa / Kuusinen 1

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Luottamisvälin avulla voidaan arvioida populaation tuntematonta parametria.

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä

031021P Tilastomatematiikka (5 op) viikko 5

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

10. laskuharjoituskierros, vko 14, ratkaisut

Tilastollinen päättely. 5. Väliestimointi Johdanto Luottamusvälien konstruointi Luottamusvälien vertailu

Luottamisvälin avulla voidaan arvioida populaation tuntematonta parametria.

Sovellettu todennäköisyyslaskenta B

Tilastollisen analyysin perusteet Luento 11: Epäparametrinen vastine ANOVAlle

Tilastollisen analyysin perusteet Luento 4: Testi suhteelliselle osuudelle

Jos nollahypoteesi pitää paikkansa on F-testisuuren jakautunut Fisherin F-jakauman mukaan

2. TILASTOLLINEN TESTAAMINEN...

Kaksisuuntainen varianssianalyysi. Heliövaara 1

Tilastollisia peruskäsitteitä ja Monte Carlo

r = n = 121 Tilastollista testausta varten määritetään aluksi hypoteesit.

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Johdatus tilastotieteeseen Yhteensopivuuden, homogeenisuuden ja riippumattomuuden testaaminen. TKK (c) Ilkka Mellin (2004) 1

Tilastollinen testaaminen tai Tilastollinen päättely. Geneettinen analyysi

5.7 Uskottavuusfunktioon perustuvia testejä II

Sovellettu todennäköisyyslaskenta B

Tilastollisen analyysin perusteet Luento 3: Epäparametriset tilastolliset testit

MAT Todennäköisyyslaskenta Tentti / Kimmo Vattulainen

Osa 2: Otokset, otosjakaumat ja estimointi

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Mat Tilastollisen analyysin perusteet, kevät 2007

Estimointi. Vilkkumaa / Kuusinen 1

Sovellettu todennäköisyyslaskenta B

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi

Estimointi. Otantajakauma

Tutkimusongelmia ja tilastollisia hypoteeseja: Perunalastupussien keskimääräinen paino? Nollahypoteesi Vaihtoehtoinen hypoteesi (yksisuuntainen)

Testaa onko myrkkypitoisuus eri ryhmissä sama. RATK. Lasketaan kaikkien havaintoarvojen summa: k T i = = 486.

Mat Tilastollisen analyysin perusteet, kevät 2007

9. laskuharjoituskierros, vko 12-13, ratkaisut

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

1. Normaalisuuden tutkiminen, Bowmanin ja Shentonin testi, Rankit Plot, Wilkin ja Shapiron testi

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä

Yhteensopivuuden, homogeenisuuden ja riippumattomuuden testaaminen

χ 2 -yhteensopivuustestissä käytetään χ 2 -testisuuretta χ = Mat Sovellettu todennäköisyyslasku A

tilastotieteen kertaus

Tilastollisen analyysin perusteet Luento 5: Jakaumaoletuksien. testaaminen

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Tilastollinen päättely II, kevät 2017 Harjoitus 2A

5. laskuharjoituskierros, vko 8, ratkaisut

Tilastotieteen kertaus. Kuusinen/Heliövaara 1

Induktiota käyttäen voidaan todistaa luonnollisia lukuja koskevia väitteitä, jotka ovat muotoa. väite P(n) on totta kaikille n = 0,1,2,...

Regressioanalyysi. Vilkkumaa / Kuusinen 1

Estimointi. Luottamusvälin laskeminen keskiarvolle α/2 α/2 0.1

Sovellettu todennäköisyyslaskenta B

Mat Tilastollisen analyysin perusteet, kevät 2007

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Momenttiemäfunktio ja karakteristinen funktio

5 Hypoteesien testaaminen

Harjoitus 2: Matlab - Statistical Toolbox

1. (Jatkoa Harjoitus 5A tehtävään 4). Monisteen esimerkin mukaan momenttimenetelmän. n ne(y i Y (n) ) = 2E(Y 1 Y (n) ).

Transkriptio:

Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 18

1 Kertausta: momenttimenetelmä ja suurimman uskottavuuden menetelmä 2 Tilastollinen testaus Yleinen hypoteesi Nollahypoteesi Vaihtoehtoinen hypoteesi 3 Testisuure Testisuureen normaaliarvo Virheet testauksessa Testin tulos ja maailman tilat 4 Hylkäys- ja hyväksymisalueet Merkitsevyystaso Hylkäysalueen määrääminen yksisuuntaisessa testissä Hylkäysalueen määrääminen kaksisuuntaisessa testissä 5 Tilastollisen testin suorittamisen vaiheet 6 p-arvo Antti Rasila () TodB 8. marraskuuta 2007 2 / 18

Esimerkki (momenttimenetelmä) Tarkkaillaan peräkkäisten autojen aikaväliä (sekunteja) maantiellä. Oletetaan, että aikaväli X on eksponenttijakautunut parametrina λ. Tällöin E(X ) = 1/λ. Tarkkailija havaitsi seuraavat aikavälin pituudet: 18 4 7 33 28 5 6 14 9 18 Havaintojen aritmeettinen keskiarvo on 142/10=14.2. Asetetaan odotusarvo ja aritmeettinen keskiarvo yhtäsuuriksi ja ratkaistaan λ: 1/λ = 14.2, joten λ = 0.0704. Peräkkäisten autojen väliaikaa siis kuvaa parhaiten (y.o. aineiston perusteella) se eksponenttijakauma, jonka tiheysfunktio on f X (x) = 0.0704 e 0.0704x. Antti Rasila () TodB 8. marraskuuta 2007 3 / 18

Esimerkki (suurimman uskottavuuden menetelmä) Sovitetaan edellisen esimerkin havaintoihin eksponenttijakauma f X (x; λ) = λe λx. Havaintoaikojen summa on 142. Likelihood-funktioksi tulee L(λ) = λe λ18 λe λ4... λe λ18 = λ 10 e 142λ. Asetetaan derivaatta nollaksi, jolloin saadaan λ L(λ) = 10λ9 e 142λ 142λ 10 e 142λ = 0. Derivaatta on nolla arvolla λ = 10/142 = 0.0704. Päädyttiin samaan ratkaisuun kuin momenttimenetelmällä. Antti Rasila () TodB 8. marraskuuta 2007 4 / 18

Tilastollinen testaus Tilastollisessa testauksessa tutkitaan tutkimuskohteita koskevien oletusten tai väitteiden paikkansapitävyyttä havaintojen avulla. Testattavat oletukset tai väitteet tulee muotoilla tutkimuskohteiden tutkittavaa ominaisuutta kuvaavaa jakaumaa tai sen parametreja koskeviksi hypoteeseiksi. Testausasetelma kiinnitetään tekemällä seuraavat kolme oletusta: (i) Testausasetelmaa koskevia yleisiä oletuksia kutsutaan testin yleiseksi hypoteesiksi. (ii) Testattavaa väitettä tai oletusta kutsutaan testin nollahypoteesiksi. (iii) Jos nollahypoteesi hylätään testissä, astuu voimaan vaihtoehtoinen hypoteesi. Antti Rasila () TodB 8. marraskuuta 2007 5 / 18

Yleinen hypoteesi Yleinen hypoteesi H sisältää oletukset perusjoukosta käytetystä otantamenetelmästä perusjoukon jakaumasta Yleisen hypoteesin oletuksista pidetään kiinni koko testauksen ajan. Yleisen hypoteesin sisältämiä jakaumaoletuksia voidaan ja on yleensä syytä testata erikseen. Antti Rasila () TodB 8. marraskuuta 2007 6 / 18

Nollahypoteesi Testattavaa perusjoukon jakauman parametreja koskevaa väitettä tai oletusta kutsutaan nollahypoteesiksi ja merkitään H 0. Nollahypoteesi H 0 hyväksytään, elleivät havaintojen sisältämät todisteet nollahypoteesia vastaan ole kyllin voimakkaita. Yksinkertaisissa testausasetelmissa nollahypoteesi on muotoa H 0 : θ = θ 0 Antti Rasila () TodB 8. marraskuuta 2007 7 / 18

Vaihtoehtoinen hypoteesi Vaihtoehtoinen hypoteesi H 1 on oletus, joka astuu voimaan, jos nollahypoteesi H 0 hylätään. Vaihtoehtoista hypoteesia, joka on muotoa H 1 : θ > θ 0 tai muotoa H 1 : θ < θ 0 kutsutaan yksisuuntaiseksi. Muotoa H 1 : θ θ 0 olevaa vaihtoehtoista hypoteesia kutsutaan kaksisuuntaiseksi. Antti Rasila () TodB 8. marraskuuta 2007 8 / 18

Testisuure Tilastollinen testi perustuu testisuureeseen, joka mittaa havaintojen ja nollahypoteesin H 0 yhteensopivuutta. Testisuure on satunnaismuuttuja, jonka arvo riippuu havainnoista ja nollahypoteesista H 0. Havaintojen ja nollahypoteesin H 0 yhteensopivuuden mittaaminen tarkoittaa sitä, että tutkitaan kuinka todennäköistä on saada sellaisia testisuureen arvoja kuin on saatu, ehdolla että H 0 pätee. Yhteensopivuuden mittaaminen vaatii siis testisuureen jakauman tuntemista. Antti Rasila () TodB 8. marraskuuta 2007 9 / 18

Testisuureen normaaliarvo Testisuureen odotusarvoa nollahypoteesin H 0 pätiessä kutsutaan testisuureen normaaliarvoksi. Jos testisuureen havaittu arvo on lähellä normaaliarvoa, havainnot ovat sopusoinnussa nollahypoteesin H 0 kanssa. Jos testisuureen havaittu arvo poikkeaa merkitsevästi normaaliarvosta, havainnot sisältävät todisteita nollahypoteesia H 0 vastaan. Antti Rasila () TodB 8. marraskuuta 2007 10 / 18

Virheet testauksessa Jos nollahypoteesi H 0 hylätään silloin kun se on tosi, tehdään hylkäysvirhe. Hylkäysvirheen todennäköisyys α on muotoa Pr(H 0 hylätään H 0 on tosi) = α Jos nollahypoteesi H 0 jätetään voimaan silloin kun se ei ole tosi, tehdään hyväksymisvirhe. Hyväksymisvirheen todennäköisyys β on muotoa Pr(H 0 jätetään voimaan H 0 ei ole tosi) = β Hylkäysvirhettä kutsutaan usein ensimmäisen lajin virheeksi. Tällöin hyväksymisvirhettä kutsutaan toisen lajin virheeksi. Antti Rasila () TodB 8. marraskuuta 2007 11 / 18

Testin tulos ja maailman tilat Maailman tilat ja testin tulos voidaan ryhmitellä seuraavaksi nelikentäksi: Antti Rasila () TodB 8. marraskuuta 2007 12 / 18

Hylkäys- ja hyväksymisalueet Jaetaan testisuureen saamien mahdollisten arvojen joukko kahteen osaan: (i) Jos testisuureen havainnoista laskettu arvo joutuu hylkäysalueelle, niin nollahypoteesi H 0 hylätään. (ii) Jos testisuureen havainnoista laskettu arvo joutuu hyväksymisalueelle, niin nollahypoteesi H 0 hyväksytään. Jos testisuureen havaittu arvo joutuu nollahypoteesin H 0 pätiessä hylkäysalueelle, niin seuraksena on hylkäysvirhe. Tämän todennäköisyys on α. Antti Rasila () TodB 8. marraskuuta 2007 13 / 18

Merkitsevyystaso Testin merkitsevyystaso α on todennäköisyys sille, että testisuureen havainnoista laskettu arvo on hylkäysalueella, vaikka nollahypoteesi H 0 pätee. Merkitsevyystaso α on siis hylkäysvirheen todennäköisyys. Tavanomaiset merkitsevyystasot ovat α = 0.05 α = 0.01 α = 0.001 (i) Jos nollahypoteesti voidaan hylätä merkitsevyystasolla α = 0.05, sanotaan, että testin tulos on melkein merkitsevä. (ii) Jos nollahypoteesti voidaan hylätä merkitsevyystasolla α = 0.01, sanotaan, että testin tulos on merkitsevä. (iii) Vastaavasti, jos nollahypoteesti voidaan hylätä merkitsevyystasolla α = 0.001, sanotaan, että testin tulos on erittäin merkitsevä. Antti Rasila () TodB 8. marraskuuta 2007 14 / 18

Hylkäysalueen määrääminen yksisuuntaisessa testissä Olkoon parametria θ koskeva nollahypoteesi muotoa H 0 : θ = θ 0. olkoon testisuureena satunnaismuuttuja Z, jonka mahdolliset arvot ovat välillä (a, b). Jos vaihtoehtoinen hypoteesi on muotoa H 1 : θ > θ 0, on hylkäysalue (yleensä) väli (u, b), jossa kriittinen raja u määrätään siten, että Pr(Z u H 0 ) = α Jos vaihtoehtoinen hypoteesi on muotoa H 1 : θ < θ 0, on hylkäysalue (yleensä) väli (a, l), jossa kriittinen raja l määrätään siten, että Pr(Z l H 0 ) = α Antti Rasila () TodB 8. marraskuuta 2007 15 / 18

Hylkäysalueen määrääminen kaksisuuntaisessa testissä Jos vaihtoehtoinen hypoteesi on muotoa H 1 : θ θ 0, on hylkäysalue (yleensä) joukko (a, l) (u, b), jossa kriittiset rajat l ja u määrätään siten, että Pr(Z u H 0 ) = Pr(Z l H 0 ) = α/2 Huom. Jos testisuureen Z jakauma on symmetrinen origon suhteen, pätee kriittisille rajoille l = u Antti Rasila () TodB 8. marraskuuta 2007 16 / 18

Tilastollisen testin suorittamisen vaiheet Hylkäysalueen määrääminen yksisuuntaisessa testissä Tilastollisen testin suorittaminen sisältää seuraavat vaiheet: (1) Asetetaan testin hypoteesit. (2) Valitaan testisuure. (3) Valitaan merkitsevyystaso α ja muodostetaan sitä vastaava hylkäysalue. (4) Poimitaan otos niin, että yleisen hypoteesin oletukset pitävät. (5) Lasketaan testisuureen arvo havainnoista. (6) Tehdään päätös nollahypoteesin hylkäämisestä. Antti Rasila () TodB 8. marraskuuta 2007 17 / 18

p-arvo Nollahypoteesin H 0 hyväksyminen tai hylkääminen voidaan perustaa etukäteen valitun merkitsevyystason ja sitä vastaavan hylkäysalueen sijasta testin p-arvoon. Testin p-arvo on pienin merkitsevyystaso, jolla nollahypoteesi hylätään. Testin p-arvo määritetään: (i) Lasketaan testisuureen arvo havainnoista. (ii) Määrätään (olettaen, että H 0 pätee) todennäköisyys sille, että testisuure saa (normaaliarvoon verrattuna) niin poikkeuksellisen arvon kuin se on saanut tai vielä poikkeuksellisempia arvoja. Nollahypoteesi hylätään, jos p-arvo on kyllin pieni. Antti Rasila () TodB 8. marraskuuta 2007 18 / 18