Sovellettu todennäköisyyslaskenta B

Transkriptio

1 Sovellettu todennäköisyyslaskenta B Antti Rasila 3. marraskuuta 2007 Antti Rasila () TodB 3. marraskuuta / 18

2 1 Varianssin luottamusväli, jatkoa 2 Bernoulli-jakauman odotusarvon luottamusväli 3 Otoskoon määrääminen 4 Estimaattorin valinta 5 Momenttimenetelmä 6 Suurimman uskottavuuden menetelmä Diskreetti tapaus Jatkuva tapaus Antti Rasila () TodB 3. marraskuuta / 18

3 Esimerkki (Laininen) 1/2 Palkin paksuudeksi (n = 10) mitattiin (tuumaa): Oletetaan, että palkin paksuus X N(µ, σ). Otoksesta voidaan laskea x = ja s = Vapausasteparametri ν = 10 1 = 9. Taulukosta saadaan t = 2.262, joten voidaan laskea µ = ± Siis 95% luottamusväli on [2.04,2.17] tuumaa. Antti Rasila () TodB 3. marraskuuta / 18

4 Esimerkki (Laininen) 2/2 Varianssin luottamusväli muodostetaan 9-vapausasteisen χ 2 -jakauman avulla. Taulukosta (tai tietokoneella) saadaan χ = 2.70 ja χ = Sijoitus kaavaan antaa 95% luottamusväliksi eli [0.0037,0.0258] σ , Antti Rasila () TodB 3. marraskuuta / 18

5 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli Suhteellinen frekvenssi X Bernoulli(p). ˆp = f n on Bernoulli-jakauman odotusarvoparametrin p harhaton estimaattori. Olkoon n = havaintojen lukumäärä z α/2 = häntätodennäköisyyttä α/2 vastaava piste standardoidusta normaalijakaumasta N(0, 1). Antti Rasila () TodB 3. marraskuuta / 18

6 Bernoulli-jakauman odotusarvon luottamusväli 2/2 Suhteellisen frekvenssin ˆp odotusarvo ja varianssi ovat: E(ˆp) = p Var(ˆp) = pq n Suhteellinen frekvenssi ˆp noudattaa suurissa otoksissa approksimatiivisesti normaalijakaumaa. Bernoulli-jakauman odotusarvoparametrin p approksimatiivinen luottamusväli luottamustasolla (1 α) on ( ) ˆp(1 ˆp) ˆp(1 ˆp) ˆp z α/2, ˆp + z n α/2. n Antti Rasila () TodB 3. marraskuuta / 18

7 Otoskoon määrääminen 1/2 Ennakkotiedon mukaan Bernoulli-jakauman odotusarvoparametrin arvoksi oletetaan p. Kuinka suuri otos on otettava, jotta p:lle voidaan muodostaa (1 α)-luottamusväli, jonka pituus on 2A? Parametrin p luottamusväli luottamustasolla (1 α) on ( ) ˆp(1 ˆp) ˆp(1 ˆp) ˆp z α/2, ˆp + z n α/2. n Ennakkotiedon perusteella oletetaan ˆp = p. Antti Rasila () TodB 3. marraskuuta / 18

8 Otoskoon määrääminen 2/2 Jotta luottamusvälin pituus olisi 2A, on oltava z α/2 p(1 p) n = A. josta voidaan ratkaista tarvittava otoskoko n: ( ) zα/2 p(1 p) 2 n =. A Huomaa, että otoskoko saavuttaa maksiminsa n = kun p = 1/2. ( zα/2 2A ) 2, Antti Rasila () TodB 3. marraskuuta / 18

9 Estimaattorin valinta Oletetaan, että aineistona on yksinkertainen satunnaisotos X 1,..., X n jakaumasta f X (x; θ 1,..., θ r ). Satunnasmuuttujan X siis oletetaan noudattavan jakaumaa f X (x; θ 1,..., θ r ) parametreilla θ 1,..., θ r, mutta parametrien arvoja ei tunneta. Tehtävänä on muodostaa parametreille θ 1,..., θ r estimaattorit ˆθ 1,..., ˆθ r. Estimaattorien muodostamiseen on useita eri menetelmiä. Tällä kurssilla käsitellään momenttimenetelmä ja suurimman uskottavuuden menetelmä. Antti Rasila () TodB 3. marraskuuta / 18

10 Momenttimenetelmä Useasta jakaumasta f X (x; θ 1,..., θ r ) voidaan määrittää teoreettisia momentteja m k = E[X k ], jotka ovat parametrien θ 1,..., θ r funktioita. Näiden teoreettisten momenttien estimaattorit ˆm k voidaan määrittää havaintoarvoista kaavalla ˆm k = 1 n n xi k. i=1 Kun teoreettiset momentit asetetaan yhtäsuuriksi estimaattorien kanssa, saadaan yhtälöryhmä, josta voidaan ratkaista parametrien θ 1,..., θ r estimaattorit. Jos halutaan määrittää estimaattorit r:lle parametrille, tarvitaan r yhtälöä. Tätä varten tulee määrittää r ensimmäistä teoreettista momenttia. Antti Rasila () TodB 3. marraskuuta / 18

11 Esimerkki (Laininen) 1/2 Huollon kestoajan X tiheysfunktio on { θ1 e f X (x; θ 1, θ 2 ) = θ 1(x θ 2 ), kun x θ 2, 0, kun x < θ 2, missä θ 1, θ 2 > 0. Olkoot x 1,..., x n havaittuja huollon kestoaikoja. Parametrien estimoimiseksi momenttimenetelmällä lasketaan integroimalla ensimmäinen ja toinen momentti: m 1 = θ 2 xθ 1 e θ 1(x θ 2 ) dx = 1 θ 1 + θ 2, m 2 = θ 2 x 2 θ 1 e θ 1(x θ 2 ) dx = θ θ θ 2 θ 1. Antti Rasila () TodB 3. marraskuuta / 18

12 Esimerkki (Laininen) 2/2 Estimaatit θ 1, θ 2 ratkaistaan yhtälöistä ˆm 1 = 1ˆθ 1 + ˆθ 2, ˆm 2 = θ θ θ 2 θ 1, missä ˆm 1 = 1 n n x i, i=1 ˆm 2 = 1 n n xi 2. i=1 Ratkaisuksi saadaan ˆθ 1 = 1, ˆθ 2 = ˆm 1 ˆm 2 ˆm 1 2. ˆm 2 ˆm 1 2 Antti Rasila () TodB 3. marraskuuta / 18

13 Suurimman uskottavuuden menetelmä Suurimman uskottavuuden menetelmän ajatuksena on, että malli f X (x; θ 1,..., θ r ) on paras, jos se tuottaa havaitun otoksen suurimmalla todennäköisyydellä. Menetelmässä muodostetaan likelihood-funktio L(θ 1,..., θ r ), joka kuvaa saadun otoksen todennäköisyyttä parametrien θ 1,..., θ r funktiona. Kun likelihood-funktiota maksimoidaan parametrien θ 1,..., θ r suhteen, ovat saadut satunnaismuuttujat ˆθ 1,..., ˆθ r parametrien θ 1,..., θ r suurimman uskottavuuden estimaattorit. Antti Rasila () TodB 3. marraskuuta / 18

14 Diskreetti tapaus 1/2 Olkoon X 1,..., X n yksinkertainen satunnaisotos diskreetistä jakaumasta, jonka pistetodennäköisyysfunktio on f X (x i ; θ 1,..., θ r ). Todennäköisyys otokselle x 1,..., x n on L(θ 1,..., θ r ) = f X (x 1 ; θ 1,..., θ r ) f X (x n ; θ 1,..., θ r ). Parametreille θ 1,..., θ r tulee löytää sellaiset arvot, että L maksimoituu. Antti Rasila () TodB 3. marraskuuta / 18

15 Diskreetti tapaus 2/2 L:n maksimi löytyy pisteestä, jossa kaikki osittaisderivaatat ovat nollia, eli L = 0, i θ i Funktion L logaritmimuunnos ln(l) saa maksiminsa samassa pisteessä kuin L. Usein tarkastellaankin funktiota ln(l), koska logaritmimuunnos muuntaa tulomuotoisen likelkihood-funktion summaksi, jota on helpompi derivoida. Antti Rasila () TodB 3. marraskuuta / 18

16 Esimerkki Tiedonsiirtojärjestelmä siirtää merkkejä 0 ja 1. Merkki 1 voi vaihtua merkiksi 0 todennäköisyydellä p. Todennäköisyyden arvioimiseksi lähetetään kertaa merkki 1, jolloin todetaan, että merkki on vaihtunut 90 kertaa. Koska merkin siirrossa merkki on välittynyt oikein 9910 kertaa ja vaihtunut 90 kertaa, saadaan L(p) = (1 p) 9910 p 90. Etsitään se parametrin p arvo, jolla L(p) saa maksiminsa: Ratkaistaan p L(p) = 9910(1 p)9909 p (1 p) 9910 p 89 = 0. ˆp = = Antti Rasila () TodB 3. marraskuuta / 18

17 Jatkuva tapaus Olkoon X 1,..., X n yksinkertainen satunnaisotos jatkuvasta jakaumasta, jonka tiheysfunktio on f X (x; θ 1,..., θ r ). Koska jatkuvassa tapauksessa kaikkien yksittäisten havaintosarjojen x 1,..., x n todennäköisyys on nolla, likelihood-funktio L(θ 1,..., θ r ) = f X (x 1 ; θ 1,..., θ r ) f X (x n ; θ 1,..., θ r ) ei kuvaa havaintosarjan todennäköisyyttä. Tiheysfunktion arvojen tulona sitä voidaan kuitenkin perustellusti käyttää kuten diskreetissä tapauksessa. Antti Rasila () TodB 3. marraskuuta / 18

18 Esimerkki Oletetaan, että X on tasaisesti jakautunut välille [0, θ], missä parametri θ > 0 ja X :n tiheysfunktio on { 1/θ, kun x [0, θ], f X (x) = 0, muuten. Likelihood-funktio on { 1/θ L(θ) = n, kun θ max{x 1,..., x n }, 0 muuten. Nyt maksimi ei löydy derivoimalla, mutta voidaan päätellä tutkimalla funktiota L(θ). Suurin arvo saadaan selvästi, kun ˆθ = max{x 1,..., x n }. Antti Rasila () TodB 3. marraskuuta / 18