1. Valitaan tilanteeseen sopiva stokastinen malli. 2. Sovitetaan malli havaittuun dataan (estimoidaan mallin parametrit).

Transkriptio

1 Luku 7 Parametrie estimoiti Lasse Leskelä Aalto-yliopisto 2. lokakuuta Tilastollie päättely Tähä meessä o opittu eustamaa tapahtumie todeäköisyyksiä aetu stokastise malli pohjalta. Eusteide laskemiseksi o stokastise malli parametrit tuettava. Esimerkiksi metro odotusaikaa eustettaessa käytettii stokastise mallia jatkuvaa tasajakaumaa tiheysfuktioa f(t) = (b a) 1 1 [a,b] (t), joka parametrit a = 0 ja b = 10 olivat ealta tiedossa. Jatkuva tasajakauma avulla eustettii, millä todeäköisyydellä seuraava saapuva metro odotusaika osuu tietylle välille. Tilastollisessa päättelyssä malli parametreja ei ealta tueta, vaa e pyritää estimoimaa saatavilla oleva, usei puutteellise tai epävarma, data pohjalta. Tilastollisessa päättelyssä o yleesä seuraavat vaiheet: 1. Valitaa tilateesee sopiva stokastie malli. 2. Sovitetaa malli havaittuu dataa (estimoidaa malli parametrit). 3. Lasketaa sovitetu malli avulla tarvittavat todeäköisyydet tai tuusluvut. 4. Tehdää johtopäätökset. Johtopäätökset ovat yleesä (valistueita) arvauksia tai eusteita, esimerkiksi: Mikä o kirahvi todellie paio, ku kolme puitukse tulokset olivat 1250 kg, 1300 kg, 1360 kg? Kaattaako espoolaiste eemmistö Espoo pysymistä itseäiseä, ku mielipidekyselyssä tuhaesta vastaeesta 509 kaatti itseäisyyttä? 76

2 Pysyykö raakaöljy hita ykytasollaa vuode loppuu asti? Tässä luvussa keskitytää vaiheisii 1 ja Parametriset jakaumat Tarkastellaa tutematota datalähdettä, joka tutkittava suuree jakauma tiheysfuktio f(x) tuetaa parametreja vaille. Malli parametreja merkitää usei symboleilla θ = (θ 1,..., θ ). Silloi ku halutaa korostaa, että jakauma riippuu parametreista θ, merkitää tiheysfuktiota f θ (x) tai f(x θ). Esim. (yksi tutemato parametri): Beroullijakauma: f p (0) = 1 p, f p (1) = p Ekspoettijakauma: f λ (x) = λe λx, x > 0 Esim. (2 tutematota parametria): Lukuväli [a, b] jatkuva tasajakauma, tiheysfuktio f (a,b) (x) = 1 b a Normaalijakauma: f (µ,σ 2 )(x) = 1 (x µ)2 e 2σ 2 2πσ 2 Mikä o havaitu data x = (x 1,..., x ) perusteella paras arvaus tutemattomie parametrie arvoksi? Esimerkki 7.1 (Vialliste osuus). Tuotatolijalla valmistetaa kompoetteja, joista osuus p o viallisia, toisistaa riippumattomasti. Ku tarkastettii 200 kompoettia, havaittii 22 viallista. Määritä estimaatti tutemattoma parametri p arvolle. Ituitiivisesti luoteva estimaatti o ˆp = = 11%. Oko tämä paras estimaatti? Oko muita luoollisia vaihtoehtoja? Tätä tarkastellaa tässä luvussa myöhemmi. Esimerkki 7.2 (Sotilaskoeide lukumäärä). Vieraa valla sotilaskoeissa o sarjaumerot 1, 2,..., N. Tiedustelijat ovat havaieet kolme sotilaskoee sarjaumerot x 1 = 63, x 2 = 17, x 3 = 203. Määritä havaitoje (x 1, x 2, x 3 ) pohjalta estimaatti sotilaskoeide lukumäärälle N. Tiedustelutietoa tuottava datalähde oudattaa jouko {1, 2,..., N} diskreettiä tasajakaumaa tiheysfuktioa f 1,N (x) = { 1, N x {1, 2,..., N}, 0, muute. Mikä o luoteva estimaatti tutemattomalle parametrille N? Tässä yhteydessä o selvää, että estimaati arvo o oltava vähitää 203, mutta tähä kysymyksee ei arki-ituitio pohjalta välttämättä tule mielee selvää yksikäsitteistä vastausta, toisi kui esimerkissä 7.1. Tähä palataa myöhemmi. 77

3 7.3 Suurimma uskottavuude estimoiti Ku diskreettiä jakaumaa oudattavasta datalähteestä o havaittu data x, mutta jakauma parametria θ ei tueta, voidaa vertailla mite data havaitsemise todeäköisyys f(x θ) käyttäytyy parametri θ eri arvoilla. Mitä suurempi kyseie todeäköisyys o, sitä eemmä o aihetta uskoa, että havaittu data o peräisi parametria θ vastaavaa jakaumaa oudattavasta datalähteestä. Se jälkee ku data x o havaittu, voidaa lauseke f(x θ) tulkita parametri θ fuktioa. Tämä o parametri θ uskottavuusfuktio (egl. likelihood fuctio) ja sitä merkitää usei L(θ) = f(x θ). Luoollie ja usei käytetty tapa tutemattoma parametri estimoimiseksi o etsiä parametri, jolle uskottavuusfuktio arvo o suuri mahdollie. Näi saatu luku θ o parametri θ suurimma uskottavuude estimaatti. Silloi ku stokastisesti riippumattomia arvoja tuottavasta datalähteestä o havaittu datajoukko (x 1,..., x ), voidaa parametri θ uskottavuusfuktio kirjoittaa muodossa L(θ) = f(x 1 θ) f(x θ). (7.1) Esimerkki 7.3 (Hirmumyrskyt). Eräälle trooppiselle saarelle o 2000-luvulla iskeyt hirmumyrsky vuosia 2000, 2009, 2011 ja Saarelle saapuvie hirmumyrskyje väliaikoja (vuosia) mallietaa käyttämällä lukujouko {1, 2,... } geometrista jakaumaa tiheysfuktioa f(x θ) = (1 θ) x 1 θ. Määritä parametri θ suurimma uskottavuude estimaatti ja eusta se avulla, millä todeäköisyydellä saarelle iskee seuraava hirmumyrsky viimeistää vuoa Tutemattoma parametri θ uskottavuusfuktio havaittuje väliaikoje x 1 = 9, x 2 = 2 ja x 3 = 6 suhtee o L(θ) = (1 θ) 9 1 θ (1 θ) 2 1 θ (1 θ) 6 1 θ = (1 θ) 14 θ 3. Koska L(θ) o derivoituva, löytyy uskottavuusfuktio maksimi derivaata ollakohdasta tai jommastakummasta väli [0, 1] päätepisteestä. Uskottavuusfuktio derivaatta o L (θ) = 14(1 θ) 13 ( 1)θ 3 + (1 θ) 14 3θ 2 = (1 θ) 13 θ 2 ( 14θ + 3(1 θ)), ja derivaata ollakohdat ovat θ = 0, θ = 1 ja θ = 3. Näistä viimeie maksimoi uskottavuusfuktio arvo, jote suurimma uskottavuude 17 estimaatti 78

4 o θ = 3. Ku seuraava hirmumyrsky saapumisaikaa merkitää satuaismuuttujalla X, o todeäköisyys että seuraava hirmumyrsky iskee viimeistää 17 vuoa 2020 P(X 3) = 3 f(x θ) = θ + (1 θ)θ + (1 θ) 2 θ. x=1 Sijoittamalla tähä θ = 3 17 saadaa eusteeksi P(X 3) Uskottavuusfuktio L(θ) maksimoiti o usei helpompaa logaritmise muuokse avulla. Parametri θ logaritmie uskottavuusfuktio määritellää kaavalla l(θ) = log L(θ), missä log tarkoittaa luoollista logaritmia. Koska logaritmi o aidosti kasvava fuktio, saavuttaa L(θ) maksimisa samoissa pisteissä, joissa l(θ) saavuttaa oma maksimisa. Esimerkki 7.4 (Vialliste osuude estimoiti). Tuotatolija tuottaa kompoetteja, joista osuus p o viallisia, toisistaa riippumattomasti. Ku tarkastettii 200 kompoettia, havaittii 22 viallista. Määritä suurimma uskottavuude estimaatti tutemattoma parametri p arvolle. Vialliste kompoettie lukumäärä = 200 kompoeti erässä oudattaa biomijakaumaa tiheysfuktioa ( ) f(x p) = p x (1 p) x, x jote parametri p uskottavuusfuktio havaio x = 22 suhtee o ( ) 200 L(p) = f(22 p) = p 22 (1 p) Logaritmie uskottavuusfuktio o ( ) 200 l(p) = log f(22 p) = log + 22 log p log(1 p), 22 joka esimmäie ja toie derivaatta ovat l (p) = 22 1 p p, l (p) = 22 1 p (1 p) 2 0. Ratkaisemalla yhtälö l (p) = 0 saadaa parametri p suurimma uskottavuude estimaatiksi p =

5 Fakta 7.5. Bi(, p)-jakauma tutemattoma parametri p suurimma uskottavuude estimaatti havaitu datapistee x suhtee o p = x. Todistus. Toista edellie laskelma korvaamalla 200 ja 22 x. Stokastisesti riippumattomia satuaislukuja tuottavalle jatkuvaa jakaumaa oudattavalle datalähteelle määritellää uskottavuusfuktio samalla kaavalla (7.1) kui diskreetilleki jakaumalle. Tällöi uskottavuusfuktio arvo tulkitaa likiarvoisea todeäköisyyteä havaita datajoukko (x 1,..., x ) suhteessa reaalilukuje esitystarkkuutee. Normaalijakauma parametrie ML-estimaatit. Normaalijakauma tiheysfuktio 1 (t µ)2 f (µ,σ) (t) = e 2σ 2 2πσ 2 o parametreja µ ja σ vaille tuettu. Fakta 7.6. Normaalijakauma parametrie (µ, σ) suurimma uskottavuude estimaatit datajoukolle (x 1,..., x ) ovat ( ) µ = 1 1/2 x i ja σ 1 = (x i m(x)) 2 eli datajouko keskiarvo ja empiirise jakauma keskihajota. 7.4 Estimaattoreide omiaisuuksia Tarkastellaa tutematota datalähdettä, joka takauma o f(x θ), missä parametri θ o tutemato. Datalähteestä o saatu havaiot x 1,..., x. Parametri θ: estimaatti o data x = (x 1,..., x ) pohjalta laskettu arvaus ˆθ = g(x). estimaattori o fuktio (x 1,..., x ) g(x 1,..., x ), joka kuvaa data estimaatiksi 1. Tutemattoma parametri estimaattoriksi voidaa periaatteessa valita mikä tahasa fuktio g(x). Ituitiivisesti o kuiteki selvää, että jotkut estimaattorit ovat parempia kui toiset. Estimaattori hyvyyttä voidaa luoehtia aalysoimalla, mite estimaattori käyttäytyy, ku se saa syötteeksee riippumattomia satuaislukuja X 1, X 2,... jakaumasta f(x θ). Estimaattori g(x 1,..., x ) o tarketuva (egl. cosistet), jos g(x 1,..., X ) P θ ku, ja harhato (egl. ubiased), jos Eg(X 1,..., X ) = θ. 1 Estimaattoriksi kutsutaa usei myös satuaismuuttujaa g(x) = g(x 1,..., X ), joka o laskettu jakaumasta f(x θ) geeroituje satuaislukuje (X 1,..., X ) muuoksea. 80

6 Esimerkki 7.7 (Vialliste osuus). Ku o tuettu, o Bi(, p)-jakauma tutemattoma parametri p suurimma uskottavuude estimaattori g(x) = x. Jos N o Bi(, p)-jakaumaa oudattava satuaismuuttuja, ii ( ) N E (g(n)) = E = 1 E(N) = 1 p = p. Näi olle g(x) = x o parametri p harhato estimaattori. Esimerkki 7.8 (Normaalijakauma odotusarvo ML-estimaattori). Normaalijakauma odotusarvoparametri µ suurimma uskottavuude estimaattori o m(x) = 1 x i. Stokastiselle mallille X = (X 1,..., X ) ( ) 1 E[m(X)] = E X i = µ, jote fuktio x m(x) o parametri µ harhato estimaattori. Esimerkki 7.9 (Normaalijakauma variassi ML-estimaattori). Normaalijakauma variassiparametri σ 2 suurimma uskottavuude estimaattori o σ 2 (x) = 1 (x i m(x)) 2. Stokastiselle mallille X = (X 1,..., X ) ( ) E[σ 2 1 (X)] = E (X i m(x) 2 = = 1 σ2, jote σ 2 (x) o harhaie. Variassiparametri harhato estimaattori o otosvariassi s 2 1 (x) = (x i m(x)) 2. 1 Suurilla arvoilla äissä ei ole merkitsevää eroa. 81

7 Hakemisto Bayesi kaava, 15 Beroulli-jakauma, 57 biomijakauma, 57 biomikerroi, 18 bitti, 42 Chebyshevi epäyhtälö, 49 ekspoettijakauma, 25 etropia, 42 ergodie, 45 erotus, 9 esiityvyysharha, 15 estimaattori, 80 harhato estimaattori, 80 idikaattorifuktio, 26 jakauma, 21 diskreetti, 23 empiirie, 70 jatkuva, 23 kertoma, 17 kertymäfuktio, 22 keskihajota jakauma, 47 satuaismuuttuja, 47 kombiatoriikka, 16 komplemetti, 9 korrelaatio yhteisjakauma, 50 kovariassi yhteisjakauma, 50 leikkaus, 9 lukumäärä listat, 17 osajoukot, 18 lukumäärä, järjestykset, 17 mitallie fuktio, 33 joukko, 19 mometti, 41 multiomijakauma, 96 ormaalijakauma ormitettu, 62 osajoukko, 8 ositus, 8 osituskaava, 14 otoskeskihajota, 73 otoskorrelaatio, 74 otoskovariassi, 74 perusjoukko, 7 pistemassafuktio, 23 pistetodeäköisyysfuktio, 23 Poisso-jakauma, 24, 67 reuajakauma diskreetti, 28 jatkuva, 28 reuatiheysfuktio diskreetti, 28 jatkuva, 28 riippumattomat satuaismuuttujat, 30 tapahtumat, 12 satuaismuuttuja, 20 diskreetti, 23 sigma-algebra, 19 suppeemie stokastie, 36 suurimma uskottavuude estimaatti, 78 99

8 suurte lukuje laki, 36 vahva, 45 tapahtuma, 7 poissulkevat, 8 tasajakauma diskreetti, 24 jatkuva, 24 tiheysfuktio, 23 empiirie, 70 todeäköisyys aksiooma, 10 ehdollie, 12 frekvessitulkita, 38 jakauma, 10 mitta, 10 mootoisuus, 10 summasäätö, 10 tulosäätö, 12 todeäköisyysfuktio, 23 toteuma, 7 tulojoukko, 9 tyhjä joukko, 9 uskottavuusfuktio, 78 logaritmie, 79 variassi jakauma, 47 satuaismuuttuja, 47 yhdiste, 9 yhteisjakauma, 25 diskreetti, 26 jatkuva, 26 tiheysfuktio,

9 Kirjallisuutta [JP04] Jea Jacod ad Philip Protter. Probability Essetials. Spriger, secod editio, [Kal02] Olav Kalleberg. Foudatios of Moder Probability. Spriger, secod editio, [Wil91] David Williams. Probability with Martigales. Cambridge Uiversity Press,